re-upload app.py

app.py

@@ -37,35 +37,39 @@ def generate(text, max_length, num_beams, p):
         GenerationConfig(
             max_new_tokens=max_length,
             no_repeat_ngram_size=3,
-            num_beams=1,  # beam幅の設定、２以上ではbeam searchになる。
-            do_sample=False  # Samplingの設定
+            # Greedyの設定（特に何も必要ない）
         ),
         GenerationConfig(
             max_new_tokens=max_length,
             no_repeat_ngram_size=3,
-            num_beams=1,
-            do_sample=True
+            do_sample=True,
+            top_k=0,
+            # Smaplingの設定
         ),
         GenerationConfig(
             max_new_tokens=max_length,
             no_repeat_ngram_size=3,
             num_beams=num_beams,
-            do_sample=False
+            early_stopping=True,
+            # Beam Searchの設定
         ),
         GenerationConfig(
             max_new_tokens=max_length,
             no_repeat_ngram_size=3,
-            do_sample=True,
-            top_p=p  # Top-p Samplingのパラメタの設定
+            do_sampling=True,
+            top_p=p,
+            top_k=0,
+            # Top-p Smaplingの設定
         )
     ]
     generated_texts = []
 
     inputs = tokenizer(text, add_special_tokens=False, return_tensors="pt")["input_ids"]
     for generate_config in generate_config_list:
-        # テキスト生成
-        output = model.generate(inputs, generation_config=generate_config)
-        generated = tokenizer.decode(output[0], skip_special_tokens=True)
+        output = model.generate(inputs, generation_config=generate_config)  # modelを使ってテキスト生成を行います。
+
+        generated = tokenizer.decode(output[0], skip_special_tokens=True)  # tokenizerを使って、outputを単語に変換します。
+
         # 読みやすくさの処理を行なって、リストに追加
         generated_texts.append("。\n".join(generated.replace(" ", "").split("。")))
 
@@ -172,17 +176,17 @@ with gr.Blocks() as demo:
 
     with gr.Row():  # 行に分ける。なので、このブロック内にあるコンポーネントは横に並ぶ。
         with gr.Column():  # さらに列に分ける。なので、このブロック内にあるコンポーネントは縦に並ぶ。
-            input_text = gr.Textbox(value="福岡のご飯は美味しい。", label="プロンプト")
-            max_length = gr.Slider(100, 1000, step=100, value=100, label="生成するテキストの長さ")
-            num_beams = gr.Slider(1, 10, step=1, value=6, label="beam幅")
-            p = gr.Slider(0, 1, step=0.01, value=0.92, label="p")
-            btn1 = gr.Button("４パターンで生成")
+             input_text = gr.Textbox(label="入力テキスト")
+            max_length = gr.Slider(minimum=100, maximum=1000, step=100, value=100, label="最大長")
+            num_beams = gr.Slider(minimum=1, maximum=10, step=1, value=6, label="Number of beams")
+            p = gr.Slider(minimum=0, maximum=1, step=0.01, value=0.92, label="Top-pの確率の和の閾値")
+            btn = gr.Button("Decode")
         
         with gr.Column():
             out1 = gr.Textbox(label="Greedy")
             out2 = gr.Textbox(label="Sampling")
-            out3 = gr.Textbox(label="Beam Search")
-            out4 = gr.Textbox(label="Top-p Sampling")
+            out3 = gr.Textbox(label="Beam")
+            out4 = gr.Textbox(label="Top-p")
 
     with gr.Row():
         with gr.Column():