Update app.py

app.py

@@ -22,21 +22,23 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 print("モデルの読み込みが完了しました。")
 
-# グローバル設定変数
-SYSTEM_MESSAGE = "あなたは親切で知識豊富な日本語アシスタントです。ユーザーの質問に丁寧に答えてください。"
-MAX_TOKENS = 512
-TEMPERATURE = 0.7
-TOP_P = 0.95
-
-def respond(message, history):
+def respond(
+    message,
+    history: list[tuple[str, str]],
+    system_message,
+    max_tokens,
+    temperature,
+    top_p,
+):
     """
     チャットボットの応答を生成する関数
+    Gradio ChatInterfaceの標準形式に対応
     """
     try:
         # システムメッセージと会話履歴を含むプロンプトを構築
         conversation = ""
-        if SYSTEM_MESSAGE.strip():
-            conversation += f"システム: {SYSTEM_MESSAGE}\n"
+        if system_message.strip():
+            conversation += f"システム: {system_message}\n"
         
         # 会話履歴を追加
         for user_msg, bot_msg in history:
@@ -55,13 +57,15 @@ def respond(message, history):
         if torch.cuda.is_available():
             inputs = inputs.cuda()
         
-        # 応答生成
+        # 応答生成（ストリーミング対応）
+        response = ""
         with torch.no_grad():
+            # 一度に生成してからストリーミング風に出力
             outputs = model.generate(
                 inputs,
-                max_new_tokens=MAX_TOKENS,
-                temperature=TEMPERATURE,
-                top_p=TOP_P,
+                max_new_tokens=max_tokens,
+                temperature=temperature,
+                top_p=top_p,
                 do_sample=True,
                 pad_token_id=tokenizer.eos_token_id,
                 eos_token_id=tokenizer.eos_token_id,
@@ -78,46 +82,65 @@ def respond(message, history):
         if "ユーザー:" in full_response:
             full_response = full_response.split("ユーザー:")[0].strip()
         
-        return full_response
+        # ストリーミング風の出力
+        for i in range(len(full_response)):
+            response = full_response[:i+1]
+            yield response
             
     except Exception as e:
-        return f"エラーが発生しました: {str(e)}"
+        yield f"エラーが発生しました: {str(e)}"
 
-# Gradio Blocksを使用したチャットインターフェース
-with gr.Blocks(
+"""
+Gradio ChatInterfaceを使用したシンプルなチャットボット
+カスタマイズ可能なパラメータを含む
+"""
+demo = gr.ChatInterface(
+    respond,
     title="🤖 Sarashina Chatbot",
-    theme=gr.themes.Soft()
-) as demo:
-    
-    gr.Markdown("# 🤖 Sarashina Chatbot")
-    gr.Markdown("Sarashina2.2-3b-instruct モデルを使用した日本語チャットボットです。")
-    
-    chatbot = gr.Chatbot(height=500)
-    msg = gr.Textbox(
-        label="メッセージを入力してください",
-        placeholder="こんにちは！何かお手伝いできることはありますか？",
-        lines=2
-    )
-    clear = gr.Button("会話をクリア")
-    
-    def user(message, history):
-        return "", history + [[message, None]]
-    
-    def bot(history):
-        history[-1][1] = respond(history[-1][0], history[:-1])
-        return history
-    
-    msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(
-        bot, chatbot, chatbot
-    )
-    
-    clear.click(lambda: None, None, chatbot, queue=False)
+    description="Sarashina2.2-3b-instruct モデルを使用した日本語チャットボットです。",
+    additional_inputs=[
+        gr.Textbox(
+            value="あなたは親切で知識豊富な日本語アシスタントです。ユーザーの質問に丁寧に答えてください。", 
+            label="システムメッセージ",
+            lines=3
+        ),
+        gr.Slider(
+            minimum=1, 
+            maximum=1024, 
+            value=512, 
+            step=1, 
+            label="最大新規トークン数"
+        ),
+        gr.Slider(
+            minimum=0.1, 
+            maximum=2.0, 
+            value=0.7, 
+            step=0.1, 
+            label="Temperature (創造性)"
+        ),
+        gr.Slider(
+            minimum=0.1,
+            maximum=1.0,
+            value=0.95,
+            step=0.05,
+            label="Top-p (多様性制御)",
+        ),
+    ],
+    theme=gr.themes.Soft(),
+    examples=[
+        ["こんにちは！今日はどんなことを話しましょうか？"],
+        ["日本の文化について教えてください。"],
+        ["簡単なレシピを教えてもらえますか？"],
+        ["プログラミングについて質問があります。"],
+    ],
+    cache_examples=False,
+)
 
 if __name__ == "__main__":
     demo.launch(
         server_name="0.0.0.0",
         server_port=7860,
-        share=True,  # パブリックリンクを作成
-        show_api=True,
+        share=False,
+        show_api=True,  # API documentation を表示
         debug=True
     )