Update app.py

app.py

@@ -5,8 +5,8 @@ import warnings
 warnings.filterwarnings("ignore")
 
 """
-デバッグ用のシンプルなSarashinaチャットボット
-additional_inputsなしでテスト
+Sarashinaモデルを使用したGradioチャットボット
+Hugging Face Transformersライブラリを使用してローカルでモデルを実行
 """
 
 # モデルとトークナイザーの初期化
@@ -22,31 +22,30 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 print("モデルの読み込みが完了しました。")
 
-def respond(message, history):
+def respond(
+    message,
+    history: list[tuple[str, str]],
+    system_message,
+    max_tokens,
+    temperature,
+    top_p,
+):
     """
-    シンプルなチャットボット応答関数
-    additional_inputsなし
+    チャットボットの応答を生成する関数
+    Gradio ChatInterfaceの標準形式に対応
     """
     try:
-        # デバッグ情報を出力
-        print(f"DEBUG - message: {message} (type: {type(message)})")
-        print(f"DEBUG - history: {history} (type: {type(history)})")
-        
-        # システムメッセージ（固定）
-        system_message = "あなたは親切で知識豊富な日本語アシスタントです。ユーザーの質問に丁寧に答えてください。"
-        
-        # 会話履歴を含むプロンプトを構築
-        conversation = f"システム: {system_message}\n"
+        # システムメッセージと会話履歴を含むプロンプトを構築
+        conversation = ""
+        if system_message.strip():
+            conversation += f"システム: {system_message}\n"
         
         # 会話履歴を追加
-        if history and isinstance(history, list):
-            for item in history:
-                if isinstance(item, (list, tuple)) and len(item) >= 2:
-                    user_msg, bot_msg = item[0], item[1]
-                    if user_msg:
-                        conversation += f"ユーザー: {user_msg}\n"
-                    if bot_msg:
-                        conversation += f"アシスタント: {bot_msg}\n"
+        for user_msg, bot_msg in history:
+            if user_msg:
+                conversation += f"ユーザー: {user_msg}\n"
+            if bot_msg:
+                conversation += f"アシスタント: {bot_msg}\n"
         
         # 現在のメッセージを追加
         conversation += f"ユーザー: {message}\nアシスタント: "
@@ -58,13 +57,15 @@ def respond(message, history):
         if torch.cuda.is_available():
             inputs = inputs.cuda()
         
-        # 応答生成
+        # 応答生成（ストリーミング対応）
+        response = ""
         with torch.no_grad():
+            # 一度に生成してからストリーミング風に出力
             outputs = model.generate(
                 inputs,
-                max_new_tokens=512,
-                temperature=0.7,
-                top_p=0.95,
+                max_new_tokens=max_tokens,
+                temperature=temperature,
+                top_p=top_p,
                 do_sample=True,
                 pad_token_id=tokenizer.eos_token_id,
                 eos_token_id=tokenizer.eos_token_id,
@@ -90,17 +91,47 @@ def respond(message, history):
         yield f"エラーが発生しました: {str(e)}"
 
 """
-シンプルなChatInterface（additional_inputsなし）
+Gradio ChatInterfaceを使用したシンプルなチャットボット
+カスタマイズ可能なパラメータを含む
 """
 demo = gr.ChatInterface(
     respond,
-    title="🤖 Sarashina Chatbot (Simple)",
-    description="Sarashina2.2-3b-instruct モデルを使用した日本語チャットボットです。（デバッグ用）",
+    title="🤖 Sarashina Chatbot",
+    description="Sarashina2.2-3b-instruct モデルを使用した日本語チャットボットです。",
+    additional_inputs=[
+        gr.Textbox(
+            value="あなたは親切で知識豊富な日本語アシスタントです。ユーザーの質問に丁寧に答えてください。", 
+            label="システムメッセージ",
+            lines=3
+        ),
+        gr.Slider(
+            minimum=1, 
+            maximum=1024, 
+            value=512, 
+            step=1, 
+            label="最大新規トークン数"
+        ),
+        gr.Slider(
+            minimum=0.1, 
+            maximum=2.0, 
+            value=0.7, 
+            step=0.1, 
+            label="Temperature (創造性)"
+        ),
+        gr.Slider(
+            minimum=0.1,
+            maximum=1.0,
+            value=0.95,
+            step=0.05,
+            label="Top-p (多様性制御)",
+        ),
+    ],
     theme=gr.themes.Soft(),
     examples=[
-        "こんにちは！",
-        "日本について教えて",
-        "プログラミングの質問があります",
+        ["こんにちは！今日はどんなことを話しましょうか？"],
+        ["日本の文化について教えてください。"],
+        ["簡単なレシピを教えてもらえますか？"],
+        ["プログラミングについて質問があります。"],
     ],
     cache_examples=False,
 )
@@ -110,6 +141,6 @@ if __name__ == "__main__":
         server_name="0.0.0.0",
         server_port=7860,
         share=False,
-        show_api=True,
+        show_api=True,  # API documentation を表示
         debug=True
     )