Update app.py

app.py

@@ -21,7 +21,7 @@ model_id = "yuna1126/Tema_Q-R-0.4B-GGUF"
 model_file = "Tema_Q-R-0.4B-f16.gguf"
 
 # 入力制限文字数
-MAX_INPUT_CHARS = 300
+MAX_INPUT_CHARS = 700
 
 print("Downloading model...")
 model_path = hf_hub_download(repo_id=model_id, filename=model_file)
@@ -37,19 +37,24 @@ llm = Llama(
 print("Model loaded.")
 
 def chat_response(message, history):
-    # --- 文字数制限の追加 ---
+    # 文字数制限
     if len(message) > MAX_INPUT_CHARS:
-        yield f"入力が長すぎます。{MAX_INPUT_CHARS}文字以内で入力してください。（現在 {len(message)} 文字）"
+        yield f"入力が長すぎます。{MAX_INPUT_CHARS}文字以内で入力してください。"
         return
-    # ----------------------
 
-    prompt = f"<start_of_turn>user\n{message}<end_of_turn>\n<start_of_turn>model\n"
+    # テンプレートに合わせたプロンプト形式に変更
+    # <|im_start|>user
+    # メッセージ
+    # <|im_end|>
+    # <|im_start|>assistant
+    prompt = f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
     
     try:
         output = llm(
             prompt,
             max_tokens=512,
-            stop=["<end_of_turn>", "user"],
+            # 停止トークンもテンプレートに合わせて変更
+            stop=["<|im_end|>", "<|im_start|>"], 
             stream=True
         )