Update app.py

app.py

@@ -28,31 +28,36 @@ def load_llm():
 SYSTEM_PROMPT = "به فارسی، روشن و کوتاه پاسخ بده (حداکثر ۲ جمله)."
 
 def respond(message, history):
-    # message می‌تواند dict یا str باشد
+    # پیام فعلی را به متن ساده تبدیل کن (messages یا string)
     user_text = message.get("content", "") if isinstance(message, dict) else str(message or "")
 
-    # history می‌تواند tuples یا messages باشد
-    msgs = [{"role": "system", "content": SYSTEM_PROMPT}]
-    if history and isinstance(history[0], dict) and "role" in history[0]:
-        msgs.extend(history)
-    else:
-        for user, assistant in (history or []):
-            msgs.append({"role": "user", "content": user})
-            msgs.append({"role": "assistant", "content": assistant})
-    msgs.append({"role": "user", "content": user_text})
+    # تاریخچه را فعلاً نادیده می‌گیریم تا پرامپت خیلی کوتاه بماند
+    msgs = [
+        {"role": "system", "content": SYSTEM_PROMPT},
+        {"role": "user", "content": user_text},
+    ]
 
     llm = load_llm()
-    print(">> gen start (non-stream)")
-    out = llm.create_chat_completion(
-        messages=msgs,
-        max_tokens=64,      
-        temperature=0.4,
-        top_p=0.9,
-        stream=False,       
-    )
-    text = out["choices"][0]["message"]["content"]
-    print(">> gen done (non-stream)")
-    return text
+    print(">> gen start (stream minimal)")
+    partial = ""
+    try:
+        for chunk in llm.create_chat_completion(
+            messages=msgs,
+            max_tokens=48,        # کوتاه برای سرعت
+            temperature=0.3,
+            top_p=0.95,
+            stop=["<|im_end|>", "</s>"],  # مطابق تمپلیت مدل
+            stream=True,
+        ):
+            delta = chunk["choices"][0]["delta"].get("content", "")
+            if delta:
+                partial += delta
+                yield partial
+        print(">> gen done (stream minimal)")
+    except Exception as e:
+        print(">> exception:", repr(e))
+        yield "یه خطای داخلی رخ داد؛ لطفاً دوباره تلاش کن."
+
 
 
 demo = gr.ChatInterface(