Upload 5 files

main.py

@@ -329,7 +329,9 @@ def fallback_infer(prompt):
     if llm is None:
         return "Xin lỗi, hệ thống đang bị lỗi tải mô hình GGUF."
     
-    system_prompt = "Bạn là trợ lý AI tiếng Việt tên là EvoNet. Hãy trả lời ngắn gọn, trực tiếp và chính xác. Không sử dụng tiếng Anh."
+    system_prompt = "Bạn là trợ lý AI tiếng Việt tên là EvoNet. Hãy trả lời ngắn gọn, trực tiếp và chính xác."
+    
+    # Assistant Prefill: Ép model bắt đầu bằng một từ tiếng Việt để chặn nó sinh thẻ <think> tiếng Anh
     formatted_prompt = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"
     
     res = llm.create_completion(
@@ -340,14 +342,26 @@ def fallback_infer(prompt):
     )
     text = res["choices"][0]["text"].strip()
     
-    # Loại bỏ các đoạn <think>...</think> nếu AI lỡ sinh ra
+    # Lọc rác (nếu có)
     text = re.sub(r'<think>.*?</think>', '', text, flags=re.DOTALL)
-    # Loại bỏ nếu bị đứt đoạn <think> mà không có đóng
     text = re.sub(r'<think>.*', '', text, flags=re.DOTALL)
     
     text = text.strip()
+    
+    # Nếu text vẫn rỗng, thử gọi lại 1 lần nữa với prefill mạnh hơn
+    if not text:
+        formatted_prompt_retry = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\nTôi"
+        res_retry = llm.create_completion(
+            formatted_prompt_retry,
+            max_tokens=512,
+            stop=["<|im_end|>", "<|im_start|>"],
+            temperature=0.8
+        )
+        text = "Tôi" + res_retry["choices"][0]["text"]
+        text = re.sub(r'<think>.*?</think>', '', text, flags=re.DOTALL).strip()
+    
     if not text:
-        return "Xin lỗi, câu hỏi này làm hệ thống xử lý hơi bối rối. Bạn có thể hỏi lại theo cách khác được không?"
+        return "Xin lỗi, hiện tại tôi không thể trả lời câu hỏi này."
         
     return text