Upload 5 files

main.py

@@ -325,45 +325,27 @@ except ImportError:
 
 import re
 
-def fallback_infer(prompt):
+def fallback_infer(messages_dicts):
     if llm is None:
         return "Xin lỗi, hệ thống đang bị lỗi tải mô hình GGUF."
     
-    system_prompt = "Bạn là trợ lý AI tiếng Việt tên là EvoNet. Hãy trả lời ngắn gọn, trực tiếp và chính xác."
-    
-    # Assistant Prefill: Ép model bắt đầu bằng một từ tiếng Việt để chặn nó sinh thẻ <think> tiếng Anh
-    formatted_prompt = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\n"
-    
-    res = llm.create_completion(
-        formatted_prompt,
-        max_tokens=512,
-        stop=["<|im_end|>", "<|im_start|>"],
-        temperature=0.7
-    )
-    text = res["choices"][0]["text"].strip()
-    
-    # Lọc rác (nếu có)
-    text = re.sub(r'<think>.*?</think>', '', text, flags=re.DOTALL)
-    text = re.sub(r'<think>.*', '', text, flags=re.DOTALL)
-    
-    text = text.strip()
-    
-    # Nếu text vẫn rỗng, thử gọi lại 1 lần nữa với prefill mạnh hơn
-    if not text:
-        formatted_prompt_retry = f"<|im_start|>system\n{system_prompt}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant\nTôi"
-        res_retry = llm.create_completion(
-            formatted_prompt_retry,
+    # Ép model phải dùng tiếng Việt cho cả quá trình suy nghĩ lẫn trả lời
+    for m in messages_dicts:
+        if m["role"] == "system":
+            m["content"] += "\n[LUẬT TỐI CAO: Bạn được phép suy nghĩ (nếu cần), nhưng MỌI QUÁ TRÌNH SUY NGHĨ VÀ CÂU TRẢ LỜI ĐỀU PHẢI VIẾT BẰNG TIẾNG VIỆT 100%. Tuyệt đối không dùng tiếng Anh.]"
+            break
+            
+    try:
+        res = llm.create_chat_completion(
+            messages=messages_dicts,
             max_tokens=512,
-            stop=["<|im_end|>", "<|im_start|>"],
-            temperature=0.8
+            temperature=0.7
         )
-        text = "Tôi" + res_retry["choices"][0]["text"]
-        text = re.sub(r'<think>.*?</think>', '', text, flags=re.DOTALL).strip()
-    
-    if not text:
-        return "Xin lỗi, hiện tại tôi không thể trả lời câu hỏi này."
-        
-    return text
+        text = res["choices"][0]["message"]["content"]
+        return text.strip()
+    except Exception as e:
+        print(f"[Gateway Error] Lỗi inference: {e}")
+        return "Xin lỗi, hệ thống gặp lỗi khi xử lý câu hỏi của bạn."
 
 
 
@@ -444,6 +426,7 @@ async def chat_completions(req: ChatCompletionRequest, request: Request, token:
     if not req.messages:
         raise HTTPException(status_code=400, detail="messages array cannot be empty")
         
+    messages_dicts = [{"role": m.role, "content": m.content} for m in req.messages]
     last_message = req.messages[-1].content
     print(f"[Gateway] B2B Request for model {req.model}")
     
@@ -488,11 +471,11 @@ async def chat_completions(req: ChatCompletionRequest, request: Request, token:
                 raise Exception("Swarm returned non-200 after retries")
         except Exception as e:
             print(f"[Gateway Routing] Lỗi từ DePIN Swarm ({e}), chuyển sang Fallback Local.")
-            result_text = f"[Extreme JIT] {await asyncio.to_thread(fallback_infer, last_message)}"
+            result_text = f"[Extreme JIT] {await asyncio.to_thread(fallback_infer, messages_dicts)}"
     else:
         # Step 2b: Fallback to Local Extreme Batching
         print(f"[Gateway Routing] ➡️ DePIN bận/thiếu Node. Chuyển hướng xử lý tại Cụm Server Nội bộ.")
-        result_text = f"[Extreme JIT] {await asyncio.to_thread(fallback_infer, last_message)}"
+        result_text = f"[Extreme JIT] {await asyncio.to_thread(fallback_infer, messages_dicts)}"
 
     # Step 3: Format OpenAI response
     prompt_tokens = len(last_message.split())