Update backend_api.py

backend_api.py

@@ -90,13 +90,18 @@ _client_pool = {}
 _client_pool_lock = threading.Lock()
 
 def get_inference_client(model_id: str, provider: str = "auto"):
-    # Đảm bảo client này kết nối tới Groq thay vì OpenRouter
+    """
+    Khởi tạo client với cấu hình timeout cao 
+    để xử lý các phản hồi dài (code lớn)
+    """
     from openai import OpenAI
     import os
     
     return OpenAI(
         base_url="https://api.groq.com/openai/v1",
-        api_key=os.getenv("GROQ_API_KEY")
+        api_key=os.getenv("GROQ_API_KEY"),
+        timeout=600.0,    # Tăng thời gian chờ lên 10 phút
+        max_retries=3     # Tự động thử lại nếu kết nối bị rớt
     )
 
 # Define models and languages here to avoid importing Gradio UI
@@ -755,8 +760,8 @@ async def generate_code(request: CodeGenerationRequest, authorization: Optional[
                     {"role": "user", "content": query}
                 ],
                 stream=True,
-                max_tokens=8192,  # Tăng giới hạn để code không bị cắt ngang
-                temperature=0.2   # Giảm nhiệt độ để code chính xác, ít "ảo tưởng" hơn
+                max_tokens=32768,  # Tăng giới hạn để code không bị cắt ngang
+                temperature=0.1   # Giảm nhiệt độ để code chính xác, ít "ảo tưởng" hơn
             )