add gemini

app/config.py

@@ -30,6 +30,11 @@ class Settings(BaseSettings):
     # Logging Configuration
     log_level: str = os.getenv("LOG_LEVEL", "INFO") or "INFO"
 
+    # Gemini Configuration
+    gemini_api_key: str = os.getenv("GEMINI_API_KEY") or ""
+    gemini_base_url: str = os.getenv("GEMINI_BASE_URL", "https://generativelanguage.googleapis.com/v1/models/gemini-2.5-flash:generateContent") or ""
+    gemini_model: str = os.getenv("GEMINI_MODEL", "gemini-2.5-flash") or ""
+
     class Config:
         env_file = ".env"
 

app/llm.py

@@ -35,6 +35,8 @@ class LLMClient:
             self._setup_custom(kwargs)
         elif self.provider == "hfs":
             self._setup_HFS(kwargs)
+        elif self.provider == "gemini":
+            self._setup_gemini(kwargs)
         else:
             raise ValueError(f"Unsupported provider: {provider}")
     
@@ -82,6 +84,14 @@ class LLMClient:
         if not self.base_url:
             raise ValueError("Custom provider requires base_url")
     
+    def _setup_gemini(self, config: Dict[str, Any]):
+        """Cấu hình cho Gemini."""
+        self.api_key = config.get("api_key", "")
+        self.base_url = config.get("base_url", "")
+        self.model = config.get("model", "")
+        self.max_tokens = config.get("max_tokens", 1024)
+        self.temperature = config.get("temperature", 0.7)
+    
     @timing_decorator_async
     async def generate_text(
         self, 
@@ -113,6 +123,8 @@ class LLMClient:
                 result = await self._generate_custom(prompt, **kwargs)
             elif self.provider == "hfs":
                 result = await self._generate_hfs(prompt, **kwargs)
+            elif self.provider == "gemini":
+                result = await self._generate_gemini(prompt, **kwargs)
             else:
                 raise ValueError(f"Unsupported provider: {self.provider}")
             logger.info(f"[LLM] generate_text - provider: {self.provider}\n\t result: {result}")
@@ -192,6 +204,34 @@ class LLMClient:
             logger.error("HFS API response is None")
             raise RuntimeError("HFS API response is None")
 
+    async def _generate_gemini(self, prompt: str, **kwargs) -> str:
+        """Gọi Gemini API để sinh text từ prompt."""
+        url = self.base_url
+        headers = {"Content-Type": "application/json"}
+        if self.api_key:
+            headers["Authorization"] = f"Bearer {self.api_key}"
+        # Gemini API expects {"contents": [{"parts": [{"text": prompt}]}]}
+        payload = {"contents": [{"parts": [{"text": prompt}]}]}
+        response = await call_endpoint_with_retry(self._client, url, payload, headers=headers)
+        if response is not None and hasattr(response, 'text'):
+            logger.info(f"[LLM][GEMINI][RAW_RESPONSE] {response.text}")
+        else:
+            logger.info(f"[LLM][GEMINI][RAW_RESPONSE] {str(response)}")
+        if response is not None:
+            data = response.json()
+            # Log token usage nếu có
+            usage = data.get('usage') or data.get('usageMetadata')
+            if usage:
+                logger.info(f"[LLM][GEMINI][USAGE] {usage}")
+            # Gemini trả về: {'candidates': [{'content': {'parts': [{'text': '...'}]}}]}
+            try:
+                return data['candidates'][0]['content']['parts'][0]['text']
+            except Exception:
+                return str(data)
+        else:
+            logger.error("Gemini API response is None")
+            raise RuntimeError("Gemini API response is None")
+
     @timing_decorator_async
     async def chat(
         self, 
@@ -391,23 +431,14 @@ class LLMClient:
         """
                 
         prompt = f"""
-            Phân tích ngữ nghĩa câu sau: \"{text}\"
-
-            Trả lời dưới dạng JSON với 3 trường sau:
+            Bạn là một AI chuyên phân tích ngữ nghĩa câu hỏi về giao thông đường bộ. 
+            Với mỗi câu đầu vào, hãy trích xuất 3 thông tin sau và trả lời đúng định dạng JSON:
             {{
                 "muc_dich": "mục đích của câu hỏi",
-                "phuong_tien": "loại phương tiện giao thông",
+                "phuong_tien": "loại phương tiện giao thông (nếu có)",
                 "hanh_vi_vi_pham": "hành vi vi phạm luật giao thông"
             }}
 
-            Ví dụ:
-            "Tôi chạy xe hơi không bật đèn vào ban đêm thì có bị sao không?"
-            {{
-                "muc_dich": "Hỏi về hậu quả/hình phạt khi không bật đèn xe hơi ban đêm",
-                "phuong_tien": "Xe hơi",
-                "hanh_vi_vi_pham": "Không bật đèn khi lái xe vào ban đêm"
-            }}
-
             Câu bạn cần phân tích:
             \"{text}\"
             """.strip()

app/main.py

@@ -54,9 +54,16 @@ embedding_client = EmbeddingClient()
 VEHICLE_KEYWORDS = ["xe máy", "ô tô", "xe đạp", "xe hơi"]
 
 # Khởi tạo LLM client (ví dụ dùng HFS, bạn có thể đổi provider tuỳ ý)
+# llm_client = create_llm_client(
+#     provider="hfs",
+#     base_url="https://vietcat-gemma34b.hf.space"
+# )
+# Khởi tạo LLM client Gemini
 llm_client = create_llm_client(
-    provider="hfs",
-    base_url="https://vietcat-gemma34b.hf.space"
+    provider="gemini",
+    api_key=settings.gemini_api_key,
+    base_url=settings.gemini_base_url,
+    model=settings.gemini_model
 )
 
 logger.info("[STARTUP] Mount health router...")