update variables

ENVIRONMENT_VARIABLES.md

@@ -0,0 +1,214 @@
+# Environment Variables Configuration
+
+## Search Configuration
+
+### MATCH_COUNT
+- **Description**: Số lượng documents tối đa được trả về từ vector search
+- **Default**: `15`
+- **Usage**: `MATCH_COUNT=20`
+- **Impact**: Ảnh hưởng đến số lượng docs được query từ database
+
+### MAX_DOCS_TO_RERANK
+- **Description**: Số lượng documents tối đa được rerank
+- **Default**: `15`
+- **Usage**: `MAX_DOCS_TO_RERANK=20`
+- **Impact**: Ảnh hưởng đến số lượng docs được xử lý trong reranking
+
+## Logging Configuration
+
+### LOG_LEVEL
+- **Description**: Mức độ logging (DEBUG, INFO, WARNING, ERROR, CRITICAL)
+- **Default**: `DEBUG`
+- **Usage**: `LOG_LEVEL=INFO`
+- **Impact**: Ảnh hưởng đến số lượng logs được hiển thị
+
+## Facebook Configuration
+
+### FACEBOOK_APP_SECRET
+- **Description**: Facebook App Secret
+- **Required**: Yes
+- **Usage**: `FACEBOOK_APP_SECRET=your_app_secret`
+
+### FACEBOOK_VERIFY_TOKEN
+- **Description**: Facebook Webhook Verify Token
+- **Required**: Yes
+- **Usage**: `FACEBOOK_VERIFY_TOKEN=your_verify_token`
+
+## Supabase Configuration
+
+### SUPABASE_URL
+- **Description**: Supabase project URL
+- **Required**: Yes
+- **Usage**: `SUPABASE_URL=https://your-project.supabase.co`
+
+### SUPABASE_KEY
+- **Description**: Supabase service role key
+- **Required**: Yes
+- **Usage**: `SUPABASE_KEY=your_service_role_key`
+
+## Google Sheets Configuration
+
+### GOOGLE_SHEETS_CREDENTIALS_FILE
+- **Description**: Path to Google Sheets credentials file
+- **Required**: Yes (if not using GOOGLE_SHEETS_CREDENTIALS_JSON)
+- **Usage**: `GOOGLE_SHEETS_CREDENTIALS_FILE=./credentials.json`
+
+### GOOGLE_SHEETS_CREDENTIALS_JSON
+- **Description**: Google Sheets credentials as JSON string (alternative to credentials file)
+- **Required**: Yes (if not using GOOGLE_SHEETS_CREDENTIALS_FILE)
+- **Usage**: `GOOGLE_SHEETS_CREDENTIALS_JSON={"type":"service_account","project_id":"..."}`
+
+### GOOGLE_SHEETS_TOKEN_FILE
+- **Description**: Path to Google Sheets token file
+- **Required**: Yes
+- **Usage**: `GOOGLE_SHEETS_TOKEN_FILE=./token.json`
+
+### CONVERSATION_SHEET_ID
+- **Description**: Google Sheets ID for conversation logging
+- **Required**: Yes
+- **Usage**: `CONVERSATION_SHEET_ID=your_sheet_id`
+
+## Server Configuration
+
+### HOST
+- **Description**: Server host address
+- **Default**: `0.0.0.0`
+- **Usage**: `HOST=127.0.0.1`
+
+### PORT
+- **Description**: Server port
+- **Default**: `8000`
+- **Usage**: `PORT=7860`
+
+## LLM Configuration
+
+### LLM_PROVIDER
+- **Description**: LLM provider (gemini, openai, etc.)
+- **Default**: `gemini`
+- **Usage**: `LLM_PROVIDER=gemini`
+
+### LLM_MODEL
+- **Description**: LLM model name
+- **Default**: `gemini-2.5-flash`
+- **Usage**: `LLM_MODEL=gemini-2.0-flash-exp`
+
+### RERANK_PROVIDER
+- **Description**: Rerank provider (defaults to LLM_PROVIDER if not set)
+- **Default**: Uses LLM_PROVIDER value
+- **Usage**: `RERANK_PROVIDER=gemini`
+
+### RERANK_MODEL
+- **Description**: Rerank model name (defaults to LLM_MODEL if not set)
+- **Default**: Uses LLM_MODEL value
+- **Usage**: `RERANK_MODEL=gemini-2.0-flash-exp`
+
+## Embedding Configuration
+
+### EMBEDDING_PROVIDER
+- **Description**: Embedding provider (gemini, openai, etc.)
+- **Default**: `gemini`
+- **Usage**: `EMBEDDING_PROVIDER=gemini`
+
+### EMBEDDING_MODEL
+- **Description**: Embedding model name
+- **Default**: `models/embedding-001`
+- **Usage**: `EMBEDDING_MODEL=models/embedding-001`
+
+## Gemini Configuration
+
+### GEMINI_API_KEYS
+- **Description**: Comma-separated list of Gemini API keys
+- **Required**: Yes
+- **Usage**: `GEMINI_API_KEYS=key1,key2,key3`
+
+### GEMINI_MODELS
+- **Description**: Comma-separated list of Gemini models
+- **Required**: Yes
+- **Usage**: `GEMINI_MODELS=gemini-2.0-flash-exp,gemini-1.5-flash`
+
+### GEMINI_BASE_URL
+- **Description**: Gemini API base URL
+- **Default**: `https://generativelanguage.googleapis.com/v1`
+- **Usage**: `GEMINI_BASE_URL=https://generativelanguage.googleapis.com/v1`
+
+## Example .env file
+
+```env
+# Search Configuration
+MATCH_COUNT=15
+MAX_DOCS_TO_RERANK=15
+
+# Logging Configuration
+LOG_LEVEL=DEBUG
+
+# Facebook Configuration
+FACEBOOK_APP_SECRET=your_app_secret
+FACEBOOK_VERIFY_TOKEN=your_verify_token
+
+# Supabase Configuration
+SUPABASE_URL=https://your-project.supabase.co
+SUPABASE_KEY=your_service_role_key
+
+# Google Sheets Configuration
+GOOGLE_SHEETS_CREDENTIALS_FILE=./credentials.json
+# GOOGLE_SHEETS_CREDENTIALS_JSON={"type":"service_account","project_id":"..."}
+GOOGLE_SHEETS_TOKEN_FILE=./token.json
+CONVERSATION_SHEET_ID=your_sheet_id
+
+# Server Configuration
+HOST=0.0.0.0
+PORT=8000
+
+# LLM Configuration
+LLM_PROVIDER=gemini
+LLM_MODEL=gemini-2.5-flash
+RERANK_PROVIDER=gemini
+RERANK_MODEL=gemini-2.5-flash
+
+# Embedding Configuration
+EMBEDDING_PROVIDER=gemini
+EMBEDDING_MODEL=models/embedding-001
+
+# Gemini Configuration
+GEMINI_API_KEYS=key1,key2,key3
+GEMINI_MODELS=gemini-2.0-flash-exp,gemini-1.5-flash
+GEMINI_BASE_URL=https://generativelanguage.googleapis.com/v1
+```
+
+## Performance Tuning
+
+### Để tăng performance:
+- Giảm `MATCH_COUNT` và `MAX_DOCS_TO_RERANK` xuống 10-12
+- Set `LOG_LEVEL=INFO` để giảm log noise
+- Sử dụng model nhẹ hơn: `LLM_MODEL=gemini-1.5-flash`
+
+### Để tăng accuracy:
+- Tăng `MATCH_COUNT` và `MAX_DOCS_TO_RERANK` lên 20-25
+- Set `LOG_LEVEL=DEBUG` để debug chi tiết hơn
+- Sử dụng model mạnh hơn: `LLM_MODEL=gemini-2.0-flash-exp`
+
+## Provider Switching
+
+### Chuyển sang OpenAI:
+```env
+LLM_PROVIDER=openai
+LLM_MODEL=gpt-4
+EMBEDDING_PROVIDER=openai
+EMBEDDING_MODEL=text-embedding-ada-002
+```
+
+### Chuyển sang Cohere:
+```env
+LLM_PROVIDER=cohere
+LLM_MODEL=command
+EMBEDDING_PROVIDER=cohere
+EMBEDDING_MODEL=embed-english-v3.0
+```
+
+## Troubleshooting
+
+### Common Issues:
+1. **Missing API Keys**: Đảm bảo `GEMINI_API_KEYS` được set
+2. **Invalid Models**: Kiểm tra `GEMINI_MODELS` có đúng format không
+3. **Database Connection**: Verify `SUPABASE_URL` và `SUPABASE_KEY`
+4. **Facebook Webhook**: Check `FACEBOOK_APP_SECRET` và `FACEBOOK_VERIFY_TOKEN` 

app/config.py

@@ -37,6 +37,10 @@ class Settings(BaseSettings):
     # Logging Configuration
     log_level: str = os.getenv("LOG_LEVEL", "DEBUG") or "DEBUG"
 
+    # Search Configuration
+    match_count: int = int(os.getenv("MATCH_COUNT", "15")) or 15
+    max_docs_to_rerank: int = int(os.getenv("MAX_DOCS_TO_RERANK", "15")) or 15
+
     # Gemini Configuration
     # Hỗ trợ nhiều API key và model cho Gemini
     # Định nghĩa biến môi trường: GEMINI_API_KEYS="key1,key2,..."; GEMINI_MODELS="model1,model2,..."

app/message_processor.py

@@ -155,7 +155,7 @@ class MessageProcessor:
                 hanh_vi_vi_pham = hanh_vi_vi_pham.replace(kw, "")
             hanh_vi_vi_pham = hanh_vi_vi_pham.strip()
         logger.info(f"[DEBUG] Phương tiện: {keywords} - Hành vi: {hanh_vi_vi_pham} - Mục đích: {muc_dich}")
-        await self.channel.facebook.send_message(message=f"... đang tìm kiếm quy định liên quan đến {hanh_vi_vi_pham} .....")
+        # await self.channel.facebook.send_message(message=f"... đang tìm kiếm quy định liên quan đến {hanh_vi_vi_pham} .....")
         # 4. Update lại conversation với thông tin đầy đủ
         update_kwargs = {
             'conversation_id': conv['conversation_id'],

app/reranker.py

@@ -28,6 +28,9 @@ class Reranker:
         self._cache_ttl = 3600  # 1 giờ
         self._max_cache_size = 200  # Tăng cache size
         self._cache_timestamps = {}
+        
+        # Sử dụng max_docs_to_rerank từ config
+        self.max_docs_to_rerank = settings.max_docs_to_rerank
 
     def _get_cache_key(self, query: str, docs: List[Dict]) -> str:
         """Tạo cache key từ query và docs."""
@@ -220,7 +223,7 @@ class Reranker:
             return cached_result
         
         # Giới hạn số lượng docs để rerank - chỉ rerank top 15 docs có similarity cao nhất
-        max_docs_to_rerank = 15
+        max_docs_to_rerank = self.max_docs_to_rerank
         docs_to_rerank = docs[:max_docs_to_rerank]
         logger.info(f"[RERANK] Will rerank {len(docs_to_rerank)} docs (limited to top {max_docs_to_rerank})")
         

app/supabase_db.py

@@ -6,6 +6,7 @@ import re
 
 from .utils import timing_decorator_sync
 from .constants import VEHICLE_KEYWORD_TO_COLUMN, VIETNAMESE_STOP_WORDS, VIETNAMESE_STOP_PHRASES
+from .config import get_settings
 
 def remove_stop_phrases(text, stop_phrases):
     for phrase in stop_phrases:
@@ -23,6 +24,8 @@ class SupabaseClient:
         Output: SupabaseClient instance.
         """
         self.client: Client = create_client(url, key)
+        settings = get_settings()
+        self.default_match_count = settings.match_count
 
     @timing_decorator_sync
     def get_page_token(self, page_id: str):
@@ -41,12 +44,15 @@ class SupabaseClient:
             return None
 
     @timing_decorator_sync
-    def match_documents(self, embedding: List[float], match_count: int = 20, vehicle_keywords: Optional[List[str]] = None, user_question: str = '', min_rank_threshold: float = 0.001, rrf_k: int = 60):
+    def match_documents(self, embedding: List[float], match_count: Optional[int] = None, vehicle_keywords: Optional[List[str]] = None, user_question: str = '', min_rank_threshold: float = 0.001, rrf_k: int = 60):
         """
         Truy vấn vector similarity search qua RPC match_documents.
         Input: embedding (list[float]), match_count (int), vehicle_keywords (list[str] hoặc None)
         Output: list[dict] kết quả truy vấn.
         """
+        # Sử dụng match_count từ config nếu không được truyền vào
+        if match_count is None:
+            match_count = self.default_match_count
 
         # Chuẩn bị chuỗi truy vấn trong Python
         # Tách từ và nối bằng '|'
@@ -55,9 +61,7 @@ class SupabaseClient:
         Xử lý câu hỏi thô: tách từ, loại bỏ stop words,
         và trả về chuỗi text sạch để truyền vào RPC.
         """
-        # Tách câu hỏi thành các từ (chuyển về chữ thường)
-        words = user_question.lower().split()
-
+        
         # Lọc bỏ các từ có trong danh sách stop words và nối thành chuỗi với dấu cách
         # 1. Loại bỏ stop phrase (từ ghép)
         cleaned_text = remove_stop_phrases(user_question.lower(), VIETNAMESE_STOP_PHRASES)