Update redis

app/config/settings.py

@@ -27,3 +27,6 @@ HTTPX_TIMEOUT = float(os.getenv("HTTPX_TIMEOUT", "10.0"))
 
 # Redis URL
 REDIS_URL = os.getenv("REDIS_URL", "redis://localhost:6379/0")
+REDIS_HOST = os.getenv("REDIS_HOST", "localhost")
+REDIS_PORT = int(os.getenv("REDIS_PORT", "6379"))
+REDIS_DB = int(os.getenv("REDIS_DB", "0"))

app/infra/redis_client.py

@@ -1,8 +1,22 @@
+# import os
+# import redis
+# from app.config.settings import REDIS_URL
+
+# redis_client = redis.Redis.from_url(
+#     REDIS_URL,
+#     decode_responses=True
+# )
+
 import os
 import redis
-from app.config.settings import REDIS_URL
+from app.config.settings import REDIS_HOST, REDIS_PORT, REDIS_DB, REDIS_URL
+
 
-redis_client = redis.Redis.from_url(
-    REDIS_URL,
-    decode_responses=True
-)
+if REDIS_URL:
+    redis_client = redis.from_url(REDIS_URL)
+else:
+    redis_client = redis.Redis(
+        host=REDIS_HOST,
+        port=REDIS_PORT,
+        db=REDIS_DB,
+    )

app/services/nlp_postprocess.py

@@ -5,6 +5,74 @@ import google.generativeai as genai
 import asyncio
 import json
 
+# CACHE_TTL = 60 * 60 * 24 * 3  # 3 days
+
+# if GEMINI_API_KEY:
+#     genai.configure(api_key=GEMINI_API_KEY)
+#     _model = genai.GenerativeModel("gemini-pro")
+# else:
+#     _model = None
+
+
+# async def normalize_and_extract(raw_text: str) -> dict:
+#     """
+#     return {
+#       "normalized_text": "...",
+#       "keywords": [...]
+#     }
+#     """
+#     cache_key = f"nlp:{sha256(raw_text)}"
+#     cached = redis_client.get(cache_key)
+#     if cached:
+#         return json.loads(cached)
+
+#     prompt = f"""
+# Bạn là một hệ thống Xử lý Hậu kỳ NLP (NLP Post-Processing) Tiếng Việt.
+
+# Đầu vào là văn bản thô (raw transcript), có thể thiếu dấu câu và sai chính tả do nhận dạng giọng nói (ví dụ: 'ăn chứa' -> 'ăn chưa').
+
+# Nhiệm vụ (Trả về JSON duy nhất):
+# 1. [ASR Correction & Punctuation]: Sửa lỗi chính tả ASR, thêm dấu câu, viết hoa chuẩn xác.
+
+# Văn bản đầu vào: \"\"\"{raw_text}\"\"\"
+
+# Cấu trúc JSON bắt buộc:
+# {{
+#     "normalizedText": "Văn bản đã sửa hoàn chỉnh...",
+#     "keywords": ["Từ khóa 1", "Từ khóa 2", "..."]
+# }}
+# """
+
+#     result = {
+#         "normalized_text": raw_text,
+#         "keywords": []
+#     }
+
+#     if _model:
+#         loop = asyncio.get_event_loop()
+
+#         def call():
+#             r = _model.generate_content(prompt)
+#             return r.text
+
+#         text = await loop.run_in_executor(None, call)
+
+#         # clean JSON
+#         start = text.find("{")
+#         end = text.rfind("}")
+#         if start != -1 and end != -1:
+#             data = json.loads(text[start:end+1])
+#             result = {
+#                 "normalized_text": data.get("normalizedText", raw_text),
+#                 "keywords": data.get("keywords", [])
+#             }
+
+#     redis_client.setex(cache_key, CACHE_TTL, json.dumps(result))
+#     return result
+
+import logging
+import redis  # để bắt lỗi ConnectionError nếu cần
+
 CACHE_TTL = 60 * 60 * 24 * 3  # 3 days
 
 if GEMINI_API_KEY:
@@ -13,7 +81,6 @@ if GEMINI_API_KEY:
 else:
     _model = None
 
-
 async def normalize_and_extract(raw_text: str) -> dict:
     """
     return {
@@ -22,9 +89,15 @@ async def normalize_and_extract(raw_text: str) -> dict:
     }
     """
     cache_key = f"nlp:{sha256(raw_text)}"
-    cached = redis_client.get(cache_key)
-    if cached:
-        return json.loads(cached)
+
+    # 1) Thử đọc cache từ Redis, nhưng không để lỗi Redis làm vỡ pipeline
+    try:
+        cached = redis_client.get(cache_key)
+        if cached:
+            return json.loads(cached)
+    except Exception as e:
+        logging.warning(f"Redis GET failed in normalize_and_extract, skip cache: {e}")
+
 
     prompt = f"""
 Bạn là một hệ thống Xử lý Hậu kỳ NLP (NLP Post-Processing) Tiếng Việt.
@@ -43,11 +116,13 @@ Cấu trúc JSON bắt buộc:
 }}
 """
 
+    # 2) Giá trị mặc định nếu không có model
     result = {
         "normalized_text": raw_text,
         "keywords": []
     }
 
+    # 3) Gọi Gemini nếu có cấu hình
     if _model:
         loop = asyncio.get_event_loop()
 
@@ -61,11 +136,19 @@ Cấu trúc JSON bắt buộc:
         start = text.find("{")
         end = text.rfind("}")
         if start != -1 and end != -1:
-            data = json.loads(text[start:end+1])
-            result = {
-                "normalized_text": data.get("normalizedText", raw_text),
-                "keywords": data.get("keywords", [])
-            }
+            try:
+                data = json.loads(text[start:end + 1])
+                result = {
+                    "normalized_text": data.get("normalizedText", raw_text),
+                    "keywords": data.get("keywords", []),
+                }
+            except Exception as e:
+                logging.warning(f"Failed to parse Gemini JSON, fallback to raw_text: {e}")
+
+    # 4) Thử ghi cache lại, cũng không để lỗi Redis làm vỡ pipeline
+    try:
+        redis_client.setex(cache_key, CACHE_TTL, json.dumps(result))
+    except Exception as e:
+        logging.warning(f"Redis SETEX failed in normalize_and_extract, skip cache: {e}")
 
-    redis_client.setex(cache_key, CACHE_TTL, json.dumps(result))
     return result