fix bug

Dockerfile

@@ -1,15 +1,16 @@
-# Sử dụng bookworm thay vì bullseye vì có SQLite3 phiên bản mới hơn
 FROM python:3.9-slim-bookworm
 
-# Thiết lập working directory
 WORKDIR /app
 
-# Thiết lập environment variables
+# Thiết lập environment variables cho cache
 ENV PYTHONPATH=/app
 ENV ENVIRONMENT=production
 ENV PYTHONUNBUFFERED=1
+ENV HF_HOME=/app/.cache/huggingface
+ENV TRANSFORMERS_CACHE=/app/.cache/transformers
+ENV SENTENCE_TRANSFORMERS_HOME=/app/.cache/sentence-transformers
 
-# Cài đặt system dependencies cần thiết cho ChromaDB
+# Cài đặt system dependencies
 RUN apt-get update && apt-get install -y \
     build-essential \
     gcc \
@@ -19,23 +20,15 @@ RUN apt-get update && apt-get install -y \
     libsqlite3-dev \
     && rm -rf /var/lib/apt/lists/*
 
-# Copy requirements và cài đặt Python dependencies
-COPY requirements.txt .
-
-# Cài đặt pysqlite3-binary trước để override SQLite3 nếu cần
-RUN pip install --no-cache-dir pysqlite3-binary
+# Tạo cache directories với permissions đúng
+RUN mkdir -p /app/.cache/huggingface /app/.cache/transformers /app/.cache/sentence-transformers && \
+    chmod -R 777 /app/.cache
 
-# Cài đặt các dependencies khác
+COPY requirements.txt .
 RUN pip install --no-cache-dir -r requirements.txt
 
-# Copy source code
 COPY . .
-
-# Tạo thư mục cần thiết
 RUN mkdir -p logs uploads chroma_data
 
-# Expose port
 EXPOSE 7860
-
-# Chạy ứng dụng
 CMD ["python", "app.py"]

core/embedding_model.py

@@ -28,9 +28,17 @@ class EmbeddingModel:
         """Khởi tạo embedding model và ChromaDB client"""
         logger.info(f"Đang khởi tạo embedding model: {EMBEDDING_MODEL}")
         
-        # Khởi tạo sentence transformer
-        self.model = SentenceTransformer(EMBEDDING_MODEL)
-        logger.info("Đã tải sentence transformer model")
+        try:
+            # Khởi tạo sentence transformer với trust_remote_code=True
+            self.model = SentenceTransformer(EMBEDDING_MODEL, trust_remote_code=True)
+            logger.info("Đã tải sentence transformer model")
+        except Exception as e:
+            logger.error(f"Lỗi khởi tạo model: {e}")
+            # Thử với cache_folder explicit
+            import os
+            cache_dir = os.getenv('SENTENCE_TRANSFORMERS_HOME', '/app/.cache/sentence-transformers')
+            self.model = SentenceTransformer(EMBEDDING_MODEL, cache_folder=cache_dir, trust_remote_code=True)
+            logger.info("Đã tải sentence transformer model với cache folder explicit")
         
         # Khởi tạo ChromaDB client với persistent storage
         self.chroma_client = chromadb.PersistentClient(
@@ -51,12 +59,27 @@ class EmbeddingModel:
             self.collection = self.chroma_client.create_collection(name=COLLECTION_NAME)
             logger.info(f"Đã tạo collection mới: {COLLECTION_NAME}")
     
-    def encode(self, texts):
+    def _add_prefix_to_text(self, text, is_query=True):
+        """
+        Thêm prefix cho text theo yêu cầu của multilingual-e5-base
+        """
+        # Kiểm tra xem text đã có prefix chưa
+        if text.startswith(('query:', 'passage:')):
+            return text
+        
+        # Thêm prefix phù hợp
+        if is_query:
+            return f"query: {text}"
+        else:
+            return f"passage: {text}"
+    
+    def encode(self, texts, is_query=True):
         """
         Encode văn bản thành embeddings
         
         Args:
             texts (str or list): Văn bản hoặc danh sách văn bản cần encode
+            is_query (bool): True nếu là query, False nếu là passage
             
         Returns:
             list: Embeddings vector
@@ -65,8 +88,11 @@ class EmbeddingModel:
             if isinstance(texts, str):
                 texts = [texts]
             
-            logger.debug(f"Đang encode {len(texts)} văn bản")
-            embeddings = self.model.encode(texts, show_progress_bar=False)
+            # Thêm prefix cho texts
+            processed_texts = [self._add_prefix_to_text(text, is_query) for text in texts]
+            
+            logger.debug(f"Đang encode {len(processed_texts)} văn bản")
+            embeddings = self.model.encode(processed_texts, show_progress_bar=False, normalize_embeddings=True)
             
             return embeddings.tolist()
             
@@ -89,8 +115,8 @@ class EmbeddingModel:
         try:
             logger.debug(f"Dang tim kiem cho query: {query[:50]}...")
             
-            # Encode query thành embedding
-            query_embedding = self.encode(query)[0]
+            # Encode query thành embedding (với prefix query:)
+            query_embedding = self.encode(query, is_query=True)[0]
             
             # Tạo where clause cho age filter
             where_clause = None
@@ -163,8 +189,8 @@ class EmbeddingModel:
             
             logger.info(f"Đang thêm {len(documents)} documents vào ChromaDB")
             
-            # Encode documents thành embeddings
-            embeddings = self.encode(documents)
+            # Encode documents thành embeddings (với prefix passage:)
+            embeddings = self.encode(documents, is_query=False)
             
             # Thêm vào collection
             self.collection.add(
@@ -181,22 +207,10 @@ class EmbeddingModel:
             logger.error(f"Lỗi thêm documents: {e}")
             return False
     
+    # Các phương thức khác giữ nguyên...
     def index_chunks(self, chunks):
         """
         Index các chunks dữ liệu vào ChromaDB
-        
-        Args:
-            chunks (list): Danh sách chunks với format:
-                [
-                    {
-                        "content": "nội dung văn bản",
-                        "metadata": {"chapter": "bai1", "age_group": "1-3", ...},
-                        "id": "unique_id" (optional)
-                    }
-                ]
-        
-        Returns:
-            bool: True nếu thành công
         """
         try:
             if not chunks:
@@ -251,12 +265,7 @@ class EmbeddingModel:
             return False
     
     def count(self):
-        """
-        Đếm số lượng documents trong collection
-        
-        Returns:
-            int: Số lượng documents
-        """
+        """Đếm số lượng documents trong collection"""
         try:
             return self.collection.count()
         except Exception as e:
@@ -264,12 +273,7 @@ class EmbeddingModel:
             return 0
     
     def delete_collection(self):
-        """
-        Xóa collection hiện tại
-        
-        Returns:
-            bool: True nếu thành công
-        """
+        """Xóa collection hiện tại"""
         try:
             logger.warning(f"Đang xóa collection: {COLLECTION_NAME}")
             self.chroma_client.delete_collection(name=COLLECTION_NAME)
@@ -285,12 +289,7 @@ class EmbeddingModel:
             return False
     
     def get_stats(self):
-        """
-        Lấy thống kê về collection
-        
-        Returns:
-            dict: Thông tin thống kê
-        """
+        """Lấy thống kê về collection"""
         try:
             total_count = self.count()