Spaces:
Sleeping
Sleeping
HaRin2806
commited on
Commit
·
289c45a
1
Parent(s):
ca362fb
fix bug
Browse files- Dockerfile +4 -1
- config.py +2 -2
- core/embedding_model.py +31 -9
Dockerfile
CHANGED
|
@@ -28,7 +28,10 @@ COPY requirements.txt .
|
|
| 28 |
RUN pip install --no-cache-dir -r requirements.txt
|
| 29 |
|
| 30 |
COPY . .
|
| 31 |
-
|
|
|
|
|
|
|
|
|
|
| 32 |
|
| 33 |
EXPOSE 7860
|
| 34 |
CMD ["python", "app.py"]
|
|
|
|
| 28 |
RUN pip install --no-cache-dir -r requirements.txt
|
| 29 |
|
| 30 |
COPY . .
|
| 31 |
+
|
| 32 |
+
# Tạo thư mục với permissions đúng cho ChromaDB và logs
|
| 33 |
+
RUN mkdir -p logs uploads chroma_data chroma_db && \
|
| 34 |
+
chmod -R 777 logs uploads chroma_data chroma_db
|
| 35 |
|
| 36 |
EXPOSE 7860
|
| 37 |
CMD ["python", "app.py"]
|
config.py
CHANGED
|
@@ -9,8 +9,8 @@ GEMINI_API_KEY = os.getenv("GEMINI_API_KEY", "YOUR_API_KEY_HERE")
|
|
| 9 |
# Embedding model
|
| 10 |
EMBEDDING_MODEL = "intfloat/multilingual-e5-base"
|
| 11 |
|
| 12 |
-
# ChromaDB settings
|
| 13 |
-
CHROMA_PERSIST_DIRECTORY = "chroma_db"
|
| 14 |
COLLECTION_NAME = "nutrition_data"
|
| 15 |
|
| 16 |
# RAG settings
|
|
|
|
| 9 |
# Embedding model
|
| 10 |
EMBEDDING_MODEL = "intfloat/multilingual-e5-base"
|
| 11 |
|
| 12 |
+
# ChromaDB settings - sử dụng absolute path
|
| 13 |
+
CHROMA_PERSIST_DIRECTORY = os.path.join(os.getcwd(), "chroma_db")
|
| 14 |
COLLECTION_NAME = "nutrition_data"
|
| 15 |
|
| 16 |
# RAG settings
|
core/embedding_model.py
CHANGED
|
@@ -3,6 +3,7 @@ from sentence_transformers import SentenceTransformer
|
|
| 3 |
import chromadb
|
| 4 |
from chromadb.config import Settings
|
| 5 |
import uuid
|
|
|
|
| 6 |
from config import EMBEDDING_MODEL, CHROMA_PERSIST_DIRECTORY, COLLECTION_NAME
|
| 7 |
|
| 8 |
# Cấu hình logging
|
|
@@ -35,20 +36,42 @@ class EmbeddingModel:
|
|
| 35 |
except Exception as e:
|
| 36 |
logger.error(f"Lỗi khởi tạo model: {e}")
|
| 37 |
# Thử với cache_folder explicit
|
| 38 |
-
import os
|
| 39 |
cache_dir = os.getenv('SENTENCE_TRANSFORMERS_HOME', '/app/.cache/sentence-transformers')
|
| 40 |
self.model = SentenceTransformer(EMBEDDING_MODEL, cache_folder=cache_dir, trust_remote_code=True)
|
| 41 |
logger.info("Đã tải sentence transformer model với cache folder explicit")
|
| 42 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 43 |
# Khởi tạo ChromaDB client với persistent storage
|
| 44 |
-
|
| 45 |
-
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
|
|
|
|
|
|
| 49 |
)
|
| 50 |
-
|
| 51 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
|
| 53 |
# Lấy hoặc tạo collection
|
| 54 |
try:
|
|
@@ -207,7 +230,6 @@ class EmbeddingModel:
|
|
| 207 |
logger.error(f"Lỗi thêm documents: {e}")
|
| 208 |
return False
|
| 209 |
|
| 210 |
-
# Các phương thức khác giữ nguyên...
|
| 211 |
def index_chunks(self, chunks):
|
| 212 |
"""
|
| 213 |
Index các chunks dữ liệu vào ChromaDB
|
|
|
|
| 3 |
import chromadb
|
| 4 |
from chromadb.config import Settings
|
| 5 |
import uuid
|
| 6 |
+
import os
|
| 7 |
from config import EMBEDDING_MODEL, CHROMA_PERSIST_DIRECTORY, COLLECTION_NAME
|
| 8 |
|
| 9 |
# Cấu hình logging
|
|
|
|
| 36 |
except Exception as e:
|
| 37 |
logger.error(f"Lỗi khởi tạo model: {e}")
|
| 38 |
# Thử với cache_folder explicit
|
|
|
|
| 39 |
cache_dir = os.getenv('SENTENCE_TRANSFORMERS_HOME', '/app/.cache/sentence-transformers')
|
| 40 |
self.model = SentenceTransformer(EMBEDDING_MODEL, cache_folder=cache_dir, trust_remote_code=True)
|
| 41 |
logger.info("Đã tải sentence transformer model với cache folder explicit")
|
| 42 |
|
| 43 |
+
# Đảm bảo thư mục ChromaDB tồn tại và có quyền ghi
|
| 44 |
+
try:
|
| 45 |
+
os.makedirs(CHROMA_PERSIST_DIRECTORY, exist_ok=True)
|
| 46 |
+
# Test ghi file để kiểm tra permission
|
| 47 |
+
test_file = os.path.join(CHROMA_PERSIST_DIRECTORY, 'test_permission.tmp')
|
| 48 |
+
with open(test_file, 'w') as f:
|
| 49 |
+
f.write('test')
|
| 50 |
+
os.remove(test_file)
|
| 51 |
+
logger.info(f"Thư mục ChromaDB đã sẵn sàng: {CHROMA_PERSIST_DIRECTORY}")
|
| 52 |
+
except Exception as e:
|
| 53 |
+
logger.error(f"Lỗi tạo/kiểm tra thư mục ChromaDB: {e}")
|
| 54 |
+
# Fallback to /tmp directory
|
| 55 |
+
import tempfile
|
| 56 |
+
CHROMA_PERSIST_DIRECTORY = os.path.join(tempfile.gettempdir(), 'chroma_db')
|
| 57 |
+
os.makedirs(CHROMA_PERSIST_DIRECTORY, exist_ok=True)
|
| 58 |
+
logger.warning(f"Sử dụng thư mục tạm thời: {CHROMA_PERSIST_DIRECTORY}")
|
| 59 |
+
|
| 60 |
# Khởi tạo ChromaDB client với persistent storage
|
| 61 |
+
try:
|
| 62 |
+
self.chroma_client = chromadb.PersistentClient(
|
| 63 |
+
path=CHROMA_PERSIST_DIRECTORY,
|
| 64 |
+
settings=Settings(
|
| 65 |
+
anonymized_telemetry=False,
|
| 66 |
+
allow_reset=True
|
| 67 |
+
)
|
| 68 |
)
|
| 69 |
+
logger.info(f"Đã kết nối ChromaDB tại: {CHROMA_PERSIST_DIRECTORY}")
|
| 70 |
+
except Exception as e:
|
| 71 |
+
logger.error(f"Lỗi kết nối ChromaDB: {e}")
|
| 72 |
+
# Fallback to in-memory client
|
| 73 |
+
logger.warning("Fallback to in-memory ChromaDB client")
|
| 74 |
+
self.chroma_client = chromadb.Client()
|
| 75 |
|
| 76 |
# Lấy hoặc tạo collection
|
| 77 |
try:
|
|
|
|
| 230 |
logger.error(f"Lỗi thêm documents: {e}")
|
| 231 |
return False
|
| 232 |
|
|
|
|
| 233 |
def index_chunks(self, chunks):
|
| 234 |
"""
|
| 235 |
Index các chunks dữ liệu vào ChromaDB
|