deps: sqlite-vec + sentence-transformers 추가 (dense retrieval + reranker)
Browse files백엔드 ZeroGPU 컨테이너에 sqlite_vec / sentence_transformers 미설치로
dense retrieval 과 reranker 가 silent fail. BM25 만 남아 분야별 안내서
학원 편 청크가 매칭 안 되고 약국 편이 잘못 잡히는 증상.
sqlite-vec 으로 embeddings.sqlite 의 chunk_vectors 로드, sentence-transformers
로 BAAI/bge-m3 임베더 + cross-encoder 리랭커 활성화.
- requirements.txt +6 -0
requirements.txt
CHANGED
|
@@ -29,6 +29,12 @@ torch>=2.4
|
|
| 29 |
accelerate>=0.34
|
| 30 |
spaces>=0.30
|
| 31 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
# ── 패키지 자체 ──
|
| 33 |
# HF Spaces 는 requirements.txt 처리 시점에 app 파일이 아직 /home/user/app 에
|
| 34 |
# mount 되어 있지 않아 `-e .` 가 동작하지 않는다. 대신 app.py 에서
|
|
|
|
| 29 |
accelerate>=0.34
|
| 30 |
spaces>=0.30
|
| 31 |
|
| 32 |
+
# ── RAG retrieval — dense + reranker ──
|
| 33 |
+
# 누락 시 _safe_dense_search 가 silent fail 로 BM25 만 동작 → 분야별 안내서
|
| 34 |
+
# 매칭이 토큰 빈도 편향(예: 약국 편 짧은 FAQ 가 학원 편 대신 잡힘) 발생.
|
| 35 |
+
sqlite-vec>=0.1 # data/embeddings.sqlite 의 chunk_vectors (vec0) 가상테이블 로드
|
| 36 |
+
sentence-transformers>=3.0 # BAAI/bge-m3 임베더 + cross-encoder 리랭커
|
| 37 |
+
|
| 38 |
# ── 패키지 자체 ──
|
| 39 |
# HF Spaces 는 requirements.txt 처리 시점에 app 파일이 아직 /home/user/app 에
|
| 40 |
# mount 되어 있지 않아 `-e .` 가 동작하지 않는다. 대신 app.py 에서
|