Cập nhật app.py và các file chatbot

Dockerfile

@@ -0,0 +1,14 @@
+FROM python:3.9
+
+WORKDIR /app
+
+COPY requirements.txt .
+
+# Thêm dòng này để cài đặt các gói từ packages.txt
+RUN apt-get update && apt-get install -y $(cat packages.txt)
+
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY . .
+
+CMD ["python", "app.py"]

app.py

@@ -0,0 +1,177 @@
+# app.py
+# app.py (đoạn quan trọng: set cache + login + download)
+# --- MUST BE AT THE TOP OF app.py, BEFORE ANY HF / TRANSFORMERS / SENTENCE_TRANSFORMERS IMPORT ---
+import os
+import shutil
+
+# Put all HF/transformer caches into /tmp (writable in HF Space)
+os.environ["HF_HOME"] = "/tmp/hf_home"
+os.environ["TRANSFORMERS_CACHE"] = "/tmp/hf_cache"       # deprecated warning is OK
+os.environ["HF_DATASETS_CACHE"] = "/tmp/hf_datasets"
+# Ensure libraries that respect XDG or HOME will write to /tmp instead of root '/.cache'
+os.environ["XDG_CACHE_HOME"] = "/tmp/.cache"
+os.environ["HOME"] = "/tmp"
+
+# ensure directories exist and remove any old root-level cache attempt (ignore errors)
+os.makedirs("/tmp/.cache", exist_ok=True)
+shutil.rmtree("/.cache", ignore_errors=True)
+
+
+# Bây giờ import cái cần thiết từ huggingface_hub để login trước khi download
+from huggingface_hub import login, hf_hub_download
+
+# LẤY TOKEN TỪ ENV (tên token phải khớp với key bạn thêm vào Secrets)
+HF_TOKEN = os.environ.get("HF_TOKEN") or os.environ.get("HUGGINGFACE_TOKEN") or os.environ.get("HUGGINGFACE_HUB_TOKEN")
+if HF_TOKEN:
+    login(HF_TOKEN)   # đăng nhập để có thể truy cập repo private
+else:
+    # Không có token → chỉ truy cập repo public được
+    print("Warning: HF token not found in env (HF_TOKEN). Only public repos will be accessible.")
+
+# --- Chọn repo dữ liệu chính xác và repo_type ---
+# Nếu bạn lưu dữ liệu trong dataset repo, dùng repo_type="dataset"
+HF_REPO_ID = "HungBB/egov-bot-data"   # <--- kiểm tra & sửa lại theo repo của bạn
+REPO_TYPE = "dataset"                 # hoặc "space" / "model" nếu data nằm ở đó
+
+# Bây giờ import các thư viện khác (sau khi đã login / set cache)
+import pickle
+import gzip
+import json
+import re
+import numpy as np
+import faiss
+from sentence_transformers import SentenceTransformer
+from rank_bm25 import BM25Okapi
+import google.generativeai as genai
+from flask import Flask, request, jsonify
+from flask_cors import CORS
+
+print("--- KHỞI ĐỘNG MÁY CHỦ CHATBOT ---")
+
+# --- TẢI FILES TỪ HUGGING FACE HUB ---
+try:
+    print("Đang tải các tài nguyên cần thiết từ Hugging Face Hub...")
+
+    RAW_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="toan_bo_du_lieu_final.json", repo_type=REPO_TYPE)
+    FAISS_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="index.faiss", repo_type=REPO_TYPE)
+    METAS_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="metas.pkl.gz", repo_type=REPO_TYPE)
+    BM25_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="bm25.pkl.gz", repo_type=REPO_TYPE)
+    IDMAP_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="id_to_record.pkl", repo_type=REPO_TYPE)  # ✅ thêm dòng này
+
+    print("✅ Tải file dữ liệu thành công!")
+
+    # Google API key (từ Secrets)
+    API_KEY = os.environ.get("GOOGLE_API_KEY")
+    if not API_KEY:
+        raise ValueError("Lỗi: GOOGLE_API_KEY chưa được thiết lập trong phần Secrets của Hugging Face Space.")
+    genai.configure(api_key=API_KEY)
+
+    generation_model = genai.GenerativeModel('gemini-2.5-flash')
+    embedding_model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
+
+    faiss_index = faiss.read_index(FAISS_PATH)
+    with gzip.open(METAS_PATH, "rb") as f:
+        metadatas = pickle.load(f)
+    with gzip.open(BM25_PATH, "rb") as f:
+        bm25 = pickle.load(f)
+
+    # ✅ Load trực tiếp map ID từ file pkl (nhanh hơn nhiều so với đọc JSON)
+    with open(IDMAP_PATH, "rb") as f:
+        procedure_map = pickle.load(f)
+
+    print(f"✅ Tải tài nguyên thành công! Sẵn có {faiss_index.ntotal} chunks kiến thức.")
+    print(f"✅ Có {len(procedure_map)} thủ tục hành chính trong id_to_record.pkl")
+
+except Exception as e:
+    print(f"❌ LỖI KHI TẢI TÀI NGUYÊN: {e}")
+    # tùy chọn: raise e  # nếu muốn Space hiển thị lỗi build rõ hơn
+
+# --- 2. CÁC HÀM XỬ LÝ CỦA BỘ NÃO (LOGIC TỪ COLAB CỦA BẠN) ---
+def classify_followup(text: str):
+    text = text.lower().strip()
+    score = 0
+    strong_followup_keywords = [r"\b(nó|cái (này|đó|ấy)|thủ tục (này|đó|ấy))\b", r"\b(vừa (nói|hỏi)|trước đó|ở trên|phía trên)\b", r"\b(tiếp theo|tiếp|còn nữa|ngoài ra)\b", r"\b(thế (thì|à)|vậy (thì|à)|như vậy)\b"]
+    detail_questions = [r"\b(mất bao lâu|thời gian|bao nhiêu tiền|chi phí|phí)\b", r"\b(ở đâu|tại đâu|chỗ nào|địa chỉ)\b", r"\b(cần (gì|những gì)|yêu cầu|điều kiện)\b"]
+    specific_services = [r"\b(làm|cấp|gia hạn|đổi|đăng ký)\s+(căn cước|cmnd|cccd)\b", r"\b(làm|cấp|gia hạn|đổi)\s+hộ chiếu\b", r"\b(đăng ký)\s+(kết hôn|sinh|tử|hộ khẩu)\b"]
+    if any(re.search(p, text) for p in strong_followup_keywords): score -= 3
+    if any(re.search(p, text) for p in detail_questions): score -= 2
+    if any(re.search(p, text) for p in specific_services): score += 3
+    if len(text.split()) <= 4: score -=1
+    return 0 if score < 0 else 1
+
+def minmax_scale(arr):
+    arr = np.array(arr, dtype="float32")
+    if len(arr) == 0 or np.max(arr) == np.min(arr): return np.zeros_like(arr)
+    return (arr - np.min(arr)) / (np.max(arr) - np.min(arr))
+
+def retrieve(query: str, top_k=3):
+    qv = embedding_model.encode([query], normalize_embeddings=True).astype("float32")
+    D, I = faiss_index.search(qv, top_k * 5)
+    vec_scores = (1 - D[0]).tolist()
+    vec_idx = I[0].tolist()
+    tokenized_query = query.split()
+    bm25_scores_all = bm25.get_scores(tokenized_query)
+    bm25_top_idx = np.argsort(-bm25_scores_all)[:top_k * 5].tolist()
+    union_idx = list(dict.fromkeys(vec_idx + bm25_top_idx))
+    vec_map = {i: s for i, s in zip(vec_idx, vec_scores)}
+    vec_list = [vec_map.get(i, 0.0) for i in union_idx]
+    bm25_list = [bm25_scores_all[i] for i in union_idx]
+    vec_scaled = minmax_scale(vec_list)
+    bm25_scaled = minmax_scale(bm25_list)
+    fused = 0.7 * vec_scaled + 0.3 * bm25_scaled
+    order = np.argsort(-fused)
+    return [union_idx[i] for i in order[:top_k]]
+
+def get_full_procedure_text(parent_id):
+    procedure = procedure_map.get(parent_id)
+    if not procedure: return "Không tìm thấy thủ tục."
+    parts = []
+    field_map = {"ten_thu_tuc": "Tên thủ tục", "cach_thuc_thuc_hien": "Cách thức thực hiện", "thanh_phan_ho_so": "Thành phần hồ sơ", "trinh_tu_thuc_hien": "Trình tự thực hiện", "co_quan_thuc_hien": "Cơ quan thực hiện", "yeu_cau_dieu_kien": "Yêu cầu, điều kiện", "thu_tuc_lien_quan": "Thủ tục liên quan", "nguon": "Nguồn"}
+    for k, v in procedure.items():
+        if v and k in field_map:
+            parts.append(f"{field_map[k]}:\n{str(v).strip()}")
+    return "\n\n".join(parts)
+
+# --- 3. KHỞI TẠO MÁY CHỦ FLASK VÀ API ---
+app = Flask(__name__)
+CORS(app)
+chat_histories = {} 
+
+@app.route('/chat', methods=['POST'])
+def chat():
+    data = request.json
+    user_query = data.get('question')
+    session_id = data.get('session_id', 'default')
+    if not user_query:
+        return jsonify({"error": "Không có câu hỏi nào được cung cấp"}), 400
+    if session_id not in chat_histories:
+        chat_histories[session_id] = []
+    current_history = chat_histories[session_id]
+    context = ""
+    if classify_followup(user_query) == 0 and current_history:
+        context = current_history[-1].get('context', '')
+        print(f"[{session_id}] Dùng lại ngữ cảnh cũ.")
+    else:
+        retrieved_indices = retrieve(user_query)
+        if retrieved_indices:
+            parent_id = metadatas[retrieved_indices[0]]["parent_id"]
+            context = get_full_procedure_text(parent_id)
+        print(f"[{session_id}] Đã tìm được ngữ cảnh mới.")
+    history_str = "\n".join([f"{item['role']}: {item['content']}" for item in current_history])
+    prompt = f"""Bạn là trợ lý eGov-Bot dịch vụ công Việt Nam. Trả lời tiếng Việt, chính xác, dựa hoàn toàn vào DỮ LIỆU được cung cấp.
+    Nếu thiếu dữ liệu, hãy nói "Mình chưa có thông tin" và đưa link nguồn trong dữ liệu để người dùng tham khảo thêm.
+    
+    Lịch sử trò chuyện:
+    {history_str}
+    
+    DỮ LIỆU: --- {context} ---
+    CÂU HỎI: {user_query}"""
+    response = generation_model.generate_content(prompt)
+    final_answer = response.text
+    current_history.append({'role': 'user', 'content': user_query})
+    current_history.append({'role': 'model', 'content': final_answer, 'context': context})
+    return jsonify({"answer": final_answer})
+
+if __name__ == '__main__':
+    app.run(host='0.0.0.0', port=7860)
+

packages.txt

@@ -0,0 +1 @@
+swig

requirements.txt

@@ -0,0 +1,11 @@
+Flask
+flask-cors
+numpy==1.26.4
+sentence-transformers==2.6.1
+transformers>=4.30.0
+torch>=2.0.0
+faiss-cpu==1.7.4
+rank_bm25==0.2.2
+google-generativeai
+huggingface-hub
+sentencepiece