Update app.py

app.py

@@ -1,35 +1,48 @@
-# ✅ app.py - 向量式 RAG 主程式（整合 QA.json + FAISS 向量資料庫 + Qwen 生成）
+# ✅ app.py - 自動建構向量庫版本（向量式 RAG）
 
 import json
+import os
 import gradio as gr
 import faiss
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
 from sentence_transformers import SentenceTransformer
 
-# ✅ 檔案與模型設定
+# ✅ 路徑與模型設定
 QA_FILE = "qa.json"
+TEXT_FILE = "web_data.txt"
 DOCS_FILE = "docs.json"
 VECTOR_FILE = "faiss_index.faiss"
 EMBED_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
 GEN_MODEL = "Qwen/Qwen1.5-0.5B-Chat"
 
-# ✅ 載入 QA 資料
+# ✅ 自動建構向量資料庫（若不存在）
+if not (os.path.exists(VECTOR_FILE) and os.path.exists(DOCS_FILE)):
+    print("⚙️ 未偵測到向量資料庫，開始自動建構...")
+    with open(TEXT_FILE, "r", encoding="utf-8") as f:
+        content = f.read()
+    docs = [chunk.strip() for chunk in content.split("\n\n") if chunk.strip()]
+    embedder = SentenceTransformer(EMBED_MODEL)
+    embeddings = embedder.encode(docs, show_progress_bar=True)
+    index = faiss.IndexFlatL2(embeddings[0].shape[0])
+    index.add(embeddings)
+    faiss.write_index(index, VECTOR_FILE)
+    with open(DOCS_FILE, "w", encoding="utf-8") as f:
+        json.dump(docs, f, ensure_ascii=False, indent=2)
+    print("✅ 嵌入建構完成，共儲存段落：", len(docs))
+
+# ✅ 載入資料與模型
 with open(QA_FILE, "r", encoding="utf-8") as f:
     qa_data = json.load(f)
-
-# ✅ 載入文件對應段落
 with open(DOCS_FILE, "r", encoding="utf-8") as f:
     docs = json.load(f)
-
-# ✅ 載入向量庫與模型
 index = faiss.read_index(VECTOR_FILE)
 embedder = SentenceTransformer(EMBED_MODEL)
 tokenizer = AutoTokenizer.from_pretrained(GEN_MODEL, trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained(GEN_MODEL, trust_remote_code=True).to("cuda" if torch.cuda.is_available() else "cpu")
 model.eval()
 
-# ✅ QA 關鍵字比對
+# ✅ QA 關鍵字回應優先
 
 def retrieve_qa_context(user_input):
     for item in qa_data:
@@ -41,15 +54,14 @@ def retrieve_qa_context(user_input):
                 return item["response"]
     return None
 
-# ✅ FAISS 向量檢索（返回 top-k 最相關段落）
+# ✅ 向量搜尋段落
 
 def search_context_faiss(user_input, top_k=3):
     vec = embedder.encode([user_input])
     D, I = index.search(vec, top_k)
-    retrieved = [docs[i] for i in I[0] if i < len(docs)]
-    return "\n".join(retrieved)
+    return "\n".join([docs[i] for i in I[0] if i < len(docs)])
 
-# ✅ 用 Qwen 生成自然語言回答
+# ✅ LLM 生成繁體中文回答
 
 def generate_answer(user_input, context):
     prompt = f"""
@@ -71,7 +83,7 @@ def generate_answer(user_input, context):
             return line.strip()
     return response[-90:]
 
-# ✅ 整合邏輯
+# ✅ 主問答流程
 
 def answer(user_input):
     direct = retrieve_qa_context(user_input)
@@ -81,13 +93,13 @@ def answer(user_input):
         context = search_context_faiss(user_input)
         return generate_answer(user_input, context)
 
-# ✅ Gradio UI
+# ✅ 啟動 Gradio 介面
 interface = gr.Interface(
     fn=answer,
     inputs=gr.Textbox(lines=2, placeholder="請輸入與南臺科技大學相關的問題..."),
     outputs="text",
-    title="南臺科技大學 問答機器人（向量式 RAG）",
-    description="結合 QA 關鍵字與語意向量檢索，提供自然繁體回答。",
+    title="南臺科技大學 問答機器人（向量式 RAG 自動建構）",
+    description="首次啟動會自動建立向量資料庫，支援 QA 關鍵字與語意檢索，繁體中文回答。",
     theme="default"
 )