Update app.py

app.py

@@ -1,132 +1,111 @@
-# ✅ app.py - 升級 TinyLlama-1.1B-Chat 版本
-
-import json
-import os
 import gradio as gr
-import faiss
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
+import json
+import tempfile
+import faiss
+from gtts import gTTS
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 from sentence_transformers import SentenceTransformer
-
-# ✅ 檔案與模型設定
-QA_FILE = "qa.json"
-TEXT_FILE = "web_data.txt"
-DOCS_FILE = "docs.json"
-VECTOR_FILE = "faiss_index.faiss"
-EMBED_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
-GEN_MODEL = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
-
-# ✅ 自動建構向量資料庫（若不存在）
-if not (os.path.exists(VECTOR_FILE) and os.path.exists(DOCS_FILE)):
-    print("⚙️ 未偵測到向量資料庫，開始自動建構...")
-    with open(TEXT_FILE, "r", encoding="utf-8") as f:
-        content = f.read()
-    docs = [chunk.strip() for chunk in content.split("\n\n") if chunk.strip()]
-    embedder = SentenceTransformer(EMBED_MODEL)
-    embeddings = embedder.encode(docs, show_progress_bar=True)
-    index = faiss.IndexFlatL2(embeddings[0].shape[0])
-    index.add(embeddings)
-    faiss.write_index(index, VECTOR_FILE)
-    with open(DOCS_FILE, "w", encoding="utf-8") as f:
-        json.dump(docs, f, ensure_ascii=False, indent=2)
-    print("✅ 嵌入建構完成，共儲存段落：", len(docs))
-
-# ✅ 載入資料與模型
-with open(QA_FILE, "r", encoding="utf-8") as f:
-    qa_data = json.load(f)
-with open(DOCS_FILE, "r", encoding="utf-8") as f:
-    docs = json.load(f)
-index = faiss.read_index(VECTOR_FILE)
-embedder = SentenceTransformer(EMBED_MODEL)
-tokenizer = AutoTokenizer.from_pretrained(GEN_MODEL, trust_remote_code=True)
-model = AutoModelForCausalLM.from_pretrained(GEN_MODEL, trust_remote_code=True).to("cuda" if torch.cuda.is_available() else "cpu")
-model.eval()
-
-# ✅ QA 快速匹配
-
-def retrieve_qa_context(user_input):
+import numpy as np
+
+# 模型
+MODEL_NAME = "openbmb/MiniCPM-2B-sft-bf16"
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, trust_remote_code=True).eval()
+
+# 語音辨識 Whisper
+asr = pipeline("automatic-speech-recognition", model="openai/whisper-small", device=0 if torch.cuda.is_available() else -1)
+
+# 向量模型
+encoder = SentenceTransformer("shibing624/text2vec-base-chinese")
+index = faiss.read_index("vector_store.faiss")
+with open("documents.json", "r", encoding="utf-8") as f:
+    documents = json.load(f)
+
+# QA固定問答（可選）
+try:
+    with open("qa.json", "r", encoding="utf-8") as f:
+        qa_data = json.load(f)
+except:
+    qa_data = []
+
+# QA match（選擇性）
+def match_qa(user_input):
+    cleaned_input = user_input.replace(" ", "")
     for item in qa_data:
         if item["match"] == "OR":
-            if any(k in user_input for k in item["keywords"]):
+            if any(k.replace(" ", "") in cleaned_input for k in item["keywords"]):
                 return item["response"]
         elif item["match"] == "AND":
-            if all(k in user_input for k in item["keywords"]):
+            if all(k.replace(" ", "") in cleaned_input for k in item["keywords"]):
                 return item["response"]
     return None
 
-# ✅ 向量檢索 top-k 段落
-
-def search_context_faiss(user_input, top_k=3):
-    vec = embedder.encode([user_input])
-    D, I = index.search(vec, top_k)
-    return "\n".join([docs[i] for i in I[0] if i < len(docs)])
-
-# ✅ 使用 Few-shot Prompt 生成答案
-
-def generate_answer(user_input, context):
-    prompt = f"""
-你是一位了解南臺科技大學的智慧語音助理。請根據以下資料回答問題，僅用一至兩句話，以繁體中文表達，回答需清楚具體，不重複問題，不加入身份說明。
-
-[範例格式]
-問題：學校地址在哪裡？
-回答：南臺科技大學位於台南市永康區南台街一號。
-
-問題：學校電話是多少？
-回答：總機電話是 06-2533131，電機工程系分機為 3301。
-
-問題：電機工程系辦公室在哪？
-回答：電機工程系辦公室位於 B 棟 B101。
-
-問題：電機工程系有哪些組別？
-回答：電機系設有控制組、生醫電子系統組與電能資訊組三個方向。
-
-問題：學生社團活動如何？
-回答：南臺有超過 80 個學生社團，涵蓋學術、康樂、服務、體育與藝術領域。
+# 文字生成
+def generate_answer(text):
+    messages = [{"role": "user", "content": text}]
+    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt")
+    with torch.no_grad():
+        outputs = model.generate(input_ids, max_new_tokens=200)
+    response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
+    return response.strip()
+
+# 向量比對
+def search_vector_db(query, top_k=1):
+    q_vec = encoder.encode([query])
+    D, I = index.search(np.array(q_vec), top_k)
+    results = [documents[i] for i in I[0] if i < len(documents)]
+    return results
+
+# 回答邏輯整合
+def answer(text):
+    # 1. QA 固定資料庫
+    fixed = match_qa(text)
+    if fixed:
+        return fixed
+
+    # 2. RAG 取資料輔助
+    related_docs = search_vector_db(text)
+    context = "\n".join(related_docs)
+    prompt = f"以下是一些關於南臺科技大學的資料：\n{context}\n\n根據上面的資料，請用中文簡短回答這個問題：{text}"
+    return generate_answer(prompt)
+
+# TTS
+def text_to_speech(text):
+    tts = gTTS(text, lang='zh')
+    tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".mp3")
+    tts.save(tmp.name)
+    return tmp.name
+
+# 主流程
+def voice_assistant(audio_input=None, text_input=None):
+    if audio_input:
+        result = asr(audio_input)
+        user_text = result["text"]
+    elif text_input:
+        user_text = text_input
+    else:
+        return "請輸入語音或文字", None
 
-問題：圖書館提供哪些服務？
-回答：圖書館提供借書、自修空間、期刊查詢與電子資源服務。
+    response = answer(user_text)
+    speech_file = text_to_speech(response)
+    return response, speech_file
 
-問題：師資如何？
-回答：本校師資陣容堅強，擁有 30 多位教授、副教授與助理教授。
+# Gradio UI
+with gr.Blocks() as demo:
+    gr.Markdown("## 🎓 南臺科技大學 AI 語音助理（MiniCPM + Whisper + 向量式 RAG）")
 
-問題：悠活館是做什麼的？
-回答：悠活館是學生休閒與運動中心，設有羽球場、健身房、桌球室等設施。
+    with gr.Row():
+        mic = gr.Audio(source="microphone", type="filepath", label="語音輸入")
+        text_input = gr.Textbox(label="文字輸入", placeholder="請輸入您的問題")
 
-問題：怎麼到南臺科技大學？
-回答：可從台南火車站搭乘公車，或經永康交流道開車約 10 分鐘抵達。
+    submit_btn = gr.Button("送出")
 
-[資料]
-{context}
+    output_text = gr.Textbox(label="回答")
+    output_audio = gr.Audio(label="語音播放", type="filepath")
 
-[問題]
-{user_input}
-"""
-    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
-    outputs = model.generate(**inputs, max_new_tokens=150)
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True).strip()
-    for line in response.splitlines()[::-1]:
-        if len(line.strip()) > 10 and not line.startswith("你是"):
-            return line.strip()
-    return response[-90:]
+    submit_btn.click(fn=voice_assistant, inputs=[mic, text_input], outputs=[output_text, output_audio])
 
-# ✅ 問答主流程
+if __name__ == "__main__":
+    demo.launch()
 
-def answer(user_input):
-    direct = retrieve_qa_context(user_input)
-    if direct:
-        return direct
-    else:
-        context = search_context_faiss(user_input)
-        return generate_answer(user_input, context)
-
-# ✅ Gradio 介面
-interface = gr.Interface(
-    fn=answer,
-    inputs=gr.Textbox(lines=2, placeholder="請輸入與南臺科技大學相關的問題..."),
-    outputs="text",
-    title="南臺科技大學 問答機器人（TinyLlama 1.1B）",
-    description="支援 QA 關鍵字與語意檢索，自動建立嵌入庫，輸出繁體中文自然回答。",
-    theme="default"
-)
-
-interface.launch()