Update app.py

app.py

@@ -1,12 +1,16 @@
-# ✅ Hugging Face + 小型模型 + 強化 QA 與資料庫版本
+# ✅ Hugging Face + ChatGLM3 + 強化 QA 與資料庫版本
 # 檔名：app.py（可部署於 Hugging Face Spaces）
 
 import json
 import gradio as gr
-from transformers import pipeline
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
-# ✅ 初始化小模型
-qa_model = pipeline("text2text-generation", model="google/flan-t5-base")
+# ✅ 載入 ChatGLM3 模型
+model_name = "THUDM/chatglm3-6b"
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True).half().to("cuda" if torch.cuda.is_available() else "cpu")
+model.eval()
 
 # ✅ 強化 QA 資料庫（內嵌進程式中）
 qa_data = [
@@ -32,7 +36,7 @@ qa_data = [
     }
 ]
 
-# ✅ 強化版本地知識資料庫（模擬爬蟲結果）
+# ✅ 本地知識資料庫
 web_data = """
 [校名] 南臺科技大學 Department of Electrical Engineering
 [地址] 71005 台南市永康區南台街一號 No.1, Nan-Tai St., Yungkang Dist., Tainan City 71005, Taiwan
@@ -42,7 +46,7 @@ web_data = """
 [統計] 教授9人，副教授11人，助理教授9人，控制與晶片組最多教師。
 """
 
-# ✅ QA 匹配檢索
+# ✅ QA 檢索
 
 def retrieve_qa_context(user_input):
     for item in qa_data:
@@ -54,7 +58,7 @@ def retrieve_qa_context(user_input):
                 return item["response"]
     return None
 
-# ✅ 小模型生成自然語言回答
+# ✅ 使用 ChatGLM3 生成人性化回應
 
 def generate_answer_from_context(user_input, context):
     prompt = f"""
@@ -68,10 +72,12 @@ def generate_answer_from_context(user_input, context):
 
 請用繁體中文簡短自然地回覆，不超過 90 字。
 """
-    result = qa_model(prompt, max_new_tokens=100)[0]['generated_text']
-    return result.strip()
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+    outputs = model.generate(**inputs, max_new_tokens=128, do_sample=False)
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return response.strip().split("回答：")[-1].strip()
 
-# ✅ 整合流程
+# ✅ 主流程
 
 def answer(user_input):
     context = retrieve_qa_context(user_input)
@@ -80,15 +86,16 @@ def answer(user_input):
     else:
         return generate_answer_from_context(user_input, web_data)
 
-# ✅ Gradio UI
+# ✅ Gradio 介面
 interface = gr.Interface(
     fn=answer,
     inputs=gr.Textbox(lines=2, placeholder="請問有關南臺科技大學的問題..."),
     outputs="text",
-    title="南臺科技大學 問答機器人（強化 QA + 本地資料庫）",
-    description="優先使用 QA 關鍵字資料庫，若找不到則使用校內爬蟲資料生成人性化回應。",
+    title="南臺科技大學 問答機器人（ChatGLM3 強化知識庫）",
+    description="結合關鍵字 QA 與 ChatGLM3 模型，能夠流暢回答與校內資訊有關的問題。",
     theme="default"
 )
 
 interface.launch()
 
+