Update app.py

app.py

@@ -62,7 +62,6 @@ print(f"👉 最終使用模型：{MODEL_NAME}")
 tokenizer = AutoTokenizer.from_pretrained(LOCAL_MODEL_DIR)
 model = AutoModelForCausalLM.from_pretrained(LOCAL_MODEL_DIR)
 
-# 修正 pad_token 缺失問題
 if tokenizer.pad_token is None:
     tokenizer.pad_token = tokenizer.eos_token
 
@@ -76,7 +75,7 @@ generator = pipeline(
 def call_local_inference(prompt, max_new_tokens=256):
     try:
         if "中文" not in prompt:
-            prompt += "\n（請用中文回答）"
+            prompt += "\n（請用中文回答，且只依據提供的內容生成，不可加入其他知識）"
         outputs = generator(
             prompt,
             max_new_tokens=max_new_tokens,
@@ -89,59 +88,64 @@ def call_local_inference(prompt, max_new_tokens=256):
         return f"（生成失敗：{e}）"
 
 # -------------------------------
-# 3. 文章生成（RAG + 即時寫入DOCX + 檢索片段 + 進度提示）
+# 3. 僅基於 RAG 的文章生成
 # -------------------------------
-def generate_article_progress(query, segments=5):
+def generate_article_rag_only(query, segments=3):
     docx_file = "/tmp/generated_article.docx"
     doc = DocxDocument()
     doc.add_heading(query, level=1)
-    doc.save(docx_file)  # 先建立空的檔案
+    doc.save(docx_file)
 
     all_text = []
 
-    # 🔍 RAG 檢索佛經段落
+    # 🔍 RAG 檢索
     retrieved_docs = retriever.get_relevant_documents(query)
     context_texts = [d.page_content for d in retrieved_docs]
-    context = "\n".join([f"{i+1}. {txt}" for i, txt in enumerate(context_texts[:3])])
+    full_context = "\n".join(context_texts)
 
-    for i in range(segments):
+    # 切分成小片段，避免模型超載
+    splitter = RecursiveCharacterTextSplitter(chunk_size=300, chunk_overlap=50)
+    chunks = splitter.split_text(full_context)
+
+    for i, chunk in enumerate(chunks[:segments]):
         progress_text = f"⏳ 正在生成第 {i+1}/{segments} 段..."
         prompt = (
-            f"以下是佛教經論的相關段落：\n{context}\n\n"
-            f"請依據上面內容，寫一段約150-200字的中文文章，"
-            f"主題：{query}。\n第{i+1}段："
+            f"以下是唯一可用的參考內容：\n{chunk}\n\n"
+            f"請基於這些內容，寫一段約150-200字的中文文章，"
+            f"主題：{query}。\n"
+            f"⚠️ 僅能使用參考內容，不可加入其他知識。"
         )
         paragraph = call_local_inference(prompt)
         all_text.append(paragraph)
 
-        # ✅ 每段生成後即時寫入 DOCX
+        # 即時寫入 DOCX
         doc = DocxDocument(docx_file)
         doc.add_paragraph(f"第{i+1}段：\n{paragraph}")
         doc.save(docx_file)
 
-        yield "\n\n".join(all_text), None, f"本次使用模型：{MODEL_NAME}", context, progress_text
+        yield "\n\n".join(all_text), None, f"本次使用模型：{MODEL_NAME}", full_context, progress_text
 
     final_progress = f"✅ 已完成全部 {segments} 段生成！"
-    yield "\n\n".join(all_text), docx_file, f"本次使用模型：{MODEL_NAME}", context, final_progress
+    yield "\n\n".join(all_text), docx_file, f"本次使用模型：{MODEL_NAME}", full_context, final_progress
 
 # -------------------------------
 # 4. Gradio 介面
 # -------------------------------
 with gr.Blocks() as demo:
     gr.Markdown("# 📺 電視弘法視頻生成文章RAG系統")
-    gr.Markdown("使用 GPT2-Chinese + FAISS RAG，生成佛教主題文章。")
+    gr.Markdown("只基於 faiss_db 內容生成文章，不加入外部知識。")
 
     query_input = gr.Textbox(lines=2, placeholder="請輸入文章主題", label="文章主題")
-    segments_input = gr.Slider(minimum=1, maximum=10, step=1, value=5, label="段落數")
+    segments_input = gr.Slider(minimum=1, maximum=10, step=1, value=3, label="段落數")
     output_text = gr.Textbox(label="生成文章")
     output_file = gr.File(label="下載 DOCX")
     model_used_text = gr.Textbox(label="實際使用模型", interactive=False)
-    context_text = gr.Textbox(label="檢索到的佛經片段", interactive=False, lines=6)
+    context_text = gr.Textbox(label="檢索到的內容", interactive=False, lines=6)
     progress_text = gr.Textbox(label="生成進度", interactive=False)
 
     btn = gr.Button("生成文章")
     btn.click(
-        generate_article_progress,
+        generate_article_rag_only,
         inputs=[query_input, segments_input],
         outputs=[output_text, output_file, model_used_text, context_text, progress_text]
     )