modify app.py for T5 and requirements.txt

app.py

@@ -1,41 +1,74 @@
 
 import gradio as gr
 import spacy
-from transformers import ProphetNetTokenizer, ProphetNetForConditionalGeneration, pipeline
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline, AutoConfig
+from transformers import ProphetNetTokenizer, ProphetNetForConditionalGeneration, T5Tokenizer, T5ForConditionalGeneration
 import torch
 import time
 import re
-import os # Đảm bảo bạn đã import os
+import os 
 
 # Tải mô hình spaCy
 if not spacy.util.is_package("en_core_web_md"):
     print("Đang tải mô hình spaCy 'en_core_web_md'...")
-    spacy.cli.download("en_core_web_md") # <--- Lỗi xảy ra ở đây
+    spacy.cli.download("en_core_web_md") 
 nlp = spacy.load("en_core_web_md")
-print("✅ Đã tải/nạp mô hình spaCy.")
+
+# Đường dẫn mô hình
 MODEL_PATHS = {
-    "prophetnet2": "ManB2207540/prophetnet_SQuAD_1.1-2epoch_break",
-    "prophetnet tieu chuan": "microsoft/prophetnet-large-uncased-squad-qg"
+    "prophetnet-finetuned": "ManB2207540/prophetnet_SQuAD_1.1-2epoch_break",
+    "prophetnet tieu chuan": "microsoft/prophetnet-large-uncased-squad-qg",
+    "bart-finetuned": "mghan3624/bart_qg_finetune_squad",
+    "t5-small-finetuned": "tbtminh/t5-small-qg-finetuned"
 }
 
+# Hàm tải mô hình T5
+def load_t5_pipeline(model_path):
+    try:
+        tokenizer = T5Tokenizer.from_pretrained(model_path)
+        model = T5ForConditionalGeneration.from_pretrained(model_path)
+        return pipeline(
+            "text2text-generation",
+            model=model,
+            tokenizer=tokenizer,
+            max_length=256,
+            num_return_sequences=1,
+            device=0 if torch.cuda.is_available() else -1
+        )
+    except Exception as e:
+        print(f"Failed to load T5 pipeline for {model_path}: {e}")
+        return None
+
+# Hàm tải mô hình chung
 def load_pipeline(model_path):
-    tokenizer = ProphetNetTokenizer.from_pretrained(model_path)
-    model = ProphetNetForConditionalGeneration.from_pretrained(model_path)
-    return pipeline(
-        "text2text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        max_length=256,
-        num_return_sequences=1,
-        device=0 if torch.cuda.is_available() else -1
-    )
+    try:
+        config = AutoConfig.from_pretrained(model_path)
+        if getattr(config, "early_stopping", None) is None:
+            config.early_stopping = False
+        tokenizer = AutoTokenizer.from_pretrained(model_path)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_path, config=config)
+        return pipeline(
+            "text2text-generation",
+            model=model,
+            tokenizer=tokenizer,
+            max_length=256,
+            num_return_sequences=1,
+            device=0 if torch.cuda.is_available() else -1
+        )
+    except Exception as e:
+        print(f"Failed to load pipeline for {model_path}: {e}")
+        return None
 
+# Cache pipeline
 pipeline_cache = {}
 
 def get_pipeline(model_name):
     model_path = MODEL_PATHS[model_name]
     if model_name not in pipeline_cache:
-        pipeline_cache[model_name] = load_pipeline(model_path)
+        if model_name == "t5-small-finetuned":
+            pipeline_cache[model_name] = load_t5_pipeline(model_path)
+        else:
+            pipeline_cache[model_name] = load_pipeline(model_path)
     return pipeline_cache[model_name]
 
 # Tự viết hàm capitalize thông minh
@@ -54,9 +87,19 @@ def smart_capitalize(text):
 def generate_question(context, answer, model_name):
     pipe = get_pipeline(model_name)
     tokenizer = pipe.tokenizer
-    prompt = f"context: {context} answer: {answer}"
+    if model_name == "t5-small-finetuned":
+        prompt = f"generate question: context: {context} answer: {answer}"
+    else:
+        prompt = f"context: {context} answer: {answer}"
+    print(f"Prompt: {prompt}")  # In ra prompt để kiểm tra
+
+    # Kiểm tra độ dài của prompt
+    encoded = tokenizer(prompt, return_tensors="pt", truncation=False, max_length=512)
+    input_ids = encoded["input_ids"]
+    if input_ids.size(1) > 512:
+        return "❌ Context quá dài (hơn 512 token). Xin nhập vào context ngắn hơn."
 
-    # Cắt prompt nếu vượt quá giới hạn token
+    # Proceed with tokenization (with truncation if needed)
     encoded = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=512)
     input_ids = encoded["input_ids"]
     attention_mask = encoded["attention_mask"]
@@ -87,23 +130,28 @@ def generate_qa_list(context, num_questions, model_choice):
     entities = list(set([ent.text for ent in doc.ents]))
     entities = [e for e in entities if len(e.strip().split()) <= 10]
 
+    # Nếu không tìm thấy thực thể, trả về thông báo lỗi trong status_message
     if not entities:
-        return gr.update(visible=True), ["❌ Không tìm thấy thực thể nào để sinh câu hỏi."]
+        return gr.update(visible=True, value="❌ Không tìm thấy thực thể nào để sinh câu hỏi."), []
 
+    # Đảm bảo số câu hỏi không vượt quá số thực thể
     count = min(num_questions, len(entities))
     qa_list = []
 
     for i in range(count):
         answer = entities[i]
         question = generate_question(context, answer, model_choice)
+        # Nếu có lỗi (như context quá dài), trả về thông báo lỗi trong status_message
+        if question.startswith("❌") or question.startswith("Lỗi"):
+            return gr.update(visible=True, value=question), []
         answer = smart_capitalize(entities[i])
         qa = f"**{question}**\n<details><summary>Hiện câu trả lời</summary><p>{answer}</p></details>"
         qa_list.append(qa)
 
-    return gr.update(visible=True), qa_list
+    return gr.update(visible=False), qa_list
 
 # Tách phần phân tích context và cập nhật slider
-def analyze_context(context):
+def analyze_context(context, num_questions):
     doc = nlp(context)
     entities = list(set([ent.text for ent in doc.ents]))
     entities = [e for e in entities if len(e.strip().split()) <= 10]
@@ -119,13 +167,13 @@ def analyze_context(context):
     else:
         return (
             gr.update(visible=False),
-            gr.update(visible=True, maximum=entity_count, value=min(3, entity_count), label=f"Số câu hỏi (Tối đa: {entity_count})"),
+            gr.update(visible=True, maximum=entity_count, value=min(num_questions, entity_count), label=f"Số câu hỏi (Tối đa: {entity_count})"),
             gr.update(visible=True),
             gr.update(visible=True)
         )
 
 with gr.Blocks() as demo:
-    gr.Markdown("## Hệ thống sinh câu hỏi từ Context bằng Seq2Seq Transformer + spaCy NER")
+    gr.Markdown("## Hệ thống sinh câu hỏi từ Context bằng ProphetNet + spaCy NER")
 
     with gr.Row():
         with gr.Column(scale=4):
@@ -135,9 +183,9 @@ with gr.Blocks() as demo:
             model_choice = gr.Dropdown(
                 label="Chọn mô hình",
                 choices=list(MODEL_PATHS.keys()),
-                value="prophetnet2"
+                value="t5-small-finetuned"
             )
-            num_input = gr.Slider(label="Số câu hỏi", minimum=1, maximum=5, value=3, step=1, visible=False)
+            num_input = gr.Slider(label="Số câu hỏi", minimum=1, maximum=20, value=3, step=1, visible=False)
             generate_btn = gr.Button("Sinh câu hỏi", visible=False)
 
     # Thông báo đang xử lý hoặc không tìm thấy
@@ -145,16 +193,19 @@ with gr.Blocks() as demo:
 
     # Kết quả hiển thị tại đây
     with gr.Column(visible=False) as output_container:
-        result_md_list = [gr.Markdown(visible=False) for _ in range(5)]
+        result_md_list = [gr.Markdown(visible=False) for _ in range(20)]
 
     # Xử lý khi bấm nút sinh câu hỏi
     def run_generation(context, num_questions, model_choice):
         start_time = time.time()
-        visible_container, qa_list = generate_qa_list(context, num_questions, model_choice)
-        status_hide = gr.update(visible=False)
-        updates = []
+        status_message, qa_list = generate_qa_list(context, num_questions, model_choice)
+        
+        # Nếu có lỗi (status_message visible), trả về ngay lập tức
+        if status_message["visible"]:
+            return [status_message, gr.update(visible=False), gr.update(visible=False)] + [gr.update(visible=False) for _ in range(20)]
 
-        for i in range(5):
+        updates = []
+        for i in range(20):
             if i < len(qa_list):
                 updates.append(gr.update(value=qa_list[i], visible=True))
             else:
@@ -164,12 +215,12 @@ with gr.Blocks() as demo:
         elapsed_msg = f"⏱️ Thời gian xử lý: {elapsed:.2f} giây"
         elapsed_md = gr.update(value=elapsed_msg, visible=True)
 
-        return [status_hide, visible_container, elapsed_md] + updates
+        return [gr.update(visible=False), gr.update(visible=True), elapsed_md] + updates
 
     # Khi người dùng thay đổi context, tự động phân tích thực thể và cập nhật slider
     context_input.change(
         fn=analyze_context,
-        inputs=[context_input],
+        inputs=[context_input, num_input],  # Thêm num_input vào inputs
         outputs=[status_message, num_input, generate_btn, elapsed_time_md]
     )
 
@@ -186,6 +237,7 @@ with gr.Blocks() as demo:
         outputs=[status_message, output_container, elapsed_time_md] + result_md_list
     )
 
-demo.launch(share=True)
+demo.launch()
+
 
 # #/Users/trantieuman/anaconda3/bin/python /Users/trantieuman/Documents/NLP/project/demo.py

requirements.txt

@@ -70,3 +70,4 @@ uvicorn==0.35.0
 websockets==15.0.1
 xxhash==3.5.0
 yarl==1.20.1
+sentencepiece==0.2.0