model

src/streamlit_app.py

@@ -1,7 +1,7 @@
 import streamlit as st
 import torch
 import time
-from transformers import T5Tokenizer, T5ForConditionalGeneration
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
 st.set_page_config(page_title="Question Generation", layout="wide")
 
@@ -71,8 +71,8 @@ def preprocess_function(examples, tokenizer):
     return {key: tensor.to(device) for key, tensor in inputs.items()}
 
 def generate_q(context, answer):
-    tokenizer = T5Tokenizer.from_pretrained("VietAI/vit5-base")
-    model = T5ForConditionalGeneration.from_pretrained("shnl/inst-qg-vinewsqa-vit5")
+    tokenizer = AutoTokenizer.from_pretrained('shnl/inst-qg-vinewsqa-vit5')
+    model = AutoModelForSeq2SeqLM.from_pretrained('shnl/inst-qg-vinewsqa-vit5')
     instruction_qg = 'Hãy tạo ra câu hỏi từ nội dung của ngữ cảnh và câu trả lời dưới đây.',
     examples = {"input_seq": str("### Instruction: \n"
                                  f"{instruction_qg} \n\n"