Create generator.py

generator.py

@@ -0,0 +1,21 @@
+from model_loader import load_model
+
+# load 1 lần để tái sử dụng
+pipe = load_model()
+
+SYSTEM_PROMPT = (
+    "Bạn là một chatbot chuyên TÓM TẮT và TỔNG HỢP ý chính. "
+    "Nhiệm vụ: nhận câu hỏi hoặc đoạn văn bản và trả lời ngắn gọn, "
+    "liệt kê các điểm quan trọng nhất.\n\n"
+)
+
+def generate_text(user_input: str, max_new_tokens: int = 128):
+    prompt = SYSTEM_PROMPT + "Người dùng hỏi: " + user_input + "\n\nTóm tắt & tổng hợp:"
+    outputs = pipe(
+        prompt,
+        max_new_tokens=max_new_tokens,
+        do_sample=False,      # greedy decoding → nhanh và ổn định hơn
+        temperature=0.6,
+        top_p=0.9
+    )
+    return outputs[0]["generated_text"]