Update app.py

app.py

@@ -20,14 +20,16 @@ def load_llm():
         device_map="auto"  # Tự động phân bổ lên GPU/CPU
     )
     pipe = pipeline(
-        "text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        max_length=512,  # Độ dài tối đa đầu ra
-        temperature=0.7,  # Độ sáng tạo
-        top_p=0.95,
-        repetition_penalty=1.15,
-        do_sample=True
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    max_new_tokens=256,  # Số token mới tối đa được sinh ra
+    temperature=0.7,
+    top_p=0.95,
+    repetition_penalty=1.15,
+    do_sample=True,
+    eos_token_id=tokenizer.eos_token_id,  # Dừng sinh văn bản khi gặp end-of-sentence
+    truncation=True  # Cho phép cắt bớt nếu đầu vào quá dài
     )
     return HuggingFacePipeline(pipeline=pipe)