Update app.py

app.py

@@ -1223,17 +1223,19 @@ HÃY TRẢ LỜI NGƯỜI DÂNG:"""
 
         # Bước 9: Generate response với dynamic temperature - dùng model.generate trực tiếp
         inputs = tokenizer(text_prompt, return_tensors="pt").to(model.device)
+        input_length = inputs.input_ids.shape[1] # Lấy độ dài của prompt đầu vào
 
         outputs = model.generate(
             **inputs,
-            max_new_tokens=256,  # Giảm từ 768 xuống 256 để nhanh hơn
+            max_new_tokens=512, # Tăng lên một chút để tránh bị cắt chữ
             temperature=temperature,
             top_p=0.9,
             repetition_penalty=1.15,
             do_sample=temperature > 0.2
         )
 
-        response_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+# CHỈ giải mã những token mới (phần sau input_length)
+response_text = tokenizer.decode(outputs[0][input_length:], skip_special_tokens=True)
 
         # Clean response
         if "<|im_start|>assistant\n" in response_text: