Enhance text generation parameters in chatbot application by setting max_length to 100 and temperature to 0.7. Simplify response function by directly passing the message to the text generator, improving clarity and efficiency in message processing.

app.py

@@ -22,7 +22,9 @@ text_generator = pipeline(
     model=model,
     tokenizer=tokenizer,
     device=device,
+    max_length=100,
     do_sample=True,
+    temperature=0.7
 )
 
 model.eval()
@@ -30,79 +32,16 @@ print(f"Model đã sẵn sàng! Device: {device}")
 
 
 def respond(
-    message,
-    history: list[dict[str, str]],
-    system_message=None,
-    max_tokens=None,
-    temperature=None,
-    top_p=None,
+    message
 ):
     """
     Tạo phản hồi từ model coding assistant sử dụng pipeline
     """
-    # Đặt giá trị mặc định nếu không có
-    if max_tokens is None:
-        max_tokens = 250
-    if temperature is None:
-        temperature = 0.7
-    if top_p is None:
-        top_p = 0.95
-    
-    # Xử lý message - có thể là dict hoặc string
-    if isinstance(message, dict):
-        user_message = message.get("content", "")
-    else:
-        user_message = str(message) if message else ""
-    
-    # Chuẩn bị messages từ history và message hiện tại
-    messages = []
-    
-    # Thêm system message - mặc định bằng tiếng Việt nếu không có
-    # if system_message:
-    #     messages.append({"role": "system", "content": system_message})
-    # else:
-    #     # System message mặc định bằng tiếng Việt để model trả lời bằng tiếng Việt
-    #     messages.append({
-    #         "role": "system", 
-    #         "content": "Bạn là một trợ lý lập trình hữu ích. Cung cấp các giải pháp code rõ ràng, ngắn gọn và chính xác cùng với giải thích. Hãy trả lời bằng tiếng Việt. "
-    #     })
-    
-    # Thêm history (đã có format đúng)
-    # messages.extend(history)
-    
-    # Thêm message hiện tại từ user
-    if user_message:
-        messages.append({"role": "user", "content": user_message})
-    
-    # Format messages với chat template
-    prompt = tokenizer.apply_chat_template(
-        messages,
-        tokenize=False,
-        add_generation_prompt=True
-    )
-    
-    # Thêm instruction rõ ràng để model trả lời bằng tiếng Việt
-    # (nếu model vẫn có xu hướng trả lời tiếng Anh)
-    prompt += "\n\nLưu ý: Hãy trả lời bằng tiếng Việt."
-    
-    # Sử dụng pipeline để generate text - chỉ dùng max_new_tokens
-    generated = text_generator(
-        prompt,
-        max_new_tokens=max_tokens,
-        num_return_sequences=1,
-        temperature=temperature,
-        top_p=top_p,
-        do_sample=True,
-        truncation=True,
-    )
+    generated = text_generator(message, num_return_sequences=1)
     
     # Lấy câu trả lời từ kết quả
     answer = generated[0]['generated_text']
     
-    # Loại bỏ prompt ban đầu để chỉ lấy phần response
-    if prompt in answer:
-        answer = answer.replace(prompt, "").strip()
-    
     # Đảm bảo trả về string không rỗng
     if not answer or len(answer.strip()) == 0:
         answer = "Xin lỗi, tôi không thể tạo phản hồi."