cochi1706 commited on
Commit
db09be5
·
1 Parent(s): b0d2e27

Refactor text generation in chatbot application to utilize max_new_tokens for improved clarity and added truncation support. Removed unnecessary print statement for generated answer length.

Browse files
Files changed (1) hide show
  1. app.py +2 -3
app.py CHANGED
@@ -75,15 +75,15 @@ def respond(
75
  add_generation_prompt=True
76
  )
77
 
78
- # Sử dụng pipeline để generate text
79
  generated = text_generator(
80
  prompt,
81
- max_length=len(tokenizer.encode(prompt)) + max_tokens,
82
  max_new_tokens=max_tokens,
83
  num_return_sequences=1,
84
  temperature=temperature,
85
  top_p=top_p,
86
  do_sample=True,
 
87
  )
88
 
89
  # Lấy câu trả lời từ kết quả
@@ -97,7 +97,6 @@ def respond(
97
  if not answer or len(answer.strip()) == 0:
98
  answer = "Xin lỗi, tôi không thể tạo phản hồi."
99
 
100
- print(f"Generated answer length: {len(answer)}")
101
  return answer
102
 
103
 
 
75
  add_generation_prompt=True
76
  )
77
 
78
+ # Sử dụng pipeline để generate text - chỉ dùng max_new_tokens
79
  generated = text_generator(
80
  prompt,
 
81
  max_new_tokens=max_tokens,
82
  num_return_sequences=1,
83
  temperature=temperature,
84
  top_p=top_p,
85
  do_sample=True,
86
+ truncation=True,
87
  )
88
 
89
  # Lấy câu trả lời từ kết quả
 
97
  if not answer or len(answer.strip()) == 0:
98
  answer = "Xin lỗi, tôi không thể tạo phản hồi."
99
 
 
100
  return answer
101
 
102