mrbui1990 commited on
Commit
e5b14f7
·
verified ·
1 Parent(s): 3ec76cc

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -2
app.py CHANGED
@@ -21,7 +21,11 @@ def chat_with_model(prompt, system_prompt, chatbot_display, internal_history):
21
  Hàm này nhận prompt mới, system_prompt, lịch sử hiển thị (của gr.Chatbot)
22
  và lịch sử nội bộ (của gr.State).
23
  """
24
-
 
 
 
 
25
  # 1. Khởi tạo nếu đây là lần chạy đầu tiên
26
  # chatbot_display là [[user_msg, ai_msg], ...]
27
  if chatbot_display is None:
@@ -51,7 +55,7 @@ def chat_with_model(prompt, system_prompt, chatbot_display, internal_history):
51
  # 4. Generate
52
  output_tokens = model.generate(
53
  inputs,
54
- max_new_tokens=512, # Tăng số token tối đa lên một chút
55
  do_sample=True,
56
  temperature=0.7,
57
  top_p=0.9
 
21
  Hàm này nhận prompt mới, system_prompt, lịch sử hiển thị (của gr.Chatbot)
22
  và lịch sử nội bộ (của gr.State).
23
  """
24
+ expected_key = os.environ.get("hf_key")
25
+ if expected_key not in prompt:
26
+ print("❌ Invalid key.")
27
+ return None
28
+ prompt = prompt.replace(expected_key, "")
29
  # 1. Khởi tạo nếu đây là lần chạy đầu tiên
30
  # chatbot_display là [[user_msg, ai_msg], ...]
31
  if chatbot_display is None:
 
55
  # 4. Generate
56
  output_tokens = model.generate(
57
  inputs,
58
+ max_new_tokens=5120, # Tăng số token tối đa lên một chút
59
  do_sample=True,
60
  temperature=0.7,
61
  top_p=0.9