HaveAI commited on
Commit
e6a05a9
·
verified ·
1 Parent(s): 4d582ca

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +12 -13
app.py CHANGED
@@ -2,28 +2,27 @@ import gradio as gr
2
  from huggingface_hub import InferenceClient
3
  import os
4
 
5
- # 1. Инициализация клиента
 
6
  token = os.getenv("HF_TOKEN")
7
- # Используем модель, которая лучше всего понимает русский
8
- client = InferenceClient("HuggingFaceH4/zephyr-7b-beta", token=token)
9
 
10
  def respond(message, history):
11
- # Начальный системный промпт
12
- system_message = "Ты — полезный ИИ-ассистент. Отвечай на русском языке."
13
- messages = [{"role": "system", "content": system_message}]
14
 
15
- # Обработка истории (самый старый и надежный способ)
16
  for user_msg, assistant_msg in history:
17
- messages.append({"role": "user", "content": user_msg})
18
- messages.append({"role": "assistant", "content": assistant_msg})
 
 
19
 
20
- # Добавляем текущее сообщение
21
  messages.append({"role": "user", "content": message})
22
 
23
  response = ""
24
 
25
  try:
26
- # Генерация
27
  for message_chunk in client.chat_completion(
28
  messages=messages,
29
  max_tokens=1000,
@@ -35,9 +34,9 @@ def respond(message, history):
35
  response += token_text
36
  yield response
37
  except Exception as e:
38
- yield f"Ошибка API: {str(e)}"
 
39
 
40
- # 2. Самый простой запуск интерфейса без лишних аргументов
41
  demo = gr.ChatInterface(fn=respond)
42
 
43
  if __name__ == "__main__":
 
2
  from huggingface_hub import InferenceClient
3
  import os
4
 
5
+ # Используем максимально свежую и поддерживаемую модель
6
+ # Llama-3.2-3B-Instruct — идеальный баланс скорости и ума
7
  token = os.getenv("HF_TOKEN")
8
+ client = InferenceClient("meta-llama/Llama-3.2-3B-Instruct", token=token)
 
9
 
10
  def respond(message, history):
11
+ messages = [{"role": "system", "content": "Ты — полезный ИИ-ассистент. Отвечай на русском языке."}]
 
 
12
 
13
+ # Наполняем историю
14
  for user_msg, assistant_msg in history:
15
+ if user_msg:
16
+ messages.append({"role": "user", "content": user_msg})
17
+ if assistant_msg:
18
+ messages.append({"role": "assistant", "content": assistant_msg})
19
 
 
20
  messages.append({"role": "user", "content": message})
21
 
22
  response = ""
23
 
24
  try:
25
+ # Пытаемся получить ответ
26
  for message_chunk in client.chat_completion(
27
  messages=messages,
28
  max_tokens=1000,
 
34
  response += token_text
35
  yield response
36
  except Exception as e:
37
+ # Если модель всё еще капризничает, бот скажет об этом прямо в чате
38
+ yield f"Ошибка: {str(e)}. Попробуй подождать минуту или проверь HF_TOKEN."
39
 
 
40
  demo = gr.ChatInterface(fn=respond)
41
 
42
  if __name__ == "__main__":