Update app.py

app.py

@@ -1,20 +1,58 @@
 import gradio as gr
 from huggingface_hub import InferenceClient
+import os
 
-# Выбираем модель (можно поменять на любую другую из HF)
-client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.2")
+# 1. Инициализация клиента с использованием токена из секретов
+# Убедись, что в Settings -> Secrets добавлен HF_TOKEN
+token = os.getenv("HF_TOKEN")
+client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.2", token=token)
 
-def respond(message, history):
-    # Формируем ответ от модели
-    response = client.chat_completion(
-        messages=[{"role": "user", "content": message}],
-        max_tokens=500,
-        stream=False
-    )
-    return response.choices[0].message.content
+def respond(message, history: list[tuple[str, str]]):
+    """
+    Функция для обработки сообщений.
+    history — это список пар [пользователь, бот], который Gradio ведет сам.
+    """
+    
+    # Формируем системный промпт, чтобы задать роль боту
+    messages = [{"role": "system", "content": "Ты — полезный ИИ-ассистент. Отвечай кратко и по делу на русском языке."}]
 
-# Создаем интерфейс чата
-demo = gr.ChatInterface(respond)
+    # Добавляем историю переписки в контекст
+    for val in history:
+        if val[0]:
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:
+            messages.append({"role": "assistant", "content": val[1]})
+
+    # Добавляем текущее сообщение пользователя
+    messages.append({"role": "user", "content": message})
+
+    response = ""
+
+    # Запрос к модели через Inference API
+    try:
+        # Используем stream=True для эффекта печатающегося текста
+        for message_chunk in client.chat_completion(
+            messages=messages,
+            max_tokens=1000,
+            stream=True,
+            temperature=0.7,
+            top_p=0.95,
+        ):
+            token_text = message_chunk.choices[0].delta.content
+            if token_text:
+                response += token_text
+                yield response
+    except Exception as e:
+        yield f"Произошла ошибка: {str(e)}. Проверь, добавлен ли HF_TOKEN в Settings -> Secrets."
+
+# 2. Создаем красивый интерфейс
+demo = gr.ChatInterface(
+    fn=respond,
+    title="Мой ИИ Чат-бот",
+    description="Запущено в Hugging Face Spaces с использованием Mistral API",
+    examples=["Привет! Кто ты?", "Напиши код на Python для сортировки списка", "Расскажи шутку про программистов"],
+    theme="soft" # Можно выбрать: 'default', 'soft', 'monochrome'
+)
 
 if __name__ == "__main__":
     demo.launch()