Update app.py

app.py

@@ -1,61 +1,47 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+import requests
 import os
 
-# Используем максимально надежный токен и модель
+# Настройки
+API_URL = "https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-3B-Instruct"
 token = os.getenv("HF_TOKEN")
-client = InferenceClient("meta-llama/Llama-3.2-3B-Instruct", token=token)
+headers = {"Authorization": f"Bearer {token}"}
 
-def chat_fn(message, history):
-    # Flare всегда представляется и помнит инструкцию
-    messages = [{"role": "system", "content": "Ты — профессиональный ИИ-ассистент Flare. Пиши грамотно на русском."}]
-    
-    # Добавляем историю (ограничим 5 последними сообщениями)
-    for user_msg, assistant_msg in history[-5:]:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": assistant_msg})
+def query(payload):
+    response = requests.post(API_URL, headers=headers, json=payload)
+    return response.json()
+
+def respond(message, history):
+    # Flare - имя ассистента
+    prompt = f"System: Ты — Flare, профессиональный ИИ-ассистент. Пиши грамотно на русском.\n"
     
-    # Добавляем текущий вопрос
-    messages.append({"role": "user", "content": message})
+    # Берем только последние 2 сообщения для максимальной стабильности
+    for user_msg, bot_msg in history[-2:]:
+        prompt += f"User: {user_msg}\nAssistant: {bot_msg}\n"
     
-    response = ""
-    try:
-        # Запрашиваем ответ
-        for msg in client.chat_completion(
-            messages=messages,
-            max_tokens=500,
-            stream=True,
-            temperature=0.7
-        ):
-            token_text = msg.choices[0].delta.content
-            if token_text:
-                response += token_text
-                yield response
-    except Exception as e:
-        yield f"Flare: Ошибка сервера ({str(e)}). Попробуй отправить еще раз."
+    prompt += f"User: {message}\nAssistant:"
 
-# Создаем интерфейс вручную
-with gr.Blocks() as demo:
-    gr.Markdown("# Flare AI Assistant")
-    chatbot = gr.Chatbot(label="Чат с Flare")
-    msg = gr.Textbox(label="Ваш вопрос", placeholder="Напишите здесь...")
-    clear = gr.Button("Очистить чат")
+    payload = {
+        "inputs": prompt,
+        "parameters": {
+            "max_new_tokens": 500,
+            "temperature": 0.7,
+            "return_full_text": False
+        }
+    }
 
-    # Логика отправки
-    def user_input(user_message, history):
-        return "", history + [[user_message, None]]
-
-    def bot_output(history):
-        user_message = history[-1][0]
-        history[-1][1] = ""
-        for chunk in chat_fn(user_message, history[:-1]):
-            history[-1][1] = chunk
-            yield history
+    try:
+        output = query(payload)
+        # Если API вернул ошибку (например, модель грузится)
+        if "error" in output:
+            return f"Flare: Сейчас модель подгружается, подожди 10 секунд. (Ошибка: {output['error']})"
+        
+        return output[0]['generated_text'].strip()
+    except Exception as e:
+        return f"Flare: Ошибка связи. Проверь интернет или токен. ({str(e)})"
 
-    msg.submit(user_input, [msg, chatbot], [msg, chatbot], queue=False).then(
-        bot_output, chatbot, chatbot
-    )
-    clear.click(lambda: None, None, chatbot, queue=False)
+# Самый простой интерфейс без стриминга (так надежнее)
+demo = gr.ChatInterface(fn=respond)
 
 if __name__ == "__main__":
     demo.launch()