Update app.py

app.py

@@ -1,16 +1,15 @@
 import gradio as gr
 from transformers import pipeline
-import torch
 
-# Загрузка русской модели (Saiga для чата на русском)
-generator = pipeline("text-generation", model="IlyaGusev/saiga_llama3_8b", torch_dtype=torch.float16)
+# Меньшая русская модель (работает на free tier)
+generator = pipeline("text-generation", model="sberbank-ai/rugpt3small_based_on_gpt2")
 
 def chat(message, history):
-    # Промпт для стиля ChatGPT
-    prompt = f"Ты полезный ассистент на русском языке. Отвечай кратко, точно и дружелюбно. Пользователь: {message}\nАссистент:"
-    response = generator(prompt, max_length=200, num_return_sequences=1, temperature=0.7)[0]['generated_text']
+    # Промпт для стиля ChatGPT на русском
+    prompt = f"Ты полезный ассистент. Отвечай кратко и точно. Вопрос: {message}\nОтвет:"
+    response = generator(prompt, max_length=100, num_return_sequences=1, temperature=0.8)[0]['generated_text']
     # Извлекаем ответ
-    ai_reply = response.split("Ассистент:")[-1].strip()
+    ai_reply = response.split("Ответ:")[-1].strip()
     history.append((message, ai_reply))
     return history, ""