Update app.py

app.py

@@ -1,40 +1,26 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
-import os
+from transformers import pipeline
 
-# Offload папка
-offload_dir = "./offload"
-os.makedirs(offload_dir, exist_ok=True)
-
-# Модель
-model_name = "IlyaGusev/saiga_llama3_8b"
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(
-    model_name,
-    torch_dtype=torch.float16,
-    device_map="auto",
-    low_cpu_mem_usage=True,
-    offload_folder=offload_dir
-)
+# Меньшая русская модель (работает на free tier)
+generator = pipeline("text-generation", model="sberbank-ai/rugpt3small_based_on_gpt2")
 
 def chat(message, history):
-    prompt = f"<s>[INST] Ты полезный ассистент на русском. Отвечай кратко, точно и дружелюбно. [/INST] {message} [/INST]"
-    inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(**inputs, max_new_tokens=50, temperature=0.5, do_sample=True, pad_token_id=tokenizer.eos_token_id)  # Укоротили для скорости
-    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    ai_reply = response.split("[/INST]")[-1].strip()
+    # Промпт для стиля ChatGPT на русском
+    prompt = f"Ты полезный ассистент. Отвечай кратко и точно. Вопрос: {message}\nОтвет:"
+    response = generator(prompt, max_length=100, num_return_sequences=1, temperature=0.8)[0]['generated_text']
+    # Извлекаем ответ
+    ai_reply = response.split("Ответ:")[-1].strip()
     history.append((message, ai_reply))
     return history, ""
 
-# Интерфейс
-with gr.Blocks(title="Большой Русский Чат") as demo:
-    gr.Markdown("# 🚀 Большой ИИ-Чат на русском (Saiga 8B)\nСпрашивай умные вопросы!")
+# Интерфейс чата
+with gr.Blocks(title="Русский Чат-Бот") as demo:
+    gr.Markdown("# Бесплатный ИИ-Чат на русском\nСпрашивай что угодно!")
     chatbot = gr.Chatbot(height=400)
-    msg = gr.Textbox(placeholder="Например: 'Объясни квантовую физику'")
+    msg = gr.Textbox(placeholder="Напиши сообщение на русском...")
     clear = gr.Button("Очистить")
     msg.submit(chat, [msg, chatbot], [chatbot, msg])
-    clear.click(lambda: [], None, chatbot, queue=False)
+    clear.click(lambda: None, None, chatbot, queue=False)
 
 if __name__ == "__main__":
     demo.launch()