Update app.py

app.py

@@ -1,63 +1,55 @@
 import os
-os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем проблемный ускоритель загрузки
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем нестабильную загрузку
 
 import torch
 import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
-# Используем базовый GPT-2 от OpenAI (английский, но подойдет для демонстрации)
-model_id = "gpt2"
+model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
+
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
-# Контекст, который мы передаём как часть каждого запроса
-context = """
-Университет Иннополис был основан в 2012 году. Это современный вуз в России, 
-специализирующийся на IT и робототехнике, расположенный в городе Иннополис, Татарстан.
-"""
+context = (
+    "Университет Иннополис был основан в 2012 году. "
+    "Это современный вуз в России, специализирующийся на IT и робототехнике, "
+    "расположенный в городе Иннополис, Татарстан.\n"
+)
 
-# Обработчик сообщений
 def respond(message, history=None):
-    prompt = (
-        f"{context}\n\n"
-        f"Вопрос: {message}\n"
-        "Ответ:"
-    )
+    prompt = f"{context}Вопрос: {message}\nОтвет:"
 
-    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+    input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
 
     with torch.no_grad():
-        outputs = model.generate(
-            **inputs,
+        output_ids = model.generate(
+            input_ids,
             max_new_tokens=100,
-            temperature=0.7,
+            temperature=0.8,
             top_p=0.9,
             do_sample=True,
             pad_token_id=tokenizer.eos_token_id
         )
 
-    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    full_output = tokenizer.decode(output_ids[0], skip_special_tokens=True)
 
-    # Извлекаем ответ после "Ответ:"
-    answer_start = generated_text.find("Ответ:")
-    if answer_start != -1:
-        answer = generated_text[answer_start + len("Ответ:"):].strip()
+    # Извлекаем только текст после "Ответ:"
+    if "Ответ:" in full_output:
+        answer = full_output.split("Ответ:")[-1].strip()
     else:
-        answer = generated_text[len(prompt):].strip()
+        answer = full_output[len(prompt):].strip()
 
     return answer
 
-# Интерфейс Gradio
 iface = gr.ChatInterface(
     fn=respond,
-    title="Innopolis GPT-2 Q&A Bot",
+    title="Бот об Университете Иннополис",
     chatbot=gr.Chatbot(label="Диалог"),
-    textbox=gr.Textbox(placeholder="Задай вопрос про Университет Иннополис...", label="Твой вопрос")
+    textbox=gr.Textbox(placeholder="Задай вопрос на русском...", label="Твой вопрос")
 )
 
-# Запуск
 if __name__ == "__main__":
     iface.launch()