Update app.py

app.py

@@ -1,43 +1,21 @@
-import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
 
-# Загружаем модель для русского языка
-model_name = "sberbank-ai/ruT5-base"
+model_name = "ai-forever/ruGPT-3.5-13B"  # название модели на Hugging Face
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
-
+model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")  # загрузка модели (может быть большая, требует GPU)
 
-# Проверка доступности GPU (если оно есть)
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-model = model.to(device)
-
-# Генерация ответа с более точным форматом
-# Генерация ответа
-def generate_response(question):
-    # Новый промпт
-    prompt = f"Представьте, что вы сотрудник банка, и клиент спрашивает вас: '{question}'. Пожалуйста, дайте подробный ответ."
-    
-    # Подготовка входных данных
-    inputs = tokenizer(prompt, return_tensors="pt").to(device)
-    
-    # Генерация ответа с измененными параметрами
-    outputs = model.generate(**inputs, max_new_tokens=50, do_sample=True, top_p=0.95, top_k=50, temperature=1.0)
-    
-    # Декодирование и удаление лишнего текста
-    generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    response = generated.replace(prompt, "").strip()
-    
-    return response
 
+import gradio as gr
 
-# Интерфейс Gradio
-iface = gr.Interface(
-    fn=generate_response,
-    inputs=gr.Textbox(lines=2, placeholder="Введите банковский вопрос..."),
-    outputs="text",
-    title="Русский банковский чат-бот",
-    description="Задайте вопрос, например: 'Какие комиссии за переводы?' или 'Как активировать карту?'"
-)
+# Определяем функцию ответа, использующую загруженную ранее модель:
+def answer_question(user_input):
+    # Формируем промпт для модели – просто сам вопрос пользователя.
+    input_ids = tokenizer.encode(user_input, return_tensors='pt').to(model.device)
+    output_ids = model.generate(input_ids, max_new_tokens=100, eos_token_id=tokenizer.eos_token_id)
+    answer = tokenizer.decode(output_ids[0][input_ids.shape[-1]:], skip_special_tokens=True)
+    return answer
 
-iface.launch()
+# Создаем интерфейс Gradio с текстовым полем ввода и вывода:
+demo = gr.Interface(fn=answer_question, inputs="text", outputs="text", 
+                    title="Помощник банка", description="Задайте вопрос об услугах банка")
+demo.launch()