Update app.py

app.py

@@ -1,26 +1,28 @@
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-model_id = "cody82/innopolis_bot_model"
-
-# Загружаем токенизатор и модель
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id)
-
-# Убираем cuda, т.к. у нас CPU
+# Загружаем модель и токенизатор
+model_name = "cody82/innopolis_bot_model"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 device = torch.device("cpu")
-model = model.to(device)
+model.to(device)
 
+# Функция ответа
 def respond(message, history):
     history = history or []
 
-    # Собираем всю историю в виде текста
+    # Собираем prompt из истории
     full_input = ""
-    for user, bot in history:
-        full_input += f"User: {user}\nAssistant: {bot}\n"
+    for turn in history:
+        if turn["role"] == "user":
+            full_input += f"User: {turn['content']}\n"
+        elif turn["role"] == "assistant":
+            full_input += f"Assistant: {turn['content']}\n"
     full_input += f"User: {message}\nAssistant:"
 
+    # Токенизация и генерация
     inputs = tokenizer(full_input, return_tensors="pt").to(device)
     outputs = model.generate(
         **inputs,
@@ -28,20 +30,22 @@ def respond(message, history):
         do_sample=True,
         temperature=0.7,
         top_p=0.95,
-        pad_token_id=tokenizer.eos_token_id
+        pad_token_id=tokenizer.eos_token_id,
     )
     output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-    # Извлекаем только ответ ассистента
+    # Извлекаем ответ ассистента
     response = output_text.split("Assistant:")[-1].strip()
-
-    # Добавляем в историю в виде (вопрос, ответ)
-    history.append((message, response))
-
-    return response, history
-
-
-chat = gr.ChatInterface(fn=respond, title="Innopolis Chatbot")
+    return response
+
+# Интерфейс Gradio с новым форматом истории
+chat = gr.ChatInterface(
+    fn=respond,
+    chatbot=gr.Chatbot(label="Innopolis Bot", type="messages"),
+    title="Innopolis Chatbot",
+    theme="soft",
+    examples=["Когда был основан университет Иннополис?", "Какие программы есть в магистратуре?"],
+)
 
 if __name__ == "__main__":
     chat.launch(share=True)