Update app.py

app.py

@@ -1,26 +1,19 @@
 import os
-import gradio as gr
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
-from typing import List, Tuple
+import gradio as gr
 
-# Пути и настройки
 model_repo = "cody82/innopolis_bot_model"
-cache_dir = "/data/model"  # Путь к Persistent Storage
-
-if not os.path.exists(cache_dir):
-    os.makedirs(cache_dir)
+cache_dir = "/data/model"
 
-# Загружаем токенизатор и модель из локального кеша / Persistent Storage
 tokenizer = AutoTokenizer.from_pretrained(model_repo, cache_dir=cache_dir)
 model = AutoModelForCausalLM.from_pretrained(model_repo, cache_dir=cache_dir)
 model.to("cpu")
 
-# Функция обработки сообщений
 def respond(message, history):
     history = history or []
-    
-    # Собираем всю историю как текст
+
+    # Формируем текст
     full_input = ""
     for turn in history:
         if turn["role"] == "user":
@@ -36,28 +29,24 @@ def respond(message, history):
         do_sample=True,
         temperature=0.7,
         top_p=0.95,
-        pad_token_id=tokenizer.eos_token_id
+        pad_token_id=tokenizer.eos_token_id,
     )
     output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
     response = output_text.split("Assistant:")[-1].strip()
 
-    # Добавляем новый ответ в историю
+    # Обновлённая история
     history.append({"role": "user", "content": message})
     history.append({"role": "assistant", "content": response})
 
     return history
 
-
-# Gradio интерфейс
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
-    ],
+chat = gr.ChatInterface(
+    fn=respond,
+    chatbot=gr.Chatbot(label="Innopolis Bot", type="messages"),
+    title="Innopolis Chatbot",
+    theme="soft",
+    examples=["Когда был основан университет Иннополис?", "Какие программы есть в магистратуре?"],
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    chat.launch(share=True)