Update app.py

app.py

@@ -2,54 +2,58 @@ import os
 import torch
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import spaces
 
-model_repo = "cody82/innopolis_bot_model"
-cache_dir = "/data/model"
+# Параметры
+model_repo = "cody82/unitrip"
+cache_dir = "/data/model"  # Persistent storage путь на HF Spaces
+
+# Создаём каталог, если не существует
 os.makedirs(cache_dir, exist_ok=True)
 
+# Загрузка модели и токенизатора
 tokenizer = AutoTokenizer.from_pretrained(model_repo, cache_dir=cache_dir)
 model = AutoModelForCausalLM.from_pretrained(model_repo, cache_dir=cache_dir)
-device = torch.device("cpu")
-model.to(device)
+model.to("cpu")  # Используем CPU, так как у нас ZeroGPU
 
-@spaces.GPU
+@spaces.gpu
 def respond(message, history):
     history = history or []
 
-    # Собираем всю историю в строку
+    # Формируем текст истории
     full_input = ""
-    for user_msg, bot_msg in history:
-        full_input += f"User: {user_msg}\nAssistant: {bot_msg}\n"
+    for turn in history:
+        if turn["role"] == "user":
+            full_input += f"User: {turn['content']}\n"
+        elif turn["role"] == "assistant":
+            full_input += f"Assistant: {turn['content']}\n"
     full_input += f"User: {message}\nAssistant:"
 
-    # Генерация ответа
-    inputs = tokenizer(full_input, return_tensors="pt").to(device)
+    # Токенизация и генерация
+    inputs = tokenizer(full_input, return_tensors="pt").to(model.device)
     outputs = model.generate(
         **inputs,
-        max_new_tokens=200,
+        max_new_tokens=256,
         do_sample=True,
         temperature=0.7,
         top_p=0.95,
         pad_token_id=tokenizer.eos_token_id,
     )
-    output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    response = output_text.split("Assistant:")[-1].strip()
+    decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    response = decoded.split("Assistant:")[-1].strip()
 
-    # Возвращаем в виде списка кортежей (user, assistant)
-    history.append((message, response))
-    return history
+    # Обновление истории
+    history.append({"role": "user", "content": message})
+    history.append({"role": "assistant", "content": response})
 
+    return history
 
+# Интерфейс
 chat = gr.ChatInterface(
     fn=respond,
-    chatbot=gr.Chatbot(label="Innopolis Bot", type="messages"),
-    title="Innopolis Chatbot",
+    chatbot=gr.Chatbot(label="Unitrip Assistant", type="messages"),
+    title="Unitrip Travel Assistant",
     theme="soft",
-    examples=[
-        "Когда был основан университет Иннополис?",
-        "Какие программы есть в магистратуре?"
-    ],
+    examples=["Какие города ты рекомендуешь посетить в Италии?", "Лучшее время для поездки в Японию?"],
 )
 
 if __name__ == "__main__":