Update space 4

app.py

@@ -2,8 +2,12 @@ import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
+# Загрузка модели (остается такой же)
 model_name = "microsoft/phi-2"
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+if tokenizer.pad_token is None:
+    tokenizer.pad_token = tokenizer.eos_token
+
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.float32,
@@ -12,35 +16,61 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 
 def respond(message, history):
-    prompt = ""
-    for human_msg, ai_msg in history:
-        prompt += f"Human: {human_msg}\nAssistant: {ai_msg}\n"
-    prompt += f"Human: {message}\nAssistant:"
+    """Адаптированная функция для Blocks"""
+    history = history or []
+    
+    # Формируем промпт
+    prompt = "Ты - ассистент для помощи в программировании. Отвечай кратко и по делу.\n\n"
+    for human, assistant in history:
+        prompt += f"Человек: {human}\nАссистент: {assistant}\n"
+    prompt += f"Человек: {message}\nАссистент:"
+    
+    # Генерация
+    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=1024)
+    
+    with torch.no_grad():
+        outputs = model.generate(
+            inputs.input_ids,
+            max_new_tokens=300,
+            temperature=0.7,
+            do_sample=True,
+            top_p=0.9
+        )
+    
+    response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
+    
+    # Обновляем историю
+    history.append((message, response))
+    return history, history, ""  # Возвращаем историю и очищаем поле ввода
 
-    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=512)
-    generate_ids = model.generate(
-        inputs.input_ids,
-        max_new_tokens=300,
-        do_sample=True,
-        temperature=0.7,
-        top_p=0.9
+# СОЗДАЕМ ИНТЕРФЕЙС ВРУЧНУЮ
+with gr.Blocks(title="LiveCoder LLM API", theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# 🚀 LiveCoder LLM API")
+    gr.Markdown("Модель Phi-2 для помощи в написании кода")
+    
+    chatbot = gr.Chatbot(height=400, label="Диалог")
+    msg = gr.Textbox(label="Ваш вопрос", placeholder="Введите вопрос по программированию...")
+    clear = gr.Button("Очистить чат")
+    
+    # Состояние (история диалога)
+    state = gr.State([])
+    
+    # Обработчики
+    def user_message(message, history):
+        return "", history + [[message, None]]
+    
+    def bot_message(history):
+        message = history[-1][0]
+        # Вызываем функцию respond
+        new_history, _, _ = respond(message, history[:-1])
+        history[-1][1] = new_history[-1][1]
+        return history
+    
+    # Привязка событий
+    msg.submit(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
+        bot_message, chatbot, chatbot
     )
-    output = tokenizer.batch_decode(
-        generate_ids,
-        skip_special_tokens=True,
-        clean_up_tokenization_spaces=False
-    )[0]
-
-    answer = output.split("Assistant:")[-1].strip()
-    return answer
-
-# Используем тип 'messages' для чата, как рекомендовано в предупреждении
-demo = gr.ChatInterface(
-    fn=respond,
-    title="LiveCoder LLM API",
-    description="Модель Phi-2 для помощи в написании кода. Задавайте вопросы!",
-    type="messages"  # Устанавливаем тип в 'messages'
-)
+    
+    clear.click(lambda: None, None, chatbot, queue=False)
 
-if __name__ == "__main__":
-    demo.launch(share=False)
+demo.launch(server_name="0.0.0.0", server_port=7860, share=False)