Update space 6

app.py

@@ -1,84 +1,80 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
+import os
 
-# Загрузка модели (остается такой же)
+# ЗАМЕНИТЕ ЭТИ ЗНАЧЕНИЯ НА СВОИ!
+SPACE_NAME = "livecoder"  # Имя вашего Space
+USERNAME = "sarekuwa"  # Ваш username на Hugging Face
+
+# Выводим endpoint сразу при запуске
+print("=" * 50)
+print(f"Space name: {SPACE_NAME}")
+print(f"Username: {USERNAME}")
+print(f"Local URL: http://0.0.0.0:7860")
+print(f"Public API endpoint: https://{USERNAME}-{SPACE_NAME}.hf.space/run/predict")
+print("=" * 50)
+
+# Загрузка модели
 model_name = "microsoft/phi-2"
+print("Loading tokenizer...")
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 if tokenizer.pad_token is None:
     tokenizer.pad_token = tokenizer.eos_token
 
+print("Loading model...")
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.float32,
     device_map="cpu",
     trust_remote_code=True
 )
+print("Model loaded successfully!")
 
-def respond(message, history):
-    """Адаптированная функция для Blocks"""
-    history = history or []
-    
-    # Формируем промпт
-    prompt = "Ты - ассистент для помощи в программировании. Отвечай кратко и по делу.\n\n"
-    for human, assistant in history:
-        prompt += f"Человек: {human}\nАссистент: {assistant}\n"
-    prompt += f"Человек: {message}\nАссистент:"
-    
-    # Генерация
-    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=1024)
-    
-    with torch.no_grad():
-        outputs = model.generate(
-            inputs.input_ids,
-            max_new_tokens=300,
-            temperature=0.7,
-            do_sample=True,
-            top_p=0.9
-        )
-    
-    response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
-    
-    # Обновляем историю
-    history.append((message, response))
-    return history, history, ""  # Возвращаем историю и очищаем поле ввода
+def predict(message, history):
+    """Обработчик сообщений"""
+    try:
+        # Формируем промпт
+        prompt = ""
+        if history:
+            for human_msg, ai_msg in history:
+                prompt += f"### Human: {human_msg}\n### Assistant: {ai_msg}\n"
+        prompt += f"### Human: {message}\n### Assistant:"
+        
+        # Токенизация и генерация
+        inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=1024)
+        
+        with torch.no_grad():
+            outputs = model.generate(
+                inputs.input_ids,
+                max_new_tokens=256,
+                temperature=0.7,
+                do_sample=True,
+                top_p=0.9,
+                pad_token_id=tokenizer.pad_token_id,
+                eos_token_id=tokenizer.eos_token_id
+            )
+        
+        response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
+        response = response.split("### Human:")[0].strip()
+        return response
+        
+    except Exception as e:
+        return f"Ошибка: {str(e)}"
 
-# СОЗДАЕМ ИНТЕРФЕЙС ВРУЧНУЮ
-with gr.Blocks(title="LiveCoder LLM API", theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 🚀 LiveCoder LLM API")
-    gr.Markdown("Модель Phi-2 для помощи в написании кода")
-    
-    chatbot = gr.Chatbot(height=400, label="Диалог")
-    msg = gr.Textbox(label="Ваш вопрос", placeholder="Введите вопрос по программированию...")
-    clear = gr.Button("Очистить чат")
-    
-    # Состояние (история диалога)
-    state = gr.State([])
-    
-    # Обработчики
-    def user_message(message, history):
-        return "", history + [[message, None]]
-    
-    def bot_message(history):
-        message = history[-1][0]
-        # Вызываем функцию respond
-        new_history, _, _ = respond(message, history[:-1])
-        history[-1][1] = new_history[-1][1]
-        return history
-    
-    # Привязка событий
-    msg.submit(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
-        bot_message, chatbot, chatbot
-    )
-    
-    clear.click(lambda: None, None, chatbot, queue=False)
-
-# Выводим информацию о запуске
-print("=" * 20)
-print(f"Space name: {YOUR_SPACE_NAME}")
-print(f"Username: {YOUR_USERNAME}")
-print(f"Local URL: http://0.0.0.0:7860")
-print(f"Public API endpoint: https://{YOUR_USERNAME}-{YOUR_SPACE_NAME}.hf.space/run/predict")
-print("=" * 20)
+# Исправляем предупреждение: добавляем type='messages'
+demo = gr.ChatInterface(
+    fn=predict,
+    title="LiveCoder LLM API",
+    description="Модель Phi-2 для помощи в написании кода",
+    chatbot=gr.Chatbot(height=400, type='messages'),  # ИСПРАВЛЕНО ЗДЕСЬ
+    textbox=gr.Textbox(placeholder="Введите вопрос по программированию...", lines=3),
+    examples=[
+        ["Напиши hello world на C++"],
+        ["Объясни принцип ООП"],
+        ["Как работает указатель в C++?"]
+    ]
+)
 
-demo.launch(server_name="0.0.0.0", server_port=7860, share=False)
+if __name__ == "__main__":
+    demo.launch(server_name="0.0.0.0", server_port=7860, share=False)