update gradio

app.py

@@ -28,7 +28,7 @@ try:
     )
 except Exception as e:
     print(f"Critical Error: {e}")
-    raise e
+    llm = None
 
 # --- API (FastAPI) ---
 app = FastAPI()
@@ -43,6 +43,9 @@ app.add_middleware(
 
 @app.post("/v1/chat/completions")
 async def chat_completions(request: Request):
+    if not llm:
+        return JSONResponse(content={"error": "Model not loaded"}, status_code=500)
+
     try:
         data = await request.json()
         messages = data.get("messages", [])
@@ -72,16 +75,33 @@ async def chat_completions(request: Request):
 
 
 # --- ЛОГИКА ГЕНЕРАЦИИ ДЛЯ GRADIO ---
-def generate_response(message, history, system_prompt, temperature, max_tokens):
-    # Формируем сообщения
+
+
+def user_input(user_message, history):
+    return "", history + [[user_message, None]]
+
+
+def bot_response(history, system_prompt, temperature, max_tokens):
+    if not llm:
+        history[-1][1] = "Error: Model failed to load. Check logs."
+        yield history
+        return
+
+    # Конвертируем историю Gradio (списки) в формат Llama (словари)
     messages = [{"role": "system", "content": system_prompt}]
 
-    # Берем последние 10 сообщений для экономии памяти
-    for user_msg, assistant_msg in history[-10:]:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": assistant_msg})
+    # Берем последние 10 диалогов для контекста
+    relevant_history = history[-11:-1] if len(history) > 1 else []
+
+    for user_msg, assistant_msg in relevant_history:
+        if user_msg:
+            messages.append({"role": "user", "content": user_msg})
+        if assistant_msg:
+            messages.append({"role": "assistant", "content": assistant_msg})
 
-    messages.append({"role": "user", "content": message})
+    # Добавляем последнее сообщение пользователя
+    last_user_msg = history[-1][0]
+    messages.append({"role": "user", "content": last_user_msg})
 
     partial_text = ""
     try:
@@ -96,16 +116,18 @@ def generate_response(message, history, system_prompt, temperature, max_tokens):
             delta = chunk["choices"][0]["delta"]
             if "content" in delta:
                 partial_text += delta["content"]
-                yield partial_text
+                # Обновляем последнее сообщение ассистента в истории (классический формат)
+                history[-1][1] = partial_text
+                yield history
 
     except Exception as e:
         traceback.print_exc()
-        yield partial_text + f"\n\n❌ **Error:** {str(e)}"
+        history[-1][1] = partial_text + f"\n\n❌ **Error:** {str(e)}"
+        yield history
 
 
 # --- ИНТЕРФЕЙС (Gradio Blocks) ---
 
-# CSS для увеличения высоты окна чата и улучшения шрифтов кода
 custom_css = """
 #chatbot {
     height: 70vh !important;
@@ -113,127 +135,47 @@ custom_css = """
 }
 """
 
-# Используем тему Soft для более приятного визуала
-theme = gr.themes.Soft(
-    primary_hue="blue", secondary_hue="slate", neutral_hue="slate", text_size="lg"
-)
+theme = gr.themes.Soft(primary_hue="blue", text_size="lg")
 
 with gr.Blocks(theme=theme, css=custom_css, title="Qwen Coder Pro") as demo:
     gr.Markdown("# 💻 Qwen 2.5 Coder Assistant")
 
     with gr.Row():
-        # Левая колонка - Настройки (20% ширины)
+        # Настройки
         with gr.Column(scale=1, min_width=250):
             gr.Markdown("### ⚙️ Settings")
-
             system_prompt = gr.Textbox(
                 label="System Prompt",
-                value="You are an expert coding assistant. Write clean, efficient code and explain it clearly.",
-                lines=4,
-                interactive=True,
-            )
-
-            temperature = gr.Slider(
-                minimum=0.0,
-                maximum=1.0,
-                value=0.4,
-                step=0.1,
-                label="Creativity (Temperature)",
-                info="Lower = more precise code. Higher = more creative.",
+                value="You are an expert coding assistant. Write clean code.",
+                lines=3,
             )
+            temperature = gr.Slider(0.0, 1.0, value=0.4, label="Temperature")
+            max_tokens = gr.Slider(512, 8192, value=4096, label="Max Tokens")
+            clear_btn = gr.Button("🗑️ Clear Chat")
 
-            max_tokens = gr.Slider(
-                minimum=512,
-                maximum=8192,
-                value=4096,
-                step=256,
-                label="Max Response Length",
-                info="Limit the length of the answer.",
-            )
-
-            gr.Markdown("---")
-            clear_btn = gr.Button("🗑️ Clear Chat", variant="secondary")
-
-        # Правая колонка - Чат (80% ширины)
+        # Чат
         with gr.Column(scale=4):
+            # ВАЖНО: Убрали type="messages", используем стандартный формат
             chatbot = gr.Chatbot(
                 label="Conversation",
                 elem_id="chatbot",
-                show_copy_button=True,  # Кнопка копирования кода
-                avatar_images=(
-                    None,
-                    "https://api.iconify.design/noto:robot.svg",
-                ),  # Иконка бота
-                type="messages",  # Новый формат сообщений Gradio
+                show_copy_button=True,  # Требует gradio>=3.37 (см. requirements.txt)
+                avatar_images=(None, "https://api.iconify.design/noto:robot.svg"),
             )
 
-            with gr.Row():
-                msg = gr.Textbox(
-                    show_label=False,
-                    placeholder="Type your code question here...",
-                    scale=8,
-                    container=False,
-                    lines=2,
-                )
-                submit_btn = gr.Button("Run ➤", variant="primary", scale=1)
-
-    # --- СВЯЗКА СОБЫТИЙ ---
-
-    # Функция обертка для обработки истории в новом формате Gradio
-    def user_input(user_message, history):
-        return "", history + [{"role": "user", "content": user_message}]
-
-    def bot_response(history, sys_p, temp, m_tok):
-        # Преобразуем формат истории Gradio (список словарей) в формат для модели (список кортежей для старой логики или обработка словарей напрямую)
-        # Здесь мы адаптируем логику под список словарей
-
-        messages = [{"role": "system", "content": sys_p}]
-        # Добавляем историю (исключая последнее сообщение, которое мы добавим сейчас для генерации,
-        # но в новом формате Gradio история уже содержит последнее сообщение пользователя)
-
-        # Конвертация для LlamaCPP
-        llama_messages = [{"role": "system", "content": sys_p}]
-
-        # Берем последние 20 сообщений
-        relevant_history = history[-20:]
-
-        for msg in relevant_history:
-            llama_messages.append({"role": msg["role"], "content": msg["content"]})
-
-        partial_text = ""
-        history.append({"role": "assistant", "content": ""})
-
-        try:
-            stream = llm.create_chat_completion(
-                messages=llama_messages,
-                max_tokens=int(m_tok),
-                temperature=float(temp),
-                stream=True,
+            msg = gr.Textbox(
+                show_label=False, placeholder="Type your code question here...", lines=2
             )
+            submit_btn = gr.Button("Run ➤", variant="primary")
 
-            for chunk in stream:
-                delta = chunk["choices"][0]["delta"]
-                if "content" in delta:
-                    partial_text += delta["content"]
-                    # Обновляем последнее сообщение ассистента в истории
-                    history[-1]["content"] = partial_text
-                    yield history
-
-        except Exception as e:
-            history[-1]["content"] = f"Error: {str(e)}"
-            yield history
-
-    # Отправка по Enter или кнопке
+    # Связка событий
     msg.submit(user_input, [msg, chatbot], [msg, chatbot], queue=False).then(
         bot_response, [chatbot, system_prompt, temperature, max_tokens], chatbot
     )
-
     submit_btn.click(user_input, [msg, chatbot], [msg, chatbot], queue=False).then(
         bot_response, [chatbot, system_prompt, temperature, max_tokens], chatbot
     )
-
-    # Очистка
-    clear_btn.click(lambda: [], None, chatbot, queue=False)
+    clear_btn.click(lambda: None, None, chatbot, queue=False)
 
 app = mount_gradio_app(app, demo, path="/")
 

requirements.txt

@@ -1,6 +1,5 @@
 fastapi
 uvicorn
-gradio
+scipy
 huggingface_hub
-sse-starlette
-pydantic
+gradio>=4.19.0