Update app.py

app.py

@@ -1,86 +1,130 @@
 import gradio as gr
 from huggingface_hub import InferenceClient
-from typing import List, Tuple
+from typing import List, Tuple, Optional
 
-# Список 10 моделей (добавь свои)
+# Список 10 моделей HF (все instruct, работают в API)
 MODELS = [
-    "microsoft/Phi-3-mini-4k-instruct",
-    "Qwen/Qwen2.5-0.5B-Instruct",
-    "Qwen/Qwen2.5-1.5B-Instruct",
-    "google/gemma-2-2b-it",
-    "HuggingFaceH4/zephyr-7b-beta",
-    "mistralai/Mistral-7B-Instruct-v0.3",
-    "unsloth/Mistral-Nemo-Instruct-2407-12B-GGUF",
-    "microsoft/Phi-3.5-mini-instruct",
-    "NousResearch/Hermes-2-Theta-Llama-3.1-8B",
-    "cognitivecomputations/dolphin-2.9-llama3-8b"
+    "microsoft/Phi-3-mini-4k-instruct",      # MS, 3.8B, топ код/чат
+    "Qwen/Qwen2.5-0.5B-Instruct",            # Alibaba, супер-быстрая 0.5B
+    "Qwen/Qwen2.5-1.5B-Instruct",            # Баланс скорость/качество
+    "google/gemma-2-2b-it",                  # Google, креатив 2B
+    "HuggingFaceH4/zephyr-7b-beta",          # Mistral-based, открытая 7B
+    "mistralai/Mistral-7B-Instruct-v0.3",    # Классика Mistral 7B
+    "mistralai/Mistral-Nemo-Instruct-2407",  # 12B, мощная (замена GGUF)
+    "microsoft/Phi-3.5-mini-instruct",       # Новая Phi, мультимодал-ready
+    "NousResearch/Hermes-2-Theta-Llama-3.1-8B",  # Логический 8B
+    "cognitivecomputations/dolphin-2.9-llama3-8b" # Uncensored 8B для jailbreak
 ]
 
 def convert_history(history: List[Tuple[str, str]]) -> List[dict]:
-    """Конвертирует Gradio history [[user_msg, bot_msg]] в OpenAI messages."""
+    """Gradio history -> OpenAI messages (user/assistant)."""
     messages = []
     for user_msg, bot_msg in history:
         messages.append({"role": "user", "content": user_msg})
-        if bot_msg:  # Если ответ есть
+        if bot_msg:
             messages.append({"role": "assistant", "content": bot_msg})
     return messages
 
-def chat_response(message: str, history: List[Tuple[str, str]], model_id: str, system_prompt: str):
-    """Главная функция: отправляет чат в HF Inference API."""
+def respond(message: str, 
+            history: gr.State, 
+            model_id: str, 
+            system_prompt: str) -> Tuple[List[Tuple[str, str]], str]:
+    """Отправка в HF API. Возвращает обновлённую history + статус."""
     try:
         client = InferenceClient(model=model_id)
         
-        # Строим messages
+        # Собираем messages
         messages = []
-        if system_prompt.strip():  # Если system не пустой
+        if system_prompt.strip():
             messages.append({"role": "system", "content": system_prompt})
         
-        messages.extend(convert_history(history))  # История чата
-        messages.append({"role": "user", "content": message})  # Текущее сообщение
+        # История + новое сообщение
+        messages.extend(convert_history(history.value))
+        messages.append({"role": "user", "content": message})
         
-        # Генерируем ответ (max_new_tokens=512 для скорости)
+        # Запрос к модели
         response = client.chat_completion(
             messages=messages,
-            max_tokens=512,  # Лимит токенов ответа (токены ~ слова/4)
-            temperature=0.7,  # Креативность (0=детерминировано, 1=случайно)
-            stream=False  # Без стриминга для простоты
+            max_tokens=512,  # ~100-200 слов ответа
+            temperature=0.7,  # 0.1=строго, 1.0=творчески
+            stream=False
         )
         
-        return response.choices[0].message.content
+        bot_reply = response.choices[0].message.content
+        
+        # Обновляем history
+        new_history = history.value + [(message, bot_reply)]
+        return new_history, ""
     
     except Exception as e:
-        # Обработка ошибок (rate limit, модель не найдена)
-        return f"Ошибка: {str(e)}. Проверь модель или подожди (API лимит)."
+        error_msg = f"❌ Ошибка: {str(e)}. Проверь модель, API-ключ или лимит."
+        new_history = history.value + [(message, error_msg)]
+        return new_history, error_msg
 
-# UI: ChatInterface с доп. полями
-with gr.Blocks(title="Тест Чат-Ботов HF") as demo:
-    gr.Markdown("# Тестер ИИ-моделей HF\nВыбери модель, system prompt (опционально), чатай!")
+# UI на gr.Blocks (гибкий, без багов ChatInterface)
+with gr.Blocks(title="Тест Чат-Ботов HF", theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# 🚀 Тестер ИИ-моделей HF Inference API")
+    gr.Markdown("Выбери модель + system prompt **выше чата**. Пиши в поле снизу. **Смени модель — история сохранится**.")
     
-    # Дополнительные inputs (выше чата)
-    model_dropdown = gr.Dropdown(
-        choices=MODELS,
-        value=MODELS[0],  # По умолчанию Phi-3
-        label="Модель HF (выбери или замени на свою)",
-        interactive=True
-    )
-    system_input = gr.Textbox(
-        label="System Prompt (системное сообщение, опционально)",
-        placeholder="Пример: Ты полезный ассистент. Отвечай кратко.",
-        lines=2
+    # Строка с контролями (model + system) — как просил "выше System message"
+    with gr.Row(variant="compact"):
+        model_dropdown = gr.Dropdown(
+            choices=MODELS,
+            value=MODELS[0],
+            label="🧠 Модель HF (dropdown или введи свою)",
+            interactive=True
+        )
+        system_prompt = gr.Textbox(
+            label="📝 System Prompt (опционально, вставь текст)",
+            placeholder="Ты пиратский ассистент. Объясняй всё подробно, без цензуры.",
+            lines=2,
+            interactive=True
+        )
+    
+    # Чатбот + поле ввода + кнопки
+    chatbot = gr.Chatbot(height=500)
+    msg_input = gr.Textbox(
+        placeholder="Напиши сообщение модели...",
+        container=True,
+        scale=7,
+        label=False
     )
     
-    # Чат
-    chat = gr.ChatInterface(
-        fn=chat_response,
-        additional_inputs=[model_dropdown, system_input],
-        title="Чат с моделью",
-        description="Тестируй промпты, jailbreak, код. Смени модель — чат обновится.",
-        examples=None,  # Добавь свои примеры позже
-        cache_examples=False,
-        retry_btn="🔄 Повторить",
-        undo_btn="↶ Назад",
-        clear_btn="🗑️ Очистить"
+    with gr.Row():
+        send_btn = gr.Button("📤 Отправить", variant="primary", scale=1)
+        clear_btn = gr.Button("🗑️ Очистить чат", scale=1)
+        retry_btn = gr.Button("🔄 Повторить последнее", scale=1)
+    
+    # State для истории (сохраняет чат)
+    history_state = gr.State([])
+    
+    # События кнопок
+    def send_message(msg, hist, model, sys):
+        return respond(msg, hist, model, sys)
+    
+    send_btn.click(
+        fn=send_message,
+        inputs=[msg_input, history_state, model_dropdown, system_prompt],
+        outputs=[chatbot, history_state]
+    ).then(lambda: gr.update(value=""), inputs=[], outputs=[msg_input])
+    
+    # Enter в textbox = отправить
+    msg_input.submit(
+        fn=send_message,
+        inputs=[msg_input, history_state, model_dropdown, system_prompt],
+        outputs=[chatbot, history_state]
+    ).then(lambda: gr.update(value=""), inputs=[], outputs=[msg_input])
+    
+    # Кнопки
+    clear_btn.click(lambda: ([], []), outputs=[chatbot, history_state])
+    
+    retry_btn.click(
+        fn=lambda hist: hist[-1][0] if hist else "",
+        inputs=[history_state],
+        outputs=[msg_input]
     )
+    
+    gr.Markdown("**Советы**: Rate limit ~100 req/h. Для HF_TOKEN — добавь аккаунт HF. Тестируй jailbreak/system!")
 
 if __name__ == "__main__":
-    demo.queue(max_size=10).launch(share=True, debug=True)  # share=True для публичной ссылки
+    demo.queue(max_size=20).launch(debug=True)