Update app.py

app.py

@@ -2,11 +2,12 @@ import gradio as gr
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer
 from functools import lru_cache
+import time
 
 # --- Конфигурация Hugging Face Space ---
 MODEL_NAME = "Kenan023214/PyroNet-mini"
 DEVICE = "cpu"  # Используем CPU, как указано для Basic Space
-MAX_NEW_TOKENS = 512  # Увеличим для "хода мыслей"
+MAX_NEW_TOKENS = 1024 # Увеличим для "хода мыслей"
 MAX_CONTEXT_TOKENS = 2048
 
 # Словарь с встроенным содержимым шаблонов чата
@@ -110,10 +111,8 @@ def trim_history_to_max_tokens(messages, max_tokens):
 
 def build_messages_for_template(history_messages, reasoning: bool, language: str):
     """Подготавливает сообщения для шаблона, включая системное сообщение."""
-    # Используем полный системный промпт из словаря
     full_template_content = CHAT_TEMPLATES.get(language, CHAT_TEMPLATES["en"])
     
-    # Извлекаем системное сообщение из шаблона
     system_start_tag = "<|system|>"
     system_end_tag = "<|end|>"
     system_message_raw = full_template_content.split(system_start_tag)[1].split(system_end_tag)[0].strip()
@@ -146,20 +145,24 @@ def extract_assistant_reply_and_reasoning(raw_generated_text: str) -> tuple[str,
 
 # --- Основная функция для Gradio ---
 def generate_response(user_text: str, history, reasoning: bool, language: str):
-    """Обрабатывает пользовательский запрос и генерирует ответ."""
+    """
+    Обрабатывает пользовательский запрос, генерирует ответ и возвращает его
+    с эффектом печати.
+    """
+    # Добавляем user-сообщение во внутреннюю историю
+    history.append([user_text, None])
     
-    history.append({"role": "user", "content": user_text})
+    # Конвертируем Gradio-историю в наш внутренний формат
+    internal_history = [{"role": "user", "content": h[0]} for h in history if h[0] is not None]
     
-    trimmed_history = trim_history_to_max_tokens(history, MAX_CONTEXT_TOKENS)
-
+    trimmed_history = trim_history_to_max_tokens(internal_history, MAX_CONTEXT_TOKENS)
     messages_for_template = build_messages_for_template(trimmed_history, reasoning, language)
-
-    # Используем содержимое шаблона из словаря, а не путь к файлу
     template_content = CHAT_TEMPLATES.get(language, CHAT_TEMPLATES["en"])
     
+    # Применяем шаблон и токенизируем
     text = tokenizer.apply_chat_template(
         messages_for_template,
-        chat_template=template_content,  # Передаем содержимое шаблона напрямую
+        chat_template=template_content,
         tokenize=False,
         add_generation_prompt=True
     )
@@ -177,12 +180,19 @@ def generate_response(user_text: str, history, reasoning: bool, language: str):
         )
 
     raw = tokenizer.decode(outputs[0], skip_special_tokens=False)
+    
+    # Извлекаем финальный ответ и ход мыслей
     reply, reasoning_text = extract_assistant_reply_and_reasoning(raw)
 
-    history.append({"role": "assistant", "content": reply})
+    # Обновляем историю Gradio с финальным ответом
+    history[-1][1] = ""
+    
+    # Используем генератор для создания эффекта печати
+    for chunk in reply.split():
+        history[-1][1] += chunk + " "
+        time.sleep(0.05) # Небольшая задержка для анимации
+        yield "", history, reasoning_text
     
-    return "", history, reasoning_text
-
 # --- Интерфейс Gradio ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("# PyroNet-mini Chat")
@@ -232,10 +242,10 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
         outputs=[msg, chatbot, reasoning_box]
     )
     btn_clear.click(
-        fn=lambda: ([], "", ""),
+        fn=lambda: (None, [], ""),
         inputs=[],
-        outputs=[chatbot, msg, reasoning_box]
+        outputs=[msg, chatbot, reasoning_box]
     )
     
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()