Update app.py

app.py

@@ -7,7 +7,7 @@ import time
 # --- Конфигурация Hugging Face Space ---
 MODEL_NAME = "Kenan023214/PyroNet-mini"
 DEVICE = "cpu"  # Используем CPU, как указано для Basic Space
-MAX_NEW_TOKENS = 1024 # Увеличим для "хода мыслей"
+MAX_NEW_TOKENS = 512  # Увеличим для "хода мыслей"
 MAX_CONTEXT_TOKENS = 2048
 
 # Словарь с встроенным содержимым шаблонов чата
@@ -102,14 +102,18 @@ def trim_history_to_max_tokens(messages, max_tokens):
     total = 0
     kept = []
     for m in rev:
-        approx = num_tokens_of_text(m["content"]) + 8
+        if len(m) == 2:
+            approx = num_tokens_of_text(m[0]) + num_tokens_of_text(m[1] if m[1] else "") + 10
+        else:
+            approx = num_tokens_of_text(m[0]) + 10
+        
         if total + approx > max_tokens:
             break
         kept.append(m)
         total += approx
     return list(reversed(kept))
 
-def build_messages_for_template(history_messages, reasoning: bool, language: str):
+def build_messages_for_template(history, reasoning: bool, language: str):
     """Подготавливает сообщения для шаблона, включая системное сообщение."""
     full_template_content = CHAT_TEMPLATES.get(language, CHAT_TEMPLATES["en"])
     
@@ -117,7 +121,12 @@ def build_messages_for_template(history_messages, reasoning: bool, language: str
     system_end_tag = "<|end|>"
     system_message_raw = full_template_content.split(system_start_tag)[1].split(system_end_tag)[0].strip()
 
-    messages = [{"role": "system", "content": system_message_raw}] + list(history_messages)
+    messages = [{"role": "system", "content": system_message_raw}]
+    
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        if assistant_msg is not None:
+            messages.append({"role": "assistant", "content": assistant_msg})
 
     if reasoning:
         messages.append({"role": "user", "content": f"Режим рассуждения: покажи свои шаги, а затем окончательный ответ, начиная с '{REASONING_SEPARATOR}'"})
@@ -141,25 +150,22 @@ def extract_assistant_reply_and_reasoning(raw_generated_text: str) -> tuple[str,
         reply = parts[1].strip()
         return reply, reasoning
     else:
-        return text, "" # Если разделитель не найден, возвращаем все как ответ
+        # Если разделитель не найден, считаем весь текст ответом
+        # А ход мыслей оставляем пустым или с сообщением об отсутствии
+        return text, "Ход мыслей не предоставлен."
 
 # --- Основная функция для Gradio ---
 def generate_response(user_text: str, history, reasoning: bool, language: str):
     """
     Обрабатывает пользовательский запрос, генерирует ответ и возвращает его
-    с эффектом печати.
+    с эффектом печати и отдельным отображением хода мыслей.
     """
-    # Добавляем user-сообщение во внутреннюю историю
     history.append([user_text, None])
     
-    # Конвертируем Gradio-историю в наш внутренний формат
-    internal_history = [{"role": "user", "content": h[0]} for h in history if h[0] is not None]
-    
-    trimmed_history = trim_history_to_max_tokens(internal_history, MAX_CONTEXT_TOKENS)
+    trimmed_history = trim_history_to_max_tokens(history, MAX_CONTEXT_TOKENS)
     messages_for_template = build_messages_for_template(trimmed_history, reasoning, language)
     template_content = CHAT_TEMPLATES.get(language, CHAT_TEMPLATES["en"])
     
-    # Применяем шаблон и токенизируем
     text = tokenizer.apply_chat_template(
         messages_for_template,
         chat_template=template_content,
@@ -181,17 +187,19 @@ def generate_response(user_text: str, history, reasoning: bool, language: str):
 
     raw = tokenizer.decode(outputs[0], skip_special_tokens=False)
     
-    # Извлекаем финальный ответ и ход мыслей
     reply, reasoning_text = extract_assistant_reply_and_reasoning(raw)
-
-    # Обновляем историю Gradio с финальным ответом
-    history[-1][1] = ""
     
-    # Используем генератор для создания эффекта печати
+    # Сразу обновляем поле с ходом мыслей.
+    # Эта команда отправит обновление до начала анимации чата.
+    yield "", history, gr.Textbox.update(value=reasoning_text)
+
+    # Запускаем анимацию печати
+    full_response = ""
     for chunk in reply.split():
-        history[-1][1] += chunk + " "
-        time.sleep(0.05) # Небольшая задержка для анимации
-        yield "", history, reasoning_text
+        full_response += chunk + " "
+        history[-1][1] = full_response
+        time.sleep(0.05)
+        yield "", history, gr.Textbox.update(value=reasoning_text)
     
 # --- Интерфейс Gradio ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
@@ -248,4 +256,4 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     )
     
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()