Create app.py

app.py

@@ -0,0 +1,196 @@
+import gradio as gr
+import torch
+import os
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from huggingface_hub import hf_hub_download
+from functools import lru_cache
+
+# --- Конфигурация Hugging Face Space ---
+# Загрузка модели и токенизатора один раз при запуске приложения
+MODEL_NAME = "Kenan023214/PyroNet-mini"
+DEVICE = "cpu"  # Используем CPU, как указано для Basic Space
+MAX_NEW_TOKENS = 256
+MAX_CONTEXT_TOKENS = 2048
+
+# Загрузка модели и токенизатора
+@lru_cache(maxsize=1)
+def load_model():
+    """Загружает модель и токенайзер, кешируя их для производительности."""
+    print("Loading model and tokenizer...")
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+    model = AutoModelForCausalLM.from_pretrained(
+        MODEL_NAME,
+        device_map=DEVICE,
+        torch_dtype=torch.float32  # Используем float32 для совместимости с CPU
+    )
+    print("Model loaded.")
+    return tokenizer, model
+
+# Загрузка файлов шаблонов из репозитория
+@lru_cache(maxsize=1)
+def download_templates():
+    """Скачивает файлы шаблонов из репозитория модели."""
+    print("Downloading chat templates...")
+    for lang in ["ru", "en", "uk"]:
+        hf_hub_download(
+            repo_id=MODEL_NAME,
+            filename=f"chat_template_{lang}.jinja",
+            local_dir=".",
+            local_dir_use_symlinks=False
+        )
+    print("Templates downloaded.")
+
+tokenizer, model = load_model()
+download_templates()
+
+# --- Утилиты ---
+def num_tokens_of_text(text: str) -> int:
+    """Приближённое количество токенов."""
+    return len(tokenizer.encode(text, add_special_tokens=False))
+
+def trim_history_to_max_tokens(messages, max_tokens):
+    """Обрезает историю сообщений."""
+    rev = list(reversed(messages))
+    total = 0
+    kept = []
+    for m in rev:
+        approx = num_tokens_of_text(m["content"]) + 8
+        if total + approx > max_tokens:
+            break
+        kept.append(m)
+        total += approx
+    return list(reversed(kept))
+
+def build_messages_for_template(history_messages, reasoning: bool, language: str):
+    """Подготавливает сообщения для шаблона."""
+    if language == 'ru':
+        system_message = "Ты — дружелюбный ассистент, который говорит на русском. Отвечай кратко, но по делу."
+        reasoning_instruction = ("[REASONING MODE]\n"
+                                 "Когда отвечаешь, сначала представь краткие пронумерованные шаги рассуждения. "
+                                 "Затем на новой строке напиши 'Final:' и дай короткий окончательный ответ. Сохраняй шаги лаконичными.")
+    elif language == 'uk':
+        system_message = "Ти — дружній асистент, який говорить українською. Відповідай коротко, але по суті."
+        reasoning_instruction = ("[REASONING MODE]\n"
+                                 "Коли відповідаєш, спершу представ короткі пронумеровані кроки розмірковування. "
+                                 "Потім на новому рядку напиши 'Final:' і дай коротку остаточну відповідь. Зберігай кроки лаконічними.")
+    else:  # 'en'
+        system_message = "You are a friendly assistant who speaks English. Answer concisely but to the point."
+        reasoning_instruction = ("[REASONING MODE]\n"
+                                 "When answering, first present concise numbered reasoning steps. "
+                                 "Then on a new line write 'Final:' and give a short final answer. Keep steps brief.")
+
+    messages = [{"role": "system", "content": system_message}] + list(history_messages)
+
+    if reasoning:
+        messages.append({"role": "user", "content": reasoning_instruction})
+
+    return messages
+
+def extract_assistant_reply(raw_generated_text: str) -> str:
+    """Убирает лишние токены и оставляет только ответ ассистента."""
+    text = raw_generated_text
+    if "<|assistant|>" in text:
+        text = text.split("<|assistant|>")[-1]
+    for tag in ["<|end|>", "<|end_of_text|>", "<|end|>"]:
+        text = text.replace(tag, "")
+    return text.strip()
+
+# --- Основная функция для Gradio ---
+def generate_response(user_text: str, history, reasoning: bool, language: str):
+    """Обрабатывает пользовательский запрос и генерирует ответ."""
+    
+    # Добавляем user-сообщение в историю
+    history.append({"role": "user", "content": user_text})
+    
+    # Подрезаем историю, чтобы вход не стал слишком большим
+    trimmed_history = trim_history_to_max_tokens(history, MAX_CONTEXT_TOKENS)
+
+    # Собираем messages с возможной инструкцией reasoning
+    messages_for_template = build_messages_for_template(trimmed_history, reasoning, language)
+
+    # Выбираем шаблон из локальных файлов
+    template_file = f"chat_template_{language}.jinja"
+    
+    # Применяем шаблон и токенизируем
+    text = tokenizer.apply_chat_template(
+        messages_for_template,
+        template_path=template_file,
+        tokenize=False,
+        add_generation_prompt=True
+    )
+    
+    inputs = tokenizer(text, return_tensors="pt").to(DEVICE)
+
+    # Генерация
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=MAX_NEW_TOKENS,
+            do_sample=True,
+            top_p=0.9,
+            temperature=0.8,
+            pad_token_id=tokenizer.eos_token_id
+        )
+
+    # Декодируем и очищаем ответ
+    raw = tokenizer.decode(outputs[0], skip_special_tokens=False)
+    reply = extract_assistant_reply(raw)
+
+    # Добавляем ассистента в историю
+    history.append({"role": "assistant", "content": reply})
+    
+    # Gradio ожидает возвращение списка [пользователь, ассистент]
+    # Мы возвращаем всю историю для корректного отображения
+    return "", history
+
+# --- Интерфейс Gradio ---
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# PyroNet-mini Chat")
+    gr.Markdown("Демонстрация работы PyroNet-mini (на базе Phi-4-mini-instruct) с кастомными шаблонами и режимом рассуждения.")
+    
+    chatbot = gr.Chatbot(height=500)
+    
+    with gr.Row():
+        with gr.Column(scale=4):
+            msg = gr.Textbox(
+                label="Ваш запрос",
+                placeholder="Напишите здесь...",
+                container=False
+            )
+        with gr.Column(scale=1, min_width=100):
+            language_dropdown = gr.Dropdown(
+                choices=["ru", "en", "uk"],
+                value="ru",
+                label="Язык",
+                container=False
+            )
+            reasoning_checkbox = gr.Checkbox(
+                label="Включить режим рассуждения"
+            )
+    
+    btn_send = gr.Button("Отправить")
+    btn_clear = gr.Button("Очистить")
+    
+    # Обработчики событий
+    def reset_history():
+        return [], None
+    
+    btn_send.click(
+        fn=generate_response,
+        inputs=[msg, chatbot, reasoning_checkbox, language_dropdown],
+        outputs=[msg, chatbot]
+    )
+    msg.submit(
+        fn=generate_response,
+        inputs=[msg, chatbot, reasoning_checkbox, language_dropdown],
+        outputs=[msg, chatbot]
+    )
+    btn_clear.click(
+        fn=lambda: ([], None),
+        inputs=[],
+        outputs=[chatbot, msg]
+    )
+    
+if __name__ == "__main__":
+    demo.launch()
+