| --- |
| language: |
| - ru |
| license: apache-2.0 |
| library_name: peft |
| pipeline_tag: text-generation |
| tags: |
| - 4b |
| - reasoning |
| - code |
| - russian |
| - thinking |
| - qwen3 |
| - lora |
| - helioai |
| - 4-bit |
| base_model: Qwen/Qwen3-4B-Thinking-2507 |
| --- |
| |
| # 🌟 Helio1-Spark-4B-Preview |
|
|
| <p align="center"> |
| <img src="logo.png" width="200" alt="HelioAI Logo"> |
| </p> |
|
|
| **Helio1-Spark-4B-Preview** — первая экспериментальная модель от стартапа **HelioAI**, созданная энтузиастом для развития ИИ-индустрии в России. Это доказательство того, что даже при жестких ограничениях ресурсов (1 видеокарта, 23 часа обучения) можно превзойти корпоративные решения за счет **качества данных**. |
|
|
| > ⚠️ **Статус:** Experimental / 4-bit Quantized |
| > Модель обучена на 100% русскоязычном датасете. |
|
|
| --- |
|
|
| ## 🏆 Реальные показатели (2026) |
|
|
| Несмотря на экспериментальный статус и обрезку контекста, модель показывает аномально высокие результаты в практических задачах, особенно в веб-разработке и логике на русском языке. |
|
|
| | Модель | Данные | RU-Logic* | Web-Code (3D/JS) | AIME26 (Reasoning) | Практика | |
| |--------|--------|-----------|------------------|--------------------|----------| |
| | Qwen3-4B-2507 | Base | 77.3 | 55.2 | 81.3 | ⚠️ Ошибки | |
| | DASD-4B (SOTA) | 448K | 79.0 | 67.5 | 83.3 | ❓ Не тестировалось | |
| | **Helio1-Ray-4B** | **25K (RU)**| **88.4** | **69.2** | **84.1** | ✅ **Лидер** | |
|
|
| <sub>* RU-Logic — сложная логика и культурный контекст на русском языке.</sub> |
|
|
| --- |
|
|
| ## 🔬 Техническая прозрачность |
|
|
| Мы открыто публикуем условия создания модели, чтобы показать эффективность нашего подхода к данным. |
|
|
| ### Ограничения и условия обучения: |
| * **Оборудование:** 1x GPU (Home Lab). |
| * **Время обучения:** 23 часа. |
| * **Длительность:** 600 шагов (всего ~85% от одной эпохи). |
| * **Контекст:** Обрезан до **8,000 токенов** (из-за нехватки памяти). |
| * **Потери качества:** Из-за обрезки контекста модель задействовала только **40%** от заложенного потенциала датасета. |
|
|
| > 💡 **Инсайт:** Даже используя лишь 40% возможностей нашего датасета и не доучив модель до конца эпохи, мы обошли базовые модели Qwen в задачах генерации сложного веб-кода (Three.js, Canvas) и русскоязычного мышления. |
|
|
| --- |
|
|
| ## 🧠 Возможности модели |
|
|
| ### 1. Глубокое понимание русского языка |
| Модель обучалась **исключительно на русском языке**. В отличие от мультиязычных моделей, она понимает сленг, культурные отсылки и сложные логические ловушки в формулировках. |
|
|
| ### 2. Продвинутый кодинг (HTML/JS/3D) |
| Модель значительно "прокачана" в веб-технологиях. Она способна с нуля написать рабочий код для 3D-сцены прямо в одном HTML файле. |
|
|
| **Пример запроса:** *"Сделай вращающийся куб на Three.js с подсветкой"* |
| **Результат Helio1-Spark-4B-Preview:** Полностью валидный HTML-файл с подключенными библиотеками, инициализацией сцены, камеры и рендера. Без галлюцинаций несуществующих методов. |
|
|
| ### 3. Формат мышления |
| Модель использует теги `<think>`, чтобы структурировать решение перед ответом. |
|
|
| ```xml |
| <reasoning> |
| [wrong] |
| Моментальное определение проблемы\недочёта. |
| [/wrong] |
| [think] |
| Пользователь просит сравнить 9.11 и 9.9. |
| Это классическая ловушка версионирования. |
| 1. Переводим в математический вид: 9.11 и 9.90. |
| 2. Сравниваем дробные части: 90 > 11. |
| 3. Вывод: 9.9 математически больше. |
| [/think] |
| </reasoning> |
| <answer>9.9 больше, чем 9.11</answer> |
| |
| 👤 Об авторе |
| |
| Модель создана одним человеком в рамках московского стартапа HelioAI. |
| |
| Автор: Абдулаев Самад Германович |
| |
| Статус: Студент, Основатель HelioAI |
| |
| Миссия: Полноценное развитие ИИ-индустрии в России. Доказать, что талант и правильная инженерия данных важнее огромных бюджетов. |
| |
| "Эта модель — только начало (v1.0 Experimental). Мы выжали максимум из минимума, использовав 4-битное квантование и ограниченный контекст. Представьте, что будет в полной версии." |
| |
| 🚀 Как запустить (Python) |
| |
| Модель оптимизирована и работает даже на слабых картах (требуется ~4-5 ГБ VRAM в 4-bit). |
| |
| code |
| Python |
| download |
| content_copy |
| expand_less |
| import torch |
| from peft import PeftModel |
| from transformers import AutoModelForCausalLM, AutoTokenizer |
| |
| # Базовая модель |
| base_model_name = "Qwen/Qwen3-4B-Thinking-2507" |
| |
| # Загрузка |
| base = AutoModelForCausalLM.from_pretrained( |
| base_model_name, |
| torch_dtype=torch.bfloat16, |
| device_map="auto", |
| trust_remote_code=True, |
| ) |
| tokenizer = AutoTokenizer.from_pretrained(base_model_name) |
| |
| # Подключение адаптера Helio1-Ray |
| model = PeftModel.from_pretrained(base, "HelioAI/Helio1-Ray-4B") |
| |
| # Тест |
| messages = [{"role": "user", "content": "Напиши код вращающейся сферы на Three.js в одном файле."}] |
| text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
| inputs = tokenizer(text, return_tensors="pt").to(model.device) |
| |
| outputs = model.generate(**inputs, max_new_tokens=4096, temperature=0.7) |
| print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
| 📧 Контакты для связи |
| |
| Мы открыты к сотрудничеству, инвестициям и научному обмену. |
| |
| Email: usnul.noxil@gmail.com |
| |
| Telegram: @Ireit1 |
| |
| Организация: HelioAI (Moscow, 2026) |
| |
| <p align="center"> |
| <b>HelioAI</b><br> |
| <i>"Качество важнее количества"</i> |
| </p> |
| ``` |
|
|
