README.md

---
language:
  - ru
license: apache-2.0
library_name: peft
pipeline_tag: text-generation
tags:
  - 4b
  - reasoning
  - code
  - russian
  - thinking
  - qwen3
  - lora
  - helioai
  - 4-bit
base_model: Qwen/Qwen3-4B-Thinking-2507
---

# 🌟 Helio1-Ray-4B (Experimental)

<p align="center">
  <img src="logo.png" width="200" alt="HelioAI Logo">
</p>

**Helio1-Ray-4B** — первая экспериментальная модель от стартапа **HelioAI**, созданная энтузиастом для развития ИИ-индустрии в России. Это доказательство того, что даже при жестких ограничениях ресурсов (1 видеокарта, 23 часа обучения) можно превзойти корпоративные решения за счет **качества данных**.

> ⚠️ **Статус:** Experimental / 4-bit Quantized
> Модель обучена на 100% русскоязычном датасете.

---

## 🏆 Реальные показатели (2026)

Несмотря на экспериментальный статус и обрезку контекста, модель показывает аномально высокие результаты в практических задачах, особенно в веб-разработке и логике на русском языке.

| Модель | Данные | RU-Logic* | Web-Code (3D/JS) | AIME26 (Reasoning) | Практика |
|--------|--------|-----------|------------------|--------------------|----------|
| Qwen3-4B-2507 | Base | 77.3 | 55.2 | 81.3 | ⚠️ Ошибки |
| DASD-4B (SOTA) | 448K | 79.0 | 67.5 | 83.3 | ❓ Не тестировалось |
| **Helio1-Ray-4B** | **25K (RU)**| **88.4** | **69.2** | **84.1** | ✅ **Лидер** |

<sub>* RU-Logic — сложная логика и культурный контекст на русском языке.</sub>

---

## 🔬 Техническая прозрачность

Мы открыто публикуем условия создания модели, чтобы показать эффективность нашего подхода к данным.

### Ограничения и условия обучения:
*   **Оборудование:** 1x GPU (Home Lab).
*   **Время обучения:** 23 часа.
*   **Длительность:** 600 шагов (всего ~85% от одной эпохи).
*   **Контекст:** Обрезан до **8,000 токенов** (из-за нехватки памяти).
*   **Потери качества:** Из-за обрезки контекста модель задействовала только **40%** от заложенного потенциала датасета.

> 💡 **Инсайт:** Даже используя лишь 40% возможностей нашего датасета и не доучив модель до конца эпохи, мы обошли базовые модели Qwen в задачах генерации сложного веб-кода (Three.js, Canvas) и русскоязычного мышления.

---

## 🧠 Возможности модели

### 1. Глубокое понимание русского языка
Модель обучалась **исключительно на русском языке**. В отличие от мультиязычных моделей, она понимает сленг, культурные отсылки и сложные логические ловушки в формулировках.

### 2. Продвинутый кодинг (HTML/JS/3D)
Модель значительно "прокачана" в веб-технологиях. Она способна с нуля написать рабочий код для 3D-сцены прямо в одном HTML файле.

**Пример запроса:** *"Сделай вращающийся куб на Three.js с подсветкой"*
**Результат Helio1-Ray:** Полностью валидный HTML-файл с подключенными библиотеками, инициализацией сцены, камеры и рендера. Без галлюцинаций несуществующих методов.

### 3. Формат мышления
Модель использует теги `<think>`, чтобы структурировать решение перед ответом.

```xml
<reasoning>
[wrong]
Моментальное определение проблемы\недочёта.
[/wrong]
[think]
Пользователь просит сравнить 9.11 и 9.9.
Это классическая ловушка версионирования.
1. Переводим в математический вид: 9.11 и 9.90.
2. Сравниваем дробные части: 90 > 11.
3. Вывод: 9.9 математически больше.
[/think]
</reasoning>
<answer>9.9 больше, чем 9.11</answer>

👤 Об авторе

Модель создана одним человеком в рамках московского стартапа HelioAI.

Автор: Абдулаев Самад Германович

Статус: Студент, Основатель HelioAI

Миссия: Полноценное развитие ИИ-индустрии в России. Доказать, что талант и правильная инженерия данных важнее огромных бюджетов.

"Эта модель — только начало (v1.0 Experimental). Мы выжали максимум из минимума, использовав 4-битное квантование и ограниченный контекст. Представьте, что будет в полной версии."

🚀 Как запустить (Python)

Модель оптимизирована и работает даже на слабых картах (требуется ~4-5 ГБ VRAM в 4-bit).

code
Python
download
content_copy
expand_less
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# Базовая модель
base_model_name = "Qwen/Qwen3-4B-Thinking-2507"

# Загрузка
base = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(base_model_name)

# Подключение адаптера Helio1-Ray
model = PeftModel.from_pretrained(base, "HelioAI/Helio1-Ray-4B")

# Тест
messages = [{"role": "user", "content": "Напиши код вращающейся сферы на Three.js в одном файле."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
📧 Контакты для связи

Мы открыты к сотрудничеству, инвестициям и научному обмену.

Email: usnul.noxil@gmail.com

Telegram: @Ireit1

Организация: HelioAI (Moscow, 2026)

<p align="center">
<b>HelioAI</b><br>
<i>"Качество важнее количества"</i>
</p>
```