---
license: apache-2.0
datasets:
- Vikhrmodels/GrandMaster2
language:
- ru
- en
base_model:
- p-e-w/Qwen3-4B-Instruct-2507-heretic
---
# 🧙♂️ LLightPro
### Компактная модель. Мощная логика.
*Высококачественная дообучка экспериментальной модели для продвинутых рассуждений на русском языке*
[🤗 Hugging Face](https://huggingface.co/your-username/model-name) • [📊 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) • [🔧 Base Model](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic)
---
## 📖 О модели
**LLightPro** — это специализированная дообучка экспериментальной базовой модели `p-e-w/Qwen3-4B-Instruct-2507-heretic`, оптимизированная для **русского языка** и сложных задач рассуждения, программирования и логических головоломок с использованием элитного датасета **GrandMaster2**.
В отличие от стандартных LoRA-дообучек, эта модель использует технологию **DoRA** (Weight-Decomposed Low-Rank Adaptation), что позволяет ей изучать тонкие нюансы рассуждений без катастрофического забывания. Обучение проводилось в чистом **bfloat16** (без квантизации) на NVIDIA RTX 4090 для максимальной точности.
---
## ✨ Ключевые особенности
| Особенность | Описание |
|-------------|----------|
| 🧠 **Продвинутая архитектура** | Построена на экспериментальной версии Qwen3 "Heretic" |
| 🇷🇺 **Русский язык** | Дообучена для высококачественной работы с русским языком |
| ⚡ **Технология DoRA** | Weight-Decomposed LoRA (r=64, alpha=128) для превосходной способности обучения |
| 💎 **Безкомпромиссное качество** | Обучение в нативной точности bfloat16 без квантизации |
| 📚 **Элитные данные** | Дообучка на оптимизированной версии Vikhrmodels/GrandMaster2 |
| 🎯 **Точная настройка** | Низкая скорость обучения с косинусным планировщиком для предотвращения переобучения |
---
## 🎯 Основные применения
- 💬 **Диалоговые системы** на русском языке
- 🧩 **Логические задачи** и головоломки
- 💻 **Генерация кода** с комментариями на русском
- 🎭 **Ролевые игры** (Role-playing)
- 📝 **Сложные рассуждения** и анализ
- 🤖 **Ассистенты** для русскоязычных пользователей
---
## 📊 Технические детали обучения
|
**⚙️ Оборудование и время**
- 🖥️ GPU: NVIDIA RTX 4090 (24GB)
- ⏱️ Время обучения: ~30 часов
- 🔢 Эпохи: 1 (для избежания переобучения)
|
**🧬 Архитектура**
- 📦 Базовая модель: Qwen3-4B Heretic
- 🎛️ Метод: DoRA (все линейные слои)
- 📈 Rank: 64 / Alpha: 128
- 📏 Контекст: 4096 токенов
|
|
**🔬 Точность**
- 💾 Precision: bfloat16
- 🚫 Без квантизации при обучении
- ⚡ Оптимизатор: paged_adamw_8bit
|
**📚 Данные**
- 📖 Датасет: GrandMaster2 (оптимизированный)
- 🎯 Фокус: Русский язык + reasoning
- 🎲 Специализация: Role-playing
|
---
## 💻 Использование
### 🐍 Python (Transformers)
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
# Загрузка модели
model_id = "AugustLight/LLightPro"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
# Пример использования
messages = [
{"role": "system", "content": "Ты полезный ассистент, заточенный на помощь в ответах на вопросы на русском языке."},
{"role": "user", "content": "Напиши функцию на Python для решения задачи о рюкзаке с использованием динамического программирования."}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=1024,
temperature=0.7,
top_p=0.9,
do_sample=True
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
```
### 🦙 llama.cpp (GGUF)
```bash
# Скачайте GGUF версию модели
# Запустите с помощью llama.cpp
./main -m model.gguf -p "Ты полезный ассистент..." -n 512
```
### 📝 Рекомендуемые параметры генерации
```python
generation_config = {
"max_new_tokens": 1024,
"temperature": 0.7, # Для творческих задач: 0.8-1.0
"top_p": 0.9,
"top_k": 50,
"repetition_penalty": 1.1,
"do_sample": True
}
```
---
## 🎨 Примеры промптов
💬 Диалоговый ассистент
```python
messages = [
{"role": "system", "content": "Ты дружелюбный и полезный ассистент."},
{"role": "user", "content": "Объясни принцип работы нейронных сетей простыми словами."}
]
```
💻 Генерация кода
```python
messages = [
{"role": "system", "content": "Ты опытный программист Python."},
{"role": "user", "content": "Создай класс для работы с двоичным деревом поиска с методами вставки и поиска."}
]
```
🎭 Ролевая игра
```python
messages = [
{"role": "system", "content": "Ты мудрый волшебник из средневекового фэнтези мира."},
{"role": "user", "content": "Расскажи мне о древнем артефакте, который я нашел."}
]
```
---
## 📈 Производительность
- ✅ **Русский язык**: Высокое качество генерации текста
- ✅ **Reasoning**: Улучшенные способности к логическим рассуждениям
- ✅ **Coding**: Качественная генерация кода с комментариями
- ✅ **Role-playing**: Глубокая проработка персонажей
- ⚠️ **Размер**: 4B параметров — компактная и быстрая модель
---
## ⚠️ Ограничения
- 📏 Контекст ограничен 4096 токенами
- 🔬 Экспериментальная базовая модель может иметь непредсказуемое поведение
- 🌐 Оптимизирована в первую очередь для русского языка
- 📊 Может требовать дополнительной настройки для специфических задач
---
## 📜 Лицензия
Эта модель следует лицензированию базовой модели Qwen и датасета GrandMaster. Пожалуйста, обратитесь к оригинальным репозиториям для подробной информации о лицензиях:
- [Qwen License](https://huggingface.co/Qwen)
- [GrandMaster2 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2)
---
## 🙏 Благодарности
- **Base Model**: [p-e-w/Qwen3-4B-Instruct-2507-heretic](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic)
- **Dataset**: [Vikhrmodels/GrandMaster2](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2)
- **Training Framework**: [HuggingFace TRL](https://github.com/huggingface/trl) & [PEFT](https://github.com/huggingface/peft)
---
## 💜 Особая благодарность
Огромная благодарность **[AniworldAI](https://t.me/aniworldai)** за предоставленные вычислительные мощности для обучения этой модели!
Без их поддержки эта работа была бы невозможна. ❤️
---
### Обучено с ❤️ используя TRL и PEFT
**Вопросы? Предложения? Создайте Issue!**
⭐ Если модель вам помогла, поставьте звёздочку!