|
|
--- |
|
|
license: apache-2.0 |
|
|
datasets: |
|
|
- Vikhrmodels/GrandMaster2 |
|
|
language: |
|
|
- ru |
|
|
- en |
|
|
base_model: |
|
|
- p-e-w/Qwen3-4B-Instruct-2507-heretic |
|
|
--- |
|
|
|
|
|
# 🧙♂️ LLightPro |
|
|
|
|
|
<div align="center"> |
|
|
|
|
|
 |
|
|
 |
|
|
 |
|
|
 |
|
|
 |
|
|
|
|
|
### Компактная модель. Мощная логика. |
|
|
|
|
|
*Высококачественная дообучка экспериментальной модели для продвинутых рассуждений на русском языке* |
|
|
|
|
|
[🤗 Hugging Face](https://huggingface.co/your-username/model-name) • [📊 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) • [🔧 Base Model](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic) |
|
|
|
|
|
</div> |
|
|
|
|
|
--- |
|
|
|
|
|
## 📖 О модели |
|
|
|
|
|
**LLightPro** — это специализированная дообучка экспериментальной базовой модели `p-e-w/Qwen3-4B-Instruct-2507-heretic`, оптимизированная для **русского языка** и сложных задач рассуждения, программирования и логических головоломок с использованием элитного датасета **GrandMaster2**. |
|
|
|
|
|
В отличие от стандартных LoRA-дообучек, эта модель использует технологию **DoRA** (Weight-Decomposed Low-Rank Adaptation), что позволяет ей изучать тонкие нюансы рассуждений без катастрофического забывания. Обучение проводилось в чистом **bfloat16** (без квантизации) на NVIDIA RTX 4090 для максимальной точности. |
|
|
|
|
|
--- |
|
|
|
|
|
## ✨ Ключевые особенности |
|
|
|
|
|
| Особенность | Описание | |
|
|
|-------------|----------| |
|
|
| 🧠 **Продвинутая архитектура** | Построена на экспериментальной версии Qwen3 "Heretic" | |
|
|
| 🇷🇺 **Русский язык** | Дообучена для высококачественной работы с русским языком | |
|
|
| ⚡ **Технология DoRA** | Weight-Decomposed LoRA (r=64, alpha=128) для превосходной способности обучения | |
|
|
| 💎 **Безкомпромиссное качество** | Обучение в нативной точности bfloat16 без квантизации | |
|
|
| 📚 **Элитные данные** | Дообучка на оптимизированной версии Vikhrmodels/GrandMaster2 | |
|
|
| 🎯 **Точная настройка** | Низкая скорость обучения с косинусным планировщиком для предотвращения переобучения | |
|
|
|
|
|
--- |
|
|
|
|
|
## 🎯 Основные применения |
|
|
|
|
|
- 💬 **Диалоговые системы** на русском языке |
|
|
- 🧩 **Логические задачи** и головоломки |
|
|
- 💻 **Генерация кода** с комментариями на русском |
|
|
- 🎭 **Ролевые игры** (Role-playing) |
|
|
- 📝 **Сложные рассуждения** и анализ |
|
|
- 🤖 **Ассистенты** для русскоязычных пользователей |
|
|
|
|
|
--- |
|
|
|
|
|
## 📊 Технические детали обучения |
|
|
|
|
|
<table> |
|
|
<tr> |
|
|
<td width="50%"> |
|
|
|
|
|
**⚙️ Оборудование и время** |
|
|
- 🖥️ GPU: NVIDIA RTX 4090 (24GB) |
|
|
- ⏱️ Время обучения: ~30 часов |
|
|
- 🔢 Эпохи: 1 (для избежания переобучения) |
|
|
|
|
|
</td> |
|
|
<td width="50%"> |
|
|
|
|
|
**🧬 Архитектура** |
|
|
- 📦 Базовая модель: Qwen3-4B Heretic |
|
|
- 🎛️ Метод: DoRA (все линейные слои) |
|
|
- 📈 Rank: 64 / Alpha: 128 |
|
|
- 📏 Контекст: 4096 токенов |
|
|
|
|
|
</td> |
|
|
</tr> |
|
|
<tr> |
|
|
<td width="50%"> |
|
|
|
|
|
**🔬 Точность** |
|
|
- 💾 Precision: bfloat16 |
|
|
- 🚫 Без квантизации при обучении |
|
|
- ⚡ Оптимизатор: paged_adamw_8bit |
|
|
|
|
|
</td> |
|
|
<td width="50%"> |
|
|
|
|
|
**📚 Данные** |
|
|
- 📖 Датасет: GrandMaster2 (оптимизированный) |
|
|
- 🎯 Фокус: Русский язык + reasoning |
|
|
- 🎲 Специализация: Role-playing |
|
|
|
|
|
</td> |
|
|
</tr> |
|
|
</table> |
|
|
|
|
|
--- |
|
|
|
|
|
## 💻 Использование |
|
|
|
|
|
### 🐍 Python (Transformers) |
|
|
|
|
|
```python |
|
|
import torch |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
# Загрузка модели |
|
|
model_id = "AugustLight/LLightPro" |
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id) |
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
|
model_id, |
|
|
torch_dtype=torch.bfloat16, |
|
|
device_map="auto" |
|
|
) |
|
|
|
|
|
# Пример использования |
|
|
messages = [ |
|
|
{"role": "system", "content": "Ты полезный ассистент, заточенный на помощь в ответах на вопросы на русском языке."}, |
|
|
{"role": "user", "content": "Напиши функцию на Python для решения задачи о рюкзаке с использованием динамического программирования."} |
|
|
] |
|
|
|
|
|
text = tokenizer.apply_chat_template( |
|
|
messages, |
|
|
tokenize=False, |
|
|
add_generation_prompt=True |
|
|
) |
|
|
|
|
|
inputs = tokenizer(text, return_tensors="pt").to(model.device) |
|
|
|
|
|
outputs = model.generate( |
|
|
**inputs, |
|
|
max_new_tokens=1024, |
|
|
temperature=0.7, |
|
|
top_p=0.9, |
|
|
do_sample=True |
|
|
) |
|
|
|
|
|
response = tokenizer.decode(outputs[0], skip_special_tokens=True) |
|
|
print(response) |
|
|
``` |
|
|
|
|
|
### 🦙 llama.cpp (GGUF) |
|
|
|
|
|
```bash |
|
|
# Скачайте GGUF версию модели |
|
|
# Запустите с помощью llama.cpp |
|
|
./main -m model.gguf -p "Ты полезный ассистент..." -n 512 |
|
|
``` |
|
|
|
|
|
### 📝 Рекомендуемые параметры генерации |
|
|
|
|
|
```python |
|
|
generation_config = { |
|
|
"max_new_tokens": 1024, |
|
|
"temperature": 0.7, # Для творческих задач: 0.8-1.0 |
|
|
"top_p": 0.9, |
|
|
"top_k": 50, |
|
|
"repetition_penalty": 1.1, |
|
|
"do_sample": True |
|
|
} |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## 🎨 Примеры промптов |
|
|
|
|
|
<details> |
|
|
<summary>💬 Диалоговый ассистент</summary> |
|
|
|
|
|
```python |
|
|
messages = [ |
|
|
{"role": "system", "content": "Ты дружелюбный и полезный ассистент."}, |
|
|
{"role": "user", "content": "Объясни принцип работы нейронных сетей простыми словами."} |
|
|
] |
|
|
``` |
|
|
</details> |
|
|
|
|
|
<details> |
|
|
<summary>💻 Генерация кода</summary> |
|
|
|
|
|
```python |
|
|
messages = [ |
|
|
{"role": "system", "content": "Ты опытный программист Python."}, |
|
|
{"role": "user", "content": "Создай класс для работы с двоичным деревом поиска с методами вставки и поиска."} |
|
|
] |
|
|
``` |
|
|
</details> |
|
|
|
|
|
<details> |
|
|
<summary>🎭 Ролевая игра</summary> |
|
|
|
|
|
```python |
|
|
messages = [ |
|
|
{"role": "system", "content": "Ты мудрый волшебник из средневекового фэнтези мира."}, |
|
|
{"role": "user", "content": "Расскажи мне о древнем артефакте, который я нашел."} |
|
|
] |
|
|
``` |
|
|
</details> |
|
|
|
|
|
--- |
|
|
|
|
|
## 📈 Производительность |
|
|
|
|
|
- ✅ **Русский язык**: Высокое качество генерации текста |
|
|
- ✅ **Reasoning**: Улучшенные способности к логическим рассуждениям |
|
|
- ✅ **Coding**: Качественная генерация кода с комментариями |
|
|
- ✅ **Role-playing**: Глубокая проработка персонажей |
|
|
- ⚠️ **Размер**: 4B параметров — компактная и быстрая модель |
|
|
|
|
|
--- |
|
|
|
|
|
## ⚠️ Ограничения |
|
|
|
|
|
- 📏 Контекст ограничен 4096 токенами |
|
|
- 🔬 Экспериментальная базовая модель может иметь непредсказуемое поведение |
|
|
- 🌐 Оптимизирована в первую очередь для русского языка |
|
|
- 📊 Может требовать дополнительной настройки для специфических задач |
|
|
|
|
|
--- |
|
|
|
|
|
## 📜 Лицензия |
|
|
|
|
|
Эта модель следует лицензированию базовой модели Qwen и датасета GrandMaster. Пожалуйста, обратитесь к оригинальным репозиториям для подробной информации о лицензиях: |
|
|
|
|
|
- [Qwen License](https://huggingface.co/Qwen) |
|
|
- [GrandMaster2 Dataset](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) |
|
|
|
|
|
--- |
|
|
|
|
|
## 🙏 Благодарности |
|
|
|
|
|
- **Base Model**: [p-e-w/Qwen3-4B-Instruct-2507-heretic](https://huggingface.co/p-e-w/Qwen3-4B-Instruct-2507-heretic) |
|
|
- **Dataset**: [Vikhrmodels/GrandMaster2](https://huggingface.co/datasets/Vikhrmodels/GrandMaster2) |
|
|
- **Training Framework**: [HuggingFace TRL](https://github.com/huggingface/trl) & [PEFT](https://github.com/huggingface/peft) |
|
|
|
|
|
--- |
|
|
|
|
|
## 💜 Особая благодарность |
|
|
|
|
|
Огромная благодарность **[AniworldAI](https://t.me/aniworldai)** за предоставленные вычислительные мощности для обучения этой модели! |
|
|
|
|
|
Без их поддержки эта работа была бы невозможна. ❤️ |
|
|
|
|
|
--- |
|
|
|
|
|
<div align="center"> |
|
|
|
|
|
### Обучено с ❤️ используя TRL и PEFT |
|
|
|
|
|
**Вопросы? Предложения? Создайте Issue!** |
|
|
|
|
|
⭐ Если модель вам помогла, поставьте звёздочку! |
|
|
|
|
|
</div> |
