braindler_final_model / README_GGUF.md
nativemind's picture
Upload folder using huggingface_hub
ac17011 verified
# Braindler Final Model - GGUF Versions
Высококачественные квантизированные версии модели Braindler для использования с **llama.cpp**, **Ollama**, **LM Studio** и другими.
## 📦 Доступные версии
| Квантизация | Размер | Качество | Рекомендация |
|-------------|--------|----------|--------------|
| **Q2_K** | 68 MB | Минимальное | Для ограниченных устройств 📱 |
| **Q3_K_S** | 73 MB | Низкое | Для слабых устройств 💻 |
| **Q4_K_S** | 84 MB | Среднее | Хороший баланс ⚖️ |
| **Q4_K_M** | 90 MB | Хорошее | ⭐ **РЕКОМЕНДУЕТСЯ** для большинства |
| **Q5_K_M** | 99 MB | Высокое | Отличное качество 💎 |
| **Q8_0** | 133 MB | Отличное | Почти без потерь 🏆 |
| **F16** | 244 MB | Без потерь | Для GPU/референса 🎯 |
## 🚀 Использование с Ollama
### 1. Создайте Modelfile
```dockerfile
FROM ./braindler_final_model_Q4_K_M.gguf
TEMPLATE """{{- if .System }}
System: {{ .System }}
{{- end }}
User: {{ .Prompt }}
Assistant:"""
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 40
PARAMETER num_ctx 2048
SYSTEM """Ты - Braindler, образовательный ассистент для детей и взрослых, изучающих русский язык. Помогаешь учить буквы, цифры, цвета и слова. Отвечай дружелюбно и понятно."""
```
### 2. Создайте модель в Ollama
```bash
ollama create braindler -f Modelfile
```
### 3. Запустите модель
```bash
ollama run braindler
```
```bash
>>> Как произносится буква А?
Буква 'А' произносится как 'а'. Попробуй произнести её вслух: а.
>>> Назови слова на букву Б
Слова на букву 'б': банан, бабочка, барабан, белка
```
## 🔧 Использование с llama.cpp
```bash
# Запуск интерактивного чата
./llama.cpp/build/bin/llama-cli \
-m braindler_final_model_Q4_K_M.gguf \
-p "User: Как произносится буква А?\nAssistant:" \
-n 128 \
--temp 0.7 \
--top-p 0.9
# Использование с GPU Metal (Apple Silicon)
./llama.cpp/build/bin/llama-cli \
-m braindler_final_model_Q4_K_M.gguf \
-ngl 99 \
-p "User: Расскажи о цифре 5\nAssistant:"
```
## 💻 Использование с LM Studio
1. Скачайте любую GGUF версию
2. Откройте LM Studio
3. Перетащите файл `.gguf` в окно
4. Загрузите модель и начните чат
## 📊 Характеристики модели
- **Архитектура**: GPT-2 (125M параметров)
- **Базовая модель**: nativemind/braindler_full_trained_model
- **Датасеты для fine-tuning**:
- mozgach_trener (97 примеров) - алфавит, цифры, цвета, фигуры
- alice_gift (66 примеров) - дополнительные текстовые данные
- **Язык**: Русский 🇷🇺
- **Контекст**: 2048 токенов
- **Лицензия**: NativeMindNONC (Non-Commercial)
## 🎯 Применение
- Образовательные приложения для детей
- Обучение русскому языку
- Интерактивные образовательные чат-боты
- Голосовые ассистенты
- Локальные AI приложения без интернета
## 📖 Примеры промптов
```
User: Как правильно произнести букву 'А'?
Assistant: Буква 'А' произносится как 'а'. Попробуй произнести её вслух: а.
User: Назови слова на букву Б
Assistant: Слова на букву 'б': банан, бабочка, барабан, белка
User: Расскажи о цвете красный
Assistant: Цвет 'красный' - это один из основных цветов. Это цвет яблока, помидора и клубники. Яркий и теплый цвет.
User: Что такое треугольник?
Assistant: Треугольник - это фигура с 3 сторонами и 3 углами. Похож на крышу дома или пирамиду.
```
## ⚙️ Рекомендации по выбору версии
### Для мобильных/слабых устройств
**Q2_K** или **Q3_K_S** (68-73 MB)
### Для десктопов/ноутбуков
**Q4_K_M** (90 MB) ⭐ лучший баланс
### Для производственного использования
**Q5_K_M** (99 MB) высокое качество
### Для максимального качества
**Q8_0** (133 MB) или **F16** (244 MB)
## 🔗 Ссылки
- **HuggingFace Model**: https://huggingface.co/nativemind/braindler_final_model
- **Dataset 1**: https://huggingface.co/datasets/nativemind/mozgach_trener
- **Dataset 2**: https://huggingface.co/datasets/nativemind/mozgach_alice_gift
## 📧 Контакты
- **Email**: anton.v.dodonov@gmail.com
- **HuggingFace**: nativemind
- **Дата**: 2025-10-20
---
© 2025 NativeMind. Для некоммерческого использования.
**Образование должно быть доступным!** 🎓