# RWKV-7 61M Mobile Pretrained (Russian)

Это предобученная языковая модель на базе передовой архитектуры **RWKV-7**, оптимизированная специально для локального дообучения (fine-tuning) и работы прямо на вашем **iPhone**. 

Благодаря ультралегкому весу и линейной сложности RNN-подобной архитектуры RWKV, модель обеспечивает высокую скорость работы и минимальное потребление энергии, что делает её идеальным выбором для edge-вычислений на мобильных устройствах.

---

## 📊 Характеристики модели

Ниже приведены ключевые технические параметры, которые используются приложением для инициализации сети и токенизатора:

| Параметр | Значение |
| :--- | :--- |
| **Архитектура** | RWKV-7 |
| **Общее число параметров** | 61.3M |
| **Количество слоев (Layers)** | 18 |
| **Размерность векторов (Hidden Size)** | 448 |
| **Размер словаря (Vocab Size)** | 16,000 (16k) |
| **Токенизатор** | BPE (Byte-Pair Encoding) |
| **Основной язык** | Русский |
| **Лицензия** | Apache 2.0 |

---

## 📱 Использование и файнтюн на iPhone

Модель специально адаптирована под жесткие ограничения оперативной памяти в iOS. Вес в ~61 миллион параметров позволяет проводить дообучение (fine-tuning) локально, не перегружая выделенный лимит RAM устройства.

### Основные фичи для мобильного использования:
* **Низкий Memory Footprint:** Модель легко помещается в память и оставляет достаточно ресурсов для работы интерфейса приложения.
* **Эффективный BPE-токенизатор:** Специально сжатый до 16k словарь ориентирован на быструю обработку русскоязычного текста на мобильных процессорах.
* **Архитектурное преимущество RWKV-7:** Сочетает в себе качество трансформеров и высокую скорость вычислений рекуррентных сетей, экономя заряд батареи вашего iPhone при генерации.

> 💡 **Совет по дообучению:** При файнтюне в приложении рекомендуется использовать датасеты каталога Neuro или небольшие свои текстовые датасеты (например, личные заметки, специализированные статьи или кастомные диалоги). Локальный файнтюн позволяет полностью сохранить конфиденциальность — ваши данные никогда не покинут устройство.

---

## 🔒 Лицензия

Данная модель и все её веса распространяются под свободной лицензией **Apache 2.0**. Вы можете свободно использовать её в личных и коммерческих целях, модифицировать и интегрировать в свои приложения.

**ImpulseLeap / Alexei Goncharov**

www.impulseleap.com