| # RWKV-7 61M Mobile Pretrained (Russian) |
|
|
| Это предобученная языковая модель на базе передовой архитектуры **RWKV-7**, оптимизированная специально для локального дообучения (fine-tuning) и работы прямо на вашем **iPhone**. |
|
|
| Благодаря ультралегкому весу и линейной сложности RNN-подобной архитектуры RWKV, модель обеспечивает высокую скорость работы и минимальное потребление энергии, что делает её идеальным выбором для edge-вычислений на мобильных устройствах. |
|
|
| --- |
|
|
| ## 📊 Характеристики модели |
|
|
| Ниже приведены ключевые технические параметры, которые используются приложением для инициализации сети и токенизатора: |
|
|
| | Параметр | Значение | |
| | :--- | :--- | |
| | **Архитектура** | RWKV-7 | |
| | **Общее число параметров** | 61.3M | |
| | **Количество слоев (Layers)** | 18 | |
| | **Размерность векторов (Hidden Size)** | 448 | |
| | **Размер словаря (Vocab Size)** | 16,000 (16k) | |
| | **Токенизатор** | BPE (Byte-Pair Encoding) | |
| | **Основной язык** | Русский | |
| | **Лицензия** | Apache 2.0 | |
|
|
| --- |
|
|
| ## 📱 Использование и файнтюн на iPhone |
|
|
| Модель специально адаптирована под жесткие ограничения оперативной памяти в iOS. Вес в ~61 миллион параметров позволяет проводить дообучение (fine-tuning) локально, не перегружая выделенный лимит RAM устройства. |
|
|
| ### Основные фичи для мобильного использования: |
| * **Низкий Memory Footprint:** Модель легко помещается в память и оставляет достаточно ресурсов для работы интерфейса приложения. |
| * **Эффективный BPE-токенизатор:** Специально сжатый до 16k словарь ориентирован на быструю обработку русскоязычного текста на мобильных процессорах. |
| * **Архитектурное преимущество RWKV-7:** Сочетает в себе качество трансформеров и высокую скорость вычислений рекуррентных сетей, экономя заряд батареи вашего iPhone при генерации. |
|
|
| > 💡 **Совет по дообучению:** При файнтюне в приложении рекомендуется использовать датасеты каталога Neuro или небольшие свои текстовые датасеты (например, личные заметки, специализированные статьи или кастомные диалоги). Локальный файнтюн позволяет полностью сохранить конфиденциальность — ваши данные никогда не покинут устройство. |
|
|
| --- |
|
|
| ## 🔒 Лицензия |
|
|
| Данная модель и все её веса распространяются под свободной лицензией **Apache 2.0**. Вы можете свободно использовать её в личных и коммерческих целях, модифицировать и интегрировать в свои приложения. |
|
|
| **ImpulseLeap / Alexei Goncharov** |
|
|
| www.impulseleap.com |
