| --- |
| language: ru |
| license: mit |
| tags: |
| - pytorch |
| - lstm |
| - character-level |
| - text-generation |
| library_name: pytorch |
| size_categories: n<1K |
| --- |
| 🔥 1320 downloads in 48 hours. Thank you, ML community! |
| # Character LSTM Model |
|
|
| ## Model Description |
|
|
| Это компактная рекуррентная нейросеть на базе LSTM для генерации или классификации последовательностей на уровне отдельных символов (character-level). Модель принимает на вход последовательность индексов токенов и возвращает логиты для следующего символа. |
|
|
| Модель предназначена для **дообучения под свой текст**. Основную грамматику она уже знает хорошо. Обучалась на русских сказках. |
|
|
|
|
| ### Model Architecture |
|
|
| | Компонент | Параметры | |
| |-----------|-----------| |
| | Embedding | 230 → 256 dims | |
| | LSTM | 1 слой, 256 → 512, dropout=0.3 (не используется на 1м слое), batch_first=True | |
| | Linear (head) | 512 → 230 (vocab size) | |
| |
| **Всего ~~230.000 параметров** |
| |
| Модель использует только **последний выход** LSTM (`x[:, -1, :]`), что делает её пригодной для: |
| - Предсказания следующего символа по контексту |
| - Классификации последовательности целиком |
| |
| seq_len = 100 |
|
|
| ## Пример генерации: |
| Prompt: Что ж, двинемся, - сказала грибная борода. Спасибо, – почему-то сказал Кофта. |
| Ответ: Что ж, двинемся, - сказала грибная борода. Спасибо, – почему-то сказал Кофта.!– Нет, – пробормотал Моховая Борода. – Не стоял на него не слышать на свежие и продолжать! |
|
|
|  |
|
|
| **НЕ ПОДДЕРЖИВАЕМАЯ МОДЕЛЬ** |
|
|
| Эта модель больше не будет получать исправления критических ошибок. Используйте версию MagicText 2.0. *Модель будет доступна* для скачивания всегда. См. Подробности - https://github.com/radmirryan-commits/HF-News/blob/main/MagicText1/%D0%9F%D0%BE%D0%B4%D0%B4%D0%B5%D1%80%D0%B6%D0%BA%D0%B0.txt |
