---
language:
- ru
pipeline_tag: text-generation
---
# Моя первая SLM

Это моя первая небольшая языковая модель, обученная **с нуля** на собственном датасете, созданном из истории моей переписки с другом.

## Характеристики

- **Архитектура:** decoder-only Transformer
- **Количество параметров:** ~1 миллион
- **Размер контекста:** 256 токенов
- **Язык:** русский
- **Обучение:** с нуля, без использования предобученных весов
- **Обработано за всё обучение:** ~95,8 миллиона токенов
- **Размер уникального корпуса:** ~562 тысячи токенов

Модель предназначена для генерации коротких сообщений и имитации стиля общения из исходной переписки.

> В дальнейшем планируется дообучение на прочих датасетах, чтобы это была полноценная нейросеть, а не генератор чуши