|
|
--- |
|
|
datasets: |
|
|
- IgorVolochay/russian_jokes |
|
|
tags: |
|
|
- model_hub_mixin |
|
|
- pytorch_model_hub_mixin |
|
|
--- |
|
|
# VK LLM Course. Задание #1. Генерация анекдотов |
|
|
|
|
|
Модель-трансформер, генерирующая русскоязычные анекдоты: |
|
|
* Датасет: [IgorVolochay/russian_jokes](https://huggingface.co/datasets/IgorVolochay/russian_jokes) |
|
|
* Токенизатор: Byte-level BPE со словарём размера 1024 |
|
|
* Позиционный эмбеддинг: RoPE или ALiBi |
|
|
* Механизм внимания: GQA |
|
|
* Функция активации: SwiGLU |
|
|
* Нормализация: RMSNorm |
|
|
* Лосс-функция: кросс-энтропия |
|
|
|
|
|
## Модель |
|
|
Актуальная версия в репозитории — модель конфигурации `small` на 79.54M параметров. Детали и гиперпараметры: |
|
|
* 10 000 итераций обучения, валидация раз в 1000 итераций |
|
|
* Длина контекста — 128, размер батча — 16 |
|
|
* Линейный планировщик learning rate с warmup в 10% от числа итераций и шагом в пике 3e-4, оптимизатор AdamW, weight_decay=0.01, clip_grad_norm=1.0 |
|
|
* n_layer=12, n_head=12, n_kv_head=6, hidden_dim=768, intermediate_dim=2048 |
|
|
* Позиционный эмбеддинг — RoPE |
|
|
|
|
|
## Метрики качества |
|
|
Значения лосс-функции: |
|
|
* Обучение: min = 2.446, max = 7.063, final = 2.520 |
|
|
* Валидация: min = 2.630, max = 4.078, final = 2.630 |
|
|
|
|
|
|
|
|
## Примеры генерации |
|
|
* Заходит в бар, а барабан говорит:- А ты знаешь, кто слишком даст тебе папой?- Конечно.- А это мама? Ну как, да? Мамаша, не приписывай ее в постель! |
|
|
* Заходит в бар. Героиня - пациент. - Ты где? - спрашивает табуретка. - А куда у тебя такие краны? - А как же там воняет? - А зачем тогда вы можете жить? |
|
|
* Заходит в бар с мамой в бар и говорит:- Дедушка Мороз! Я хочу быть мальчиком!- А почему у него в шкафу такое? |
