metadata
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
datasets:
- IgorVolochay/russian_jokes
language:
- ru
pipeline_tag: text-generation
Домашнее задание в рамках прохождения курса NLP от VK Education
Задание было в том чтобы написать свой BPE Токенизатор и Attention, чтобы в итоге обучить модель, генерирующую анекдоты.
Пример анекдота от меня: Один раз Дамблдор случайно поджёг Поттера. - Он почувствовал запах Гарри.
Примеры генерации:
| Promt | Generation |
|---|---|
| Штирлиц постучал в дверь | Штирлиц постучал в дверь. Вдруг его спрашивает:- А где ты можешь?- Сынок.- А как у нас с ней.- Ну, милиционер!- Да это, это же! |
| Зачем вопить, зачем страдать - ведь можно | Зачем вопить, зачем страдать - ведь можно волосы в туалет? |
| Спиртсмен | Спиртсменер - множество, воспитание в России. |
Качество
Генерация приведены на модели в конфигурации Mini:
Loss на валидации: 3.137 (cross-entropy)