|
|
--- |
|
|
tags: |
|
|
- model_hub_mixin |
|
|
- pytorch_model_hub_mixin |
|
|
datasets: |
|
|
- IgorVolochay/russian_jokes |
|
|
language: |
|
|
- ru |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
# Домашнее задание в рамках прохождения курса NLP от VK Education |
|
|
|
|
|
Задание было в том чтобы написать свой BPE Токенизатор и Attention, чтобы в итоге обучить модель, генерирующую анекдоты. |
|
|
|
|
|
Пример анекдота от меня: |
|
|
Один раз Дамблдор случайно поджёг Поттера. - Он почувствовал запах Гарри. |
|
|
|
|
|
# Примеры генерации: |
|
|
| Promt | Generation | |
|
|
|-------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------| |
|
|
| Штирлиц постучал в дверь | Штирлиц постучал в дверь. Вдруг его спрашивает:- А где ты можешь?- Сынок.- А как у нас с ней.- Ну, милиционер!- Да это, это же! | |
|
|
| Зачем вопить, зачем страдать - ведь можно | Зачем вопить, зачем страдать - ведь можно волосы в туалет? | |
|
|
| Спиртсмен | Спиртсменер - множество, воспитание в России. | |
|
|
|
|
|
# Качество |
|
|
|
|
|
 |
|
|
|
|
|
Генерация приведены на модели в конфигурации Mini: |
|
|
|
|
|
Loss на валидации: 3.137 (cross-entropy) |
