Домашнее задание в рамках прохождения курса NLP от VK Education

Задание было в том чтобы написать свой BPE Токенизатор и Attention, чтобы в итоге обучить модель, генерирующую анекдоты.

Пример анекдота от меня: Один раз Дамблдор случайно поджёг Поттера. - Он почувствовал запах Гарри.

Примеры генерации:

Promt	Generation
Штирлиц постучал в дверь	Штирлиц постучал в дверь. Вдруг его спрашивает:- А где ты можешь?- Сынок.- А как у нас с ней.- Ну, милиционер!- Да это, это же!
Зачем вопить, зачем страдать - ведь можно	Зачем вопить, зачем страдать - ведь можно волосы в туалет?
Спиртсмен	Спиртсменер - множество, воспитание в России.

Генерация приведены на модели в конфигурации Mini:

Loss на валидации: 3.137 (cross-entropy)