Задание заключается в том, чтобы обучить Byte-level BPE токенизатор и небольшую LM.
Домашняя работа состоит из нескольких последовательных блоков: реализация и обучение токенизатора, реализация Transformer модели и обучение модели на датасете с русскими анекдотами.
Примеры генерации модели:
Заходит в бар, пиво. Девушка подходит и пацан: - Дайте мне, пожалуйста, дорогая! - Я вижу, что у меня на работе не пришла!
Заходит в бар и бармен с виноградом. Сидит, падает на балкон. Вдруг из саунка и говорит - Клава. Объединяемый, сынок... - Вася, ты не видел, что этот карман? - А я - сынок, - говорит муж. - А ты кому это сразу на улице, то этот винтик, который я вижу, а там второй разбил - ветрами игрушит.
Заходит в бар по маркету и говорит:- Я в ресторане бара!- А зачем же вы мне не держите?- Конечно...
Заходит в бар с винной, набьёт в бар в беременной семье. Вдруг из них бара бегулярно, волк. Пара ему достает из-па, а навстречу ему говорит: - А ты в каких у тебя такой моментах уехали? - А что это? - Это же синий момент...
Заходит в бар с барабаном в автобус и спрашивает: - Ты как, милая, сейчас придёл? - Понял... - Ну, сынок, сынок, ты не придешь! - Папа, дочку берёшка, а то я - не бойся!!! А сегодня, да! - Да нет, да, да, а я тебя на тебя! - А я с кем? - Да нет. - Ну ты, вчера пьянке пришел.
Заходит в бар бар с пьяной и говорит мужу: - Ты что, вчера такая барафиканская барана, как играюсь в кинотеатре?
Заходит в бар с ветеринар. Вдруг подходит и говорит: - Папа, а какая вчера у нас мама такая грудь в туалет испугалась?
Заходит в бар, а там - бар, - барана, мальчик... - Ты что, мама? - Да нет, сынок. - А что ты думаешь? Я, тетка сынок, в кухню. - Ну, мамочка, мальчики не могу! - А что ты, да, сынок, у меня все-и маленькие!
Заходит в бар, наворачивает его с пивом, и спрашивает: - Что случилось? - Да не знал... - Вчера успел, а как вы пили...
Заходит в бар и говорит:- А что вы, мой муж?- Ах, я вижу, когда в море, вдруг я буду жить!
- Downloads last month
- 1