CTOHbl4/llm-course-hw1

Description:

Task:

Train a transformer on a dataset with russian anecdotes.

Steps:

1. BPE Tokenization (bytewise merge of most frequent pairs, 1024 resulting tokens)
2. Transformer (ALIBI positional encoding, GQA attention mechanism, SWIGLU as FFN block, topk implemented)
3. Train in one of the possible configurations (small config was chosen with parameters: n_layer=12, n_head=12, n_kv_head=6, hidden_dim=768, intermediate_dim=2048)
4. Check results with experiments

Report:

1. Model is okay (train loss: 3.6, val loss: 3.5), but definitely not a native speaker :)
2. Model has learnt to prioritise certain words (for example, вчера), which is not good.

Generation examples (only the more or less good ones are chosen):

1. Жена сказала, что у тебя на работе, когда я не могу понять, что я не могу.
2. Штирлиц упал на палату в бар. Один другой спрашивает: "Ну не знаете, что у меня нет!".
3. Медведь, вдруг, встречает на ухе. Она:- Дорогая, я тебе любимый!
4. Сексордота - это когда ты снишься, когда я тебя не хочу, но не могу сдти сразу.
5. Учитель спрашивает мальчика:- Дайте мне, у вас весь есть у тебя такое вечером магазино?- Да нет, я сын, я сегодня ушел!