nikitos3399/llm-course-hw1

Общее описание

Трансофрмер для языкового моделирования, обученный на русских анекдотах. Особенности архитектуры:

• Grouped query attention в качестве механизма внимания
• ALiBi для относительного позиционного кодирования
• SWiGLU как полносвязный слой
• RMSnorm в качестве слоя нормировки

Токенизация текста происходит с помощью byte-level BPE

Конфигурации:

• nano:

  • 0.5 М параметров
  • Cross-entropy loss: 3.9
  • perplexity: 49
  • Примеры продолжения фразы "Зашёл в б":
    • Заходит в балконом:- Милый, а почему вы так не проблем?[EOS]
    • Заходит в белый, у меня с ней в сынок, сторонына и дорогой, втором и прошел вечером на саду. Одневается карках, говорит: - Ты где ты, у меня, у меня есть вчера настели, а у него волог, у него волет, да? - Ну, дай![EOS]
    • Заходит в борщи. Моит на пьяной в качке. Подходит в бесменс. Обходит к пьяного и говорит: - Пок, у нас нее, дочуще не вдутину. - Мойдем, а я на кого-то нему. - Посто яйца весь пойменях, и говорит: - Я тебе, а что, а какая пойду, нусть! Первые выбегда. - Да, нравьет, что ты что, а вчера не плохая, нуще не ведь.[EOS]

• mini:

  • 10.0 М параметров
  • Cross-entropy loss: 3.21
  • perplexity: 25
  • Примеры продолжения фразы "Зашёл в б":
    • Заходит в бухгалтеру и говорит:- Что вы не понимаете?- Я же сказал: "Мама, я хочу денег на работе".[EOS]
    • Заходит в бар в квартиру: - Я хочу сегодня картошку в рульте, дедушка встретить, и я - не знаю, - говорит папа. - Папа, а где? - А это я вижу - кура? - А ты что, даже денег не знаю.[EOS]
    • Заходит в бар магазин и говорит продавцу:- Вообще-даки не выйдет, а внукты в салоновали?- Скажите! Мама, доктор, а ты не воспитанный семь, но он еще и вчера не потребит!- Слушайте, это я не даю, а не сегодня в суду![EOS]

• small (актуальная версия):

  • 80.0 М параметров
  • Cross-entropy loss: 2.94
  • perplexity: 19
  • Примеры продолжения фразы "Зашёл в б":
    • Заходит в бар и спрашивает у отца: - Сара, а ты что делаешь, когда у меня был богатая девушка, а я его вижу? - Да ты что, не дурак... Я не знаю, что я не знаю. - А я не знаю, что я не могу.[EOS]
    • Заходит в бар. Видит - мужик идет мужик по утрам. Пришлось, да какую-то мужика, он встает. Подходит маленький сын и, снимается, и спрашивает: - Василий Иваныч, ты где-нибудь сегодня делать? Открывает дверь и говорит: - Да я не могу... Мама говорит: - Ну ты же говорят, я испугался. А он ему срет с ним и снимет. Проходящий из школьников и с мамой и дядя похрю в барабан. Идут по студенту, а потом в руки всяк. Вдруг видит, что это - мой бардак...[EOS]
    • Заходит в бар с девушкой. - Что-то я могу сделать мне невестку. - Ну ты, не понравилась? - Да. Теперь у меня две недели, а ты - мой дорогой.[EOS]

This model has been pushed to the Hub using the PytorchModelHubMixin integration:

• Library: PyTorch
• Docs: [More Information Needed]