Hugging Face's logo

nikitos3399
/
llm-course-hw1

Text Generation
Safetensors
Russian
model_hub_mixin
pytorch_model_hub_mixin
Model card Files
xet
 Community
nikitos3399 commited on
Commit
168d1af
·
verified ·
1 Parent(s): 07815c3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -13,8 +13,8 @@ pipeline_tag: text-generation
13
  Трансофрмер для языкового моделирования, обученный на русских анекдотах. Особенности архитектуры:
14
  - Grouped query attention в качестве механизма внимания
15
  - ALiBi для относительного позиционного кодирования
16
- - SWiGLU как понлосвязный слой
17
- - RMSnorm - для регуляризации
18
 
19
 
20
  Токенизация текста происходит с помощью byte-level BPE
 
13
  Трансофрмер для языкового моделирования, обученный на русских анекдотах. Особенности архитектуры:
14
  - Grouped query attention в качестве механизма внимания
15
  - ALiBi для относительного позиционного кодирования
16
+ - SWiGLU как полносвязный слой
17
+ - RMSnorm в качестве слоя нормировки
18
 
19
 
20
  Токенизация текста происходит с помощью byte-level BPE