Update README.md
Browse files
README.md
CHANGED
|
@@ -9,7 +9,18 @@ language:
|
|
| 9 |
- en
|
| 10 |
pipeline_tag: text2text-generation
|
| 11 |
---
|
|
|
|
| 12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
|
| 14 |
- Library: [More Information Needed]
|
| 15 |
- Docs: [More Information Needed]
|
|
|
|
| 9 |
- en
|
| 10 |
pipeline_tag: text2text-generation
|
| 11 |
---
|
| 12 |
+
# [Легковесный трансформер для генерации текста с ALiBi, GQA и SwiGLU.]
|
| 13 |
|
| 14 |
+
|
| 15 |
+
## 📖 Описание
|
| 16 |
+
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует:
|
| 17 |
+
- **ALiBi** для позиционного кодирования
|
| 18 |
+
- **GQA** для эффективного механизма внимания
|
| 19 |
+
- **SwiGLU** в Feed-Forward блоке для лучшей обработки информации
|
| 20 |
+
|
| 21 |
+
Модель обучена на [IgorVolochay/russian_jokes] и предназначена для генерации осмысленного текста в пределах контекста **≤250 токенов**.
|
| 22 |
+
|
| 23 |
+
---
|
| 24 |
This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
|
| 25 |
- Library: [More Information Needed]
|
| 26 |
- Docs: [More Information Needed]
|