| --- |
| license: apache-2.0 |
| language: |
| - ru |
| pipeline_tag: text-generation |
| tags: |
| - MT2 |
| - BIGAI-MT2 |
| - MTG2 |
| - MT-BF |
| --- |
| **WARNING: THIS MODEL IS NOT SUITABLE FOR USE BY MINORS.** |
|
|
| The model may generate content that is not appropriate for children. By using this model, you confirm that you are an adult (18+). |
|
|
|  |
| **MagicText 2.0 модель** |
|
|
| Новая модель MagicText основана на модифицированной архитектуре Transformer.Decoder и показывает хорошие результаты. Также, модель получилас спец. токены - 🚀 (начало промпта) 🔄 (конец промпта) 🟢 (начало генерации) 🏁 (конец генерации). |
|
|
| Модель является не готовой, нуждается в дообучении. Модель имеет ~~46М параметров, и для своих размеров справляется с генерацией текста хорошо. |
| Данная архитектура показывала хорошие результаты при обучении, LOSS снижался не хаотично. |
|
|
| Протестировать модель: [Colab](https://colab.research.google.com/drive/17cso8MJLs7HHvHgZU1Uwl4wAIvld6nv1) |
