Chuvash-translator
Это тестовая версия русско-чувашского переводчика на базе ByT5-base. Обучена на 300K параллельных предложений. Сохраняет все чувашские буквы (ӑ, ӗ, ӳ, ҫ).
Я новичок в обучении нейросетей, и эта модель — мой первый опыт.
У меня есть желание улучшить модель. Что касается чувашских букв (ӑ, ӗ, ӳ, ҫ), то была проблема с токенизатором, который мог бы их закодировать для правильного перевода.
В общем, выбор остановился на базовой модели ByT5-base, потому что токенизатор этой модели — Byte-level, хорошо решает проблему с кодировкой. Сама же базовая модель при обучение вмещается в VRAM 12ГБ и позволяет увеличить скорость обучения.
Модель нуждается в дообучении. Буду рад обратной связи!
This model translates Russian to Chuvash. Trained on 300K parallel sentences. Preserves all Chuvash letters (ӑ, ӗ, ӳ, ҫ).
I am a beginner in neural network training, so this model is my first experience.
I want to improve the model. Regarding the Chuvash letters (ӑ, ӗ, ӳ, ҫ), there was a problem with the tokenizer that could encode them for proper translation. Ultimately, I settled on the ByT5-base base model because its Byte-level tokenizer solves the encoding issue well. The base model itself fits in 12GB of VRAM during training, allowing for increased training speed.
The model requires further training on more data. Feedback and suggestions are welcome!
Если быть более точным, то эта модель — не самый первый мой опыт. Прежде чем, выбрать этот вариант, мне пришлось протестировать дообучение нескольких базовых моделей с разной архитектурой и параметрами. Но, я решился остановиться на ByT5-base, потому что с этой моделью был связан существенный прогресс обучения. До этого я ещё немного занимался с синтезатором речи. Это отдельная история.
To be more precise, this model is not my very first experience. Before choosing this option, I had to test additional training of several basic models with different architectures and parameters. But, I decided to focus on ByT5-base, because significant learning progress was associated with this model. Before that, I did a little more work with a speech synthesizer. This is a different story.