| ##### \\ai0.softland.ru\f64\Develop\GitFlic\ipynb1\train_saves_7M\mlm_pretraned_7M_723316_part_04\ | |
| основа bert-base-uncased | |
| и словарь стандартного размера 30522 | |
| но словарь задан сразу на корпусе 7 миллионов | |
| обучалось на кусках объединенного 7 миллионного сета | |
| по шагам от 09 до 04 | |
| тут только MLM обучение без tnved | |