##### \\ai0.softland.ru\f64\Develop\GitFlic\ipynb1\train_saves_7M\mlm_pretraned_7M_723316_part_04\

основа bert-base-uncased   
и словарь стандартного размера 30522   
но словарь задан сразу на корпусе 7 миллионов  

обучалось на кусках объединенного 7 миллионного сета  
по шагам от 09 до 04  
тут только MLM обучение без tnved