\ai0.softland.ru\f64\Develop\GitFlic\ipynb1\train_saves_7M\mlm_pretraned_7M_723316_part_04\
основа bert-base-uncased
и словарь стандартного размера 30522
но словарь задан сразу на корпусе 7 миллионов
обучалось на кусках объединенного 7 миллионного сета
по шагам от 09 до 04
тут только MLM обучение без tnved