Статья по модификации модели.
#1
by avalonsec - opened
Можете дать ссылку на статью или по возможности сделать инструкцию? Хочу сделать подобное с llama 3.1 8b и дообучить на русскоязычном корпусе текстов.
в НИМЦ МГУ напиши, это их разработка. В части дообучения на рус.
Статья еще в процессе. Есть статья годичной давности, в которой описана часть процедуры:
https://arxiv.org/abs/2312.02598
Также есть +- рабочий код, которым текущие qwen были получены (но он пока что такой, "исследовательский"):
https://github.com/RefalMachine/ruadapt
Большое спасибо, на досуге почитаю.