README.md

个人项目：https://github.com/jiahe7ay/MINI_LLM/tree/main   中的预训练模型权重
基座是对qwen进行修改，参数量改为1.4b
训练数据为维基百科+baidu百科+天工数据集前20个文件，token数量约为8b