lyu-boxuan/abci_llms

setup

(我的python版本是3.11)

cd LLMScore

pip install -r requirements.txt

cd transformers

pip install -e .

cd ..

训练指标模型

1. 训练脚本在scripts/train文件夹下

2. 正如名字一样，trainer_LLMScore-reg_gemma2-dev1.py就是在gemma2的基础上训练。(没有reference的QE模型). trainer_LLMScore-reg_ref-gemmax-dev1.py是带reference和QE的混合训练脚本。

3. 可以根据机器情况改一下batch size。目前32x32在一张h100大概占50G显存。优化器我用的是8bit版本的lion,如果显存富裕的话可以换成32bit的。

4. 可以通过tensorboard监视训练情况，日志文件在train_log下。

5. 训练epoch数我设置的稍大一点，一般其实到500到600step就收敛了。

6. 目前这些脚本我只在单张gpu上运行过，多张gpu的训练还没有测试过。 多张GPU的DDP模式应该会训练快很多。

元评估

计算元指标的脚本在script/meta_eval下面。 脚本借鉴的是Metricx的评估脚本。

训练完成后修改下脚本里的model_path变量即可。最终元评估结果按照语言对输出到result/wmt24_meta_eval_result下