GOAT

GOAT(山羊)是中英文大语言模型，采用LoRA方法以较低的资源基于Llama在50k的中英文数据集上指令微调。本项目下的代码、数据、模型等只供研究使用。

模型

本项目是基于Llama指令微调的模型，使用本项目代码进行微调或推理需要先申请或在Huggingface下载Llama原模型权重。微调后的Adapter权重从这里下载，并放在GOAT_001_13B_Lora目录下。

微调

本项目在1台RTX A6000(48G)显卡上训练了5个epoch，batch_size是128：

    max_lenght=512
    per_device_train_batch_size=32
    gradient_accumulation_steps=4
    learning_rate=3e-4

TODO

• 在对话类数据集上使用LoRA进行微调；
• 在对话类数据集上进行全量微调；
• 重构代码使其可用于多卡并行训练；
• 基于Llama 30B和65B微调；
• ...