metadata
language: zh
tags:
- peft
- dpo
- lora
- chinese
license: mit
PEFT Model with DPO Training
这是一个使用DPO (Direct Preference Optimization) 方法训练的PEFT (Parameter-Efficient Fine-Tuning) 模型。该模型是在基础模型上使用PEFT方法进行微调，并通过DPO训练来优化模型输出以更好地符合人类偏好。
模型信息
- 训练方法：DPO (Direct Preference Optimization)
- 微调方法：PEFT (Parameter-Efficient Fine-Tuning)
- 模型类型：LoRA adapter
许可证
请参考模型的许可证信息进行使用。