| license: cc-by-nc-4.0 | |
| base_model: kaonai/kaon-c-mistral-12b-v0.1-dpo-v0.1 | |
| tags: | |
| - peft | |
| - lora | |
| - dpo | |
| - role-playing | |
| - chinese | |
| library_name: peft | |
| pipeline_tag: text-generation | |
| # Kaon-W: GPT-4 Optimized DPO LoRA | |
| 基于 进行GPT-4数据优化的DPO LoRA适配器。 | |
| ## 模型信息 | |
| - **基础模型**: kaonai/kaon-c-mistral-12b-v0.1-dpo-v0.1 | |
| - **训练方法**: DPO (Direct Preference Optimization) | |
| - **适配器类型**: LoRA (Low-Rank Adaptation) | |
| - **数据优化**: GPT-4全面优化的对话数据 | |
| - **训练硬件**: 8x H200 GPU | |
| - **训练时长**: 5.3小时 (968步, 2轮) | |
| ## 训练配置 | |
| - **LoRA Rank**: 64 | |
| - **LoRA Alpha**: 64 | |
| - **学习率**: 2e-6 | |
| - **Beta**: 0.12 | |
| - **批次大小**: 2 (per device) | |
| - **梯度累积**: 4步 | |
| ## 使用方法 | |
| ## 训练数据 | |
| 使用GPT-4优化的DPO数据集: | |
| - 主数据集: 3,500条优化样本 | |
| - NSFW修复: 150条优化样本 | |
| - 防重复: 297条优化样本 | |
| - 总计: 3,947条高质量训练样本 | |
| ## 性能指标 | |
| - **最终准确率**: 96.15% | |
| - **奖励边距**: 20.14+ | |
| - **训练损失**: 1.27 (完美收敛) | |
| ## 许可证 | |
| 本模型采用 CC-BY-NC-4.0 许可证，仅供非商业用途。 | |