|
|
--- |
|
|
license: apache-2.0 |
|
|
datasets: |
|
|
- jiangchengchengNLP/Enhanced_Emotion_Classification_Dataset |
|
|
metrics: |
|
|
- accuracy |
|
|
base_model: |
|
|
- Qwen/Qwen3-0.6B |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
# 情感分类模型评估报告 |
|
|
|
|
|
## 1. 报告概述 |
|
|
- **评估模型**：qwen3-0.6b-+emotion-lora-2.7-no-thinking（2.7轮次保存模型，验证集损失最低） |
|
|
- **评估时间**：2026-01-06 |
|
|
- **评估数据集**：英文情感分类验证集 |
|
|
- **样本总数**：12,993 |
|
|
|
|
|
## 2. 数据概览 |
|
|
| 统计项 | 数值 | |
|
|
|--------|------| |
|
|
| 总样本数 | 12,993 | |
|
|
| 请求成功数 | 12,993 | |
|
|
| JSON解析成功数 | 12,993 | |
|
|
| 标签有效数 | 12,993 | |
|
|
| 有效标签比例 | 100.00% | |
|
|
|
|
|
## 3. 错误处理统计 |
|
|
| 错误类型 | 错误率 | 错误数量 | |
|
|
|----------|--------|----------| |
|
|
| 请求失败 | 0.00% | 0 | |
|
|
| JSON解析失败 | 0.00% | 0 | |
|
|
| 标签无效 | 0.00% | 0 | |
|
|
|
|
|
## 4. 总体评估指标 |
|
|
| 指标 | 数值 | 与原模型对比（提升/下降） | 与emotion-lora对比（提升/下降） | |
|
|
|------|------|--------------------------|--------------------------------| |
|
|
| 准确率 | 70.61% | **+16.88%** | **+2.35%** | |
|
|
| 正确预测数 | 9,174 | **+2,193** | **+305** | |
|
|
|
|
|
## 5. 类别性能指标 |
|
|
|
|
|
### 5.1 各类别精确率、召回率和F1分数 |
|
|
| 情感类别 | 精确率 | 召回率 | F1分数 | 与原模型对比（F1提升/下降） | 与emotion-lora对比（F1提升/下降） | |
|
|
|----------|--------|--------|--------|---------------------------|-----------------------------------| |
|
|
| neutral（中性） | 75.23% | 85.14% | 79.88% | **+11.55%** | **+1.63%** | |
|
|
| joy（喜悦） | 70.07% | 68.30% | 69.17% | **+27.89%** | **+1.10%** | |
|
|
| fear（恐惧） | 71.39% | 63.67% | 67.31% | **+45.42%** | **+4.54%** | |
|
|
| sadness（悲伤） | 67.86% | 60.04% | 63.71% | **+30.34%** | **+3.67%** | |
|
|
| surprise（惊讶） | 72.97% | 33.59% | 46.00% | **+32.89%** | **-2.82%** | |
|
|
| anger（愤怒） | 54.23% | 58.22% | 56.16% | **+34.74%** | **+1.85%** | |
|
|
| disgust（厌恶） | 52.23% | 50.67% | 51.44% | **+30.62%** | **+4.82%** | |
|
|
|
|
|
### 5.2 类别性能分析 |
|
|
- **表现最佳**：neutral（中性）类别表现突出，F1分数达79.88%，在所有模型中表现最好 |
|
|
- **提升最大**：fear（恐惧）类别提升最为显著，F1分数从21.89%提升至67.31%，提高了45.42% |
|
|
- **全面进步**：所有类别F1分数均有显著提升，相比原模型提升幅度在30-45%之间 |
|
|
- **召回率改善**：除surprise外，其他类别召回率均有提升或保持稳定 |
|
|
- **与emotion-lora对比**：大部分类别F1分数进一步提升，特别是fear、sadness和disgust类别 |
|
|
|
|
|
## 6. 平均指标 |
|
|
| 指标 | 数值 | 与原模型对比（提升/下降） | 与emotion-lora对比（提升/下降） | |
|
|
|------|------|--------------------------|--------------------------------| |
|
|
| 宏平均精确率 | 66.28% | **+15.25%** | **+5.26%** | |
|
|
| 宏平均召回率 | 59.95% | **+31.59%** | **+0.52%** | |
|
|
| 宏平均F1分数 | 61.95% | **+30.49%** | **+2.11%** | |
|
|
| 微平均精确率 | 70.61% | **+16.77%** | **+2.34%** | |
|
|
| 微平均召回率 | 70.61% | **+16.77%** | **+2.34%** | |
|
|
| 微平均F1分数 | 70.61% | **+16.77%** | **+2.34%** | |
|
|
|
|
|
- **宏平均**：体现了模型在各类别上的平均表现，相比原模型有巨大提升，且略优于emotion-lora模型 |
|
|
- **微平均**：体现了模型在所有样本上的整体表现，与总体准确率一致，相比原模型提升16.77%，优于emotion-lora模型 |
|
|
|
|
|
## 7. 混淆矩阵分析 |
|
|
|
|
|
### 7.1 主要混淆情况 |
|
|
| 真实标签 | 最易混淆的预测标签 | 混淆数量 | 与原模型对比 | 与emotion-lora对比 | |
|
|
|----------|------------------|----------|------------|-------------------| |
|
|
| fear | neutral | 146 | **-402** | **+37** | |
|
|
| surprise | neutral | 357 | **-404** | **+104** | |
|
|
| surprise | joy | 194 | **+174** | **+24** | |
|
|
| disgust | anger | 85 | **-205** | **-15** | |
|
|
| anger | neutral | 190 | **-700** | **+47** | |
|
|
| sadness | neutral | 256 | **-488** | **+57** | |
|
|
| joy | neutral | 586 | **-924** | **+113** | |
|
|
|
|
|
### 7.2 混淆模式分析 |
|
|
- **显著改善**：模型对非neutral类别的混淆情况大幅减少，不再过度预测为neutral类别 |
|
|
- **新的混淆**：出现了surprise与joy之间的混淆（194条） |
|
|
- **与emotion-lora对比**：部分类别与neutral的混淆略有增加，但disgust与anger的混淆有所减少 |
|
|
- **整体趋势**：混淆矩阵分布更加均衡，模型能够更好地区分不同情感类别 |
|
|
|
|
|
## 8. 结果分析与建议 |
|
|
|
|
|
### 8.1 模型优势 |
|
|
- **准确率最高**：相比原模型和emotion-lora模型，准确率最高，达到70.61% |
|
|
- **均衡表现**：所有情感类别均有显著提升，特别是在小样本类别上 |
|
|
- **中性性能保持**：neutral类别性能保持在较高水平（F1=79.88%） |
|
|
- **资源高效**：通过2.7轮次的Lora微调，在保持模型轻量化的同时获得了最佳性能 |
|
|
- **验证集最优**：作为验证集上损失最低的模型，泛化能力更强 |
|
|
|
|
|
### 8.2 模型不足 |
|
|
- **surprise性能**：surprise类别F1分数（46.00%）相比emotion-lora模型略有下降 |
|
|
- **surprise召回率**：surprise类别召回率（33.59%）仍有提升空间 |
|
|
- **部分混淆**：surprise与joy、部分类别与neutral之间仍存在一定混淆 |
|
|
|
|
|
### 8.3 改进建议 |
|
|
1. **surprise优化**：针对surprise类别进行专门的数据增强和微调，提高其召回率 |
|
|
2. **混淆类别优化**：针对易混淆的情绪类别（如surprise-joy）进行专门的微调训练 |
|
|
3. **训练策略调整**：考虑在2.7轮次附近进行更多检查点保存，进一步优化模型性能 |
|
|
4. **类别权重**：在损失函数中引入类别权重，进一步改善小样本类别性能 |
|
|
5. **超参数调整**：调整Lora的秩参数或微调学习率，进一步提升性能 |
|
|
|
|
|
## 9. 结论 |
|
|
|
|
|
本次评估显示，qwen3-0.6b-+emotion-lora-2.7-no-thinking模型（2.7轮次保存，验证集损失最低）在英文情感分类任务上的总体准确率达到70.61%，相比原模型（53.73%）提升了16.88%，相比emotion-lora模型（68.26%）提升了2.35%。 |
|
|
|
|
|
2.7轮次Lora微调的主要收益在于： |
|
|
- 大幅提高了所有情感类别的F1分数，特别是fear（恐惧）类别提升了45.42% |
|
|
- 改善了模型的类别平衡性，不再过度预测为neutral |
|
|
- 进一步提升了宏平均F1分数（从31.46%提升至61.95%） |
|
|
- 成为验证集上损失最低、性能最佳的模型 |
|
|
|
|
|
与emotion-lora模型相比，2.7轮次模型在大部分类别上表现更好，特别是在disgust（厌恶）、fear（恐惧）和sadness（悲伤）等小样本类别上有明显提升。 |
|
|
|
|
|
总体而言，2.7轮次的Lora微调取得了最佳效果，使模型在情感分类任务上的表现更加均衡和准确，是三种模型中性能最好的版本。 |
|
|
|
|
|
--- |
|
|
|
|
|
*报告生成时间：2026-01-07* |
