# 评估说明

本文定义 PHPWind 验证码 OCR 模型的**离线**评估方法，用于测量带标签验证码图片上的
识别质量；不描述或支持自动化登录尝试。

## 适用范围

仅评估来自自有或已获明确授权测试的 PHPWind 部署的图片。评估数据必须与训练数据分离，
也不要公开可能包含私有信息的验证码图片或标签。

## 版本边界

已发布 checkpoint 使用一个目标部署的四位数字验证码图片训练；该部署页脚显示为 `v0.7β`。
此页脚文字只是观测到的部署标识，不是对 PHPWind 官方发布版本的判断。

| 部署或版本标识 | 状态 | 依据 | 说明 |
|---|---|---|---|
| 目标部署——页脚标识 `v0.7β` | 训练和参考评估范围 | 997 张人工标注图片；留出验证集准确率 88.61% | 已报告数据中唯一包含的验证码视觉配置。 |
| 其他 PHPWind 发行版、分支、主题或验证码生成器 | 未验证 | 无按版本划分的评估 | 请用有授权的代表性样本评估；图片分布不同时进行微调。 |

## 参考指标

已发布 checkpoint 的留出验证结果如下：

| 指标 | 数值 |
|---|---:|
| 验证集准确率 | 88.61% |
| 已标注图片数量 | 997 |
| 验证集比例 | 8% |
| 任务 | 目标页脚标识 `v0.7β` 部署的四位数字验证码识别 |

该指标仅是当前 checkpoint 的历史参考值，并非生产环境保证。其他 PHPWind 版本、主题、字体及
验证码生成设置都可能改变图片分布。

## 可复现流程

1. 仅从已获授权的 PHPWind 部署收集带标签验证码图片。
2. 保留固定的留出集，不将其用于训练或调参。
3. 严格按模型预处理：RGB、双线性缩放至 `160 × 64`，再将像素值除以 `255`。
4. 对四个输出位置分别取 argmax，只有完整四位数字与标签一致时才计为正确。
5. 报告完整匹配准确率，并记录数据量、划分方法、模型版本，以及解释结果所需的
   PHPWind 版本与主题信息。

## 建议记录格式

| 字段 | 应记录内容 |
|---|---|
| 模型版本 | 提交哈希或模型文件校验和 |
| PHPWind 环境 | 版本及相关主题/自定义信息 |
| 数据来源 | 已获授权的来源与采集日期范围 |
| 数据划分 | 固定随机种子或明确文件清单 |
| 指标 | 完整四位数字的精确匹配准确率 |
| 局限性 | 分布差异、标注问题与已知失败样例 |

若 PHPWind 验证码生成器发生变化，请参阅[训练与微调指南](TRAINING.md)进行适配。