phpwind-captcha-ocr / docs /zh /EVALUATION.md
FlanChanXwO's picture
docs: define supported captcha version scope
4f2bb82 verified
|
Raw
History Blame Contribute Delete
2.57 kB
# 评估说明
本文定义 PHPWind 验证码 OCR 模型的**离线**评估方法,用于测量带标签验证码图片上的
识别质量;不描述或支持自动化登录尝试。
## 适用范围
仅评估来自自有或已获明确授权测试的 PHPWind 部署的图片。评估数据必须与训练数据分离,
也不要公开可能包含私有信息的验证码图片或标签。
## 版本边界
已发布 checkpoint 使用一个目标部署的四位数字验证码图片训练;该部署页脚显示为 `v0.7β`
此页脚文字只是观测到的部署标识,不是对 PHPWind 官方发布版本的判断。
| 部署或版本标识 | 状态 | 依据 | 说明 |
|---|---|---|---|
| 目标部署——页脚标识 `v0.7β` | 训练和参考评估范围 | 997 张人工标注图片;留出验证集准确率 88.61% | 已报告数据中唯一包含的验证码视觉配置。 |
| 其他 PHPWind 发行版、分支、主题或验证码生成器 | 未验证 | 无按版本划分的评估 | 请用有授权的代表性样本评估;图片分布不同时进行微调。 |
## 参考指标
已发布 checkpoint 的留出验证结果如下:
| 指标 | 数值 |
|---|---:|
| 验证集准确率 | 88.61% |
| 已标注图片数量 | 997 |
| 验证集比例 | 8% |
| 任务 | 目标页脚标识 `v0.7β` 部署的四位数字验证码识别 |
该指标仅是当前 checkpoint 的历史参考值,并非生产环境保证。其他 PHPWind 版本、主题、字体及
验证码生成设置都可能改变图片分布。
## 可复现流程
1. 仅从已获授权的 PHPWind 部署收集带标签验证码图片。
2. 保留固定的留出集,不将其用于训练或调参。
3. 严格按模型预处理:RGB、双线性缩放至 `160 × 64`,再将像素值除以 `255`
4. 对四个输出位置分别取 argmax,只有完整四位数字与标签一致时才计为正确。
5. 报告完整匹配准确率,并记录数据量、划分方法、模型版本,以及解释结果所需的
PHPWind 版本与主题信息。
## 建议记录格式
| 字段 | 应记录内容 |
|---|---|
| 模型版本 | 提交哈希或模型文件校验和 |
| PHPWind 环境 | 版本及相关主题/自定义信息 |
| 数据来源 | 已获授权的来源与采集日期范围 |
| 数据划分 | 固定随机种子或明确文件清单 |
| 指标 | 完整四位数字的精确匹配准确率 |
| 局限性 | 分布差异、标注问题与已知失败样例 |
若 PHPWind 验证码生成器发生变化,请参阅[训练与微调指南](TRAINING.md)进行适配。