| # laya-ad v2.2 代码 |
|
|
| 单模型四头结构（二分类 + 7 类 kind + scope + severity）的加载、推理与训练代码。模型权重在仓库根目录的精度子目录：`fp32/`、`fp16/`、`bf16/`、`fp8/`、`int8/`、`int4/`。 |
|
|
| ## 文件 |
|
|
| | 文件 | 说明 | |
| |---|---| |
| | `scripts/dual_head_model.py` | `DualHeadModernBert` 四头结构 + `load_dual_head_any()`（自动识别 fp32/fp16/bf16/fp8/int8/int4） | |
| | `scripts/predict_dual_head.py` | CLI 推理：输出 is_ad / kind / scope / severity | |
| | `scripts/train_multi_head.py` | 四头训练（含 `--freeze_encoder --freeze_binary --freeze_kind --ad_only` 头级微调） | |
| | `scripts/build_optimized_dataset.py` | 合并/去重/广告过采样/稀有 kind/severity 补齐（`--gmeow` 接入 gmeow 封禁广告语料，`--gmeow_val_texts` 留出防泄漏 val） | |
| | `scripts/build_teacher_dataset.py` | teacher 清洗数据切分 | |
| | `scripts/build_cleaned_dataset.py` | teacher 原始输出转训练格式 | |
| | `scripts/clean_with_teacher.py` | jev teacher 清洗脚本（参考） | |
| | `scripts/eval_4head_variants.py` | 六精度变体评测 | |
| | `scripts/eval_v22_vs_v21.py` | 跨版本对比评测（teacher_holdout / earlier_val / gmeow_val128） | |
| |
| 旧的 v1.1/v2 脚本仍保留在 `scripts/` 中，供历史参考。 |
| |
| ## 加载 |
| |
| ```python |
| import sys, torch |
| from transformers import AutoTokenizer |
| |
| sys.path.insert(0, "code/scripts") |
| from dual_head_model import load_dual_head_any |
|
|
| tok = AutoTokenizer.from_pretrained("bf16") |
| model = load_dual_head_any("bf16", device="cpu", dtype=torch.bfloat16) |
| ``` |
| |
| ## 推理 |
| |
| ```bash |
| cd code/scripts |
| python predict_dual_head.py --model ../../bf16 --text "日入500+，宝妈学生均可，私聊领教程" |
| ``` |
| |
| 输出字段： |
| |
| ```json |
| {"is_ad": true, "p_ad": 0.9999, "kind": "scam", "kind_probs": {...}, |
| "scope": "message", "scope_probs": {...}, |
| "severity_score": 2.96, "severity_probs": {...}} |
| ``` |
| |
| - `scope`：account / message |
| - `severity_score`：0–3 的期望值（服务端 Jev API 同口径） |
| |
| ## 数据格式（训练脚本参考） |
| |
| 四头训练数据： |
| |
| ```json |
| {"text": "...", "label_bin": 0, "label_kind": 5, "label_scope": 0, "label_sev": 3} |
| ``` |
| |
| - `label_bin`：0=ad，1=normal |
| - `label_kind`：0..6（crypto/gambling/porn/porn_bait/promo/scam/spam_flood）或 -100 |
| - `label_scope`：0=account，1=message，-100 忽略 |
| - `label_sev`：0..3，-100 忽略（normal 的 scope/severity 由二分类 gate 处理） |
| |
| `build_optimized_dataset.py` / `clean_with_teacher.py` 的输入路径是内部数据布局，公开仓库只保留脚本作为方法参考，不附带数据。 |
| |
