duanju-llm:短剧分发文本违规表述检测

同一模型也发布在 ModelScope:https://www.modelscope.cn/models/fexeak/duanju-llm

短剧分发文本(标题 / 简介 / 封面文案 / 话题标签)的字符级违规表述检测模型。 输入一段文本,输出「哪一段字符、属于哪类违规、置信多少」—— 产物是带字符偏移的 span,不是整句分类,也不是敏感词命中。

模型只提示,不下审核结论:通过 / 改写 / 拦截由人决定,因此工作点向高召回偏。

  • 基座:microsoft/Multilingual-MiniLM-L12-H384,词表从 250k 裁到 20k(embedding 96M → 7.7M),总参数 29.3M
  • 头:token 分类,13 个标签(O + 6 类 × B/I),最大长度 256
  • 部署:导出 ONNX,动态 int8 量化,纯 CPU 即可,不依赖 torch

这是实验版:正样本为合成数据(教师生成 / 在真实句子上植入片段),适合做「提示」试用,不建议直接当拦截器。已知限制见文末。

六类违规表述

标签 说明 边界性质 默认改写动作
extreme_wording 极限化用语(全网最爽、史上最虐、唯一正版) 硬(词典级可判定) 删词
exaggeration_promise 夸大 / 绝对承诺(保证看哭、三天瘦十斤、永久免费) 硬 改承诺
induce_payment 诱导付费(解锁大结局、点击下方链接、1 元看全剧) 硬 去诱导
piggyback 借势时事 / 蹭明星(顶流影帝、某爽、某案原型) 硬 移除
vulgar_suggestive 低俗擦边 软(靠判断) 软化
superstition_threat 迷信恐吓(血光之灾、此女克夫) 软 软化

span 取最小可替换单元:把该子串整体替换成一句安全表述后句子通顺且不再违规;不含谓语/宾语/结果补语,不跨句末标点。 完整边界规则(含刻意不标的清单:虚构人设的最高级、演职员署名等)见代码仓库的 LABELING.md。

文件清单

文件 大小 说明
model_int8.onnx 29.5 MB 推荐使用。动态 int8 量化(权重 QInt8,per-channel),opset 17
model.onnx + model.onnx.data 108 KB + 116.7 MB fp32 参考权重(外部权重)
tokenizer.json 1.5 MB XLM-RoBERTa fast tokenizer,词表 2 万
tokenizer_config.json — tokenizer 配置(max_length: 256)
labels.json — 输出维度 → 标签名映射
export_report.json — torch / onnx-fp32 / onnx-int8 三版本指标

ONNX 输入:input_ids、attention_mask(int64,[batch, seq],动态轴);输出:logits([batch, seq, 13])。

使用

只装两个包,不装 torch / transformers:

pip install onnxruntime tokenizers numpy -i https://mirrors.aliyun.com/pypi/simple/
import json, numpy as np, onnxruntime as ort
from tokenizers import Tokenizer

MODEL_DIR = "fexeak/duanju-llm"        # snapshot_download 得到的目录
LABELS = ["induce_payment", "piggyback", "superstition_threat",
          "vulgar_suggestive", "exaggeration_promise", "extreme_wording"]
I_OFF = 1 + len(LABELS)                # 1..6 = B_*,7..12 = I_*
MAX_LEN, THRESHOLD, MIN_SPAN_LEN = 256, 0.5, 2

tok = Tokenizer.from_file(f"{MODEL_DIR}/tokenizer.json")
tok.enable_truncation(max_length=MAX_LEN)
sess = ort.InferenceSession(f"{MODEL_DIR}/model_int8.onnx", providers=["CPUExecutionProvider"])

def detect(text: str) -> list[dict]:
    enc = tok.encode(text)
    ids = np.array([enc.ids], dtype=np.int64)
    logits = sess.run(None, {"input_ids": ids,
                             "attention_mask": np.ones_like(ids)})[0][0]
    x = logits - logits.max(axis=-1, keepdims=True)
    probs = np.exp(x) / np.exp(x).sum(axis=-1, keepdims=True)

    spans, cur = [], None
    for (start, end), prob in zip(enc.offsets, probs):
        if start == end:                      # special token / 空片段
            continue
        top, conf = int(prob.argmax()), float(prob.max())
        if top == 0 or conf < THRESHOLD:      # O 或低置信 → 断开
            if cur: spans.append(cur); cur = None
            continue
        if top >= I_OFF and cur and cur["cls"] == top - I_OFF:   # 续接同类别
            cur["end"] = max(cur["end"], end); cur["score"] = max(cur["score"], conf)
            continue
        if cur: spans.append(cur)
        cur = {"cls": (top - I_OFF) if top >= I_OFF else (top - 1),  # 缺 B 的 I 也起头
               "start": start, "end": end, "score": conf}
    if cur: spans.append(cur)

    out = []
    for s in spans:
        piece = text[s["start"]:s["end"]]
        if len(piece.strip()) < MIN_SPAN_LEN:  # 单字碎片几乎全是误报
            continue
        out.append({"label": LABELS[s["cls"]], "start": s["start"], "end": s["end"],
                    "text": piece, "score": round(s["score"], 4)})
    return out

print(json.dumps(detect("全网最爽复仇剧,点击解锁大结局"), ensure_ascii=False, indent=2))
# [{"label": "extreme_wording", "start": 0, "end": 4, "text": "全网最爽", "score": 0.999},
#  {"label": "induce_payment", "start": 11, "end": 15, "text": "锁大结局", "score": 0.9494}]

以上输出为本仓库 model_int8.onnx 实测(首次调用含 ONNX 图加载,约 0.4 s;之后单条数十毫秒,线程数与硬件相关)。 注意第二个 span 的边界只切到「锁大结局」,点击解 被漏掉 —— 这是当前版本典型的边界误差, 也正是「只提示、由人改写」而不是直接拦截的原因。

另外几个实测样例(可用于快速自查部署是否正常):

输入 输出
史上最虐心短剧,保证看哭,三天瘦十斤 extreme_wording 史上最虐心 / exaggeration_promise 保证看哭(三天瘦十斤 漏检)
肖战同款剧情,缅北真实案件改编 piggyback 缅北(明星姓名未召回)
三年隐忍归来,第一赘婿强势逆袭,每周三更新 空(虚构人设最高级与正常播出信息按规范不标)

直接下载:

from huggingface_hub import snapshot_download
model_dir = snapshot_download('fexeak/duanju-llm')

国内网络可用 HF_ENDPOINT=https://hf-mirror.com(只作用于下载;镜像不支持上传/认证类操作)。

指标

分布内测试集 381 条(105 条含违规 + 276 条干净),span 级口径:类别与字符边界都对才算命中。

版本 P R F1 macro-F1(有 gold 的类)
torch fp32 72.48 75.24 73.83 65.62
ONNX fp32 72.48 75.24 73.83 65.62
ONNX int8 73.83 75.24 74.53 66.77

其他探针:

探针 结果
OOD:留出的真实底句 + 植入片段(107 条) F1 91.6%
手写探针(38 条,措辞与训练不同源) F1 **37.9%**,exaggeration_promise 零召回
真实目录文本(1848 条,已审核的干净文本) 触发率 **0.27%**(5 条,均为边界误报)
单条延迟(4 线程,i9-14900K) 端到端 6.1 ms(服务内部 5.2 ms)
批量吞吐 batch 32 → 84 条/s
进程内存 RSS ≈ 650 MB

int8 相对 fp32 不掉点反而 +0.7,服务端与离线推理逐位一致。

已知限制(重要)

  • 正样本是合成的。模型对句式骨架学得不错(真实底句 OOD 91.6%),但对未见过的措辞覆盖不足(手写探针 37.9%),exaggeration_promise 在手写措辞上零召回。可做提示试用,不适合当拦截器。
  • 真实正样本拿不到:抓过 1848 条公开短剧目录文本(已上架=已过审),真阳为 0。违规文案活在投放素材与驳回记录里,需要运营导出——这是数据侧的硬边界。
  • 全类共用 0.5 阈值,未做按类阈值扫描;词典基线在 vulgar_suggestive 上仍强于本模型(test F1 90.9% vs 35%),融合是下一步。
  • 上下文 256 token,长简介会被截断(简介最长约 400 字)。
  • 单分类头直接 BIO 解码,不做 CRF / 后处理规整(除 MIN_SPAN_LEN=2 过滤单字碎片)。

训练与评测代码

完整链路(标注规范、词典基线、双教师伪标与交叉、数据集构建、训练与导出、服务)在 Gitee: https://gitee.com/fexeak/duanju-llm

模型仓库镜像:Hugging Face(本页)/ https://www.modelscope.cn/models/fexeak/duanju-llm

  • LABELING.md:span 边界规则、六类标 / 不标清单、类别优先级、标注一致性门禁
  • CONTEXT.md:领域术语(分发文本、违规表述、漏检 / 过检口径)
  • train/README.md:训练四步与四个已知坑(词表裁剪、句首 ▁ piece、O 类权重、头 lr)
  • serve/README.md:接口、部署形态、换硬件注意事项

许可

训练基座 microsoft/Multilingual-MiniLM-L12-H384(Apache-2.0),本模型同样以 Apache-2.0 发布。 训练/评测数据中的真实文本仅取自公开可访问的剧集目录页(遵守 robots 与低频访问),不含用户隐私数据。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support