laya-ad / code /laya-server /UPSTREAM.md
x6nux's picture
laya-ad v1.1:六精度权重 + 模型卡 + 项目代码快照
71dabc7 verified
|
Raw History Blame Contribute Delete
1.6 kB

laya-server(laya-ad 独立维护分支)

  • 基线来源:https://github.com/1Panel-dev/laya-server @ 19471b2d377ec29e85ac50ad65877f2937c5340b(2026-10-10,Apache-2.0)
  • 自本版本起完全独立维护,不跟随上游。 上游 SHA 仅作出身记录。

本分支相对上游的改动

  1. ad-clf 后端(LAYA_BACKEND=ad-clf 启用):接入 laya-ad 微调的 mmBERT 中文广告二分类模型, 通过 /v1/systemone Jev 兼容 API 提供判定;is_ad 形状题目(choice{ad,clean}、 与广告相关的 noul)由分类器回答,其余题目返回 unsupported: true 的中性答案, 调用方可走自有兜底,绝不冒充判断。
  2. 全精度变体:fp32/fp16/bf16/fp8/int8/int4 safetensors 变体(quant_loader.py 统一加载,int8/int4 自动反量化)。镜像 tag 格式 **<版本>-<精度>**(如 v1.0-fp32); 不带精度的 latest 与 <版本> tag = fp8。原上游 Laya 模型权重机制 (download-models / 多模型 Router)已移除;镜像构建时自动从 releases/latest/download/laya-ad-fp32.tar.gz 拉取 laya-ad 最新基准权重并在镜像内量化。
  3. CPU 优化(来自 laya-ad 工作流实测):请求动态微批(LAYA_AD_BATCH/LAYA_AD_BATCH_WINDOW_MS)、 CPU 线程数 LAYA_CPU_THREADS(默认逻辑核一半,Zen5 实测最优档)、bf16 推理。 100 并发整批 ≤1s SLO 实测通过(Ryzen 7 9700X 半核)。

模型文件由 CI 构建时注入 models/ad-clf/(来源:laya-ad Release 的 fp32 基准资产 + 量化管线)。