filter-inspection / docs /REPOS.md
daipath's picture
加入完整文档集:复现指南、逐文件说明、结果汇总、诚实性审计、已知边界
0e9808f verified
|
Raw
History Blame Contribute Delete
6.96 kB

四个仓库说明

仓库 类型 可见性 体积 用途
daipath/filter-inspection model 公开 4.6 GB 拿来就用:免安装可执行文件、ONNX、权重
daipath/filter-inspection-data dataset 公开 1.6 GB 训练数据:3728 张图 + 标注 + 切分表
daipath/filter-inspection-experiments dataset 公开 9.3 GB 复现实验:全部脚本、51 个训练产物、结果表
daipath/runpod-workspace-backup dataset 私有 1.5 GB 工作现场归档:会话历史、原始压缩包、报告

⚠ 前三个是公开的,且包含产品图与模型权重。如果这些属于客户资产,先确认可公开再对外分享链接。


1 · daipath/filter-inspection(模型仓库,公开)

目的:不装任何东西,下载即用。

binaries/
├── filter-predict-v3            177 MB  ★ 推荐。CPU+GPU 自适应,已修全部打包坑
├── filter-predict-cpu           138 MB  纯 CPU
├── filter-predict-cpu-portable  156 MB  CPU + 内嵌 libstdc++(老系统用)
├── filter-predict-gpu           1.2 GB  GPU(需 CUDA 12.x)
├── filter-predict-gpu-portable  1.2 GB  GPU + 内嵌 libstdc++
└── filter-predict-v2            1.2 GB  历史版本,有 glibc 问题,勿用

filter_binary.onnx    16.0 MB   判废模型(mobilenetv3_large_100)
filter_binary.json     1.6 KB   元信息 + 阈值标定表
filter_4class.onnx    81.2 MB   类型模型(resnet34)
filter_4class.json      276 B
predict.py             7.7 KB   推理源码(想改预处理看这个)
requirements.txt        57 B    onnxruntime numpy pillow openpyxl

weights/                        PyTorch 原始权重,想继续微调用这些
├── binary_mobilenetv3_splitA.pt          16.2 MB  部署用的那个
├── binary_efficientnet_b0_splitA.pt      15.6 MB  test AUROC 最高
├── binary_resnet34_splitB_crossbatch.pt  81.3 MB  跨批次验证用
└── cls4_resnet34_splitA.pt               81.3 MB  四分类

results/                        结果表(不下大文件也能看数字)
├── cls_test_all.csv            42 个模型的 test 榜单
├── cls_all_results.csv         25 个模型的训练期汇总
├── cls_probe_all.csv           诚实性审计
├── shipped_scores_{val,test}.csv  部署模型的逐图分数
├── shipped_summary.json        部署模型超参
└── shipped_trainlog.csv        训练曲线

sample_images/        22 张样例(来自锁箱 test,从未参与训练)
操作指南.md            傻瓜版:下载 + 一条命令
数据集下载指南.md       图片仓库怎么下

最快路径

wget https://huggingface.co/daipath/filter-inspection/resolve/main/binaries/filter-predict-v3
chmod +x filter-predict-v3
./filter-predict-v3 -i /你的图片目录 -o 结果.xlsx --with-type

binaries/ 里 6 个版本,选哪个?

情况
不确定 filter-predict-v3
只有 CPU,想省流量 filter-predict-cpu
GLIBC_2.38 not found *-portable 版本
有 CUDA 12.x 显卡,量大 filter-predict-gpu

filter-predict-v2 有已知 glibc 问题,保留仅作历史记录,不要用


2 · daipath/filter-inspection-data(数据集,公开)

目的:训自己的模型。

images/          3728 张 PNG + 1977 个 labelme JSON,保持原始 11 包目录结构
splits/
├── splitA/meta.csv      全混合 8:1:1,3611 行
├── splitA/dropped.csv   117 行剔除清单,带原因
├── splitB/meta.csv      跨批次(test = 样本_38016_P08262014 整包)
└── splitB/dropped.csv
inventory.csv            3728 行全量清点
metrics_fixed.csv        1948 行几何指标
数据集下载指南.md
hf download daipath/filter-inspection-data --repo-type dataset --local-dir ./filter-data

只要切分表不要图(几 MB):

hf download daipath/filter-inspection-data --repo-type dataset \
  --local-dir ./filter-data --include "splits/*" "*.csv" "README.md"

meta.csv 字段与数据质量注意事项见仓库内 数据集下载指南.md用之前务必看 CAVEATS.md 的第 4 节(6 条数据质量问题)


3 · daipath/filter-inspection-experiments(数据集,公开)

目的:复现全部实验。

03_CV_seg3.tar.zst    2.7 GB   ★ 主实验目录
02_CV_bench.tar.zst   6.6 GB   基准测试与中间产物
hf download daipath/filter-inspection-experiments --repo-type dataset \
  --local-dir ./exp --include "03_CV_seg3.tar.zst"
tar --zstd -xf exp/03_CV_seg3.tar.zst

解出来是完整的 seg3/ 目录:41 个脚本、11 张结果表、5 份 HTML、 51 个训练产物目录(每个含 best.pt + summary.json + train.log)。

逐文件说明见 FILES.md,跑法见 REPRODUCE.md

需要 zstdapt install zstdtar -I zstd -xf ...


4 · daipath/runpod-workspace-backup(数据集,私有

目的:RunPod 实例关掉后恢复工作现场。 这个仓库的存在原因是 pod 的 home 会被清空。

01_home.tar.zst          252 MB   home 目录 + Claude 会话历史与对话记录
10_home_extra.tar.zst     70 MB   home 补充
04_CV_rawdata.tar.zst    666 MB   原始数据
09_sample_zips.tar.zst   179 MB   样本压缩包原件(样本7_27.zip 等)
06_CV_rars.tar.zst       190 MB   一代 rar 数据
05_CV_reports.tar.zst     60 MB   全部 HTML 报告
07_CV_docs.tar.zst        45 KB   文档(含项目完整重建 md)
08_misc.tar.zst          8.2 MB   杂项

上传时做过 token 脱敏(会话历史里的密钥已替换)。

需要 token 才能访问:

export HF_TOKEN=<你的token>
hf download daipath/runpod-workspace-backup --repo-type dataset --local-dir ./backup

上传/下载的两个环境坑

  1. HF_HUB_DISABLE_XET=1 必须设,否则本容器里上传会报 httpx 错误。
    export HF_HUB_DISABLE_XET=1
    
  2. 私有仓配额已接近上限。 mgoal-yuxi4-backup 单独占了 97.59 GB / 100 GB, 这就是为什么本项目的三个仓库放在公开空间。再往私有传会 403。

遗留事项

  • 两个 HF token 曾在对话中明文出现hf_kwpc…RaEhf_GqqT…JfH), 应当到 https://huggingface.co/settings/tokens 吊销并重新签发。目前尚未处理。
  • filter-inspectionfilter-inspection-data 目前公开,内含产品图与模型权重。 若属客户资产需转私有,先清理私有配额。