Download code/docs/PUBLISHING.md from luyu1021/turbot2va-ltx2: direct link, hf CLI and curl.
- Browser
- Download file 6.12 kB
-
https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/docs/PUBLISHING.md
- Command line
-
hf download hf://luyu1021/turbot2va-ltx2/code/docs/PUBLISHING.md
-
curl -L -o PUBLISHING.md https://huggingface.co/luyu1021/turbot2va-ltx2/resolve/main/code/docs/PUBLISHING.md
GitHub 与 Hugging Face 发布交接
目标新仓库名均为 turbot2va-ltx2,凭据身份已通过远端 API 确认:GitHub liuyuxiang1021、HF luyu1021。2026-11-19 用户已授权 HF 公开;GitHub 保持私有。
2026-11-19 当前环境开放网络后,代理 star-proxy.oa.com:3128 已可连接 GitHub/HF。GitHub 私有代码仓库已经创建、推送并核验文件哈希;HF 模型仓库已创建,并在用户授权后公开,代码和模型说明已上传并核验。37.75 GB generator 推理参考及两份元数据已上传并通过大小/SHA256 核验,权重核验 revision 为 85af88b46b9ea4561468aa06d2bd865ef2b55ab1。实际范围记录在 release/PUBLISHED_SCOPE.json。
已完成整个公开筛选包:15 个 DCP 训练 artifact 和 generator 参考,共 232 个权重/元数据文件、1,360,148,787,273 bytes。权重核验 commit 为 cda4cffcafa91375d7f43cbd7f26a495227d7af5;CHECKSUMS.json 覆盖全部文件。私有容量不足的问题已通过用户授权 HF 公开解除,服务端本次已成功接收并提交全量选择。
发布包
GitHub:提交 my_repos/turbot2va-ltx2 的代码、配置、训练文档、精简日志、指标与 provenance,权重和 optimizer 从 Git history 排除。HF 模型仓库:根模型卡、许可证、code/ 同源代码、checkpoints/<artifact>/ 权重与指定恢复状态、SHA-256 清单。
HF 本地 staging:output/releases/turbot2va-ltx2-hf,大 checkpoint 文件用指向源目录的符号链接,避免额外复制 1.32 TB;它是本机上传视图,不能只把符号链接压缩发到另一机器。清单 release/upload_manifest.json 指明每个源文件、字节数、mtime 和远端路径。
15 个 DCP artifact 合计约 1.32 TB,另有约 37.75 GB 的已发布推理参考,4 份带完整 optimizer/RNG,其余模型层保留全部 DCP shard;联合 RCM 模型层同时含 generator 与 critic。上游 LTX-2/Gemma 不重复上传。checkpoint 校验先核对 .metadata、world size、非空 shard、optimizer/RNG;上传前逐文件计算 SHA256,上传后使用远端 LFS SHA256 或下载小文件校验,不把只检查文件名当成上传成功。
继续同步代码或补传指定 artifact
先做身份与访问预检查;脚本只读取凭据,值不会显示在命令行、Git remote 或日志。
cd my_repos/turbot2va-ltx2
https_proxy=http://star-proxy.oa.com:3128 http_proxy=http://star-proxy.oa.com:3128 \
python scripts/publish.py --token-file ../../tokens.txt --preflight
https_proxy=http://star-proxy.oa.com:3128 http_proxy=http://star-proxy.oa.com:3128 \
python scripts/publish.py --token-file ../../tokens.txt --target github
https_proxy=http://star-proxy.oa.com:3128 http_proxy=http://star-proxy.oa.com:3128 \
python scripts/publish.py --token-file ../../tokens.txt --target hf --public --code-only
凭据也可通过 GITHUB_TOKEN 和 HF_TOKEN 环境变量提供。凭据文件中的第一枚 HF token 为 read-only,脚本自动跳过并使用可写 token。--public 表示预期仓库公开,脚本不会修改现有仓库可见性;必须先由用户授权并调整对应仓库。GitHub 与 HF 可以保持不同可见性,此时分端执行命令。只补单端用 --target github 或 --target hf;连接必须直连时加 --direct。不要在日志里输出凭据。此脚本要求发布代码已提交,发现未提交的 tracked 变更、权重混入 GitHub 清单、凭据样式或已有同名不相关仓库会报错。
GitHub 用 HEAD:main 普通 push,核对 remote commit SHA 和逐文件 Git blob SHA。HF 先上传文档,逐 artifact 提交权重;中断后可重新执行,服务端按内容去重。每阶段先写 release/publish_status.json;只有远端核验成功才生成 GITHUB_RECEIPT.json / HF_RECEIPT.json。HF --code-only 另生成 HF_DOCUMENTATION_RECEIPT.json,保留既有权重 receipt,不把文档更新当作再次上传权重。
checkpoint_checksums.json 是本地可复用哈希缓存,键同时包含源字节数与 mtime,源 checkpoint 改动会拒绝上传旧清单。跨机器搬运需真实复制清单对应文件、重新生成 staging;不能沿用不可达的旧 symlink。
验证与限制
本次只做 CPU 和存储读取验证,不启动训练。新增 launcher dry-run 检查十条配方的有效配置,现有数学/数据/JVP 回归按环境运行;验证明细保存在 release/VALIDATION.json。部署到新机器仍应验证依赖安装、8 卡 full resume 和实际 AV 解码,CPU 检查不代表这些 GPU 工作已经执行。
只上传 HF 说明:--target hf --code-only。只上传现成 generator-only 权重:--target hf --artifact published_turbot2av_main。--artifact 可重复指定;receipt 标明实际核验的 artifact,不把子集上传当全部完成。
省略 --artifact 且不使用 --code-only 会尝试全部 16 个 artifact,公开仓库仍须满足 HF 服务端容量限制。权重上传的 CHECKSUMS.json 和 HF_RECEIPT.json 描述本次选择的集合;后续分批追加时,应将此前已发布的 ID 一并传给 --artifact,以覆盖累计校验范围。只同步代码不会替换已有 CHECKSUMS.json。
当前公开完整包的断点续传
https_proxy=http://star-proxy.oa.com:3128 http_proxy=http://star-proxy.oa.com:3128 \
python -u scripts/publish.py --token-file ../../tokens.txt \
--target hf --public --large-folder --upload-workers 24
--large-folder 使用安装的 huggingface_hub==0.30.0 的分任务上传缓存,只上传 manifest 精确路径和相应的 RELEASE_METADATA.json,包括隐藏的 DCP .metadata。SDK 缓存哈希、LFS 上传和远端提交状态,中断后使用同一 staging 重试。完成后复用已提交且源文件未改变的 SDK 内容哈希,逐个核对远端大小/SHA256,再生成整个选择集合的 CHECKSUMS.json 和核验 receipt。不要同时启动多个上传进程。SDK 对失败会持续重试,出现权限或容量等固定错误时应检查日志并处理。