yeyize/flux2-vae-colorfix

FLUX.2 / Klein VAE ColorFix

这是一个针对 FLUX.2 Klein 工作流进行颜色映射校准的实验性 VAE。当前仓库提供的是 step 25,800 检查点；它在受控的 VAE 重建验证中，相对原始 VAE 降低了平均感知色差、尾部色差和 RGB 通道平均偏移，并提高了重建 PSNR。

模型文件

文件	说明
flux2-vae-colorfix-step025800.safetensors	当前综合表现最均衡的检查点

• 文件大小：336 MB
• SHA256：bda3bd5432a422ad0b9b9fce460a7f46a6d8ca16e682fd52229c74d105d95eb6

训练目标

本项目主要校准 VAE 重建链路中的固定颜色通道映射误差，重点约束：

• RGB 每通道偏移与通道映射方向
• 色卡及组合色的局部误差
• Lab / ΔE2000 感知色差
• P95、最大误差和最差色卡等尾部稳定性

训练时 VAE encoder、quant/post-quant 和 latent 统计保持冻结，仅更新 decoder。导出的文件保留完整 VAE 结构，其中 encoder 仍为原始参数。

2048 分辨率验证结果

色卡 / 通道映射验证

指标	step 25,800	作用
ΔE2000 平均值	0.61	总体感知色差参考
ΔE2000 P95	1.39	尾部稳定性
最差色卡 ΔE2000	2.46	极端颜色表现
最大单通道绝对偏移	3.25%	通道映射诊断
h105 绿黄色卡 R 偏移	-2.41%	典型欠补偿样本
h285 紫红色卡 R 偏移	+3.05%	典型过补偿样本

色卡结果表明整体 ΔE2000 保持在较低水平，残余偏移主要集中在部分组合色的 R 通道：绿黄色区域仍有负偏移，紫红色区域仍有正偏移。step 25,800 在平均表现、尾部稳定性和最大通道偏移之间取得了本轮训练中较好的平衡。

相对原始 VAE 的自然图像重建对照

指标	原始 VAE	step 25,800	变化
Anchor ΔE2000 平均值	0.489	0.429	降低 12.2%
Anchor ΔE2000 P95	0.536	0.460	降低 14.2%
RGB 平均绝对 bias	约 0.210%	约 0.103%	降低约 51%
PSNR	41.64 dB	44.13 dB	提高 2.49 dB

变化摘要

• 平均感知色差下降 12.2%。
• P95 尾部色差下降 14.2%，高误差样本的整体稳定性改善。
• RGB 平均绝对偏移由约 0.210% 降至约 0.103%，通道整体偏移约减半。
• PSNR 提高 2.49 dB，像素重建精度同步提升。
• 色卡残余误差呈现明确方向性，后续优化重点是 h105 与 h285 附近组合色的 R 通道欠补偿和过补偿。

色卡验证与自然图像验证属于不同验证集，数值不能横向混用。RGB 平均值仅作为辅助诊断，不作为唯一颜色质量标准；模型选择优先看通道映射、最大偏移、P95、最差色卡和 ΔE2000。

已知限制

• 这是 decoder-only 微调，校准依据来自“原始冻结 encoder → 微调 decoder”的 VAE 自重建链路。
• Klein 实际推理使用的是“Klein latent → VAE decoder”。Klein 产生的 latent 分布可能与 VAE encoder latent 不完全一致。
• 因此，自重建指标的改善幅度不一定会原样反映到 Klein 编辑结果；Klein DiT 自身的颜色误差也可能叠加或掩盖 VAE 的变化。
• 当前改善幅度在部分实际图像中可能难以肉眼直接识别。

推荐验证方法

固定同一份 Klein 输出 latent，分别使用原始 VAE 和本模型解码，比较：

1. 非编辑区域 ΔE2000
2. RGB 每通道 bias 及映射方向
3. P95、最大值和最差区域
4. PSNR / SSIM 与差分图
5. 编辑区域的结构、材质和颜色保持能力

只有固定 latent 的 A/B 对照，才能隔离 Klein DiT 变量并判断该 decoder 对实际编辑工作流的净贡献。

状态

当前检查点可用于 Klein 工作流的固定 latent A/B 测试。现有结果显示 VAE 自重建的平均色差、尾部色差、RGB 平均偏移和 PSNR 均有改善，同时仍保留少数组合色的方向性 R 通道偏移，后续将围绕这些残余模式继续优化。