BF16版を公開しました & GGUF量子化の提案
#1
by rikunarita - opened
Hugging Face Spaces にて、このモデルの BF16 版を公開しました(ComfyUIです)。
ぜひ画像生成を試してみてください。
https://huggingface.co/spaces/rikunarita/Flux.2-klein-4B_clear
ところで、このモデルを GGUF に変換してみるのはいかがでしょうか。
GGUF は CPU 実行向けに最適化されており、Hugging Face の無料枠 CPU Space で公開する場合、生成速度の向上と動作の安定化が期待できると思います。
量子化タイプの候補としては、例えば以下が考えられます。
・Q4_K_M
最も一般的で推奨される形式ですが、imatrix が無い場合は細かいディテールが崩れることがあります。
・Q5_K_M
imatrix なしの前提であれば、速度と品質のバランスが最も良い選択肢です。