Upload folder using huggingface_hub

754a805 8 days ago

9.56 kB

	---
	license: other
	base_model: black-forest-labs/FLUX.2-dev
	tags:
	- flux
	- flux2
	- comfyui
	- safetensors
	- int8
	- nvfp4
	- non-commercial
	---

	# FLUX.2-dev INT8 ConvRot Core + NVFP4

	This repository distributes a quantized derivative of
	[`black-forest-labs/FLUX.2-dev`](https://huggingface.co/black-forest-labs/FLUX.2-dev)
	for non-commercial research, experimentation, testing, study, and hobby use.

	## License and attribution

	The FLUX checkpoint is licensed under the FLUX Non-Commercial License. Read and
	accept [`LICENSE.md`](LICENSE.md) before downloading or using it. The required
	Black Forest Labs attribution and the derivative notice are in
	[`NOTICE.txt`](NOTICE.txt). The Mistral text encoder is separately distributed
	under Apache-2.0; see [`LICENSE-MISTRAL-APACHE-2.0.txt`](LICENSE-MISTRAL-APACHE-2.0.txt)
	and [`NOTICE-MISTRAL.txt`](NOTICE-MISTRAL.txt).

	`LICENSE.md` is the official license text published by Black Forest Labs for
	FLUX [dev].

	This is an independently modified derivative. It is not an official Black
	Forest Labs product and is not endorsed, approved, or validated by Black Forest
	Labs.

	## Files

	\| File \| Purpose \|
	\|---\|---\|
	\| `flux2_dev_INT8_CONVROT_CORE_NVFP4.safetensors` \| Quantized model checkpoint \|
	\| `mistral_3_small_text_encoder_mixed_bf16_int8convrot_nvfp4.safetensors` \| Optional quantized Mistral Small text encoder \|
	\| `SHA256SUMS.txt` \| SHA-256 integrity checksum \|
	\| `compare_v6_0_*_SUMMARY.md` \| Compact exact-reference comparison summary \|
	\| `compare_v6_0_*.txt` \| Full technical audit \|

	## Why use this checkpoint?

	The audit directly compares this checkpoint with
	`flux2-dev-nvfp4-mixed.safetensors`, using `FLUX.2-dev` BF16 as the exact
	reference. The measured advantages of this checkpoint are efficiency-oriented:

	\| Metric \| This checkpoint \| `flux2-dev-nvfp4-mixed.safetensors` \| Result \|
	\|---\|---:\|---:\|---\|
	\| File size \| 18.20 GiB \| 21.21 GiB \| 3.01 GiB / 16.5% smaller \|
	\| MLP relL2 error \| 9.527283% \| 9.527362% \| Slightly lower error \|
	\| Median spectral error \| 1.501953% \| 1.502563% \| Slightly lower error \|
	\| Overall relL2 error \| 8.919423% \| 8.914095% \| Other checkpoint is slightly closer to BF16 \|
	\| Sensitive-weight relL2 error \| 8.861833% \| 8.856014% \| Other checkpoint is slightly closer to BF16 \|
	\| Attention relL2 error \| 0.894180% \| 0.000000% \| Other checkpoint retains BF16 attention weights \|

	In practical terms, this release is the storage-efficiency choice: it saves
	3.01 GiB while the exact overall relL2 difference is only 0.005328 percentage
	points. The mixed BF16/NVFP4 variant is the weight-space quality choice,
	but its measured overall advantage is only 0.0597% relative relL2 at 16.5%
	more storage. No throughput, VRAM-use, or image-quality advantage is claimed;
	those require a matching runtime and controlled prompt/seed tests.

	## Quantization

	The embedded checkpoint metadata reports recipe
	`flux2_dev_int8_convrot_core_nvfp4_v1`:

	- 128 logical weight regions use NVFP4 with group size 16.
	- 43 logical weight regions use per-row INT8 TensorWise with ConvRot.
	- The logical source dtype recorded in the metadata is BF16.

	## Validation

	The included audit compares this checkpoint and a mixed NVFP4/BF16 checkpoint
	against `FLUX.2-dev` BF16 in exact mode.

	\| Check \| Result \|
	\|---\|---:\|
	\| Compared elements \| 32,223,264,768 \|
	\| Exact element coverage \| 100% \|
	\| Failed or skipped comparisons \| 0 \|
	\| This checkpoint's overall relL2 to BF16 \| 8.919423% \|
	\| This checkpoint's size \| 18.20 GiB \|

	The audit is a weight-space reconstruction comparison. It is not an
	end-to-end image-quality benchmark; no matching prompt/seed output cache was
	provided for this release.

	## Compatibility

	The checkpoint is a single `.safetensors` file containing quantization metadata
	for NVFP4 and INT8 ConvRot. Use it only in runtimes that explicitly support
	these formats and the associated auxiliary tensors. Verify compatibility in a
	controlled local workflow before relying on it.

	Native NVFP4 execution requires NVIDIA Blackwell hardware (compute capability
	10.0 or newer), such as NVIDIA GeForce RTX 50-series GPUs, plus a compatible
	runtime. Some runtimes can emulate NVFP4 on earlier GPUs by dequantizing to
	BF16 during execution; this is runtime-specific and may be slower. It is not a
	guaranteed compatibility path.

	The optional Mistral Small text encoder contains 182 NVFP4 and 28 INT8 ConvRot
	logical regions. It is supplied as a companion file, not as evidence of a
	verified end-to-end pairing: this release does not include a tested workflow or
	prompt/seed comparison for the model-and-encoder combination.

	## Use restrictions

	This derivative remains subject to all restrictions in the FLUX Non-Commercial
	License, including the prohibition on commercial or production use. Do not
	present it as an official Black Forest Labs release. You are responsible for
	lawful use and for any content-filtering, review, disclosure, export-control,
	or other obligations that apply to your use.

	---

	# Deutsch

	Dieses Repository enthält eine quantisierte Ableitung von
	[`black-forest-labs/FLUX.2-dev`](https://huggingface.co/black-forest-labs/FLUX.2-dev)
	für nichtkommerzielle Forschung, Experimente, Tests, Studium und Hobbyprojekte.

	## Dateien

	\| Datei \| Zweck \|
	\|---\|---\|
	\| `flux2_dev_INT8_CONVROT_CORE_NVFP4.safetensors` \| Quantisierter FLUX.2-dev-Checkpoint \|
	\| `mistral_3_small_text_encoder_mixed_bf16_int8convrot_nvfp4.safetensors` \| Optionaler quantisierter Mistral-Small-Textencoder \|
	\| `SHA256SUMS.txt` \| SHA-256-Prüfsummen \|
	\| `compare_v6_0_*_SUMMARY.md` \| Kompakter exakter Referenzvergleich \|
	\| `compare_v6_0_*.txt` \| Vollständiger technischer Audit \|

	## Warum diesen Checkpoint verwenden?

	Der Audit vergleicht diesen Checkpoint direkt mit
	`flux2-dev-nvfp4-mixed.safetensors` gegen `FLUX.2-dev` BF16 als exakte
	Referenz. Die gemessenen Vorteile dieses Checkpoints liegen bei der Effizienz:

	\| Messwert \| Dieser Checkpoint \| `flux2-dev-nvfp4-mixed.safetensors` \| Ergebnis \|
	\|---\|---:\|---:\|---\|
	\| Dateigröße \| 18,20 GiB \| 21,21 GiB \| 3,01 GiB / 16,5% kleiner \|
	\| MLP-relL2-Fehler \| 9,527283% \| 9,527362% \| Minimal niedrigerer Fehler \|
	\| Medianer spektraler Fehler \| 1,501953% \| 1,502563% \| Minimal niedrigerer Fehler \|
	\| Gesamt-relL2-Fehler \| 8,919423% \| 8,914095% \| Andere Variante ist minimal näher an BF16 \|
	\| relL2 empfindlicher Gewichte \| 8,861833% \| 8,856014% \| Andere Variante ist minimal näher an BF16 \|
	\| Attention-relL2-Fehler \| 0,894180% \| 0,000000% \| Andere Variante behält BF16-Attention-Gewichte \|

	Praktisch ist dieser Release die speichereffiziente Wahl: Er spart 3,01 GiB,
	während die exakte Gesamt-relL2-Differenz nur 0,005328 Prozentpunkte beträgt.
	Die gemischte BF16/NVFP4-Variante ist die Weight-Space-Qualitätswahl, ihr
	gemessener Vorteil beträgt aber nur 0,0597% relatives relL2 bei 16,5% mehr
	Speicher. Es wird kein Durchsatz-, VRAM- oder Bildqualitätsvorteil behauptet;
	dafür sind eine passende Runtime und kontrollierte Prompt-/Seed-Tests nötig.

	## Quantisierung

	Die eingebetteten Checkpoint-Metadaten nennen die Recipe
	`flux2_dev_int8_convrot_core_nvfp4_v1`:

	- 128 logische Gewichtsbereiche nutzen NVFP4 mit Gruppengröße 16.
	- 43 logische Gewichtsbereiche nutzen zeilenweises INT8 TensorWise mit ConvRot.
	- Als logischer Ausgangsdatentyp ist BF16 hinterlegt.

	Der begleitende Mistral-Small-Textencoder enthält 182 NVFP4- und 28 INT8
	TensorWise-ConvRot-Bereiche. Er ist eine optionale Begleitdatei und kein
	Nachweis einer verifizierten End-to-End-Kombination.

	## Validierung

	\| Prüfung \| Ergebnis \|
	\|---\|---:\|
	\| Verglichene Elemente \| 32.223.264.768 \|
	\| Exakte Elementabdeckung \| 100% \|
	\| Fehlgeschlagene oder übersprungene Vergleiche \| 0 \|
	\| Bestandene interne Konsistenzprüfungen \| 318 \|
	\| Gesamt-relL2 gegen BF16 \| 8,919423% \|

	Das ist ein exakter Weight-Space-Rekonstruktionsvergleich und kein
	End-to-End-Bildqualitäts-Benchmark. Es lagen weder ein passender Activation-Cache
	noch ein Prompt-/Seed-Ausgabevergleich vor.

	## Kompatibilität

	Beide Dateien sind einzelne `.safetensors`-Checkpoints mit NVFP4- und
	INT8-ConvRot-Metadaten. Verwende sie nur in einer Runtime, die diese Formate
	und die zugehörigen Hilfstensoren ausdrücklich unterstützt. Prüfe die
	Modell-/Encoder-Kombination zuerst in einem kontrollierten lokalen Workflow.

	Die native NVFP4-Ausführung erfordert NVIDIA-Blackwell-Hardware (Compute
	Capability 10.0 oder neuer), etwa GeForce-GPUs der RTX-50-Serie, sowie eine
	kompatible Runtime. Manche Runtimes können NVFP4 auf älteren GPUs durch
	BF16-Dequantisierung während der Ausführung emulieren; das ist
	runtimeabhängig und kann langsamer sein. Es ist kein garantierter
	Kompatibilitätspfad.

	## Lizenz und Attribution

	Der FLUX-Checkpoint steht unter der FLUX Non-Commercial License. Lies und
	akzeptiere [`LICENSE.md`](LICENSE.md), bevor du ihn herunterlädst oder nutzt.
	Die notwendige Black-Forest-Labs-Attribution und der Derivative-Hinweis stehen
	in [`NOTICE.txt`](NOTICE.txt).

	Der Mistral-Textencoder wird separat unter Apache-2.0 verteilt; siehe
	[`LICENSE-MISTRAL-APACHE-2.0.txt`](LICENSE-MISTRAL-APACHE-2.0.txt) und
	[`NOTICE-MISTRAL.txt`](NOTICE-MISTRAL.txt). Dieses Repository ist kein
	offizieller Release von Black Forest Labs oder Mistral AI und wurde von keiner
	der beiden Firmen bestätigt, freigegeben oder validiert.

	Für den FLUX-Checkpoint gelten weiterhin alle Einschränkungen der FLUX
	Non-Commercial License, einschließlich des Verbots kommerzieller oder
	produktiver Nutzung.