infosave/Nanbeige4.3-33B-cmf

Nanbeige4.3-33B — CMF

Original Nanbeige4.3-33B, converted into memory-mapped CMF artifacts for the Rust cortiq inference engine. The upstream checkpoint is Apache-2.0, a 33B-parameter Llama model with 52 layers, 7,168 hidden width, 56 attention heads and 8 KV heads. The embedded template retains the upstream reasoning mode; use --no-think for a direct answer.

CMF bundles weights, tokenizer, chat template and integrity hashes in a single file. cortiq runs on CPU and supported GPU backends without Python or a model-specific CUDA build.

Quick start

cargo install cortiq-cli
hf download infosave/Nanbeige4.3-33B-cmf nanbeige43-33b-q4tp.cmf --local-dir .
sha256sum -c nanbeige43-33b-q4tp.cmf.sha256
cortiq verify nanbeige43-33b-q4tp.cmf
cortiq run nanbeige43-33b-q4tp.cmf --prompt "Explain how a compiler works." --no-think

The optional nanbeige43-33b-q8_2f.cmf artifact is also available in this repository.

Files

Artifact	Quantization
nanbeige43-33b-q4tp.cmf	Q4TP matrices with f16 tensors
nanbeige43-33b-q4tp.cmf.sha256	SHA-256 for the Q4TP artifact
nanbeige43-33b-q8_2f.cmf	Q8_2F matrices with f16 tensors
nanbeige43-33b-q8_2f.cmf.sha256	SHA-256 for the Q8_2F artifact

The Q4TP file is 17.25 GB and contains 471 tensors: 366 q4tp and 105 f16.

Performance — Q4TP only

Single-stream cortiq bench --core --ignore-eos --tokens 120 --json; values are the median of three runs using the same Cortiq 0.8.30 binary. Decode is decode_tok_s_steady.

Hardware	Backend	Decode (tok/s)	Prompt prefill (tok/s)
NVIDIA RTX 4090, 24 GB	Vulkan	42.04	73.14
AMD Ryzen 9 7950X, 8 worker threads	CPU	2.54	11.80

Quality checks — Q4TP

Six deterministic direct-answer checks (--greedy --no-think) passed on both CPU and Vulkan: arithmetic, a one-word fact, Python lambda generation, a syllogism, a Russian date question, and an exactly-two-sentence response.

Usage

# Reasoning is enabled by the embedded template unless disabled.
cortiq run nanbeige43-33b-q4tp.cmf --prompt "Solve this step by step: ..." --max-tokens 2048

# Direct answer
cortiq run nanbeige43-33b-q4tp.cmf --prompt "What is 17 times 23?" --no-think --greedy

# CPU-only execution
CMF_GPU=0 CMF_THREADS=8 cortiq run nanbeige43-33b-q4tp.cmf --prompt "..."

# Verify tensor hashes and model metadata
cortiq verify nanbeige43-33b-q4tp.cmf
cortiq info nanbeige43-33b-q4tp.cmf

Документация на русском

В репозитории опубликованы файлы Nanbeige4.3-33B в формате CMF для cortiq. Файл объединяет веса, токенизатор, chat template и контрольные суммы. Исходная модель распространяется по Apache-2.0; архитектура — Llama, 33B параметров и 52 слоя.

Для прямого ответа указывайте --no-think: шаблон модели по умолчанию включает рассуждение.

cargo install cortiq-cli
hf download infosave/Nanbeige4.3-33B-cmf nanbeige43-33b-q4tp.cmf --local-dir .
sha256sum -c nanbeige43-33b-q4tp.cmf.sha256
cortiq verify nanbeige43-33b-q4tp.cmf
cortiq run nanbeige43-33b-q4tp.cmf --prompt "Объясни, как работает компилятор." --no-think

Файлы и скорость Q4TP

Доступны артефакты nanbeige43-33b-q4tp.cmf и nanbeige43-33b-q8_2f.cmf.

Железо	Бэкенд	Decode, ток/с	Prefill, ток/с
NVIDIA RTX 4090, 24 ГБ	Vulkan	42,04	73,14
AMD Ryzen 9 7950X, 8 потоков	CPU	2,54	11,80

Значения — медиана трёх запусков cortiq bench --core --ignore-eos --tokens 120 --json на одной сборке Cortiq 0.8.30. На CPU и Vulkan пройдены шесть проверок: арифметика, факт, генерация кода, логический вывод, ответ на русском и ограничение длины ответа.

中文说明

本仓库提供 Nanbeige4.3-33B 的 CMF 文件，可由 Rust 推理引擎 cortiq 加载。CMF 文件包含模型权重、分词器、聊天模板和校验哈希。上游模型采用 Apache-2.0 许可证。

Q4TP 性能为三次测试的中位数，测试命令为 cortiq bench --core --ignore-eos --tokens 120 --json：RTX 4090 Vulkan 解码 42.04 token/s、提示词处理 73.14 token/s；Ryzen 9 7950X（8 个工作线程）CPU 解码 2.54 token/s、提示词处理 11.80 token/s。

hf download infosave/Nanbeige4.3-33B-cmf nanbeige43-33b-q4tp.cmf --local-dir .
sha256sum -c nanbeige43-33b-q4tp.cmf.sha256
cortiq verify nanbeige43-33b-q4tp.cmf
cortiq run nanbeige43-33b-q4tp.cmf --prompt "你好" --no-think

Original model: Nanbeige/Nanbeige4.3-33B. Runtime and format: infosave2007/cmf.