BotPsy-0.8B — CMF

BotPsy-0.8B by Tether AI Research (QVAC) is a 0.8B tool-calling and agent model built on Qwen3.5-0.8B (hybrid Gated DeltaNet + gated attention, 24 layers). This repository packages it, text only, as single CMF files for cortiq, a Rust inference engine with no Python and no ML framework: NVIDIA GPUs through CUDA or Vulkan, AMD and Intel GPUs through Vulkan, Apple silicon through Metal, and the CPU.

English · Русский · 中文

Quick start

cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "How many minutes are in 3.5 hours?"

Prebuilt binaries for Linux, macOS and Windows are on the releases page. The engine picks the GPU itself; CMF_GPU=cuda selects CUDA on an NVIDIA card.

Files

file quantization size perplexity use
botpsy-0.8b-q8_2f.cmf 8-bit 783 MB 12.20 default, practically lossless
botpsy-0.8b-q4tp.cmf 4-bit 422 MB 13.88 smallest and fastest

Both are quantized from the BF16 checkpoint. Perplexity is measured over the 450 tokens of docs/ppl_nat.txt from the cortiq repository; the BF16 weights score 12.10 there.

Performance

Decode, one stream, tokens per second:

hardware backend q8_2f q4tp
RTX A5000 CUDA 296–307 354–369
RTX A5000 Vulkan 212 222
Apple M4 Metal 80 132
Apple M4 CPU 78 88

The CUDA row needs cortiq 0.8.96 or newer.

A 4096-token prompt on the RTX A5000: both files read it at 20 200 tok/s on CUDA (first token after 0.20 s); on Vulkan q4tp takes 16 800 tok/s (0.24 s) and q8_2f 1 970 tok/s (2.1 s).

Usage

cortiq run botpsy-0.8b-q8_2f.cmf                    # interactive chat
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "..."     # one answer
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "..." --temperature 0.3 --top-k 20 --top-p 0.95 --max-tokens 1024

The last line uses the authors' sampling; --greedy gives deterministic output.

Tool calling (OpenAI-compatible server)

cortiq serve botpsy-0.8b-q8_2f.cmf --port 8080

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "botpsy", "temperature": 0.3,
  "messages": [{"role": "user", "content": "What is the weather in Paris right now?"}],
  "tools": [{"type": "function", "function": {"name": "get_weather",
    "description": "Current weather for a city",
    "parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}}]}'

The answer comes back as message.tool_calls with finish_reason: "tool_calls", here get_weather with {"city": "Paris"}. Run the tool and send its result as a {"role": "tool", ...} message. Endpoints: /v1/chat/completions, /v1/completions, /v1/models; --host 127.0.0.1 keeps the server local.

Verify the download

sha256sum -c botpsy-0.8b-q8_2f.cmf.sha256
cortiq info botpsy-0.8b-q8_2f.cmf

The weights derive from qvac/BotPsy-0.8B and remain under its Apache-2.0 license (LICENSE, ATTRIBUTIONS.md in this repository). See the original model card for its intended use, limitations and benchmarks.


На русском

BotPsy-0.8B от Tether AI Research (QVAC) — модель на 0,8 млрд параметров для вызова инструментов и агентных задач на основе Qwen3.5-0.8B (гибрид Gated DeltaNet и внимания с гейтом, 24 слоя). Здесь она упакована (только текст) в одиночные файлы CMF для cortiq — движка инференса на Rust без Python: видеокарты NVIDIA через CUDA или Vulkan, AMD и Intel через Vulkan, Apple silicon через Metal, и процессор.

Быстрый старт

cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "Сколько минут в 3,5 часа?"

Готовые сборки для Linux, macOS и Windows — на странице релизов. Видеокарту движок выбирает сам; CMF_GPU=cuda включает CUDA на карте NVIDIA. Модель обучена на английском, он и рекомендуется.

Файлы

файл квантование размер перплексия для чего
botpsy-0.8b-q8_2f.cmf 8 бит 783 МБ 12,20 по умолчанию, практически без потерь
botpsy-0.8b-q4tp.cmf 4 бита 422 МБ 13,88 самый маленький и быстрый

Оба квантованы из весов BF16. Перплексия — по 450 токенам docs/ppl_nat.txt из репозитория cortiq; у BF16 там 12,10.

Скорость

Генерация, один поток, токенов в секунду:

железо бэкенд q8_2f q4tp
RTX A5000 CUDA 296–307 354–369
RTX A5000 Vulkan 212 222
Apple M4 Metal 80 132
Apple M4 CPU 78 88

Строке CUDA нужен cortiq 0.8.96 или новее.

Промпт на 4096 токенов на RTX A5000: оба файла читают его на CUDA со скоростью 20 200 ток/с (первый токен через 0,20 с); на Vulkan q4tp — 16 800 ток/с (0,24 с), q8_2f — 1 970 ток/с (2,1 с).

Использование и вызов инструментов

cortiq run файл.cmf — чат; --prompt "..." — один ответ; сэмплинг авторов: --temperature 0.3 --top-k 20 --top-p 0.95; --greedy — детерминированный вывод. cortiq serve файл.cmf --port 8080 поднимает OpenAI-совместимый сервер; инструменты передаются в tools, вызов приходит в message.tool_calls с finish_reason: "tool_calls" (пример запроса — в английском разделе).

Веса получены из qvac/BotPsy-0.8B и остаются под её лицензией Apache-2.0 (LICENSE, ATTRIBUTIONS.md в этом репозитории).


中文说明

BotPsy-0.8B 由 Tether AI Research(QVAC)发布,是基于 Qwen3.5-0.8B (Gated DeltaNet 与门控注意力混合结构,24 层)的 0.8B 工具调用与智能体模型。本仓库将其(仅文本部分)打包为单个 CMF 文件,供 cortiq 使用。cortiq 是不依赖 Python 的 Rust 推理引擎: NVIDIA 显卡走 CUDA 或 Vulkan,AMD 与 Intel 显卡走 Vulkan,Apple silicon 走 Metal,也可在 CPU 上运行。

快速开始

cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "How many minutes are in 3.5 hours?"

Linux、macOS 与 Windows 的预编译版本见发布页。引擎会自动选择显卡; 在 NVIDIA 显卡上用 CMF_GPU=cuda 选择 CUDA。模型以英文训练,建议用英文提问。

文件

文件 量化 大小 困惑度 用途
botpsy-0.8b-q8_2f.cmf 8 位 783 MB 12.20 默认,几乎无损
botpsy-0.8b-q4tp.cmf 4 位 422 MB 13.88 最小、最快

两者均由 BF16 权重量化。困惑度在 cortiq 仓库 docs/ppl_nat.txt 的 450 个词元上测得,BF16 权重为 12.10。

速度

生成速度,单路,词元/秒:

硬件 后端 q8_2f q4tp
RTX A5000 CUDA 296–307 354–369
RTX A5000 Vulkan 212 222
Apple M4 Metal 80 132
Apple M4 CPU 78 88

CUDA 一行需要 cortiq 0.8.96 或更新版本。

RTX A5000 上 4096 词元的提示:两个文件在 CUDA 上的读取速度均为 20 200 词元/秒(首词元 0.20 秒);Vulkan 上 q4tp 为 16 800 词元/秒(0.24 秒),q8_2f 为 1 970 词元/秒(2.1 秒)。

用法与工具调用

cortiq run 文件.cmf 进入对话;--prompt "..." 单次回答;作者推荐的采样: --temperature 0.3 --top-k 20 --top-p 0.95;--greedy 为确定性输出。cortiq serve 文件.cmf --port 8080 启动兼容 OpenAI 的服务;在 tools 中传入工具,调用结果以 message.tool_calls 返回,finish_reason 为 "tool_calls"(请求示例见英文部分)。

权重来自 qvac/BotPsy-0.8B,仍遵循其 Apache-2.0 许可(本仓库附 LICENSE 与 ATTRIBUTIONS.md)。

Downloads last month
156
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for infosave/BotPsy-0.8B-cmf

Finetuned
qvac/BotPsy-0.8B
Quantized
(9)
this model