Instructions to use infosave/BotPsy-0.8B-cmf with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- cortiq
How to use infosave/BotPsy-0.8B-cmf with cortiq:
# one Rust binary, no additional dependencies cargo install cortiq-cli # or a prebuilt binary from github.com/infosave2007/cmf/releases hf download infosave/BotPsy-0.8B-cmf --include "*.cmf" --local-dir . ls *.cmf # some repos ship more than one quantization
cortiq run FILE.cmf --prompt "What is the capital of France?"
cortiq serve FILE.cmf --port 8080 # OpenAI-compatible server
- Notebooks
- Google Colab
- Kaggle
BotPsy-0.8B — CMF
BotPsy-0.8B by Tether AI Research (QVAC) is a 0.8B tool-calling
and agent model built on Qwen3.5-0.8B (hybrid Gated DeltaNet + gated attention, 24 layers). This repository
packages it, text only, as single CMF files for cortiq, a Rust
inference engine with no Python and no ML framework: NVIDIA GPUs through CUDA or Vulkan, AMD and Intel GPUs
through Vulkan, Apple silicon through Metal, and the CPU.
Quick start
cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "How many minutes are in 3.5 hours?"
Prebuilt binaries for Linux, macOS and Windows are on the
releases page. The engine picks the GPU itself;
CMF_GPU=cuda selects CUDA on an NVIDIA card.
Files
| file | quantization | size | perplexity | use |
|---|---|---|---|---|
botpsy-0.8b-q8_2f.cmf |
8-bit | 783 MB | 12.20 | default, practically lossless |
botpsy-0.8b-q4tp.cmf |
4-bit | 422 MB | 13.88 | smallest and fastest |
Both are quantized from the BF16 checkpoint. Perplexity is measured over the 450 tokens of
docs/ppl_nat.txt from the cortiq repository; the BF16 weights score 12.10 there.
Performance
Decode, one stream, tokens per second:
| hardware | backend | q8_2f |
q4tp |
|---|---|---|---|
| RTX A5000 | CUDA | 296–307 | 354–369 |
| RTX A5000 | Vulkan | 212 | 222 |
| Apple M4 | Metal | 80 | 132 |
| Apple M4 | CPU | 78 | 88 |
The CUDA row needs cortiq 0.8.96 or newer.
A 4096-token prompt on the RTX A5000: both files read it at 20 200 tok/s on CUDA (first token after 0.20 s);
on Vulkan q4tp takes 16 800 tok/s (0.24 s) and q8_2f 1 970 tok/s (2.1 s).
Usage
cortiq run botpsy-0.8b-q8_2f.cmf # interactive chat
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "..." # one answer
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "..." --temperature 0.3 --top-k 20 --top-p 0.95 --max-tokens 1024
The last line uses the authors' sampling; --greedy gives deterministic output.
Tool calling (OpenAI-compatible server)
cortiq serve botpsy-0.8b-q8_2f.cmf --port 8080
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "botpsy", "temperature": 0.3,
"messages": [{"role": "user", "content": "What is the weather in Paris right now?"}],
"tools": [{"type": "function", "function": {"name": "get_weather",
"description": "Current weather for a city",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}}]}'
The answer comes back as message.tool_calls with finish_reason: "tool_calls", here
get_weather with {"city": "Paris"}. Run the tool and send its result as a {"role": "tool", ...}
message. Endpoints: /v1/chat/completions, /v1/completions, /v1/models; --host 127.0.0.1 keeps the
server local.
Verify the download
sha256sum -c botpsy-0.8b-q8_2f.cmf.sha256
cortiq info botpsy-0.8b-q8_2f.cmf
The weights derive from qvac/BotPsy-0.8B and remain under its
Apache-2.0 license (LICENSE, ATTRIBUTIONS.md in this repository). See the original model card for its
intended use, limitations and benchmarks.
На русском
BotPsy-0.8B от Tether AI Research (QVAC) — модель на 0,8 млрд
параметров для вызова инструментов и агентных задач на основе Qwen3.5-0.8B (гибрид Gated DeltaNet и
внимания с гейтом, 24 слоя). Здесь она упакована (только текст) в одиночные файлы
CMF для cortiq — движка инференса на Rust без Python: видеокарты
NVIDIA через CUDA или Vulkan, AMD и Intel через Vulkan, Apple silicon через Metal, и процессор.
Быстрый старт
cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "Сколько минут в 3,5 часа?"
Готовые сборки для Linux, macOS и Windows — на странице релизов.
Видеокарту движок выбирает сам; CMF_GPU=cuda включает CUDA на карте NVIDIA. Модель обучена на английском,
он и рекомендуется.
Файлы
| файл | квантование | размер | перплексия | для чего |
|---|---|---|---|---|
botpsy-0.8b-q8_2f.cmf |
8 бит | 783 МБ | 12,20 | по умолчанию, практически без потерь |
botpsy-0.8b-q4tp.cmf |
4 бита | 422 МБ | 13,88 | самый маленький и быстрый |
Оба квантованы из весов BF16. Перплексия — по 450 токенам docs/ppl_nat.txt из репозитория cortiq; у BF16
там 12,10.
Скорость
Генерация, один поток, токенов в секунду:
| железо | бэкенд | q8_2f |
q4tp |
|---|---|---|---|
| RTX A5000 | CUDA | 296–307 | 354–369 |
| RTX A5000 | Vulkan | 212 | 222 |
| Apple M4 | Metal | 80 | 132 |
| Apple M4 | CPU | 78 | 88 |
Строке CUDA нужен cortiq 0.8.96 или новее.
Промпт на 4096 токенов на RTX A5000: оба файла читают его на CUDA со скоростью 20 200 ток/с (первый токен
через 0,20 с); на Vulkan q4tp — 16 800 ток/с (0,24 с), q8_2f — 1 970 ток/с (2,1 с).
Использование и вызов инструментов
cortiq run файл.cmf — чат; --prompt "..." — один ответ; сэмплинг авторов:
--temperature 0.3 --top-k 20 --top-p 0.95; --greedy — детерминированный вывод. cortiq serve файл.cmf --port 8080 поднимает OpenAI-совместимый сервер; инструменты передаются в tools, вызов приходит в
message.tool_calls с finish_reason: "tool_calls" (пример запроса — в английском разделе).
Веса получены из qvac/BotPsy-0.8B и остаются под её лицензией
Apache-2.0 (LICENSE, ATTRIBUTIONS.md в этом репозитории).
中文说明
BotPsy-0.8B 由 Tether AI Research(QVAC)发布,是基于 Qwen3.5-0.8B
(Gated DeltaNet 与门控注意力混合结构,24 层)的 0.8B 工具调用与智能体模型。本仓库将其(仅文本部分)打包为单个
CMF 文件,供 cortiq 使用。cortiq 是不依赖 Python 的 Rust 推理引擎:
NVIDIA 显卡走 CUDA 或 Vulkan,AMD 与 Intel 显卡走 Vulkan,Apple silicon 走 Metal,也可在 CPU 上运行。
快速开始
cargo install cortiq-cli
hf download infosave/BotPsy-0.8B-cmf botpsy-0.8b-q8_2f.cmf --local-dir .
cortiq run botpsy-0.8b-q8_2f.cmf --prompt "How many minutes are in 3.5 hours?"
Linux、macOS 与 Windows 的预编译版本见发布页。引擎会自动选择显卡;
在 NVIDIA 显卡上用 CMF_GPU=cuda 选择 CUDA。模型以英文训练,建议用英文提问。
文件
| 文件 | 量化 | 大小 | 困惑度 | 用途 |
|---|---|---|---|---|
botpsy-0.8b-q8_2f.cmf |
8 位 | 783 MB | 12.20 | 默认,几乎无损 |
botpsy-0.8b-q4tp.cmf |
4 位 | 422 MB | 13.88 | 最小、最快 |
两者均由 BF16 权重量化。困惑度在 cortiq 仓库 docs/ppl_nat.txt 的 450 个词元上测得,BF16 权重为 12.10。
速度
生成速度,单路,词元/秒:
| 硬件 | 后端 | q8_2f |
q4tp |
|---|---|---|---|
| RTX A5000 | CUDA | 296–307 | 354–369 |
| RTX A5000 | Vulkan | 212 | 222 |
| Apple M4 | Metal | 80 | 132 |
| Apple M4 | CPU | 78 | 88 |
CUDA 一行需要 cortiq 0.8.96 或更新版本。
RTX A5000 上 4096 词元的提示:两个文件在 CUDA 上的读取速度均为 20 200 词元/秒(首词元 0.20 秒);Vulkan 上 q4tp 为 16 800 词元/秒(0.24 秒),q8_2f 为 1 970 词元/秒(2.1 秒)。
用法与工具调用
cortiq run 文件.cmf 进入对话;--prompt "..." 单次回答;作者推荐的采样:
--temperature 0.3 --top-k 20 --top-p 0.95;--greedy 为确定性输出。cortiq serve 文件.cmf --port 8080
启动兼容 OpenAI 的服务;在 tools 中传入工具,调用结果以 message.tool_calls 返回,finish_reason 为
"tool_calls"(请求示例见英文部分)。
权重来自 qvac/BotPsy-0.8B,仍遵循其 Apache-2.0 许可(本仓库附
LICENSE 与 ATTRIBUTIONS.md)。
- Downloads last month
- 156