Instructions to use BAAI/Brainmu-SpikeCamera with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use BAAI/Brainmu-SpikeCamera with Transformers:
# Load model directly from transformers import SpikeConvFrontend model = SpikeConvFrontend.from_pretrained("BAAI/Brainmu-SpikeCamera", device_map="auto") - Notebooks
- Google Colab
- Kaggle
小网络使用说明
发布结构:根目录的 config.json 和 model.safetensors 对应卷积重建小网络(180,705 个参数),src/ 内包含小网络与可选 Brainμ 生成阶段代码。基础大模型和 LoRA 权重不包含在发布包中。
本仓库使用项目自定义加载器,不声明支持 Transformers AutoModel.from_pretrained。网络构建与 DAT 解码读取根目录配置,权重使用 safetensors 加载,并校验默认文件的 SHA256 与参数形状。
下载及 CPU 推理
hf download BAAI/Brainmu-Spike --local-dir ./Brainmu-Spike
cd Brainmu-Spike
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install torch --index-url https://download.pytorch.org/whl/cpu
uv pip install numpy==1.26.4 opencv-python-headless==4.11.0.86 Pillow==11.3.0 safetensors==0.4.5
python src/scripts/infer_frontend.py \
--spike-dir /path/to/spike \
--gt-dir /path/to/gt \
--output-dir outputs/frontend_test \
--device cpu
Windows PowerShell 的激活命令为 .\.venv\Scripts\Activate.ps1。也可以不激活,直接调用 .venv 内的 Python。
每条 DAT 包含 41 × 250 × 400 二值数据,little-bit 打包,共 512,500 字节;读取后沿高度翻转。GT 为同名 400 × 250 PNG。省略 --gt-dir 则只输出图像,不计算指标;--limit 3 可试跑前三张。
默认权重是根目录 model.safetensors;--config 和 --checkpoint 可以显式覆盖。使用新输出目录。旧 .pt 训练权重仍可通过 --checkpoint 加载,但应只使用可信来源。
其他代码
其余训练、数据导出、网页及生成阶段脚本位于 src/。运行旧训练流程时以 src/ 为工作目录;BRAINMU_WORKDIR 决定数据及训练输出目录。执行 bash src/scripts/setup_uv.sh 时完整环境默认创建于 src/.venv,与以上根目录的轻量环境不同。
许可证与上游声明位于 src/LICENSE 和 src/NOTICE。