nuiun/ninfer-3080-16g-bundle

NInfer Ternary-Bonsai-2-27B 开箱即用整合包

本仓库已整合预编译 Windows (sm_86) NInfer 运行引擎与三元量化权重模型，免安装解压，开箱即用。

硬件配置建议

• 适用显卡: NVIDIA Ampere 架构（sm_86，如 RTX 3080 16G / 3080 Ti / 3090 / 4080 / 4090 等）。
• 显存要求: 建议显存 >= 16GB。

使用方法

1. 下载或克隆本仓库全部文件至本地同一目录下：

   hf download nuiun/ninfer-3080-16g-bundle --local-dir ./
   

2. 双击运行 start.bat：
   • 默认运行 (倒计时 5 秒无操作或按 N): 关闭多模态视觉，启用安全的 64K 上下文 + rk8v4 KV 压缩。
   • 视觉模式 (5 秒内按 Y): 开启多模态图像识别，启用 32K 上下文 + rk8v4 KV 压缩。
   • 服务端口: http://127.0.0.1:8080/v1 (OpenAI 兼容)。