本模型使用RKLLM转换而来,部署教程见:RKLLM部署语言大模型教程
| 模型 | 内存占用 | 模型大小 | 量化类型 |
|---|---|---|---|
| Qwen2.5-3B-Instruct-RKLLM1.1.4 | 3.7GB | 3.48GB | w8a8 |
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
本模型使用RKLLM转换而来,部署教程见:RKLLM部署语言大模型教程
| 模型 | 内存占用 | 模型大小 | 量化类型 |
|---|---|---|---|
| Qwen2.5-3B-Instruct-RKLLM1.1.4 | 3.7GB | 3.48GB | w8a8 |