| ## 测速结果的补充说明 | |
| - GPU测速 | |
| - 我们采用业界广泛使用的推理部署开源框架[vllm](https://github.com/vllm-project/vllm)进行推理速度测试 | |
| - 实验配置为：max_num_seqs=8, prefill_tokens=128 and decode_tokens=128，测试设备为NVIDIA A100 | |
| - vLLM的serving工作流并不存在batch_size的概念，这里采用max_num_seqs（每次迭代的最大序列数）来近似此概念。 | |
| - 测试脚本详见 [throughput-benchmarking](https://github.com/infinigence/Infini-Megrez/tree/main?tab=readme-ov-file#throughput-benchmarking) | |
| - CPU测速 | |
| - 与GPU不同，CPU上存在llama.cpp、Ollama、厂商自研等多种推理框架 | |
| - 我们选择Intel [ipex-llm](https://github.com/intel-analytics/ipex-llm/tree/main/python/llm/example/CPU/vLLM-Serving)作为CPU推理引擎 | |
| - 实验配置为：max_num_seqs=1 prefill_tokens=128 and decode_tokens=128，测试设备为Intel(R) Xeon(R) Platinum 8358P | |
| - 注意：Intel的ipex-llm方案仅支持qwen, baichuan, llama等结构，暂不支持MiniCPM系列 | |
| - 手机平台测试 | |
| - TBD | |
| - 嵌入式平台测试 | |
| - 我们在瑞星微RK3576上进行了速度测试，选用厂商提供的[rknn-llm](https://github.com/airockchip/rknn-llm)框架 | |
| ## 测速结果汇总 | |
| | | Megrez-3B | Qwen2.5-3B | MiniCPM3 | MiniCPM-2B | | |
| |-----------------------|-----------|------------|--------|--------| | |
| | A100 (BF16) | 1159.93 | 1123.38 | 455.44 | 978.96 | | |
| | Intel(R) Xeon(R) Platinum 8358P (IPEX INT4) | 27.49 | 25.99 | X | 22.84 | | |
| | RK3576 (INT4) | 8.79 | 7.73 | X | 6.45 | |