| CUDA_VISIBLE_DEVICES=0 swift deploy \ | |
| --model Qwen/Qwen2.5-7B-Instruct \ | |
| --infer_backend vllm \ | |
| --gpu_memory_utilization 0.9 \ | |
| --max_model_len 8192 \ | |
| --max_new_tokens 2048 \ | |
| --agent_template hermes \ | |
| --served_model_name Qwen2.5-7B-Instruct | |
| CUDA_VISIBLE_DEVICES=0 swift deploy \ | |
| --model Qwen/Qwen2.5-7B-Instruct \ | |
| --infer_backend vllm \ | |
| --gpu_memory_utilization 0.9 \ | |
| --max_model_len 8192 \ | |
| --max_new_tokens 2048 \ | |
| --agent_template hermes \ | |
| --served_model_name Qwen2.5-7B-Instruct | |