launch_server.sh

# export CUDA_VISIBLE_DEVICES="0"

model_repo_path=./model_repo_whisper_trtllm

nohup tritonserver --model-repository $model_repo_path \
                   --pinned-memory-pool-byte-size=2048000000 \
                   --cuda-memory-pool-byte-size=0:4096000000 \
                   --http-port 7015 \
                   --metrics-port 5004 \
                   --grpc-port 7014 \
                   > tritonserver.out 2>&1 &