model_cost = {
    "deepseek-ai/DeepSeek-R1": {
        "input_token_cost": 4,
        "output_token_cost": 16,
    },
    "deepseek-ai/DeepSeek-V3": {
        "input_token_cost": 2,
        "output_token_cost": 8,
    },
    "Pro/deepseek-ai/DeepSeek-R1":{
        "input_token_cost": 4,
        "output_token_cost": 16,
    },
    "Pro/deepseek-ai/DeepSeek-V3": {
        "input_token_cost": 2,
        "output_token_cost": 8,
    },
    "deepseek-ai/DeepSeek-R1-Distill-Llama-70B": {
        "token_cost": 4.13
    },
    "deepseek-ai/DeepSeek-R1-Distill-Qwen-14B": {
        "token_cost": 0.7
    },
    "Qwen/QVQ-72B-Preview": {
        "token_cost": 9.9
    },
    "deepseek-ai/DeepSeek-V2.5": {
        "token_cost": 1.33
    },
    "meta-llama/Llama-3.3-70B-Instruct": {
        "token_cost": 4.13,
    },
    "Qwen/QwQ-32B-Preview": {
        "token_cost": 1.26
    },
    "Qwen/Qwen2.5-Coder-32B-Instruct": {
        "token_cost": 1.26
    },
    "Qwen/Qwen2-VL-72B-Instruct": {
        "token_cost": 4.13
    },
    "OpenGVLab/InternVL2-26B": {
        "token_cost": 1
    },
    "Qwen/Qwen2.5-72B-Instruct-128K": {
        "token_cost": 4.13
    },
    "deepseek-ai/deepseek-vl2": {
        "token_cost": 0.99
    },
    "Qwen/Qwen2.5-72B-Instruct": {
        "token_cost": 4.13
    },
    "Qwen/Qwen2.5-32B-Instruct": {
        "token_cost": 1.26
    },
    "Qwen/Qwen2.5-14B-Instruct": {
        "token_cost": 0.7
    },
    "TeleAI/TeleChat2": {
        "token_cost": 1.33
    },
    "internlm/internlm2_5-20b-chat": {
        "token_cost": 1
    },
    "meta-llama/Meta-Llama-3.1-405B-Instruct": {
        "token_cost": 21
    },
    "meta-llama/Meta-Llama-3.1-70B-Instruct": {
        "token_cost": 4.13
    },
    "01-ai/Yi-1.5-34B-Chat-16K": {
        "token_cost": 1.26
    },
    "google/gemma-2-27b-it": {
        "token_cost": 1.26
    },
    "LoRA/meta-llama/Meta-Llama-3.1-8B-Instruct": {
        "token_cost": 0.63
    },
    "LoRA/Qwen/Qwen2.5-32B-Instruct": {
        "token_cost": 0.63
    },
    "LoRA/Qwen/Qwen2.5-14B-Instruct": {
        "token_cost": 1.05
    },
    "Vendor-A/Qwen/Qwen2.5-72B-Instruct": {
        "token_cost": 1
    },
    "Pro/deepseek-ai/DeepSeek-R1-Distill-Llama-8B": {
        "token_cost": 0.42
    },
    "Pro/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B": {
        "token_cost": 0.35
    },
    "Pro/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B": {
        "token_cost": 0.14
    },
    "Pro/Qwen/Qwen2.5-Coder-7B-Instruct": {
        "token_cost": 0.35
    },
    "Pro/Qwen/Qwen2-VL-7B-Instruct": {
        "token_cost": 0.35
    },
    "Pro/OpenGVLab/InternVL2-8B": {
        "token_cost": 0.35
    },
    "Pro/Qwen/Qwen2.5-7B-Instruct": {
        "token_cost": 0.35
    },
    "Pro/meta-llama/Meta-Llama-3.1-8B-Instruct": {
        "token_cost": 0.42
    },
    "LoRA/Qwen/Qwen2.5-72B-Instruct": {
        "token_cost": 6.2
    },
    "Pro/Qwen/Qwen2-7B-Instruct": {
        "token_cost": 0.35
    },
    "Pro/Qwen/Qwen2-1.5B-Instruct": {
        "token_cost": 0.14
    },
    "LoRA/Qwen/Qwen2.5-7B-Instruct": {
        "token_cost": 0.53
    },
    "Pro/THUDM/glm-4-9b-chat": {
        "token_cost": 0.6
    },
    "Pro/google/gemma-2-9b-it": {
        "token_cost": 0.6
    }
}