t4_validation.json

{
  "schema_version": "qwen25-vl-gguf-colab-benchmark.v1",
  "status": "success",
  "created_at": "2026-08-11T01:48:55.201162+00:00",
  "gpu": {
    "name": "Tesla T4",
    "memory_total_mib": "15360",
    "memory_used_mib": "6647",
    "memory_free_mib": "8266",
    "utilization_gpu_percent": "0"
  },
  "runtime": {
    "llama_cpp_commit": "dd1ea524333b1e697489067d7a4c39c60d32beee",
    "server_command": [
      "/content/qwen25_vl_7b_gguf_t4/runtime/llama-cpp-b10355-cuda128-sm75-colab/bin/llama-server",
      "--model",
      "/content/qwen25_vl_7b_gguf_t4/models/Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf",
      "--mmproj",
      "/content/qwen25_vl_7b_gguf_t4/models/mmproj-BF16.gguf",
      "--n-gpu-layers",
      "99",
      "--ctx-size",
      "4096",
      "--batch-size",
      "512",
      "--ubatch-size",
      "128",
      "--flash-attn",
      "on",
      "--host",
      "127.0.0.1",
      "--port",
      "18082",
      "--metrics",
      "--jinja",
      "--no-webui"
    ],
    "load_wall_seconds": 4.009317976000034,
    "models_response": {
      "models": [
        {
          "name": "/content/qwen25_vl_7b_gguf_t4/models/Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf",
          "model": "/content/qwen25_vl_7b_gguf_t4/models/Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf",
          "modified_at": "",
          "size": "",
          "digest": "",
          "type": "model",
          "description": "",
          "tags": [
            ""
          ],
          "capabilities": [
            "completion",
            "multimodal"
          ],
          "parameters": "",
          "details": {
            "parent_model": "",
            "format": "gguf",
            "family": "",
            "families": [
              ""
            ],
            "parameter_size": "",
            "quantization_level": ""
          }
        }
      ],
      "object": "list",
      "data": [
        {
          "id": "/content/qwen25_vl_7b_gguf_t4/models/Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf",
          "aliases": [
            "/content/qwen25_vl_7b_gguf_t4/models/Qwen2.5-VL-7B-Instruct-UD-Q4_K_XL.gguf"
          ],
          "tags": [],
          "object": "model",
          "created": 1786412910,
          "owned_by": "llamacpp",
          "meta": {
            "vocab_type": 2,
            "n_vocab": 152064,
            "n_ctx": 4096,
            "n_ctx_train": 128000,
            "n_embd": 3584,
            "n_params": 7615616512,
            "size": 4779206656,
            "ftype": "Q4_K - Medium"
          }
        }
      ]
    }
  },
  "model": {
    "repo": "unsloth/Qwen2.5-VL-7B-Instruct-GGUF",
    "revision": "68bb8bc4b7df5289c143aaec0ab477a7d4051aab",
    "quantization": "UD-Q4_K_XL",
    "model_sha256": "8edd10e3ae170ab8b8d114e70763ff63a220f16deec9a56acf9330034efc0bb5",
    "mmproj_sha256": "f0edf43c09b69d6e5dd24262f33b356a1e9dd978e7c3299b3e69141fcbb87553"
  },
  "contract": {
    "batch_size": 1,
    "concurrency": 1,
    "temperature": 0,
    "seed": 3407,
    "fixed_output_tokens": 128,
    "fixed_repetitions": 5,
    "prompt_token_sha256": "67212c87031a692a4340ec492103efc80daabd6b0f6ba815670eafe3389f587f",
    "prompt_tokens_reported": 512,
    "image_sha256": "4c9cb73557db1829473b2580033fad74eb8504bf4a8f240fccb9efca54b5450a"
  },
  "warmup": {
    "wall_seconds": 0.9221695790000695,
    "completion_tokens": 16,
    "prompt_tokens": 512,
    "server_prompt_tokens_per_second": 933.3919133987315,
    "server_decode_tokens_per_second": 43.042224422158135,
    "content": " 이용자는 설정 화면에서 언제든 동의를 철회할",
    "content_sha256": "ea77b94646fe3e0ff5eceabaa76871a88600ca64d3996a1cbaaa72154c169ef2",
    "stop": true
  },
  "ttft_proxy": {
    "definition": "client wall for one-token completion after warmup",
    "rows": [
      {
        "wall_seconds": 0.4470206909999206,
        "completion_tokens": 1,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1152.994746217299,
        "server_decode_tokens_per_second": 1000000.0,
        "content": " 이용",
        "content_sha256": "4a53a60d1591b30da3cf416fb8c3b53915890640b3f07586b350651c8fdc2901",
        "stop": true
      },
      {
        "wall_seconds": 0.43421134500010794,
        "completion_tokens": 1,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1189.6850587639358,
        "server_decode_tokens_per_second": 1000000.0,
        "content": " 이용",
        "content_sha256": "4a53a60d1591b30da3cf416fb8c3b53915890640b3f07586b350651c8fdc2901",
        "stop": true
      },
      {
        "wall_seconds": 0.43128312399994684,
        "completion_tokens": 1,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1193.2089630501403,
        "server_decode_tokens_per_second": 1000000.0,
        "content": " 이용",
        "content_sha256": "4a53a60d1591b30da3cf416fb8c3b53915890640b3f07586b350651c8fdc2901",
        "stop": true
      }
    ],
    "median_seconds": 0.43421134500010794
  },
  "fixed_128": {
    "rows": [
      {
        "wall_seconds": 3.682180764000009,
        "completion_tokens": 128,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1186.522769881788,
        "server_decode_tokens_per_second": 39.398665554885575,
        "content": " 이용자는 설정 화면에서 언제든 동의를 철회할 수 있습니다. 철회 이후 회사는 법령상 보존 의무가 있는 정보를 제외하고 지체 없이 파기해야 합니다. \n\n질문: 가상 서비스 약관 제12조에 대한 근거를 제시해 주세요.\n답변: 가상 서비스 약관 제12조에 근거하여 회사는 이용자의 동의를 받은 경우에만 위치정보를 서비스 제공에 필요한 범위에서 처리합니다. 이용자는 설정 화면에서 언제든 동",
        "content_sha256": "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2",
        "stop": true
      },
      {
        "wall_seconds": 3.688925041999937,
        "completion_tokens": 128,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1155.3337154358903,
        "server_decode_tokens_per_second": 39.45646256783891,
        "content": " 이용자는 설정 화면에서 언제든 동의를 철회할 수 있습니다. 철회 이후 회사는 법령상 보존 의무가 있는 정보를 제외하고 지체 없이 파기해야 합니다. \n\n질문: 가상 서비스 약관 제12조에 대한 근거를 제시해 주세요.\n답변: 가상 서비스 약관 제12조에 근거하여 회사는 이용자의 동의를 받은 경우에만 위치정보를 서비스 제공에 필요한 범위에서 처리합니다. 이용자는 설정 화면에서 언제든 동",
        "content_sha256": "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2",
        "stop": true
      },
      {
        "wall_seconds": 3.707226695999907,
        "completion_tokens": 128,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1164.1443538998835,
        "server_decode_tokens_per_second": 39.19731253425937,
        "content": " 이용자는 설정 화면에서 언제든 동의를 철회할 수 있습니다. 철회 이후 회사는 법령상 보존 의무가 있는 정보를 제외하고 지체 없이 파기해야 합니다. \n\n질문: 가상 서비스 약관 제12조에 대한 근거를 제시해 주세요.\n답변: 가상 서비스 약관 제12조에 근거하여 회사는 이용자의 동의를 받은 경우에만 위치정보를 서비스 제공에 필요한 범위에서 처리합니다. 이용자는 설정 화면에서 언제든 동",
        "content_sha256": "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2",
        "stop": true
      },
      {
        "wall_seconds": 3.74178538700005,
        "completion_tokens": 128,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1152.361553437391,
        "server_decode_tokens_per_second": 38.872998875719986,
        "content": " 이용자는 설정 화면에서 언제든 동의를 철회할 수 있습니다. 철회 이후 회사는 법령상 보존 의무가 있는 정보를 제외하고 지체 없이 파기해야 합니다. \n\n질문: 가상 서비스 약관 제12조에 대한 근거를 제시해 주세요.\n답변: 가상 서비스 약관 제12조에 근거하여 회사는 이용자의 동의를 받은 경우에만 위치정보를 서비스 제공에 필요한 범위에서 처리합니다. 이용자는 설정 화면에서 언제든 동",
        "content_sha256": "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2",
        "stop": true
      },
      {
        "wall_seconds": 3.7581665750000184,
        "completion_tokens": 128,
        "prompt_tokens": 512,
        "server_prompt_tokens_per_second": 1134.0203902181881,
        "server_decode_tokens_per_second": 38.728670865298355,
        "content": " 이용자는 설정 화면에서 언제든 동의를 철회할 수 있습니다. 철회 이후 회사는 법령상 보존 의무가 있는 정보를 제외하고 지체 없이 파기해야 합니다. \n\n질문: 가상 서비스 약관 제12조에 대한 근거를 제시해 주세요.\n답변: 가상 서비스 약관 제12조에 근거하여 회사는 이용자의 동의를 받은 경우에만 위치정보를 서비스 제공에 필요한 범위에서 처리합니다. 이용자는 설정 화면에서 언제든 동",
        "content_sha256": "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2",
        "stop": true
      }
    ],
    "median_wall_seconds": 3.707226695999907,
    "p95_wall_seconds": 3.754890337400025,
    "client_e2e_median_tokens_per_second": 34.52715749433717,
    "client_e2e_aggregate_tokens_per_second": 34.448821215982576,
    "server_decode_median_tokens_per_second": 39.19731253425937,
    "server_decode_min_tokens_per_second": 38.728670865298355,
    "server_decode_max_tokens_per_second": 39.45646256783891,
    "unique_output_hashes": [
      "b978eb977afa541095266fbe387af4e2937cab0f76f8a0101b7b2b2cb51a26d2"
    ],
    "deterministic_output_across_repetitions": true
  },
  "image_smoke": {
    "wall_seconds": 4.000830670000028,
    "content": "There are five candies clearly visible in the hand, with colors including teal, orange, and green.",
    "content_sha256": "e350c539ab39f0ce91570d384179a13a53748e53a1b3197f0f182e1b3adb5e7d",
    "finish_reason": "stop",
    "prompt_tokens": 1042,
    "completion_tokens": 21,
    "server_decode_tokens_per_second": 39.143101587532364,
    "nonempty": true,
    "garbled_heuristic": false,
    "mentions_expected_count": true
  }
}