quantize_config.json

{
    "per_model_config": {
        "model": {
            "op_types": [
                "Relu",
                "GlobalAveragePool",
                "MaxPool",
                "Flatten",
                "Conv",
                "Gemm"
            ],
            "weight_type": "QUInt8"
        }
    }
}