Upload 3 files
6878d04 verified | | { |
| | "fp16": {}, |
| | "q8": { |
| | "per_model_config": { |
| | "model": { |
| | "op_types": [ |
| | "Add", |
| | "Concat", |
| | "Conv", |
| | "ConvTranspose", |
| | "Div", |
| | "Equal", |
| | "Erf", |
| | "Expand", |
| | "Gather", |
| | "MatMul", |
| | "Mul", |
| | "Pow", |
| | "ReduceMean", |
| | "Relu", |
| | "Reshape", |
| | "Resize", |
| | "Shape", |
| | "Slice", |
| | "Softmax", |
| | "Sqrt", |
| | "Squeeze", |
| | "Sub", |
| | "Transpose", |
| | "Unsqueeze", |
| | "Where" |
| | ], |
| | "weight_type": "QUInt8" |
| | } |
| | }, |
| | "per_channel": true, |
| | "reduce_range": true |
| | }, |
| | "int8": { |
| | "per_model_config": { |
| | "model": { |
| | "op_types": [ |
| | "Add", |
| | "Concat", |
| | "Conv", |
| | "ConvTranspose", |
| | "Div", |
| | "Equal", |
| | "Erf", |
| | "Expand", |
| | "Gather", |
| | "MatMul", |
| | "Mul", |
| | "Pow", |
| | "ReduceMean", |
| | "Relu", |
| | "Reshape", |
| | "Resize", |
| | "Shape", |
| | "Slice", |
| | "Softmax", |
| | "Sqrt", |
| | "Squeeze", |
| | "Sub", |
| | "Transpose", |
| | "Unsqueeze", |
| | "Where" |
| | ], |
| | "weight_type": "QInt8" |
| | } |
| | }, |
| | "per_channel": true, |
| | "reduce_range": true |
| | }, |
| | "uint8": { |
| | "per_model_config": { |
| | "model": { |
| | "op_types": [ |
| | "Add", |
| | "Concat", |
| | "Conv", |
| | "ConvTranspose", |
| | "Div", |
| | "Equal", |
| | "Erf", |
| | "Expand", |
| | "Gather", |
| | "MatMul", |
| | "Mul", |
| | "Pow", |
| | "ReduceMean", |
| | "Relu", |
| | "Reshape", |
| | "Resize", |
| | "Shape", |
| | "Slice", |
| | "Softmax", |
| | "Sqrt", |
| | "Squeeze", |
| | "Sub", |
| | "Transpose", |
| | "Unsqueeze", |
| | "Where" |
| | ], |
| | "weight_type": "QUInt8" |
| | } |
| | }, |
| | "per_channel": true, |
| | "reduce_range": true |
| | }, |
| | "q4": { |
| | "block_size": 32, |
| | "is_symmetric": true, |
| | "accuracy_level": null |
| | }, |
| | "bnb4": { |
| | "block_size": 64, |
| | "quant_type": 1 |
| | } |
| | } |
