Upload model_FRIDA_static_avx512vnni_8bit.onnx
Browse filesКвантизация выполнена с использованием 8-битной асимметричной квантизации весов (симметричной для активаций) и калибровочного датасета на основе подмножества датасета ai-forever/solyanka (конфигурация lenta, 100 сэмплов).
Тип квантизации: Статическая, 8-битная (AVX512 VNNI)
Калибровочный датасет: ai-forever/solyanka (lenta, 100 сэмплов)
Операторы для квантизации: Add, Gather, MatMul, Reshape, Softmax, Tanh
Метод калибровки: Entropy (256 бинов)
Используемые конфиги:
```
operators_to_quantize = ["Add", "Gather", "MatMul", "Reshape", "Softmax", "Tanh"]
config = AutoQuantizationConfig.avx512_vnni(
is_static=True,
use_symmetric_activations=False,
use_symmetric_weights=True,
per_channel=True,
operators_to_quantize=operators_to_quantize
)
return config
calibration_config = CalibrationConfig(
dataset_name="ai-forever/solyanka",
dataset_config_name="lenta",
dataset_split="train",
dataset_num_samples=num_calibration_samples,
method=CalibrationMethod.Entropy,
num_bins=256
)
```python
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1c413916eeed0fd807194f53036c3ac5d22a12c876a1b026d18ff13200e8a6af
|
| 3 |
+
size 827316670
|