| # multilingual-e5-small, прогон v2 | |
| Значения – доля верных ответов, в скобках 95% доверительный интервал Уилсона. | |
| ## Замороженный e5 против корректного дообучения (PyTorch fp32) | |
| | Модель | CV acc | Test top-1 | macro-F1 | Порог | Test с порогом | OOD отклонено | Внешний тест | Сценарии | | |
| |---|---|---|---|---|---|---|---|---| | |
| | `e5_frozen_logreg` | 0.803 | 0.881 [0.840; 0.912] | 0.884 | 0.731 | 0.695 [0.642; 0.743] | 0.769 [0.664; 0.849] | 0.627 [0.559; 0.690] | 0.846 [0.739; 0.914] | | |
| | `e5_finetuned_meanpool` | 0.749 | 0.811 [0.765; 0.851] | 0.806 | 0.379 | 0.701 [0.649; 0.749] | 0.628 [0.517; 0.727] | 0.627 [0.559; 0.690] | 0.862 [0.757; 0.925] | | |
| ## Варианты ONNX: размер, память, задержка (CPU, 1 поток), качество | |
| | Вариант | Размер, МБ | Память сессии, МБ | p50, мс | p95, мс | Совпадение top-1 с fp32 | Test top-1 | Сценарии с порогом | | |
| |---|---|---|---|---|---|---|---| | |
| | `encoder/fp32` | 448 | 516 | 12.4 | 22.7 | 1.000 | 0.881 [0.840; 0.912] | 0.846 [0.739; 0.914] | | |
| | `encoder/int8_full` | 113 | 151 | 7.2 | 14.6 | 0.953 | 0.868 [0.826; 0.901] | 0.769 [0.654; 0.855] | | |
| | `encoder/int8_full_perchannel` | 113 | 147 | 8.1 | 16.7 | 0.968 | 0.884 [0.844; 0.914] | 0.815 [0.704; 0.891] | | |
| | `encoder/int8_emb_only` | 173 | 242 | 13.5 | 22.6 | 0.997 | 0.881 [0.840; 0.912] | 0.831 [0.722; 0.903] | | |