File size: 2,787 Bytes
448ef3c | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 | # Трансформер multilingual-e5-small против baseline
Значения – доля верных ответов, в скобках 95% доверительный интервал Уилсона.
| Модель | CV acc | Test top-1 | Test macro-F1 | Порог | Test с порогом | OOD отклонено | Внешний тест | Сценарии | p50, мс | p95, мс |
|---|---|---|---|---|---|---|---|---|---|---|
| `baseline: tfidf_char` | 0.598 | 0.805 [0.758; 0.845] | 0.811 | 0.356 | 0.698 [0.646; 0.746] | 0.808 [0.707; 0.880] | 0.636 [0.569; 0.699] | 0.831 [0.722; 0.903] | 0.8 | 1.6 |
| `e5_frozen_logreg` | 0.801 | 0.893 [0.854; 0.922] | 0.896 | 0.589 | 0.629 [0.575; 0.680] | 0.859 [0.765; 0.919] | 0.598 [0.530; 0.662] | 0.800 [0.687; 0.879] | – | – |
| `e5_finetuned` | 0.624 | 0.695 [0.642; 0.743] | 0.660 | 0.049 | 0.129 [0.096; 0.170] | 0.987 [0.931; 0.998] | 0.378 [0.315; 0.445] | 0.262 [0.170; 0.380] | – | – |
| `e5_frozen_logreg_onnx_int8` | 0.801 | 0.881 [0.840; 0.912] | 0.884 | 0.589 | 0.566 [0.511; 0.619] | 0.859 [0.765; 0.919] | 0.579 [0.511; 0.644] | 0.723 [0.604; 0.817] | 6.6 | 13.7 |
Выбран вариант `e5_frozen_logreg` (по точности кросс-валидации), в продакшн идёт ONNX int8.
ONNX: размер, память сессии, совпадение с PyTorch:
- fp32: 449 МБ, память сессии ~375 МБ, совпадение top-1 с PyTorch 1.000, p50 12.1 мс, p95 21.1 мс (CPU, 1 поток)
- int8: 113 МБ, память сессии ~-303 МБ, совпадение top-1 с PyTorch 0.950, p50 6.6 мс, p95 13.7 мс (CPU, 1 поток)
Точность по стилям теста (int8, с порогом):
- long: 0.509 [0.379; 0.639]
- mixed: 0.857 [0.487; 0.974]
- plain: 0.737 [0.643; 0.814]
- slang: 0.472 [0.344; 0.603]
- translit: 0.189 [0.106; 0.314]
- typo: 0.736 [0.604; 0.836]
По языкам (int8, с порогом):
- en: 0.792 [0.665; 0.880]
- kk: 0.698 [0.565; 0.805]
- ru: 0.476 [0.410; 0.543]
Самые слабые интенты (F1):
- `goodbye`: F1 0.63
- `admission_steps`: F1 0.71
- `master_admission`: F1 0.73
- `practice`: F1 0.73
- `ent_discounts`: F1 0.77
- `academic_calendar`: F1 0.80
- `academic_integrity`: F1 0.80
- `admission_deadlines`: F1 0.80
Частые ошибки (верный → предсказанный):
- `greeting` → `goodbye`: 1
- `thanks` → `goodbye`: 1
- `capabilities` → `international_exams`: 1
- `admission_steps` → `transfer_restore`: 1
- `ent_subjects` → `ent_discounts`: 1
- `creative_exam` → `appeal`: 1
- `college_graduates` → `goodbye`: 1
- `programs_list` → `ent_discounts`: 1
- `programs_list` → `transfer_restore`: 1
- `study_forms` → `goodbye`: 1
|