multilingual-e5-small, прогон v2

Значения – доля верных ответов, в скобках 95% доверительный интервал Уилсона.

Замороженный e5 против корректного дообучения (PyTorch fp32)

Модель	CV acc	Test top-1	macro-F1	Порог	Test с порогом	OOD отклонено	Внешний тест	Сценарии
`e5_frozen_logreg`	0.803	0.881 [0.840; 0.912]	0.884	0.731	0.695 [0.642; 0.743]	0.769 [0.664; 0.849]	0.627 [0.559; 0.690]	0.846 [0.739; 0.914]
`e5_finetuned_meanpool`	0.749	0.811 [0.765; 0.851]	0.806	0.379	0.701 [0.649; 0.749]	0.628 [0.517; 0.727]	0.627 [0.559; 0.690]	0.862 [0.757; 0.925]

Вариант	Размер, МБ	Память сессии, МБ	p50, мс	p95, мс	Совпадение top-1 с fp32	Test top-1	Сценарии с порогом
`encoder/fp32`	448	516	12.4	22.7	1.000	0.881 [0.840; 0.912]	0.846 [0.739; 0.914]
`encoder/int8_full`	113	151	7.2	14.6	0.953	0.868 [0.826; 0.901]	0.769 [0.654; 0.855]
`encoder/int8_full_perchannel`	113	147	8.1	16.7	0.968	0.884 [0.844; 0.914]	0.815 [0.704; 0.891]
`encoder/int8_emb_only`	173	242	13.5	22.6	0.997	0.881 [0.840; 0.912]	0.831 [0.722; 0.903]