| model,RU_adaptation,Access,PROVOC_1_num_q_EM,PROVOC_1_num_q_CC,PROVOC_1_num_q_PM,PROVOC_1_open_q_EM,PROVOC_1_open_q_F1,PROVOC_1_open_q_LR,rank_provoc_1,PROVOC_1_avg,PROVOC_2_num_q_EM,PROVOC_2_num_q_CC,PROVOC_2_num_q_PM,PROVOC_2_open_q_EM,PROVOC_2_open_q_F1,PROVOC_2_open_q_LR,rank_provoc_2,PROVOC_2_avg,PROVOC_3_num_q_EM,PROVOC_3_num_q_CC,PROVOC_3_num_q_PM,PROVOC_3_open_q_EM,PROVOC_3_open_q_F1,PROVOC_3_open_q_LR,rank_provoc_3,PROVOC_3_avg,PROVOC_avg | |
| Alice AI LLM,RU,API,92.0,92.0,94.0,64.0,73.0,81.0,1.0,82.66666666666667,91.0,91.0,92.0,57.0,68.0,76.0,1.0,79.16666666666667,83.0,85.0,88.0,49.0,58.0,67.0,1.0,71.66666666666667,77.83333333333333 | |
| Gigachat 2 Max,RU,API,91.0,92.0,93.0,61.0,68.0,79.0,2.0,80.66666666666667,87.0,88.0,90.0,51.0,59.0,68.0,2.0,73.83333333333333,78.0,80.0,84.0,47.0,54.0,68.0,2.0,68.5,74.33333333333333 | |
| YandexGPT Pro 5.1,RU,API,91.0,91.0,93.0,35.0,67.0,77.0,3.0,75.66666666666667,88.0,89.0,91.0,21.0,57.0,66.0,4.0,68.66666666666667,79.0,79.0,85.0,23.0,56.0,64.0,3.0,64.33333333333333,69.55555555555556 | |
| Gigachat 2 Pro,RU,API,82.0,84.0,85.0,46.0,54.0,68.0,17.0,69.83333333333333,83.0,85.0,88.0,42.0,50.0,66.0,3.0,69.0,75.0,78.0,83.0,36.0,45.0,58.0,4.0,62.5,67.11111111111111 | |
| YandexGPT Pro 5,RU,API,87.0,87.0,89.0,37.0,59.0,71.0,14.0,71.66666666666667,84.0,85.0,88.0,33.0,56.0,66.0,4.0,68.66666666666667,74.0,75.0,81.0,25.0,50.0,60.0,5.0,60.83333333333334,67.05555555555556 | |
| Deepseek R1 0528,-,API,82.0,84.0,86.0,44.0,70.0,80.0,4.0,74.33333333333333,76.0,78.0,81.0,21.0,63.0,71.0,8.0,65.0,64.0,66.0,72.0,31.0,58.0,67.0,9.0,59.66666666666666,66.33333333333333 | |
| Claude Sonnet 4.5,-,API,82.0,84.0,86.0,42.0,68.0,77.0,8.0,73.16666666666667,77.0,78.0,81.0,23.0,63.0,71.0,5.0,65.5,65.0,68.0,73.0,31.0,57.0,67.0,6.0,60.16666666666666,66.27777777777777 | |
| Qwen3 Max,-,API,83.0,84.0,86.0,40.0,68.0,79.0,7.0,73.33333333333333,76.0,78.0,81.0,21.0,63.0,71.0,8.0,65.0,63.0,66.0,72.0,33.0,58.0,68.0,7.0,60.0,66.11111111111111 | |
| GPT 4o mini,-,API,83.0,84.0,86.0,43.0,68.0,78.0,6.0,73.66666666666667,76.0,77.0,80.0,20.0,64.0,72.0,9.0,64.83333333333333,64.0,66.0,72.0,31.0,58.0,68.0,8.0,59.83333333333334,66.11111111111111 | |
| Gemini 2.5 Flash Lite,-,API,83.0,85.0,86.0,42.0,69.0,80.0,5.0,74.16666666666667,77.0,78.0,81.0,20.0,62.0,71.0,9.0,64.83333333333333,64.0,66.0,73.0,29.0,57.0,67.0,11.0,59.33333333333334,66.11111111111111 | |
| Gemini 2.5 Pro,-,API,82.0,84.0,86.0,38.0,67.0,78.0,11.0,72.5,77.0,79.0,82.0,19.0,63.0,72.0,6.0,65.33333333333333,64.0,66.0,73.0,32.0,58.0,67.0,7.0,60.0,65.94444444444444 | |
| GPT 5,-,API,82.0,84.0,86.0,42.0,68.0,78.0,7.0,73.33333333333333,76.0,78.0,80.0,19.0,62.0,70.0,13.0,64.16666666666667,64.0,66.0,73.0,32.0,58.0,68.0,6.0,60.16666666666666,65.88888888888889 | |
| Grok 4,-,API,82.0,84.0,85.0,39.0,68.0,78.0,10.0,72.66666666666667,76.0,77.0,80.0,23.0,63.0,71.0,8.0,65.0,64.0,67.0,73.0,31.0,57.0,67.0,8.0,59.83333333333334,65.83333333333333 | |
| Gemini 3 Pro Preview,-,API,83.0,84.0,86.0,40.0,68.0,78.0,8.0,73.16666666666667,77.0,78.0,81.0,18.0,61.0,70.0,13.0,64.16666666666667,64.0,67.0,73.0,31.0,57.0,67.0,8.0,59.83333333333334,65.72222222222223 | |
| GPT 5 mini,-,API,83.0,85.0,86.0,38.0,67.0,77.0,10.0,72.66666666666667,77.0,79.0,81.0,19.0,63.0,71.0,8.0,65.0,64.0,66.0,72.0,31.0,57.0,67.0,10.0,59.5,65.72222222222223 | |
| Gemini 2.5 Flash,-,API,84.0,85.0,87.0,38.0,68.0,78.0,7.0,73.33333333333333,76.0,78.0,81.0,19.0,62.0,71.0,11.0,64.5,63.0,66.0,71.0,31.0,57.0,67.0,12.0,59.16666666666666,65.66666666666667 | |
| Llama 4 Maverick,-,API,82.0,84.0,86.0,39.0,67.0,77.0,11.0,72.5,76.0,77.0,80.0,17.0,63.0,72.0,13.0,64.16666666666667,64.0,67.0,72.0,31.0,58.0,68.0,7.0,60.0,65.55555555555556 | |
| Claude Haiku 4.5,-,API,82.0,84.0,86.0,38.0,65.0,76.0,13.0,71.83333333333333,76.0,78.0,80.0,21.0,63.0,72.0,8.0,65.0,65.0,67.0,73.0,29.0,57.0,67.0,9.0,59.66666666666666,65.5 | |
| Deepseek V3.2 Exp,-,API,82.0,84.0,86.0,38.0,67.0,77.0,12.0,72.33333333333333,75.0,77.0,80.0,23.0,62.0,71.0,10.0,64.66666666666667,64.0,67.0,73.0,29.0,57.0,67.0,10.0,59.5,65.5 | |
| Deepseek Chat V3.1,-,API,83.0,84.0,86.0,41.0,67.0,77.0,9.0,73.0,76.0,78.0,80.0,19.0,62.0,71.0,12.0,64.33333333333333,64.0,66.0,72.0,29.0,56.0,66.0,13.0,58.83333333333334,65.38888888888889 | |
| Mistral Medium 3.1,-,API,83.0,84.0,86.0,35.0,65.0,76.0,15.0,71.5,77.0,78.0,81.0,19.0,63.0,71.0,9.0,64.83333333333333,64.0,66.0,72.0,31.0,56.0,66.0,12.0,59.16666666666666,65.16666666666667 | |
| Grok 4.1 Fast,-,API,82.0,83.0,85.0,38.0,66.0,77.0,13.0,71.83333333333333,76.0,78.0,81.0,19.0,62.0,71.0,11.0,64.5,64.0,66.0,72.0,29.0,56.0,66.0,13.0,58.83333333333334,65.05555555555556 | |
| Deepseek V3.1 Terminus,-,API,82.0,84.0,85.0,38.0,65.0,76.0,14.0,71.66666666666667,76.0,78.0,80.0,19.0,64.0,72.0,9.0,64.83333333333333,63.0,66.0,72.0,28.0,57.0,66.0,14.0,58.66666666666666,65.05555555555556 | |
| Mistral Small3.2:24B Instruct,-,OS,73.0,75.0,78.0,47.0,54.0,71.0,18.0,66.33333333333333,69.0,72.0,75.0,48.0,58.0,69.0,7.0,65.16666666666667,60.0,63.0,70.0,41.0,49.0,62.0,16.0,57.5,63.0 | |
| YandexGPT Lite,RU,API,80.0,81.0,84.0,46.0,60.0,71.0,16.0,70.33333333333333,75.0,76.0,80.0,32.0,52.0,61.0,15.0,62.66666666666666,61.0,62.0,71.0,26.0,46.0,56.0,17.0,53.66666666666666,62.22222222222222 | |
| Saiga YandexGPT 8B,RU,OS,68.0,73.0,77.0,44.0,58.0,71.0,19.0,65.16666666666667,65.0,69.0,75.0,44.0,57.0,68.0,14.0,63.0,55.0,59.0,70.0,46.0,52.0,65.0,15.0,57.83333333333334,62.0 | |
| Vistral 24B Instruct,RU,OS,74.0,78.0,79.0,34.0,50.0,64.0,20.0,63.16666666666666,69.0,73.0,74.0,19.0,53.0,63.0,17.0,58.5,62.0,67.0,70.0,20.0,39.0,54.0,18.0,52.0,57.88888888888889 | |
| Llama4:17B Scout 16E Instruct,-,OS,51.0,57.0,70.0,49.0,61.0,72.0,21.0,60.0,59.0,64.0,73.0,38.0,54.0,66.0,16.0,59.0,44.0,48.0,65.0,33.0,45.0,59.0,20.0,49.0,56.0 | |
| Qwen3:30B A3B Instruct,-,OS,73.0,74.0,78.0,32.0,41.0,58.0,22.0,59.33333333333334,68.0,70.0,75.0,33.0,42.0,56.0,18.0,57.33333333333334,60.0,63.0,72.0,19.0,26.0,46.0,22.0,47.66666666666666,54.77777777777778 | |
| Gemma3:27B It,-,OS,69.0,70.0,74.0,13.0,45.0,61.0,24.0,55.33333333333334,67.0,69.0,73.0,13.0,49.0,61.0,19.0,55.33333333333334,57.0,59.0,67.0,20.0,45.0,58.0,19.0,51.0,53.88888888888889 | |
| Gigachat 2,RU,API,67.0,70.0,73.0,36.0,43.0,63.0,23.0,58.66666666666666,63.0,65.0,69.0,32.0,40.0,61.0,20.0,55.0,54.0,56.0,64.0,28.0,35.0,51.0,21.0,48.0,53.88888888888889 | |
| Gemma3:12B It,-,OS,53.0,55.0,68.0,26.0,38.0,56.0,25.0,49.33333333333334,51.0,53.0,67.0,20.0,43.0,57.0,21.0,48.5,34.0,36.0,61.0,20.0,34.0,50.0,24.0,39.16666666666666,45.66666666666666 | |
| Saiga Gemma3 12B,RU,OS,51.0,54.0,64.0,17.0,27.0,49.0,26.0,43.66666666666666,51.0,55.0,62.0,19.0,31.0,49.0,22.0,44.5,40.0,43.0,57.0,22.0,31.0,48.0,23.0,40.16666666666666,42.77777777777778 | |
| Ruadaptqwen3 4B Instruct,RU,OS,44.0,50.0,50.0,8.0,19.0,39.0,27.0,35.0,48.0,54.0,55.0,8.0,25.0,45.0,23.0,39.16666666666666,36.0,47.0,48.0,8.0,13.0,31.0,25.0,30.5,34.88888888888889 | |
| OLMo 2 32B Instruct,-,OS,35.0,35.0,55.0,12.0,16.0,39.0,30.0,32.0,39.0,39.0,57.0,20.0,29.0,51.0,23.0,39.16666666666666,22.0,23.0,53.0,19.0,23.0,40.0,26.0,30.0,33.72222222222222 | |
| Qwen3:4B Instruct,-,OS,33.0,49.0,56.0,9.0,17.0,36.0,28.0,33.33333333333334,37.0,54.0,61.0,15.0,24.0,39.0,24.0,38.33333333333334,30.0,41.0,55.0,2.0,8.0,26.0,28.0,27.0,32.88888888888889 | |
| Gemma3N:E4B It,-,OS,44.0,48.0,52.0,0.0,18.0,37.0,29.0,33.16666666666666,43.0,48.0,52.0,0.0,28.0,44.0,25.0,35.83333333333334,33.0,41.0,48.0,2.0,20.0,33.0,27.0,29.5,32.83333333333334 | |
| Phi4:14B,-,OS,6.0,40.0,70.0,0.0,19.0,30.0,32.0,27.5,9.0,47.0,70.0,0.0,20.0,32.0,26.0,29.66666666666667,5.0,25.0,65.0,0.0,16.0,27.0,30.0,23.0,26.72222222222222 | |
| Gigachat 20B Instruct,RU,OS,0.0,71.0,67.0,0.0,12.0,19.0,31.0,28.16666666666667,0.0,63.0,60.0,0.0,11.0,18.0,28.0,25.33333333333333,0.0,57.0,61.0,0.0,11.0,19.0,29.0,24.66666666666667,26.05555555555556 | |
| Gemma3N:E2B It,-,OS,30.0,31.0,44.0,1.0,16.0,33.0,33.0,25.83333333333333,32.0,34.0,47.0,1.0,25.0,37.0,27.0,29.33333333333333,17.0,18.0,43.0,0.0,16.0,31.0,31.0,20.83333333333333,25.33333333333333 | |
| OLMo 3 7B Instruct,-,OS,13.0,15.0,21.0,0.0,4.0,16.0,34.0,11.5,13.0,16.0,21.0,0.0,4.0,15.0,29.0,11.5,8.0,11.0,18.0,0.0,2.0,13.0,32.0,8.666666666666666,10.55555555555556 | |
| Magistral:24B Small,-,OS,0.0,1.0,6.0,0.0,3.0,15.0,35.0,4.166666666666667,0.0,2.0,3.0,0.0,1.0,14.0,30.0,3.333333333333333,0.0,1.0,4.0,0.0,1.0,13.0,33.0,3.166666666666667,3.555555555555555 | |
| QVikhr 3 8B Instruction,RU,OS,0.0,0.0,6.0,0.0,1.0,14.0,36.0,3.5,0.0,0.0,3.0,0.0,1.0,15.0,31.0,3.166666666666667,0.0,0.0,4.0,0.0,1.0,12.0,35.0,2.833333333333333,3.166666666666667 | |
| RuadaptQwen3 32B Instruct,RU,OS,0.0,0.0,6.0,0.0,1.0,12.0,37.0,3.166666666666667,0.0,0.0,3.0,0.0,1.0,13.0,32.0,2.833333333333333,0.0,0.0,4.0,0.0,2.0,12.0,34.0,3.0,3.0 | |
| OLMo 3 32B Think,-,OS,1.0,2.0,7.0,1.0,1.0,4.0,38.0,2.666666666666667,2.0,3.0,5.0,0.0,1.0,5.0,33.0,2.666666666666667,1.0,3.0,5.0,0.0,0.0,3.0,37.0,2.0,2.444444444444445 | |
| OLMo 3 7B Think,-,OS,0.0,1.0,6.0,0.0,0.0,4.0,39.0,1.833333333333333,0.0,1.0,3.0,0.0,0.0,7.0,34.0,1.833333333333333,0.0,1.0,4.0,0.0,0.0,10.0,36.0,2.5,2.055555555555555 | |
| GPT oss 20B,-,OS,0.0,0.0,6.0,0.0,0.0,0.0,40.0,1.0,0.0,0.0,3.0,0.0,0.0,0.0,35.0,0.5,0.0,0.0,4.0,0.0,0.0,0.0,38.0,0.6666666666666666,0.7222222222222222 | |
| ,,,,,,,,,,,,,,,,,,,,,,,,,,, | |
| Среднее значение,,,,,,,,,,53.73758865248226,,,,,,,,50.14184397163121,,,,,,,,44.773049645390074,49.55082742316785 | |