Type_of_question.csv

model,RU_adaptation,Access,NUM_Q_multich_EM,NUM_Q_multich_CC,NUM_Q_multich_PM,rank_multich,NUM_Q_multich_avg,NUM_Q_onech_EM,NUM_Q_onech_CC,NUM_Q_onech_PM,rank_onech,NUM_Q_onech_avg,NUM_Q_seq_EM,NUM_Q_seq_CC,NUM_Q_seq_PM,rank_seq,NUM_Q_seq_avg,NUM_Q_map_EM,NUM_Q_map_CC,NUM_Q_map_PM,rank_map,NUM_Q_map_avg,OPEN_Q_EM,OPEN_Q_F1,OPEN_Q_LR,rank_open,OPEN_Q_avg,Q_TYPE_avg
Gigachat 2 Max,RU,API,82.0,86.0,90.0,2.0,86.0,94.0,94.0,94.0,1.0,94.0,80.0,80.0,80.0,3.0,80.0,71.0,71.0,77.0,4.0,73.0,54.0,61.0,72.0,2.0,62.33333333333334,79.06666666666666
GPT 5 mini,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,60.0,60.0,62.0,7.0,60.66666666666666,16.0,17.0,25.0,13.0,19.33333333333333,30.0,63.0,72.0,8.0,55.0,61.46666666666667
Gemini 2.5 Flash Lite,-,API,73.0,77.0,83.0,9.0,77.66666666666667,94.0,94.0,94.0,1.0,94.0,59.0,60.0,60.0,9.0,59.66666666666666,16.0,16.0,25.0,14.0,19.0,32.0,63.0,73.0,5.0,56.0,61.26666666666667
Gemini 2.5 Pro,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,59.0,59.0,62.0,8.0,60.0,15.0,15.0,25.0,15.0,18.33333333333333,31.0,63.0,73.0,6.0,55.66666666666666,61.26666666666667
Gemini 3 Pro Preview,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,58.0,59.0,60.0,11.0,59.0,16.0,17.0,25.0,13.0,19.33333333333333,31.0,63.0,72.0,7.0,55.33333333333334,61.2
Gemini 2.5 Flash,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,61.0,61.0,62.0,6.0,61.33333333333334,15.0,15.0,22.0,18.0,17.33333333333333,30.0,63.0,72.0,8.0,55.0,61.2
Grok 4,-,API,72.0,76.0,83.0,10.0,77.0,94.0,94.0,94.0,1.0,94.0,59.0,60.0,61.0,8.0,60.0,15.0,15.0,25.0,15.0,18.33333333333333,32.0,63.0,73.0,5.0,56.0,61.06666666666667
Qwen3 Max,-,API,73.0,77.0,84.0,8.0,78.0,94.0,94.0,94.0,1.0,94.0,58.0,59.0,61.0,10.0,59.33333333333334,15.0,15.0,24.0,16.0,18.0,32.0,63.0,73.0,5.0,56.0,61.06666666666667
GPT 4o mini,-,API,73.0,77.0,84.0,8.0,78.0,94.0,94.0,94.0,1.0,94.0,60.0,60.0,62.0,7.0,60.66666666666666,13.0,14.0,23.0,20.0,16.66666666666667,32.0,63.0,73.0,5.0,56.0,61.06666666666667
Claude Sonnet 4.5,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,57.0,57.0,58.0,13.0,57.33333333333334,16.0,16.0,25.0,14.0,19.0,33.0,63.0,72.0,5.0,56.0,60.93333333333333
Llama 4 Maverick,-,API,73.0,78.0,83.0,8.0,78.0,94.0,94.0,94.0,1.0,94.0,60.0,61.0,61.0,7.0,60.66666666666666,14.0,14.0,21.0,21.0,16.33333333333333,30.0,63.0,73.0,7.0,55.33333333333334,60.86666666666667
Deepseek R1 0528,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,57.0,58.0,59.0,12.0,58.0,14.0,15.0,22.0,19.0,17.0,33.0,64.0,73.0,3.0,56.66666666666666,60.8
GPT 5,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,59.0,60.0,61.0,8.0,60.0,12.0,13.0,23.0,22.0,16.0,32.0,63.0,72.0,6.0,55.66666666666666,60.8
Mistral Medium 3.1,-,API,74.0,78.0,84.0,6.0,78.66666666666667,94.0,94.0,94.0,1.0,94.0,59.0,60.0,61.0,8.0,60.0,14.0,14.0,23.0,19.0,17.0,29.0,62.0,71.0,11.0,54.0,60.73333333333333
Deepseek V3.2 Exp,-,API,72.0,78.0,83.0,9.0,77.66666666666667,94.0,94.0,94.0,1.0,94.0,59.0,60.0,60.0,9.0,59.66666666666666,13.0,13.0,22.0,22.0,16.0,31.0,62.0,72.0,8.0,55.0,60.46666666666667
Deepseek V3.1 Terminus,-,API,73.0,77.0,83.0,9.0,77.66666666666667,94.0,94.0,94.0,1.0,94.0,58.0,59.0,60.0,11.0,59.0,13.0,14.0,24.0,19.0,17.0,29.0,62.0,72.0,10.0,54.33333333333334,60.4
Deepseek Chat V3.1,-,API,73.0,78.0,84.0,7.0,78.33333333333333,94.0,94.0,94.0,1.0,94.0,58.0,59.0,61.0,10.0,59.33333333333334,12.0,12.0,22.0,23.0,15.33333333333333,31.0,62.0,71.0,9.0,54.66666666666666,60.33333333333334
Grok 4.1 Fast,-,API,73.0,77.0,83.0,9.0,77.66666666666667,94.0,94.0,94.0,1.0,94.0,56.0,56.0,56.0,15.0,56.0,15.0,15.0,23.0,17.0,17.66666666666667,30.0,62.0,72.0,9.0,54.66666666666666,60.0
Claude Haiku 4.5,-,API,74.0,78.0,84.0,6.0,78.66666666666667,94.0,94.0,94.0,1.0,94.0,56.0,56.0,58.0,14.0,56.66666666666666,12.0,13.0,21.0,23.0,15.33333333333333,31.0,62.0,72.0,8.0,55.0,59.93333333333333
Alice AI LLM,RU,API,85.0,86.0,91.0,1.0,87.33333333333333,93.0,93.0,93.0,2.0,93.0,91.0,91.0,91.0,1.0,91.0,91.0,91.0,93.0,1.0,91.66666666666667,57.0,67.0,75.0,1.0,66.33333333333333,85.86666666666666
YandexGPT Pro 5.1,RU,API,82.0,83.0,89.0,3.0,84.66666666666667,92.0,92.0,92.0,3.0,92.0,85.0,85.0,85.0,2.0,85.0,84.0,84.0,89.0,2.0,85.66666666666667,27.0,60.0,70.0,13.0,52.33333333333334,79.93333333333334
YandexGPT Pro 5,RU,API,77.0,79.0,86.0,5.0,80.66666666666667,91.0,91.0,91.0,4.0,91.0,75.0,75.0,75.0,4.0,75.0,73.0,73.0,81.0,3.0,75.66666666666667,32.0,55.0,66.0,15.0,51.0,74.66666666666667
Gigachat 2 Pro,RU,API,76.0,81.0,86.0,4.0,81.0,91.0,91.0,91.0,4.0,91.0,63.0,63.0,63.0,5.0,63.0,64.0,64.0,75.0,5.0,67.66666666666667,42.0,50.0,64.0,14.0,52.0,70.93333333333334
Vistral 24B Instruct,RU,OS,62.0,72.0,76.0,12.0,70.0,88.0,89.0,88.0,5.0,88.33333333333333,58.0,58.0,58.0,12.0,58.0,18.0,19.0,24.0,10.0,20.33333333333333,25.0,47.0,60.0,17.0,44.0,56.13333333333333
YandexGPT Lite,RU,API,66.0,68.0,79.0,11.0,71.0,88.0,88.0,88.0,6.0,88.0,56.0,56.0,56.0,15.0,56.0,48.0,48.0,59.0,6.0,51.66666666666666,36.0,53.0,63.0,16.0,50.66666666666666,63.46666666666667
Mistral Small3.2:24B Instruct,-,OS,62.0,68.0,77.0,13.0,69.0,87.0,88.0,88.0,7.0,87.66666666666667,46.0,46.0,46.0,20.0,46.0,18.0,18.0,29.0,9.0,21.66666666666667,45.0,53.0,68.0,7.0,55.33333333333334,55.93333333333333
Qwen3:30B A3B Instruct,-,OS,60.0,65.0,75.0,14.0,66.66666666666667,86.0,86.0,86.0,8.0,86.0,54.0,54.0,58.0,16.0,55.33333333333334,24.0,24.0,41.0,8.0,29.66666666666667,28.0,36.0,53.0,20.0,39.0,55.33333333333334
Llama4:17B Scout 16E Instruct,-,OS,39.0,40.0,70.0,17.0,49.66666666666666,79.0,88.0,88.0,9.0,85.0,3.0,3.0,24.0,28.0,10.0,0.0,7.0,13.0,28.0,6.666666666666667,41.0,54.0,66.0,12.0,53.66666666666666,41.0
Saiga YandexGPT 8B,RU,OS,55.0,58.0,73.0,16.0,62.0,80.0,87.0,87.0,10.0,84.66666666666667,49.0,49.0,49.0,19.0,49.0,30.0,30.0,38.0,7.0,32.66666666666666,45.0,56.0,68.0,4.0,56.33333333333334,56.93333333333333
Gemma3:27B It,-,OS,56.0,60.0,72.0,15.0,62.66666666666666,84.0,84.0,84.0,11.0,84.0,55.0,55.0,55.0,17.0,55.0,17.0,17.0,26.0,11.0,20.0,15.0,46.0,60.0,19.0,40.33333333333334,52.4
Gemma3:12B It,-,OS,21.0,24.0,68.0,22.0,37.66666666666666,79.0,80.0,79.0,12.0,79.33333333333333,37.0,38.0,37.0,21.0,37.33333333333334,4.0,4.0,15.0,26.0,7.666666666666667,22.0,38.0,54.0,21.0,38.0,40.0
Gigachat 2,RU,API,60.0,64.0,76.0,14.0,66.66666666666667,76.0,78.0,77.0,13.0,77.0,49.0,51.0,49.0,18.0,49.66666666666666,18.0,18.0,23.0,12.0,19.66666666666667,32.0,39.0,58.0,18.0,43.0,51.2
Saiga Gemma3 12B,RU,OS,30.0,34.0,64.0,19.0,42.66666666666666,74.0,78.0,75.0,14.0,75.66666666666667,30.0,30.0,30.0,22.0,30.0,3.0,3.0,10.0,29.0,5.333333333333333,19.0,30.0,48.0,22.0,32.33333333333334,37.2
OLMo 2 32B Instruct,-,OS,1.0,2.0,57.0,25.0,20.0,69.0,69.0,69.0,15.0,69.0,4.0,4.0,19.0,29.0,9.0,0.0,0.0,7.0,31.0,2.333333333333333,16.0,22.0,43.0,23.0,27.0,25.46666666666667
Gemma3N:E4B It,-,OS,22.0,34.0,47.0,23.0,34.33333333333334,66.0,67.0,67.0,16.0,66.66666666666667,26.0,26.0,27.0,25.0,26.33333333333333,3.0,4.0,6.0,30.0,4.333333333333333,1.0,22.0,38.0,25.0,20.33333333333333,30.4
Ruadaptqwen3 4B Instruct,RU,OS,27.0,45.0,48.0,21.0,40.0,66.0,66.0,66.0,17.0,66.0,26.0,26.0,26.0,26.0,26.0,5.0,7.0,9.0,27.0,7.0,8.0,19.0,38.0,24.0,21.66666666666667,32.13333333333333
Qwen3:4B Instruct,-,OS,33.0,36.0,58.0,20.0,42.33333333333334,41.0,70.0,69.0,18.0,60.0,27.0,27.0,28.0,24.0,27.33333333333333,1.0,3.0,17.0,27.0,7.0,9.0,16.0,33.0,26.0,19.33333333333333,31.2
Gemma3N:E2B It,-,OS,1.0,1.0,44.0,26.0,15.33333333333333,57.0,59.0,59.0,19.0,58.33333333333334,5.0,6.0,15.0,30.0,8.666666666666666,0.0,0.0,1.0,32.0,0.3333333333333333,1.0,19.0,33.0,27.0,17.66666666666667,20.06666666666667
Phi4:14B,-,OS,0.0,0.0,71.0,24.0,23.66666666666667,15.0,81.0,78.0,20.0,58.0,0.0,0.0,53.0,27.0,17.66666666666667,0.0,0.0,27.0,25.0,9.0,0.0,18.0,30.0,28.0,16.0,24.86666666666667
Gigachat 20B Instruct,RU,OS,0.0,58.0,71.0,18.0,43.0,0.0,85.0,70.0,21.0,51.66666666666666,0.0,44.0,44.0,23.0,29.33333333333333,0.0,12.0,17.0,24.0,9.666666666666666,0.0,11.0,19.0,29.0,10.0,28.73333333333333
OLMo 3 7B Instruct,-,OS,0.0,0.0,18.0,27.0,6.0,25.0,30.0,29.0,22.0,28.0,0.0,0.0,1.0,31.0,0.3333333333333333,0.0,0.0,0.0,33.0,0.0,0.0,3.0,15.0,30.0,6.0,8.066666666666666
OLMo 3 32B Think,-,OS,0.0,0.0,12.0,28.0,4.0,3.0,5.0,3.0,23.0,3.666666666666667,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,1.0,4.0,35.0,1.666666666666667,1.866666666666667
Magistral:24B Small,-,OS,0.0,0.0,12.0,28.0,4.0,0.0,3.0,0.0,24.0,1.0,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,2.0,14.0,31.0,5.333333333333333,2.066666666666667
OLMo 3 7B Think,-,OS,0.0,0.0,12.0,28.0,4.0,0.0,1.0,0.0,25.0,0.3333333333333333,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,0.0,7.0,34.0,2.333333333333333,1.333333333333333
QVikhr 3 8B Instruction,RU,OS,0.0,0.0,12.0,28.0,4.0,0.0,0.0,0.0,26.0,0.0,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,1.0,13.0,32.0,4.666666666666667,1.733333333333333
RuadaptQwen3 32B Instruct,RU,OS,0.0,0.0,12.0,28.0,4.0,0.0,0.0,0.0,26.0,0.0,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,1.0,12.0,33.0,4.333333333333333,1.666666666666667
GPT oss 20B,-,OS,0.0,0.0,12.0,28.0,4.0,0.0,0.0,0.0,26.0,0.0,0.0,0.0,0.0,32.0,0.0,0.0,0.0,0.0,33.0,0.0,0.0,0.0,0.0,36.0,0.0,0.8
,,,,,,,,,,,,,,,,,,,,,,,,,,,,
Среднее значение,,,,,,,56.851063829787236,,,74.53191489361703,,73.43262411347517,,,,,43.66666666666667,,,,,20.460992907801412,,,,,40.19858156028368,46.92198581560283