| { | |
| "schemaVersion": 1, | |
| "protocolVersion": 1, | |
| "id": "mmlu-pro-multilingual-strict-format-126", | |
| "name": "MMLU-Pro Multilingual Reasoning (Strict 'Мой ответ: (X)' Format)", | |
| "version": "3.1.0", | |
| "description": "Академический бенчмарк MMLU-Pro: 14 категорий, 126 расчетно-логических задач (по 9 в категории: 3 RU, 3 EN, 3 Mixed), 10 вариантов (A-J), свободный Chain-of-Thought и парсинг маркера 'Мой ответ: (X)'", | |
| "entry": "./index.mjs", | |
| "samplingDefaults": { | |
| "temperature": 0.0 | |
| }, | |
| "capabilities": { | |
| "tools": false, | |
| "multiTurn": false, | |
| "streamingProgress": false, | |
| "verification": true | |
| } | |
| } |