File size: 754 Bytes
7079daf 09fba6f 7079daf | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | {
"schemaVersion": 1,
"protocolVersion": 1,
"id": "mmlu-pro-multilingual-strict-format-126",
"name": "MMLU-Pro Multilingual Reasoning (Strict 'Мой ответ: (X)' Format)",
"version": "3.1.0",
"description": "Академический бенчмарк MMLU-Pro: 14 категорий, 126 расчетно-логических задач (по 9 в категории: 3 RU, 3 EN, 3 Mixed), 10 вариантов (A-J), свободный Chain-of-Thought и парсинг маркера 'Мой ответ: (X)'",
"entry": "./index.mjs",
"samplingDefaults": {
"temperature": 0.0
},
"capabilities": {
"tools": false,
"multiTurn": false,
"streamingProgress": false,
"verification": true
}
} |