| { | |
| "schemaVersion": 1, | |
| "protocolVersion": 1, | |
| "id": "GPQA-mini", | |
| "name": "GPQA-Polyglot (45 задач STEM уровня PhD)", | |
| "version": "1.0.0", | |
| "description": "Сложный Google-Proof бенчмарк уровня аспирантуры (10 вариантов ответов A-J, случайный порог 10%): 15 RU, 15 EN и 15 MIX задач", | |
| "entry": "./index.mjs", | |
| "samplingDefaults": { | |
| "temperature": 0.0 | |
| }, | |
| "capabilities": { | |
| "tools": false, | |
| "multiTurn": false, | |
| "streamingProgress": false, | |
| "verification": false | |
| } | |
| } |