File size: 592 Bytes
d7089de
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
{
  "schemaVersion": 1,
  "protocolVersion": 1,
  "id": "GPQA-mini",
  "name": "GPQA-Polyglot (45 задач STEM уровня PhD)",
  "version": "1.0.0",
  "description": "Сложный Google-Proof бенчмарк уровня аспирантуры (10 вариантов ответов A-J, случайный порог 10%): 15 RU, 15 EN и 15 MIX задач",
  "entry": "./index.mjs",
  "samplingDefaults": {
    "temperature": 0.0
  },
  "capabilities": {
    "tools": false,
    "multiTurn": false,
    "streamingProgress": false,
    "verification": false
  }
}