gaozhongpai commited on
Commit
43c5604
·
1 Parent(s): 2df7da7

Add test_idx to all examples for traceability

Browse files
Files changed (3) hide show
  1. examples.json +32 -16
  2. live_examples.json +6 -3
  3. prepare_examples.py +4 -2
examples.json CHANGED
@@ -25,7 +25,8 @@
25
  "examples/example_000/frame_014.jpg",
26
  "examples/example_000/frame_015.jpg"
27
  ],
28
- "n_original_frames": 66
 
29
  },
30
  {
31
  "id": 1,
@@ -53,7 +54,8 @@
53
  "examples/example_001/frame_014.jpg",
54
  "examples/example_001/frame_015.jpg"
55
  ],
56
- "n_original_frames": 70
 
57
  },
58
  {
59
  "id": 2,
@@ -81,7 +83,8 @@
81
  "examples/example_002/frame_014.jpg",
82
  "examples/example_002/frame_015.jpg"
83
  ],
84
- "n_original_frames": 90
 
85
  },
86
  {
87
  "id": 3,
@@ -109,7 +112,8 @@
109
  "examples/example_003/frame_014.jpg",
110
  "examples/example_003/frame_015.jpg"
111
  ],
112
- "n_original_frames": 60
 
113
  },
114
  {
115
  "id": 4,
@@ -137,7 +141,8 @@
137
  "examples/example_004/frame_014.jpg",
138
  "examples/example_004/frame_015.jpg"
139
  ],
140
- "n_original_frames": 67
 
141
  },
142
  {
143
  "id": 5,
@@ -165,7 +170,8 @@
165
  "examples/example_005/frame_014.jpg",
166
  "examples/example_005/frame_015.jpg"
167
  ],
168
- "n_original_frames": 51
 
169
  },
170
  {
171
  "id": 6,
@@ -193,7 +199,8 @@
193
  "examples/example_006/frame_014.jpg",
194
  "examples/example_006/frame_015.jpg"
195
  ],
196
- "n_original_frames": 53
 
197
  },
198
  {
199
  "id": 7,
@@ -221,7 +228,8 @@
221
  "examples/example_007/frame_014.jpg",
222
  "examples/example_007/frame_015.jpg"
223
  ],
224
- "n_original_frames": 64
 
225
  },
226
  {
227
  "id": 8,
@@ -249,7 +257,8 @@
249
  "examples/example_008/frame_014.jpg",
250
  "examples/example_008/frame_015.jpg"
251
  ],
252
- "n_original_frames": 64
 
253
  },
254
  {
255
  "id": 9,
@@ -277,7 +286,8 @@
277
  "examples/example_009/frame_014.jpg",
278
  "examples/example_009/frame_015.jpg"
279
  ],
280
- "n_original_frames": 53
 
281
  },
282
  {
283
  "id": 10,
@@ -305,7 +315,8 @@
305
  "examples/example_010/frame_014.jpg",
306
  "examples/example_010/frame_015.jpg"
307
  ],
308
- "n_original_frames": 62
 
309
  },
310
  {
311
  "id": 11,
@@ -333,7 +344,8 @@
333
  "examples/example_011/frame_014.jpg",
334
  "examples/example_011/frame_015.jpg"
335
  ],
336
- "n_original_frames": 60
 
337
  },
338
  {
339
  "id": 12,
@@ -361,7 +373,8 @@
361
  "examples/example_012/frame_014.jpg",
362
  "examples/example_012/frame_015.jpg"
363
  ],
364
- "n_original_frames": 120
 
365
  },
366
  {
367
  "id": 13,
@@ -389,7 +402,8 @@
389
  "examples/example_013/frame_014.jpg",
390
  "examples/example_013/frame_015.jpg"
391
  ],
392
- "n_original_frames": 120
 
393
  },
394
  {
395
  "id": 14,
@@ -417,7 +431,8 @@
417
  "examples/example_014/frame_014.jpg",
418
  "examples/example_014/frame_015.jpg"
419
  ],
420
- "n_original_frames": 90
 
421
  },
422
  {
423
  "id": 15,
@@ -445,6 +460,7 @@
445
  "examples/example_015/frame_014.jpg",
446
  "examples/example_015/frame_015.jpg"
447
  ],
448
- "n_original_frames": 60
 
449
  }
450
  ]
 
25
  "examples/example_000/frame_014.jpg",
26
  "examples/example_000/frame_015.jpg"
27
  ],
28
+ "n_original_frames": 66,
29
+ "test_idx": 4793
30
  },
31
  {
32
  "id": 1,
 
54
  "examples/example_001/frame_014.jpg",
55
  "examples/example_001/frame_015.jpg"
56
  ],
57
+ "n_original_frames": 70,
58
+ "test_idx": 3934
59
  },
60
  {
61
  "id": 2,
 
83
  "examples/example_002/frame_014.jpg",
84
  "examples/example_002/frame_015.jpg"
85
  ],
86
+ "n_original_frames": 90,
87
+ "test_idx": 1567
88
  },
89
  {
90
  "id": 3,
 
112
  "examples/example_003/frame_014.jpg",
113
  "examples/example_003/frame_015.jpg"
114
  ],
115
+ "n_original_frames": 60,
116
+ "test_idx": 1535
117
  },
118
  {
119
  "id": 4,
 
141
  "examples/example_004/frame_014.jpg",
142
  "examples/example_004/frame_015.jpg"
143
  ],
144
+ "n_original_frames": 67,
145
+ "test_idx": 5352
146
  },
147
  {
148
  "id": 5,
 
170
  "examples/example_005/frame_014.jpg",
171
  "examples/example_005/frame_015.jpg"
172
  ],
173
+ "n_original_frames": 51,
174
+ "test_idx": 5624
175
  },
176
  {
177
  "id": 6,
 
199
  "examples/example_006/frame_014.jpg",
200
  "examples/example_006/frame_015.jpg"
201
  ],
202
+ "n_original_frames": 53,
203
+ "test_idx": 1102
204
  },
205
  {
206
  "id": 7,
 
228
  "examples/example_007/frame_014.jpg",
229
  "examples/example_007/frame_015.jpg"
230
  ],
231
+ "n_original_frames": 64,
232
+ "test_idx": 5975
233
  },
234
  {
235
  "id": 8,
 
257
  "examples/example_008/frame_014.jpg",
258
  "examples/example_008/frame_015.jpg"
259
  ],
260
+ "n_original_frames": 64,
261
+ "test_idx": 3094
262
  },
263
  {
264
  "id": 9,
 
286
  "examples/example_009/frame_014.jpg",
287
  "examples/example_009/frame_015.jpg"
288
  ],
289
+ "n_original_frames": 53,
290
+ "test_idx": 3185
291
  },
292
  {
293
  "id": 10,
 
315
  "examples/example_010/frame_014.jpg",
316
  "examples/example_010/frame_015.jpg"
317
  ],
318
+ "n_original_frames": 62,
319
+ "test_idx": 3386
320
  },
321
  {
322
  "id": 11,
 
344
  "examples/example_011/frame_014.jpg",
345
  "examples/example_011/frame_015.jpg"
346
  ],
347
+ "n_original_frames": 60,
348
+ "test_idx": 2149
349
  },
350
  {
351
  "id": 12,
 
373
  "examples/example_012/frame_014.jpg",
374
  "examples/example_012/frame_015.jpg"
375
  ],
376
+ "n_original_frames": 120,
377
+ "test_idx": 334
378
  },
379
  {
380
  "id": 13,
 
402
  "examples/example_013/frame_014.jpg",
403
  "examples/example_013/frame_015.jpg"
404
  ],
405
+ "n_original_frames": 120,
406
+ "test_idx": 348
407
  },
408
  {
409
  "id": 14,
 
431
  "examples/example_014/frame_014.jpg",
432
  "examples/example_014/frame_015.jpg"
433
  ],
434
+ "n_original_frames": 90,
435
+ "test_idx": 6202
436
  },
437
  {
438
  "id": 15,
 
460
  "examples/example_015/frame_014.jpg",
461
  "examples/example_015/frame_015.jpg"
462
  ],
463
+ "n_original_frames": 60,
464
+ "test_idx": 6118
465
  }
466
  ]
live_examples.json CHANGED
@@ -59,7 +59,8 @@
59
  "live_examples/live_00/frame_051.jpg",
60
  "live_examples/live_00/frame_052.jpg"
61
  ],
62
- "n_frames": 53
 
63
  },
64
  {
65
  "id": 1,
@@ -121,7 +122,8 @@
121
  "live_examples/live_01/frame_051.jpg",
122
  "live_examples/live_01/frame_052.jpg"
123
  ],
124
- "n_frames": 53
 
125
  },
126
  {
127
  "id": 2,
@@ -190,6 +192,7 @@
190
  "live_examples/live_02/frame_058.jpg",
191
  "live_examples/live_02/frame_059.jpg"
192
  ],
193
- "n_frames": 60
 
194
  }
195
  ]
 
59
  "live_examples/live_00/frame_051.jpg",
60
  "live_examples/live_00/frame_052.jpg"
61
  ],
62
+ "n_frames": 53,
63
+ "test_idx": 261
64
  },
65
  {
66
  "id": 1,
 
122
  "live_examples/live_01/frame_051.jpg",
123
  "live_examples/live_01/frame_052.jpg"
124
  ],
125
+ "n_frames": 53,
126
+ "test_idx": 1371
127
  },
128
  {
129
  "id": 2,
 
192
  "live_examples/live_02/frame_058.jpg",
193
  "live_examples/live_02/frame_059.jpg"
194
  ],
195
+ "n_frames": 60,
196
+ "test_idx": 494
197
  }
198
  ]
prepare_examples.py CHANGED
@@ -103,6 +103,7 @@ def main():
103
  examples.append(
104
  {
105
  "id": example_id,
 
106
  "task": task_name,
107
  "qa_type": sample["qa_type"],
108
  "data_source": sample.get("data_source", "unknown"),
@@ -114,8 +115,9 @@ def main():
114
  }
115
  )
116
  print(
117
- f" Example {example_id}: {sample['qa_type']} "
118
- f"({len(copied_frames)} frames from {len(frames)})"
 
119
  )
120
  example_id += 1
121
 
 
103
  examples.append(
104
  {
105
  "id": example_id,
106
+ "test_idx": idx,
107
  "task": task_name,
108
  "qa_type": sample["qa_type"],
109
  "data_source": sample.get("data_source", "unknown"),
 
115
  }
116
  )
117
  print(
118
+ f" Example {example_id}: test_idx={idx}, {sample['qa_type']} "
119
+ f"({len(copied_frames)} frames from {len(frames)}, "
120
+ f"{sample.get('data_source', 'unknown')})"
121
  )
122
  example_id += 1
123