window.pdfTextLayer = {
"1": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 41.428,
"top": 13.821,
"width": 17.478,
"height": 1.893,
"words": [
{
"text": "DeepSeek-V4: ",
"font": "serif-bold",
"width": 17.478,
"textWidth": 17.478
}
]
},
{
"left": 12.683,
"top": 16.188,
"width": 74.547,
"height": 1.893,
"words": [
{
"text": "Towards ",
"font": "serif-bold",
"width": 11.083,
"textWidth": 10.414
},
{
"text": "Highly ",
"font": "serif-bold",
"width": 9.297,
"textWidth": 8.628
},
{
"text": "Efficient ",
"font": "serif-bold",
"width": 10.883,
"textWidth": 10.213
},
{
"text": "Million-Token ",
"font": "serif-bold",
"width": 18.52,
"textWidth": 17.85
},
{
"text": "Context ",
"font": "serif-bold",
"width": 10.189,
"textWidth": 9.52
},
{
"text": "Intelligence ",
"font": "serif-bold",
"width": 14.575,
"textWidth": 14.575
}
]
},
{
"left": 44.643,
"top": 18.896,
"width": 10.714,
"height": 1.302,
"words": [
{
"text": "DeepSeek-AI ",
"font": "serif",
"width": 10.714,
"textWidth": 10.714
}
]
},
{
"left": 39.642,
"top": 20.51,
"width": 20.297,
"height": 1.302,
"words": [
{
"text": "research@deepseek.com ",
"font": "mono-bold",
"width": 20.297,
"textWidth": 20.297
}
]
},
{
"left": 45.19,
"top": 23.16,
"width": 9.62,
"height": 1.775,
"words": [
{
"text": "Abstract ",
"font": "serif-bold",
"width": 9.62,
"textWidth": 9.62
}
]
},
{
"left": 11.813,
"top": 25.964,
"width": 76.588,
"height": 1.302,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.506,
"textWidth": 2.608
},
{
"text": "present ",
"font": "serif",
"width": 7.036,
"textWidth": 6.139
},
{
"text": "a ",
"font": "serif",
"width": 1.836,
"textWidth": 0.939
},
{
"text": "preview ",
"font": "serif",
"width": 7.708,
"textWidth": 6.811
},
{
"text": "version ",
"font": "serif",
"width": 7.062,
"textWidth": 6.163
},
{
"text": "of ",
"font": "serif",
"width": 2.548,
"textWidth": 1.651
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 12.029,
"textWidth": 11.13
},
{
"text": "series, ",
"font": "serif",
"width": 6.155,
"textWidth": 5.147
},
{
"text": "including ",
"font": "serif",
"width": 8.882,
"textWidth": 7.983
},
{
"text": "two ",
"font": "serif",
"width": 4.101,
"textWidth": 3.204
},
{
"text": "strong ",
"font": "serif",
"width": 6.178,
"textWidth": 5.278
},
{
"text": "Mixture-of- ",
"font": "serif",
"width": 9.545,
"textWidth": 9.545
}
]
},
{
"left": 11.905,
"top": 27.668,
"width": 76.191,
"height": 1.302,
"words": [
{
"text": "Experts ",
"font": "serif",
"width": 6.559,
"textWidth": 6.097
},
{
"text": "(MoE) ",
"font": "serif",
"width": 5.497,
"textWidth": 5.036
},
{
"text": "language ",
"font": "serif",
"width": 7.859,
"textWidth": 7.397
},
{
"text": "models ",
"font": "serif",
"width": 8.623,
"textWidth": 5.882
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.624,
"textWidth": 14.164
},
{
"text": "with ",
"font": "serif",
"width": 4.16,
"textWidth": 3.698
},
{
"text": "1.6T ",
"font": "serif",
"width": 3.851,
"textWidth": 3.389
},
{
"text": "parameters ",
"font": "serif",
"width": 9.522,
"textWidth": 9.062
},
{
"text": "(49B ",
"font": "serif",
"width": 3.998,
"textWidth": 3.536
},
{
"text": "activated) ",
"font": "serif",
"width": 8.42,
"textWidth": 7.958
},
{
"text": "and ",
"font": "serif",
"width": 3.079,
"textWidth": 3.079
}
]
},
{
"left": 11.905,
"top": 29.372,
"width": 76.19,
"height": 1.302,
"words": [
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.963,
"textWidth": 15.539
},
{
"text": "with ",
"font": "serif",
"width": 4.094,
"textWidth": 3.668
},
{
"text": "284B ",
"font": "serif",
"width": 4.234,
"textWidth": 3.809
},
{
"text": "parameters ",
"font": "serif",
"width": 9.412,
"textWidth": 8.988
},
{
"text": "(13B ",
"font": "serif",
"width": 3.933,
"textWidth": 3.507
},
{
"text": "activated) ",
"font": "serif",
"width": 10.547,
"textWidth": 7.893
},
{
"text": "both ",
"font": "serif",
"width": 4.045,
"textWidth": 3.621
},
{
"text": "supporting ",
"font": "serif",
"width": 9.311,
"textWidth": 8.885
},
{
"text": "a ",
"font": "serif",
"width": 1.326,
"textWidth": 0.902
},
{
"text": "context ",
"font": "serif",
"width": 6.233,
"textWidth": 5.808
},
{
"text": "length ",
"font": "serif",
"width": 5.504,
"textWidth": 5.081
},
{
"text": "of ",
"font": "serif",
"width": 1.586,
"textWidth": 1.586
}
]
},
{
"left": 11.905,
"top": 31.076,
"width": 76.496,
"height": 1.302,
"words": [
{
"text": "one ",
"font": "serif",
"width": 3.303,
"textWidth": 2.899
},
{
"text": "million ",
"font": "serif",
"width": 6.131,
"textWidth": 5.728
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.259,
"textWidth": 5.707
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.096,
"textWidth": 10.693
},
{
"text": "series ",
"font": "serif",
"width": 4.9,
"textWidth": 4.496
},
{
"text": "incorporate ",
"font": "serif",
"width": 9.613,
"textWidth": 9.21
},
{
"text": "several ",
"font": "serif",
"width": 6.057,
"textWidth": 5.652
},
{
"text": "key ",
"font": "serif",
"width": 3.273,
"textWidth": 2.87
},
{
"text": "upgrades ",
"font": "serif",
"width": 7.926,
"textWidth": 7.522
},
{
"text": "in ",
"font": "serif",
"width": 1.979,
"textWidth": 1.575
},
{
"text": "architecture ",
"font": "serif",
"width": 9.833,
"textWidth": 9.43
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.054
},
{
"text": "op- ",
"font": "serif",
"width": 2.67,
"textWidth": 2.67
}
]
},
{
"left": 11.905,
"top": 32.78,
"width": 76.374,
"height": 1.302,
"words": [
{
"text": "timization: ",
"font": "serif",
"width": 9.165,
"textWidth": 8.635
},
{
"text": "(1) ",
"font": "serif",
"width": 2.484,
"textWidth": 2.104
},
{
"text": "a ",
"font": "serif",
"width": 1.281,
"textWidth": 0.902
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.772,
"textWidth": 5.391
},
{
"text": "attention ",
"font": "serif",
"width": 7.522,
"textWidth": 7.141
},
{
"text": "architecture ",
"font": "serif",
"width": 9.811,
"textWidth": 9.43
},
{
"text": "that ",
"font": "serif",
"width": 3.507,
"textWidth": 3.128
},
{
"text": "combines ",
"font": "serif",
"width": 7.962,
"textWidth": 7.581
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.361,
"textWidth": 9.982
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.656,
"textWidth": 5.275
},
{
"text": "Attention ",
"font": "serif",
"width": 8.023,
"textWidth": 7.642
},
{
"text": "(CSA) ",
"font": "serif",
"width": 4.83,
"textWidth": 4.83
}
]
},
{
"left": 11.905,
"top": 34.484,
"width": 76.496,
"height": 1.302,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.664,
"textWidth": 3.179
},
{
"text": "Heavily ",
"font": "serif",
"width": 7.085,
"textWidth": 6.599
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.876,
"textWidth": 10.39
},
{
"text": "Attention ",
"font": "serif",
"width": 8.439,
"textWidth": 7.952
},
{
"text": "(HCA) ",
"font": "serif",
"width": 6.09,
"textWidth": 5.605
},
{
"text": "to ",
"font": "serif",
"width": 2.124,
"textWidth": 1.637
},
{
"text": "improve ",
"font": "serif",
"width": 7.511,
"textWidth": 7.027
},
{
"text": "long-context ",
"font": "serif",
"width": 10.865,
"textWidth": 10.379
},
{
"text": "efficiency; ",
"font": "serif",
"width": 8.844,
"textWidth": 8.347
},
{
"text": "(2) ",
"font": "serif",
"width": 2.674,
"textWidth": 2.19
},
{
"text": "Manifold- ",
"font": "serif",
"width": 8.324,
"textWidth": 8.324
}
]
},
{
"left": 11.905,
"top": 36.188,
"width": 27.053,
"height": 1.302,
"words": [
{
"text": "Constrained ",
"font": "serif",
"width": 10.737,
"textWidth": 10.225
},
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 16.316,
"textWidth": 16.316
}
]
},
{
"left": 40.096,
"top": 36.161,
"width": 1.461,
"height": 1.302,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.461,
"textWidth": 1.461
}
]
},
{
"left": 41.557,
"top": 36.188,
"width": 46.721,
"height": 1.302,
"words": [
{
"text": "HC) ",
"font": "serif",
"width": 4.034,
"textWidth": 3.519
},
{
"text": "that ",
"font": "serif",
"width": 3.769,
"textWidth": 3.256
},
{
"text": "enhance ",
"font": "serif",
"width": 7.363,
"textWidth": 6.85
},
{
"text": "conventional ",
"font": "serif",
"width": 11.28,
"textWidth": 10.767
},
{
"text": "residual ",
"font": "serif",
"width": 7.228,
"textWidth": 6.715
},
{
"text": "connections; ",
"font": "serif",
"width": 10.859,
"textWidth": 10.32
},
{
"text": "(3) ",
"font": "serif",
"width": 2.19,
"textWidth": 2.19
}
]
},
{
"left": 11.905,
"top": 37.892,
"width": 76.19,
"height": 1.302,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.765,
"textWidth": 3.179
},
{
"text": "the ",
"font": "serif",
"width": 3.192,
"textWidth": 2.605
},
{
"text": "Muon ",
"font": "serif",
"width": 5.613,
"textWidth": 5.027
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.683,
"textWidth": 8.097
},
{
"text": "for ",
"font": "serif",
"width": 2.978,
"textWidth": 2.392
},
{
"text": "faster ",
"font": "serif",
"width": 5.201,
"textWidth": 4.614
},
{
"text": "convergence ",
"font": "serif",
"width": 10.976,
"textWidth": 10.39
},
{
"text": "and ",
"font": "serif",
"width": 3.767,
"textWidth": 3.179
},
{
"text": "greater ",
"font": "serif",
"width": 6.43,
"textWidth": 5.844
},
{
"text": "training ",
"font": "serif",
"width": 7.201,
"textWidth": 6.615
},
{
"text": "stability. ",
"font": "serif",
"width": 7.896,
"textWidth": 6.946
},
{
"text": "We ",
"font": "serif",
"width": 3.194,
"textWidth": 2.608
},
{
"text": "pre-train ",
"font": "serif",
"width": 7.293,
"textWidth": 7.293
}
]
},
{
"left": 11.905,
"top": 39.596,
"width": 76.191,
"height": 1.302,
"words": [
{
"text": "both ",
"font": "serif",
"width": 4.159,
"textWidth": 3.699
},
{
"text": "models ",
"font": "serif",
"width": 6.419,
"textWidth": 5.96
},
{
"text": "on ",
"font": "serif",
"width": 2.539,
"textWidth": 2.079
},
{
"text": "more ",
"font": "serif",
"width": 4.67,
"textWidth": 4.211
},
{
"text": "than ",
"font": "serif",
"width": 4.128,
"textWidth": 3.667
},
{
"text": "32T ",
"font": "serif",
"width": 3.433,
"textWidth": 2.972
},
{
"text": "diverse ",
"font": "serif",
"width": 6.437,
"textWidth": 5.978
},
{
"text": "and ",
"font": "serif",
"width": 3.581,
"textWidth": 3.12
},
{
"text": "high-quality ",
"font": "serif",
"width": 10.541,
"textWidth": 10.082
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.29,
"textWidth": 5.829
},
{
"text": "followed ",
"font": "serif",
"width": 7.703,
"textWidth": 7.244
},
{
"text": "by ",
"font": "serif",
"width": 2.504,
"textWidth": 2.044
},
{
"text": "a ",
"font": "serif",
"width": 1.382,
"textWidth": 0.921
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.406,
"textWidth": 12.406
}
]
},
{
"left": 11.849,
"top": 41.3,
"width": 76.55,
"height": 1.302,
"words": [
{
"text": "post-training ",
"font": "serif",
"width": 11.164,
"textWidth": 10.708
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.186,
"textWidth": 6.728
},
{
"text": "that ",
"font": "serif",
"width": 3.683,
"textWidth": 3.227
},
{
"text": "unlocks ",
"font": "serif",
"width": 6.872,
"textWidth": 6.414
},
{
"text": "and ",
"font": "serif",
"width": 3.607,
"textWidth": 3.151
},
{
"text": "further ",
"font": "serif",
"width": 6.252,
"textWidth": 5.794
},
{
"text": "enhances ",
"font": "serif",
"width": 8.035,
"textWidth": 7.579
},
{
"text": "their ",
"font": "serif",
"width": 4.314,
"textWidth": 3.858
},
{
"text": "capabilities. ",
"font": "serif",
"width": 10.324,
"textWidth": 9.755
},
{
"text": "DeepSeek-V4-Pro- ",
"font": "serif",
"width": 15.113,
"textWidth": 15.113
}
]
},
{
"left": 11.905,
"top": 43.004,
"width": 76.227,
"height": 1.302,
"words": [
{
"text": "Max, ",
"font": "serif",
"width": 4.435,
"textWidth": 3.991
},
{
"text": "the ",
"font": "serif",
"width": 2.944,
"textWidth": 2.502
},
{
"text": "maximum ",
"font": "serif",
"width": 8.665,
"textWidth": 8.223
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.263,
"textWidth": 7.823
},
{
"text": "effort ",
"font": "serif",
"width": 4.761,
"textWidth": 4.319
},
{
"text": "mode ",
"font": "serif",
"width": 4.985,
"textWidth": 4.545
},
{
"text": "of ",
"font": "serif",
"width": 2.026,
"textWidth": 1.586
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 14.944,
"textWidth": 14.498
},
{
"text": "redefines ",
"font": "serif",
"width": 7.722,
"textWidth": 7.28
},
{
"text": "the ",
"font": "serif",
"width": 2.943,
"textWidth": 2.502
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.241,
"textWidth": 11.801
},
{
"text": "for ",
"font": "serif",
"width": 2.298,
"textWidth": 2.298
}
]
},
{
"left": 11.905,
"top": 44.708,
"width": 76.19,
"height": 1.302,
"words": [
{
"text": "open ",
"font": "serif",
"width": 4.465,
"textWidth": 4.004
},
{
"text": "models, ",
"font": "serif",
"width": 6.778,
"textWidth": 6.318
},
{
"text": "outperforming ",
"font": "serif",
"width": 12.313,
"textWidth": 11.852
},
{
"text": "its ",
"font": "serif",
"width": 2.35,
"textWidth": 1.888
},
{
"text": "predecessors ",
"font": "serif",
"width": 10.764,
"textWidth": 10.304
},
{
"text": "in ",
"font": "serif",
"width": 2.044,
"textWidth": 1.583
},
{
"text": "core ",
"font": "serif",
"width": 3.808,
"textWidth": 3.347
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.07,
"textWidth": 4.497
},
{
"text": "Meanwhile, ",
"font": "serif",
"width": 9.952,
"textWidth": 9.491
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.208,
"textWidth": 10.748
},
{
"text": "series ",
"font": "serif",
"width": 4.979,
"textWidth": 4.519
},
{
"text": "are ",
"font": "serif",
"width": 2.459,
"textWidth": 2.459
}
]
},
{
"left": 11.905,
"top": 46.412,
"width": 76.496,
"height": 1.302,
"words": [
{
"text": "highly ",
"font": "serif",
"width": 5.787,
"textWidth": 5.325
},
{
"text": "efficient ",
"font": "serif",
"width": 7.022,
"textWidth": 6.56
},
{
"text": "in ",
"font": "serif",
"width": 2.09,
"textWidth": 1.626
},
{
"text": "long-context ",
"font": "serif",
"width": 10.759,
"textWidth": 10.297
},
{
"text": "scenarios. ",
"font": "serif",
"width": 8.654,
"textWidth": 8.076
},
{
"text": "In ",
"font": "serif",
"width": 2.174,
"textWidth": 1.712
},
{
"text": "the ",
"font": "serif",
"width": 3.046,
"textWidth": 2.584
},
{
"text": "one-million-token ",
"font": "serif",
"width": 15.249,
"textWidth": 14.787
},
{
"text": "context ",
"font": "serif",
"width": 6.461,
"textWidth": 5.997
},
{
"text": "setting, ",
"font": "serif",
"width": 6.487,
"textWidth": 6.025
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.766,
"textWidth": 8.766
}
]
},
{
"left": 11.839,
"top": 48.116,
"width": 76.257,
"height": 1.302,
"words": [
{
"text": "V4-Pro ",
"font": "serif",
"width": 6.369,
"textWidth": 5.787
},
{
"text": "requires ",
"font": "serif",
"width": 7.322,
"textWidth": 6.741
},
{
"text": "only ",
"font": "serif",
"width": 4.291,
"textWidth": 3.709
},
{
"text": "27% ",
"font": "serif",
"width": 4.035,
"textWidth": 3.455
},
{
"text": "of ",
"font": "serif",
"width": 2.231,
"textWidth": 1.651
},
{
"text": "single-token ",
"font": "serif",
"width": 10.805,
"textWidth": 10.225
},
{
"text": "inference ",
"font": "serif",
"width": 8.18,
"textWidth": 7.599
},
{
"text": "FLOPs ",
"font": "serif",
"width": 6.178,
"textWidth": 5.598
},
{
"text": "and ",
"font": "serif",
"width": 3.759,
"textWidth": 3.179
},
{
"text": "10% ",
"font": "serif",
"width": 4.037,
"textWidth": 3.455
},
{
"text": "of ",
"font": "serif",
"width": 2.231,
"textWidth": 1.651
},
{
"text": "KV ",
"font": "serif",
"width": 3.299,
"textWidth": 2.719
},
{
"text": "cache ",
"font": "serif",
"width": 5.179,
"textWidth": 4.599
},
{
"text": "compared ",
"font": "serif",
"width": 8.341,
"textWidth": 8.341
}
]
},
{
"left": 11.827,
"top": 49.82,
"width": 76.34,
"height": 1.302,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.212,
"textWidth": 3.754
},
{
"text": "DeepSeek-V3.2. ",
"font": "serif",
"width": 13.359,
"textWidth": 12.789
},
{
"text": "This ",
"font": "serif",
"width": 3.985,
"textWidth": 3.527
},
{
"text": "enables ",
"font": "serif",
"width": 6.564,
"textWidth": 6.108
},
{
"text": "us ",
"font": "serif",
"width": 2.354,
"textWidth": 1.896
},
{
"text": "to ",
"font": "serif",
"width": 2.066,
"textWidth": 1.61
},
{
"text": "routinely ",
"font": "serif",
"width": 7.938,
"textWidth": 7.48
},
{
"text": "support ",
"font": "serif",
"width": 6.911,
"textWidth": 6.455
},
{
"text": "one-million-token ",
"font": "serif",
"width": 15.114,
"textWidth": 14.656
},
{
"text": "contexts, ",
"font": "serif",
"width": 7.646,
"textWidth": 7.188
},
{
"text": "thereby ",
"font": "serif",
"width": 6.189,
"textWidth": 6.189
}
]
},
{
"left": 11.905,
"top": 51.524,
"width": 76.191,
"height": 1.302,
"words": [
{
"text": "making ",
"font": "serif",
"width": 6.633,
"textWidth": 6.169
},
{
"text": "long-horizon ",
"font": "serif",
"width": 10.994,
"textWidth": 10.533
},
{
"text": "tasks ",
"font": "serif",
"width": 4.548,
"textWidth": 4.085
},
{
"text": "and ",
"font": "serif",
"width": 3.563,
"textWidth": 3.101
},
{
"text": "further ",
"font": "serif",
"width": 6.166,
"textWidth": 5.702
},
{
"text": "test-time ",
"font": "serif",
"width": 7.545,
"textWidth": 7.083
},
{
"text": "scaling ",
"font": "serif",
"width": 6.12,
"textWidth": 5.657
},
{
"text": "more ",
"font": "serif",
"width": 4.647,
"textWidth": 4.186
},
{
"text": "feasible. ",
"font": "serif",
"width": 7.173,
"textWidth": 6.594
},
{
"text": "The ",
"font": "serif",
"width": 3.528,
"textWidth": 3.066
},
{
"text": "model ",
"font": "serif",
"width": 5.611,
"textWidth": 5.147
},
{
"text": "checkpoints ",
"font": "serif",
"width": 9.663,
"textWidth": 9.663
}
]
},
{
"left": 11.905,
"top": 53.229,
"width": 12.246,
"height": 1.302,
"words": [
{
"text": "are ",
"font": "serif",
"width": 2.957,
"textWidth": 2.496
},
{
"text": "available ",
"font": "serif",
"width": 7.769,
"textWidth": 7.309
},
{
"text": "at ",
"font": "serif",
"width": 1.521,
"textWidth": 1.521
}
]
},
{
"left": 24.611,
"top": 53.049,
"width": 60.609,
"height": 1.432,
"words": [
{
"text": "https://huggingface.co/collections/deepseek-ai/deepseek-v4 ",
"font": "mono",
"width": 60.609,
"textWidth": 60.609
}
]
},
{
"left": 64.222,
"top": 56.183,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "1.2 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 70.044,
"top": 57.3,
"width": 8.019,
"height": 0.68,
"words": [
{
"text": "DeepSeek-V3.2 ",
"font": "serif-bold",
"width": 8.019,
"textWidth": 8.019
}
]
},
{
"left": 63.23,
"top": 57.799,
"width": 0.961,
"height": 0.827,
"words": [
{
"text": "T) ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.222,
"top": 58.152,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "1.0 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 70.044,
"top": 58.298,
"width": 9.285,
"height": 0.68,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif-bold",
"width": 9.285,
"textWidth": 9.285
}
]
},
{
"left": 63.23,
"top": 59.184,
"width": 17.138,
"height": 0.894,
"words": [
{
"text": "s ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "P ",
"font": "serif-bold",
"width": 6.814,
"textWidth": 0.961
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif-bold",
"width": 10.325,
"textWidth": 10.325
}
]
},
{
"left": 15.056,
"top": 59.844,
"width": 49.135,
"height": 0.825,
"words": [
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif-bold",
"width": 12.176,
"textWidth": 9.555
},
{
"text": "Claude-Opus-4.6-Max ",
"font": "serif-bold",
"width": 11.908,
"textWidth": 9.29
},
{
"text": "GPT-5.4-xHigh ",
"font": "serif-bold",
"width": 8.847,
"textWidth": 6.229
},
{
"text": "Gemini-3.1-Pro-High ",
"font": "serif-bold",
"width": 15.242,
"textWidth": 9.009
},
{
"text": "O ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.222,
"top": 60.122,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "0.8 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 12.658,
"top": 60.431,
"width": 1.559,
"height": 0.578,
"words": [
{
"text": "100 ",
"font": "serif",
"width": 1.559,
"textWidth": 1.559
}
]
},
{
"left": 63.23,
"top": 60.621,
"width": 23.909,
"height": 0.68,
"words": [
{
"text": "L ",
"font": "serif-bold",
"width": 18.145,
"textWidth": 0.961
},
{
"text": "3.7× ",
"font": "serif-bold",
"width": 2.812,
"textWidth": 2.478
},
{
"text": "lower ",
"font": "serif-bold",
"width": 2.952,
"textWidth": 2.952
}
]
},
{
"left": 63.23,
"top": 61.147,
"width": 0.961,
"height": 0.482,
"words": [
{
"text": "F ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 27.801,
"top": 61.838,
"width": 1.522,
"height": 0.442,
"words": [
{
"text": "90.2 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 32.207,
"top": 62.0,
"width": 1.391,
"height": 0.442,
"words": [
{
"text": "89.1 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 34.113,
"top": 61.608,
"width": 1.739,
"height": 0.442,
"words": [
{
"text": "3206 ",
"font": "serif-bold",
"width": 1.739,
"textWidth": 1.739
}
]
},
{
"left": 35.635,
"top": 61.768,
"width": 1.589,
"height": 0.442,
"words": [
{
"text": "3168 ",
"font": "serif",
"width": 1.589,
"textWidth": 1.589
}
]
},
{
"left": 63.23,
"top": 61.866,
"width": 0.961,
"height": 0.494,
"words": [
{
"text": "n ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.222,
"top": 62.091,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "0.6 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 29.314,
"top": 62.312,
"width": 9.357,
"height": 0.655,
"words": [
{
"text": "85.9 ",
"font": "serif",
"width": 7.768,
"textWidth": 1.391
},
{
"text": "3052 ",
"font": "serif",
"width": 1.589,
"textWidth": 1.589
}
]
},
{
"left": 63.23,
"top": 62.36,
"width": 0.961,
"height": 0.432,
"words": [
{
"text": "e ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.23,
"top": 62.792,
"width": 0.961,
"height": 0.471,
"words": [
{
"text": "k ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 13.177,
"top": 63.719,
"width": 18.974,
"height": 0.578,
"words": [
{
"text": "80 ",
"font": "serif",
"width": 17.583,
"textWidth": 1.039
},
{
"text": "78.1 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 39.466,
"top": 63.416,
"width": 1.522,
"height": 0.442,
"words": [
{
"text": "80.6 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 40.979,
"top": 63.365,
"width": 2.837,
"height": 0.475,
"words": [
{
"text": "80.880.6 ",
"font": "serif",
"width": 2.837,
"textWidth": 2.837
}
]
},
{
"left": 63.23,
"top": 63.263,
"width": 22.965,
"height": 0.881,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "T ",
"font": "serif-bold",
"width": 17.201,
"textWidth": 0.961
},
{
"text": "9.8× ",
"font": "serif-bold",
"width": 2.812,
"textWidth": 2.478
},
{
"text": "lower ",
"font": "serif-bold",
"width": 2.952,
"textWidth": 2.952
}
]
},
{
"left": 19.186,
"top": 64.219,
"width": 29.603,
"height": 0.524,
"words": [
{
"text": "75.6 ",
"font": "serif",
"width": 28.212,
"textWidth": 1.391
},
{
"text": "75.1 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 63.23,
"top": 64.032,
"width": 0.961,
"height": 0.714,
"words": [
{
"text": "e- ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.222,
"top": 64.06,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "0.4 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 63.23,
"top": 64.747,
"width": 0.961,
"height": 0.733,
"words": [
{
"text": "gl ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 44.439,
"top": 65.504,
"width": 1.522,
"height": 0.442,
"words": [
{
"text": "67.9 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 48.845,
"top": 65.387,
"width": 1.391,
"height": 0.442,
"words": [
{
"text": "68.5 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 63.23,
"top": 65.48,
"width": 0.961,
"height": 0.494,
"words": [
{
"text": "n ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 12.395,
"top": 66.058,
"width": 0.961,
"height": 0.473,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 45.952,
"top": 65.896,
"width": 1.391,
"height": 0.442,
"words": [
{
"text": "65.4 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 63.23,
"top": 65.974,
"width": 0.961,
"height": 0.749,
"words": [
{
"text": "Si ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.222,
"top": 66.03,
"width": 1.375,
"height": 0.612,
"words": [
{
"text": "0.2 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 12.395,
"top": 67.21,
"width": 0.961,
"height": 0.383,
"words": [
{
"text": "s ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 13.177,
"top": 67.007,
"width": 1.039,
"height": 0.578,
"words": [
{
"text": "60 ",
"font": "serif",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 14.78,
"top": 67.148,
"width": 1.522,
"height": 0.442,
"words": [
{
"text": "57.9 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 12.395,
"top": 67.593,
"width": 40.077,
"height": 1.0,
"words": [
{
"text": "s ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "a ",
"font": "serif-bold",
"width": 38.555,
"textWidth": 0.961
},
{
"text": "51.8 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 53.909,
"top": 67.672,
"width": 11.688,
"height": 0.939,
"words": [
{
"text": "54.6 ",
"font": "serif",
"width": 10.312,
"textWidth": 1.391
},
{
"text": "0.0 ",
"font": "serif",
"width": 1.375,
"textWidth": 1.375
}
]
},
{
"left": 12.395,
"top": 68.398,
"width": 0.961,
"height": 0.511,
"words": [
{
"text": "P ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 52.462,
"top": 68.554,
"width": 35.284,
"height": 0.776,
"words": [
{
"text": "47.2 ",
"font": "serif",
"width": 2.894,
"textWidth": 1.391
},
{
"text": "48.8 ",
"font": "serif",
"width": 10.632,
"textWidth": 1.391
},
{
"text": "0 ",
"font": "serif",
"width": 4.821,
"textWidth": 0.55
},
{
"text": "256 ",
"font": "serif",
"width": 5.371,
"textWidth": 1.65
},
{
"text": "512 ",
"font": "serif",
"width": 5.371,
"textWidth": 1.65
},
{
"text": "768 ",
"font": "serif",
"width": 3.995,
"textWidth": 1.65
},
{
"text": "1024 ",
"font": "serif",
"width": 2.201,
"textWidth": 2.201
}
]
},
{
"left": 12.395,
"top": 69.63,
"width": 0.961,
"height": 0.395,
"words": [
{
"text": "y ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 16.293,
"top": 69.053,
"width": 10.795,
"height": 0.738,
"words": [
{
"text": "46.245.3 ",
"font": "serif",
"width": 9.404,
"textWidth": 2.837
},
{
"text": "44.4 ",
"font": "serif",
"width": 1.391,
"textWidth": 1.391
}
]
},
{
"left": 71.883,
"top": 69.319,
"width": 10.029,
"height": 0.68,
"words": [
{
"text": "Token ",
"font": "serif-bold",
"width": 3.557,
"textWidth": 3.223
},
{
"text": "Position ",
"font": "serif-bold",
"width": 4.728,
"textWidth": 4.394
},
{
"text": "(K) ",
"font": "serif-bold",
"width": 1.744,
"textWidth": 1.744
}
]
},
{
"left": 12.395,
"top": 70.025,
"width": 0.961,
"height": 0.854,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "a ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 13.177,
"top": 70.295,
"width": 1.039,
"height": 0.578,
"words": [
{
"text": "40 ",
"font": "serif",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 21.291,
"top": 70.469,
"width": 1.522,
"height": 0.442,
"words": [
{
"text": "37.7 ",
"font": "serif-bold",
"width": 1.522,
"textWidth": 1.522
}
]
},
{
"left": 22.803,
"top": 70.072,
"width": 2.837,
"height": 0.475,
"words": [
{
"text": "40.039.8 ",
"font": "serif",
"width": 2.837,
"textWidth": 2.837
}
]
},
{
"left": 12.395,
"top": 70.879,
"width": 0.961,
"height": 0.852,
"words": [
{
"text": "r ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "u ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.496,
"top": 71.082,
"width": 1.1,
"height": 0.612,
"words": [
{
"text": "50 ",
"font": "serif",
"width": 1.1,
"textWidth": 1.1
}
]
},
{
"left": 12.395,
"top": 71.693,
"width": 65.667,
"height": 1.185,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "c ",
"font": "serif-bold",
"width": 51.123,
"textWidth": 0.961
},
{
"text": "B) ",
"font": "serif-bold",
"width": 6.525,
"textWidth": 0.961
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif-bold",
"width": 8.019,
"textWidth": 8.019
}
]
},
{
"left": 12.395,
"top": 72.559,
"width": 52.084,
"height": 0.61,
"words": [
{
"text": "A ",
"font": "serif-bold",
"width": 51.123,
"textWidth": 0.961
},
{
"text": "G ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 13.177,
"top": 73.583,
"width": 1.039,
"height": 0.578,
"words": [
{
"text": "20 ",
"font": "serif",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 63.518,
"top": 73.727,
"width": 0.961,
"height": 0.432,
"words": [
{
"text": "e ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.496,
"top": 73.445,
"width": 1.1,
"height": 0.612,
"words": [
{
"text": "40 ",
"font": "serif",
"width": 1.1,
"textWidth": 1.1
}
]
},
{
"left": 70.044,
"top": 73.196,
"width": 9.285,
"height": 0.68,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif-bold",
"width": 9.285,
"textWidth": 9.285
}
]
},
{
"left": 63.518,
"top": 74.159,
"width": 16.85,
"height": 0.908,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
},
{
"text": "c ",
"font": "serif-bold",
"width": 6.525,
"textWidth": 0.961
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif-bold",
"width": 10.325,
"textWidth": 10.325
}
]
},
{
"left": 63.518,
"top": 75.067,
"width": 0.961,
"height": 0.44,
"words": [
{
"text": "a ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.518,
"top": 75.508,
"width": 0.961,
"height": 0.541,
"words": [
{
"text": "C ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.496,
"top": 75.808,
"width": 1.1,
"height": 0.612,
"words": [
{
"text": "30 ",
"font": "serif",
"width": 1.1,
"textWidth": 1.1
}
]
},
{
"left": 63.518,
"top": 76.285,
"width": 23.621,
"height": 0.807,
"words": [
{
"text": "V ",
"font": "serif-bold",
"width": 16.78,
"textWidth": 0.961
},
{
"text": "9.5× ",
"font": "serif-bold",
"width": 2.812,
"textWidth": 2.478
},
{
"text": "smaller ",
"font": "serif-bold",
"width": 4.029,
"textWidth": 4.029
}
]
},
{
"left": 13.697,
"top": 76.871,
"width": 0.52,
"height": 0.578,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 0.52,
"textWidth": 0.52
}
]
},
{
"left": 63.518,
"top": 76.812,
"width": 0.961,
"height": 0.591,
"words": [
{
"text": "K ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 15.456,
"top": 77.438,
"width": 49.023,
"height": 0.676,
"words": [
{
"text": "SimpleQA ",
"font": "serif-bold",
"width": 7.782,
"textWidth": 4.511
},
{
"text": "HLE ",
"font": "serif-bold",
"width": 6.389,
"textWidth": 1.969
},
{
"text": "Apex ",
"font": "serif-bold",
"width": 4.257,
"textWidth": 2.211
},
{
"text": "Codeforces ",
"font": "serif-bold",
"width": 6.725,
"textWidth": 5.09
},
{
"text": "SWE ",
"font": "serif-bold",
"width": 4.727,
"textWidth": 2.13
},
{
"text": "Terminal ",
"font": "serif-bold",
"width": 6.114,
"textWidth": 4.073
},
{
"text": "Toolathlon ",
"font": "serif-bold",
"width": 12.068,
"textWidth": 4.865
},
{
"text": "d ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 15.924,
"top": 78.085,
"width": 3.572,
"height": 0.578,
"words": [
{
"text": "Verified ",
"font": "serif-bold",
"width": 3.572,
"textWidth": 3.572
}
]
},
{
"left": 23.083,
"top": 78.244,
"width": 1.291,
"height": 0.404,
"words": [
{
"text": "Pass ",
"font": "sans-italic",
"width": 1.291,
"textWidth": 1.291
}
]
},
{
"left": 24.374,
"top": 78.289,
"width": 1.159,
"height": 0.404,
"words": [
{
"text": "@1) ",
"font": "sans",
"width": 1.159,
"textWidth": 1.159
}
]
},
{
"left": 28.735,
"top": 78.085,
"width": 3.995,
"height": 0.578,
"words": [
{
"text": "Shortlist ",
"font": "serif-bold",
"width": 3.995,
"textWidth": 3.995
}
]
},
{
"left": 35.483,
"top": 78.244,
"width": 1.856,
"height": 0.404,
"words": [
{
"text": "Rating ",
"font": "sans-italic",
"width": 1.856,
"textWidth": 1.856
}
]
},
{
"left": 39.887,
"top": 78.085,
"width": 9.784,
"height": 0.578,
"words": [
{
"text": "Verified ",
"font": "serif-bold",
"width": 5.183,
"textWidth": 3.572
},
{
"text": "Bench ",
"font": "serif-bold",
"width": 3.18,
"textWidth": 2.895
},
{
"text": "2.0 ",
"font": "serif-bold",
"width": 1.421,
"textWidth": 1.421
}
]
},
{
"left": 52.742,
"top": 78.244,
"width": 1.291,
"height": 0.404,
"words": [
{
"text": "Pass ",
"font": "sans-italic",
"width": 1.291,
"textWidth": 1.291
}
]
},
{
"left": 54.034,
"top": 78.289,
"width": 1.159,
"height": 0.404,
"words": [
{
"text": "@1) ",
"font": "sans",
"width": 1.159,
"textWidth": 1.159
}
]
},
{
"left": 63.518,
"top": 78.114,
"width": 0.961,
"height": 0.432,
"words": [
{
"text": "e ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.496,
"top": 78.171,
"width": 1.1,
"height": 0.612,
"words": [
{
"text": "20 ",
"font": "serif",
"width": 1.1,
"textWidth": 1.1
}
]
},
{
"left": 78.685,
"top": 78.422,
"width": 7.51,
"height": 0.68,
"words": [
{
"text": "13.7× ",
"font": "serif-bold",
"width": 3.481,
"textWidth": 3.147
},
{
"text": "smaller ",
"font": "serif-bold",
"width": 4.029,
"textWidth": 4.029
}
]
},
{
"left": 16.573,
"top": 78.891,
"width": 1.291,
"height": 0.404,
"words": [
{
"text": "Pass ",
"font": "sans-italic",
"width": 1.291,
"textWidth": 1.291
}
]
},
{
"left": 17.864,
"top": 78.936,
"width": 1.159,
"height": 0.404,
"words": [
{
"text": "@1) ",
"font": "sans",
"width": 1.159,
"textWidth": 1.159
}
]
},
{
"left": 29.594,
"top": 78.891,
"width": 1.291,
"height": 0.404,
"words": [
{
"text": "Pass ",
"font": "sans-italic",
"width": 1.291,
"textWidth": 1.291
}
]
},
{
"left": 30.885,
"top": 78.936,
"width": 1.159,
"height": 0.404,
"words": [
{
"text": "@1) ",
"font": "sans",
"width": 1.159,
"textWidth": 1.159
}
]
},
{
"left": 40.343,
"top": 78.891,
"width": 7.51,
"height": 0.405,
"words": [
{
"text": "Resolved ",
"font": "sans-italic",
"width": 6.49,
"textWidth": 2.609
},
{
"text": "Acc ",
"font": "sans-italic",
"width": 1.02,
"textWidth": 1.02
}
]
},
{
"left": 63.518,
"top": 78.547,
"width": 0.961,
"height": 0.754,
"words": [
{
"text": "at ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.518,
"top": 79.301,
"width": 0.961,
"height": 0.752,
"words": [
{
"text": "ul ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.518,
"top": 80.053,
"width": 0.961,
"height": 0.719,
"words": [
{
"text": "m ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 20.837,
"top": 80.742,
"width": 43.642,
"height": 0.646,
"words": [
{
"text": "Knowledge ",
"font": "serif-bold",
"width": 7.097,
"textWidth": 5.637
},
{
"text": "Reasoning ",
"font": "serif-bold",
"width": 14.68,
"textWidth": 5.367
},
{
"text": "Agentic ",
"font": "serif-bold",
"width": 4.234,
"textWidth": 3.916
},
{
"text": "Capabilities ",
"font": "serif-bold",
"width": 16.67,
"textWidth": 6.091
},
{
"text": "u ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 64.496,
"top": 80.535,
"width": 1.1,
"height": 0.612,
"words": [
{
"text": "10 ",
"font": "serif",
"width": 1.1,
"textWidth": 1.1
}
]
},
{
"left": 63.518,
"top": 81.266,
"width": 0.961,
"height": 0.414,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.518,
"top": 81.68,
"width": 0.961,
"height": 0.414,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 63.518,
"top": 82.094,
"width": 0.961,
"height": 0.527,
"words": [
{
"text": "A ",
"font": "serif-bold",
"width": 0.961,
"textWidth": 0.961
}
]
},
{
"left": 65.047,
"top": 82.898,
"width": 0.55,
"height": 0.612,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 0.55,
"textWidth": 0.55
}
]
},
{
"left": 65.988,
"top": 83.453,
"width": 21.758,
"height": 0.612,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 4.821,
"textWidth": 0.55
},
{
"text": "256 ",
"font": "serif",
"width": 5.371,
"textWidth": 1.65
},
{
"text": "512 ",
"font": "serif",
"width": 5.371,
"textWidth": 1.65
},
{
"text": "768 ",
"font": "serif",
"width": 3.995,
"textWidth": 1.65
},
{
"text": "1024 ",
"font": "serif",
"width": 2.201,
"textWidth": 2.201
}
]
},
{
"left": 71.201,
"top": 84.218,
"width": 11.396,
"height": 0.68,
"words": [
{
"text": "Sequence ",
"font": "serif-bold",
"width": 5.517,
"textWidth": 5.182
},
{
"text": "Length ",
"font": "serif-bold",
"width": 4.135,
"textWidth": 3.8
},
{
"text": "(K) ",
"font": "serif-bold",
"width": 1.744,
"textWidth": 1.744
}
]
},
{
"left": 11.905,
"top": 86.407,
"width": 6.639,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.72,
"textWidth": 5.261
},
{
"text": "1 ",
"font": "serif",
"width": 0.919,
"textWidth": 0.919
}
]
},
{
"left": 19.975,
"top": 86.387,
"width": 3.369,
"height": 1.296,
"words": [
{
"text": "Left ",
"font": "serif-bold",
"width": 3.369,
"textWidth": 3.369
}
]
},
{
"left": 24.374,
"top": 86.407,
"width": 58.224,
"height": 1.296,
"words": [
{
"text": "benchmark ",
"font": "serif",
"width": 9.602,
"textWidth": 9.143
},
{
"text": "performance ",
"font": "serif",
"width": 10.821,
"textWidth": 10.361
},
{
"text": "of ",
"font": "serif",
"width": 2.075,
"textWidth": 1.616
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.99,
"textWidth": 18.53
},
{
"text": "and ",
"font": "serif",
"width": 3.571,
"textWidth": 3.112
},
{
"text": "its ",
"font": "serif",
"width": 2.373,
"textWidth": 1.913
},
{
"text": "counterparts. ",
"font": "serif",
"width": 10.792,
"textWidth": 10.792
}
]
},
{
"left": 83.169,
"top": 86.387,
"width": 4.696,
"height": 1.296,
"words": [
{
"text": "Right ",
"font": "serif-bold",
"width": 4.696,
"textWidth": 4.696
}
]
},
{
"left": 11.905,
"top": 88.017,
"width": 63.645,
"height": 1.296,
"words": [
{
"text": "inference ",
"font": "serif",
"width": 7.873,
"textWidth": 7.415
},
{
"text": "FLOPs ",
"font": "serif",
"width": 5.921,
"textWidth": 5.463
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "cache ",
"font": "serif",
"width": 4.946,
"textWidth": 4.488
},
{
"text": "size ",
"font": "serif",
"width": 3.563,
"textWidth": 3.104
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series ",
"font": "serif",
"width": 5.025,
"textWidth": 4.567
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "DeepSeek-V3.2. ",
"font": "serif",
"width": 12.695,
"textWidth": 12.695
}
]
}
]
},
"2": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.274,
"width": 8.942,
"height": 1.538,
"words": [
{
"text": "Contents ",
"font": "serif-bold",
"width": 8.942,
"textWidth": 8.942
}
]
},
{
"left": 11.905,
"top": 14.592,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 0.916
},
{
"text": "Introduction ",
"font": "serif-bold",
"width": 72.525,
"textWidth": 10.587
},
{
"text": "4 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 11.905,
"top": 18.141,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "2 ",
"font": "serif-bold",
"width": 2.677,
"textWidth": 0.916
},
{
"text": "Architecture ",
"font": "serif-bold",
"width": 72.597,
"textWidth": 10.382
},
{
"text": "6 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 14.654,
"top": 20.415,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "2.1 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Designs ",
"font": "serif",
"width": 6.927,
"textWidth": 6.469
},
{
"text": "Inherited ",
"font": "serif",
"width": 7.939,
"textWidth": 7.481
},
{
"text": "from ",
"font": "serif",
"width": 4.378,
"textWidth": 3.92
},
{
"text": "DeepSeek-V3 ",
"font": "serif",
"width": 49.066,
"textWidth": 10.862
},
{
"text": "7 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 14.654,
"top": 22.668,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "2.2 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Manifold-Constrained ",
"font": "serif",
"width": 18.561,
"textWidth": 18.103
},
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 49.75,
"textWidth": 15.924
},
{
"text": "7 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 14.654,
"top": 24.921,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "2.3 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Hybrid ",
"font": "serif",
"width": 6.392,
"textWidth": 5.934
},
{
"text": "Attention ",
"font": "serif",
"width": 8.221,
"textWidth": 7.763
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "CSA ",
"font": "serif",
"width": 4.145,
"textWidth": 3.687
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "HCA ",
"font": "serif",
"width": 41.807,
"textWidth": 4.25
},
{
"text": "9 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 18.869,
"top": 27.174,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "2.3.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.598,
"textWidth": 10.14
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "Attention ",
"font": "serif",
"width": 46.032,
"textWidth": 7.763
},
{
"text": "9 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 18.869,
"top": 29.427,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "2.3.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Heavily ",
"font": "serif",
"width": 6.898,
"textWidth": 6.44
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.598,
"textWidth": 10.14
},
{
"text": "Attention ",
"font": "serif",
"width": 44.034,
"textWidth": 7.763
},
{
"text": "11 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 31.681,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "2.3.3 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Other ",
"font": "serif",
"width": 5.164,
"textWidth": 4.706
},
{
"text": "Details ",
"font": "serif",
"width": 56.366,
"textWidth": 5.654
},
{
"text": "12 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 33.934,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "2.3.4 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Efficiency ",
"font": "serif",
"width": 8.388,
"textWidth": 7.93
},
{
"text": "Discussion ",
"font": "serif",
"width": 53.142,
"textWidth": 8.802
},
{
"text": "13 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 36.187,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "2.4 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Muon ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "Optimizer ",
"font": "serif",
"width": 62.03,
"textWidth": 8.342
},
{
"text": "14 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 11.905,
"top": 39.715,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "3 ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 0.916
},
{
"text": "General ",
"font": "serif-bold",
"width": 7.177,
"textWidth": 6.718
},
{
"text": "Infrastructures ",
"font": "serif-bold",
"width": 64.433,
"textWidth": 12.418
},
{
"text": "15 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 41.989,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.1 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Fine-Grained ",
"font": "serif",
"width": 11.201,
"textWidth": 10.743
},
{
"text": "Communication-Computation ",
"font": "serif",
"width": 25.074,
"textWidth": 24.616
},
{
"text": "Overlap ",
"font": "serif",
"width": 7.087,
"textWidth": 6.629
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Expert ",
"font": "serif",
"width": 5.824,
"textWidth": 5.366
},
{
"text": "Parallelism ",
"font": "serif",
"width": 16.151,
"textWidth": 9.07
},
{
"text": "15 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 44.242,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.2 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Flexible ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Efficient ",
"font": "serif",
"width": 7.153,
"textWidth": 6.695
},
{
"text": "Kernel ",
"font": "serif",
"width": 5.868,
"textWidth": 5.41
},
{
"text": "Development ",
"font": "serif",
"width": 11.463,
"textWidth": 11.005
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "TileLang ",
"font": "serif",
"width": 28.374,
"textWidth": 7.089
},
{
"text": "16 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 46.495,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.3 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "High-Performance ",
"font": "serif",
"width": 15.548,
"textWidth": 15.09
},
{
"text": "Batch-Invariant ",
"font": "serif",
"width": 13.056,
"textWidth": 12.597
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Deterministic ",
"font": "serif",
"width": 11.426,
"textWidth": 10.968
},
{
"text": "Kernel ",
"font": "serif",
"width": 5.868,
"textWidth": 5.41
},
{
"text": "Libraries ",
"font": "serif",
"width": 17.936,
"textWidth": 7.219
},
{
"text": "18 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 48.748,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.4 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.5,
"textWidth": 3.042
},
{
"text": "Quantization-Aware ",
"font": "serif",
"width": 17.062,
"textWidth": 16.603
},
{
"text": "Training ",
"font": "serif",
"width": 46.832,
"textWidth": 6.817
},
{
"text": "19 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 51.001,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.5 ",
"font": "serif",
"width": 4.158,
"textWidth": 2.291
},
{
"text": "Training ",
"font": "serif",
"width": 7.275,
"textWidth": 6.817
},
{
"text": "Framework ",
"font": "serif",
"width": 60.176,
"textWidth": 9.427
},
{
"text": "20 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 53.254,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "3.5.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Efficient ",
"font": "serif",
"width": 7.153,
"textWidth": 6.695
},
{
"text": "Implementation ",
"font": "serif",
"width": 13.481,
"textWidth": 13.023
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "Muon ",
"font": "serif",
"width": 38.828,
"textWidth": 4.906
},
{
"text": "20 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 55.508,
"width": 51.038,
"height": 1.296,
"words": [
{
"text": "3.5.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Cost-Effective ",
"font": "serif",
"width": 11.786,
"textWidth": 11.327
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Memory-Efficient ",
"font": "serif",
"width": 14.736,
"textWidth": 14.278
},
{
"text": "Implementation ",
"font": "serif",
"width": 13.481,
"textWidth": 13.023
},
{
"text": "of ",
"font": "serif",
"width": 1.611,
"textWidth": 1.611
}
]
},
{
"left": 70.365,
"top": 55.48,
"width": 1.426,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.426,
"textWidth": 1.426
}
]
},
{
"left": 71.791,
"top": 55.508,
"width": 16.305,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 14.472,
"textWidth": 2.824
},
{
"text": "21 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 57.761,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "3.5.3 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Contextual ",
"font": "serif",
"width": 9.398,
"textWidth": 8.939
},
{
"text": "Parallelism ",
"font": "serif",
"width": 9.528,
"textWidth": 9.07
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Long-Context ",
"font": "serif",
"width": 11.659,
"textWidth": 11.201
},
{
"text": "Attention ",
"font": "serif",
"width": 28.153,
"textWidth": 7.763
},
{
"text": "21 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 60.014,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "3.5.4 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Extended ",
"font": "serif",
"width": 8.183,
"textWidth": 7.724
},
{
"text": "Automatic ",
"font": "serif",
"width": 9.066,
"textWidth": 8.608
},
{
"text": "Differentiation ",
"font": "serif",
"width": 12.355,
"textWidth": 11.897
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Flexible ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "Activation ",
"font": "serif",
"width": 8.978,
"textWidth": 8.52
},
{
"text": "Checkpointing ",
"font": "serif",
"width": 13.363,
"textWidth": 11.994
},
{
"text": "21 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 62.267,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "3.6 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Inference ",
"font": "serif",
"width": 7.957,
"textWidth": 7.499
},
{
"text": "Framework ",
"font": "serif",
"width": 59.437,
"textWidth": 9.427
},
{
"text": "22 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 64.52,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "3.6.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "Cache ",
"font": "serif",
"width": 5.432,
"textWidth": 4.974
},
{
"text": "Structure ",
"font": "serif",
"width": 7.917,
"textWidth": 7.459
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Management ",
"font": "serif",
"width": 41.509,
"textWidth": 10.69
},
{
"text": "22 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 66.773,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "3.6.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "On-Disk ",
"font": "serif",
"width": 7.323,
"textWidth": 6.865
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "Cache ",
"font": "serif",
"width": 5.432,
"textWidth": 4.974
},
{
"text": "Storage ",
"font": "serif",
"width": 45.663,
"textWidth": 6.097
},
{
"text": "23 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 11.905,
"top": 70.301,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "4 ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 0.916
},
{
"text": "Pre-Training ",
"font": "serif-bold",
"width": 71.609,
"textWidth": 10.486
},
{
"text": "24 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 72.575,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "4.1 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Data ",
"font": "serif",
"width": 4.307,
"textWidth": 3.848
},
{
"text": "Construction ",
"font": "serif",
"width": 63.088,
"textWidth": 10.567
},
{
"text": "24 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 74.828,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "4.2 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Pre-Training ",
"font": "serif",
"width": 10.561,
"textWidth": 10.103
},
{
"text": "Setups ",
"font": "serif",
"width": 56.833,
"textWidth": 5.421
},
{
"text": "25 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 77.081,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "4.2.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Model ",
"font": "serif",
"width": 5.723,
"textWidth": 5.265
},
{
"text": "Setups ",
"font": "serif",
"width": 55.807,
"textWidth": 5.421
},
{
"text": "25 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 79.335,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "4.2.2 ",
"font": "serif",
"width": 5.808,
"textWidth": 3.665
},
{
"text": "Training ",
"font": "serif",
"width": 7.275,
"textWidth": 6.817
},
{
"text": "Setups ",
"font": "serif",
"width": 54.311,
"textWidth": 5.421
},
{
"text": "25 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 81.588,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "4.2.3 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Mitigating ",
"font": "serif",
"width": 9.007,
"textWidth": 8.549
},
{
"text": "Training ",
"font": "serif",
"width": 7.275,
"textWidth": 6.817
},
{
"text": "Instability ",
"font": "serif",
"width": 45.247,
"textWidth": 8.205
},
{
"text": "26 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 83.841,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "4.3 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Evaluations ",
"font": "serif",
"width": 67.394,
"textWidth": 9.601
},
{
"text": "27 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 86.094,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "4.3.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.282,
"textWidth": 8.824
},
{
"text": "Benchmarks ",
"font": "serif",
"width": 52.248,
"textWidth": 9.999
},
{
"text": "27 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 88.347,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "4.3.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.282,
"textWidth": 8.824
},
{
"text": "Results ",
"font": "serif",
"width": 52.248,
"textWidth": 5.892
},
{
"text": "28 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"3": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.452,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "5 ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 0.916
},
{
"text": "Post-Training ",
"font": "serif-bold",
"width": 71.609,
"textWidth": 11.3
},
{
"text": "29 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 12.725,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "5.1 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Post-Training ",
"font": "serif",
"width": 11.368,
"textWidth": 10.91
},
{
"text": "Pipeline ",
"font": "serif",
"width": 56.027,
"textWidth": 6.63
},
{
"text": "29 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 14.979,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.1.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Specialist ",
"font": "serif",
"width": 8.104,
"textWidth": 7.646
},
{
"text": "Training ",
"font": "serif",
"width": 53.426,
"textWidth": 6.817
},
{
"text": "29 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 17.232,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.1.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "On-Policy ",
"font": "serif",
"width": 8.582,
"textWidth": 8.124
},
{
"text": "Distillation ",
"font": "serif",
"width": 52.948,
"textWidth": 9.04
},
{
"text": "32 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 19.485,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "5.2 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "RL ",
"font": "serif",
"width": 2.802,
"textWidth": 2.344
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "OPD ",
"font": "serif",
"width": 4.424,
"textWidth": 3.966
},
{
"text": "Infrastructures ",
"font": "serif",
"width": 56.608,
"textWidth": 11.985
},
{
"text": "34 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 21.738,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.2.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.5,
"textWidth": 3.042
},
{
"text": "Quantization ",
"font": "serif",
"width": 11.148,
"textWidth": 10.69
},
{
"text": "Integration ",
"font": "serif",
"width": 46.882,
"textWidth": 9.016
},
{
"text": "34 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 23.991,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.2.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Efficient ",
"font": "serif",
"width": 7.153,
"textWidth": 6.695
},
{
"text": "Teacher ",
"font": "serif",
"width": 6.689,
"textWidth": 6.231
},
{
"text": "Scheduling ",
"font": "serif",
"width": 9.555,
"textWidth": 9.097
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Full-Vocabulary ",
"font": "serif",
"width": 13.42,
"textWidth": 12.962
},
{
"text": "OPD ",
"font": "serif",
"width": 21.92,
"textWidth": 3.966
},
{
"text": "34 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 26.244,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.2.3 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Preemptible ",
"font": "serif",
"width": 10.286,
"textWidth": 9.828
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Fault-Tolerant ",
"font": "serif",
"width": 11.91,
"textWidth": 11.452
},
{
"text": "Rollout ",
"font": "serif",
"width": 6.453,
"textWidth": 5.994
},
{
"text": "Service ",
"font": "serif",
"width": 29.32,
"textWidth": 5.824
},
{
"text": "34 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 28.497,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.2.4 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Scaling ",
"font": "serif",
"width": 6.302,
"textWidth": 5.844
},
{
"text": "RL ",
"font": "serif",
"width": 2.802,
"textWidth": 2.344
},
{
"text": "Framework ",
"font": "serif",
"width": 9.885,
"textWidth": 9.427
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Million-Token ",
"font": "serif",
"width": 11.921,
"textWidth": 11.463
},
{
"text": "Context ",
"font": "serif",
"width": 27.826,
"textWidth": 6.385
},
{
"text": "35 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 30.75,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.2.5 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Sandbox ",
"font": "serif",
"width": 7.483,
"textWidth": 7.024
},
{
"text": "Infrastructure ",
"font": "serif",
"width": 11.666,
"textWidth": 11.208
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Agentic ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "AI ",
"font": "serif",
"width": 32.796,
"textWidth": 2.043
},
{
"text": "35 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 33.004,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "5.3 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Standard ",
"font": "serif",
"width": 7.847,
"textWidth": 7.389
},
{
"text": "Benchmark ",
"font": "serif",
"width": 9.68,
"textWidth": 9.222
},
{
"text": "Evaluation ",
"font": "serif",
"width": 49.867,
"textWidth": 8.824
},
{
"text": "36 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 35.257,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.3.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.282,
"textWidth": 8.824
},
{
"text": "Setup ",
"font": "serif",
"width": 52.248,
"textWidth": 4.644
},
{
"text": "36 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 37.51,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.3.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.282,
"textWidth": 8.824
},
{
"text": "Results ",
"font": "serif",
"width": 52.248,
"textWidth": 5.892
},
{
"text": "38 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 39.763,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "5.4 ",
"font": "serif",
"width": 4.215,
"textWidth": 2.291
},
{
"text": "Performance ",
"font": "serif",
"width": 10.794,
"textWidth": 10.336
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "Real-World ",
"font": "serif",
"width": 9.662,
"textWidth": 9.203
},
{
"text": "Tasks ",
"font": "serif",
"width": 44.413,
"textWidth": 4.444
},
{
"text": "41 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 42.016,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.4.1 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.957,
"textWidth": 6.498
},
{
"text": "Writing ",
"font": "serif",
"width": 54.573,
"textWidth": 6.17
},
{
"text": "41 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 44.269,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.4.2 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Search ",
"font": "serif",
"width": 61.53,
"textWidth": 5.327
},
{
"text": "42 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 46.522,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.4.3 ",
"font": "serif",
"width": 5.773,
"textWidth": 3.665
},
{
"text": "White-Collar ",
"font": "serif",
"width": 10.983,
"textWidth": 10.525
},
{
"text": "Task ",
"font": "serif",
"width": 50.639,
"textWidth": 3.667
},
{
"text": "42 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 18.869,
"top": 48.775,
"width": 69.227,
"height": 1.296,
"words": [
{
"text": "5.4.4 ",
"font": "serif",
"width": 5.864,
"textWidth": 3.665
},
{
"text": "Code ",
"font": "serif",
"width": 4.756,
"textWidth": 4.297
},
{
"text": "Agent ",
"font": "serif",
"width": 56.774,
"textWidth": 4.987
},
{
"text": "44 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 11.905,
"top": 52.304,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "6 ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 0.916
},
{
"text": "Conclusion, ",
"font": "serif-bold",
"width": 10.484,
"textWidth": 10.026
},
{
"text": "Limitations, ",
"font": "serif-bold",
"width": 10.585,
"textWidth": 10.127
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "Future ",
"font": "serif-bold",
"width": 5.956,
"textWidth": 5.498
},
{
"text": "Directions ",
"font": "serif-bold",
"width": 40.97,
"textWidth": 8.753
},
{
"text": "44 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 11.905,
"top": 55.853,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "A ",
"font": "serif-bold",
"width": 2.677,
"textWidth": 1.426
},
{
"text": "Author ",
"font": "serif-bold",
"width": 6.465,
"textWidth": 6.007
},
{
"text": "List ",
"font": "serif-bold",
"width": 3.612,
"textWidth": 3.154
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "Acknowledgment ",
"font": "serif-bold",
"width": 57.989,
"textWidth": 14.965
},
{
"text": "54 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 58.126,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "A.1 ",
"font": "serif",
"width": 4.144,
"textWidth": 2.8
},
{
"text": "Author ",
"font": "serif",
"width": 6.377,
"textWidth": 5.919
},
{
"text": "List ",
"font": "serif",
"width": 61.088,
"textWidth": 3.027
},
{
"text": "54 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 14.654,
"top": 60.379,
"width": 73.442,
"height": 1.296,
"words": [
{
"text": "A.2 ",
"font": "serif",
"width": 4.144,
"textWidth": 2.8
},
{
"text": "Acknowledgment ",
"font": "serif",
"width": 67.466,
"textWidth": 14.564
},
{
"text": "55 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 11.905,
"top": 63.908,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "B ",
"font": "serif-bold",
"width": 2.749,
"textWidth": 1.222
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 9.519,
"textWidth": 9.06
},
{
"text": "Details ",
"font": "serif-bold",
"width": 62.091,
"textWidth": 6.004
},
{
"text": "55 ",
"font": "serif-bold",
"width": 1.833,
"textWidth": 1.833
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "3 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"4": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.274,
"width": 15.289,
"height": 1.538,
"words": [
{
"text": "1. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "Introduction ",
"font": "serif-bold",
"width": 12.569,
"textWidth": 12.569
}
]
},
{
"left": 11.848,
"top": 13.478,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.757,
"textWidth": 3.129
},
{
"text": "emergence ",
"font": "serif",
"width": 9.524,
"textWidth": 8.896
},
{
"text": "of ",
"font": "serif",
"width": 2.271,
"textWidth": 1.643
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.737,
"textWidth": 8.107
},
{
"text": "models ",
"font": "serif",
"width": 6.673,
"textWidth": 6.045
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.597,
"textWidth": 11.969
},
{
"text": "2025; ",
"font": "serif",
"width": 4.834,
"textWidth": 4.206
},
{
"text": "OpenAI, ",
"font": "serif",
"width": 7.756,
"textWidth": 7.128
},
{
"text": "2024c) ",
"font": "serif",
"width": 5.821,
"textWidth": 5.191
},
{
"text": "has ",
"font": "serif",
"width": 3.443,
"textWidth": 2.815
},
{
"text": "established ",
"font": "serif",
"width": 9.9,
"textWidth": 9.272
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 15.088,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "new ",
"font": "serif",
"width": 3.951,
"textWidth": 3.494
},
{
"text": "paradigm ",
"font": "serif",
"width": 8.453,
"textWidth": 7.996
},
{
"text": "of ",
"font": "serif",
"width": 2.076,
"textWidth": 1.621
},
{
"text": "test-time ",
"font": "serif",
"width": 7.586,
"textWidth": 7.129
},
{
"text": "scaling, ",
"font": "serif",
"width": 6.611,
"textWidth": 6.154
},
{
"text": "driving ",
"font": "serif",
"width": 6.525,
"textWidth": 6.067
},
{
"text": "substantial ",
"font": "serif",
"width": 9.343,
"textWidth": 8.886
},
{
"text": "performance ",
"font": "serif",
"width": 10.848,
"textWidth": 10.392
},
{
"text": "gains ",
"font": "serif",
"width": 4.795,
"textWidth": 4.338
},
{
"text": "for ",
"font": "serif",
"width": 2.806,
"textWidth": 2.349
},
{
"text": "Large ",
"font": "serif",
"width": 5.109,
"textWidth": 4.651
},
{
"text": "Language ",
"font": "serif",
"width": 8.088,
"textWidth": 8.088
}
]
},
{
"left": 11.905,
"top": 16.697,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Models ",
"font": "serif",
"width": 6.416,
"textWidth": 5.958
},
{
"text": "(LLMs). ",
"font": "serif",
"width": 6.906,
"textWidth": 6.337
},
{
"text": "However, ",
"font": "serif",
"width": 8.236,
"textWidth": 7.779
},
{
"text": "this ",
"font": "serif",
"width": 3.392,
"textWidth": 2.933
},
{
"text": "scaling ",
"font": "serif",
"width": 6.037,
"textWidth": 5.58
},
{
"text": "paradigm ",
"font": "serif",
"width": 8.296,
"textWidth": 7.837
},
{
"text": "is ",
"font": "serif",
"width": 1.749,
"textWidth": 1.292
},
{
"text": "fundamentally ",
"font": "serif",
"width": 12.271,
"textWidth": 11.812
},
{
"text": "constrained ",
"font": "serif",
"width": 9.817,
"textWidth": 9.36
},
{
"text": "by ",
"font": "serif",
"width": 2.463,
"textWidth": 2.004
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.506
},
{
"text": "quadratic ",
"font": "serif",
"width": 7.643,
"textWidth": 7.643
}
]
},
{
"left": 11.905,
"top": 18.306,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "computational ",
"font": "serif",
"width": 12.64,
"textWidth": 12.036
},
{
"text": "complexity ",
"font": "serif",
"width": 9.823,
"textWidth": 9.219
},
{
"text": "of ",
"font": "serif",
"width": 2.247,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.195,
"textWidth": 2.593
},
{
"text": "vanilla ",
"font": "serif",
"width": 6.249,
"textWidth": 5.645
},
{
"text": "attention ",
"font": "serif",
"width": 8.0,
"textWidth": 7.399
},
{
"text": "mechanism ",
"font": "serif",
"width": 10.077,
"textWidth": 9.473
},
{
"text": "(Vaswani ",
"font": "serif",
"width": 8.258,
"textWidth": 7.657
},
{
"text": "et ",
"font": "serif",
"width": 2.109,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.017,
"textWidth": 2.413
},
{
"text": "2017), ",
"font": "serif",
"width": 5.468,
"textWidth": 4.828
},
{
"text": "which ",
"font": "serif",
"width": 5.109,
"textWidth": 5.109
}
]
},
{
"left": 11.905,
"top": 19.916,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "creates ",
"font": "serif",
"width": 6.049,
"textWidth": 5.59
},
{
"text": "a ",
"font": "serif",
"width": 1.382,
"textWidth": 0.923
},
{
"text": "prohibitive ",
"font": "serif",
"width": 9.506,
"textWidth": 9.046
},
{
"text": "bottleneck ",
"font": "serif",
"width": 8.913,
"textWidth": 8.456
},
{
"text": "for ",
"font": "serif",
"width": 2.811,
"textWidth": 2.351
},
{
"text": "ultra-long ",
"font": "serif",
"width": 8.622,
"textWidth": 8.162
},
{
"text": "contexts ",
"font": "serif",
"width": 7.182,
"textWidth": 6.723
},
{
"text": "and ",
"font": "serif",
"width": 3.584,
"textWidth": 3.124
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.461,
"textWidth": 8.004
},
{
"text": "processes. ",
"font": "serif",
"width": 8.781,
"textWidth": 8.21
},
{
"text": "Concurrently, ",
"font": "serif",
"width": 11.128,
"textWidth": 11.128
}
]
},
{
"left": 11.905,
"top": 21.525,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.26,
"textWidth": 2.593
},
{
"text": "emergence ",
"font": "serif",
"width": 9.563,
"textWidth": 8.894
},
{
"text": "of ",
"font": "serif",
"width": 2.31,
"textWidth": 1.641
},
{
"text": "long-horizon ",
"font": "serif",
"width": 11.416,
"textWidth": 10.748
},
{
"text": "scenarios ",
"font": "serif",
"width": 8.303,
"textWidth": 7.636
},
{
"text": "and ",
"font": "serif",
"width": 3.832,
"textWidth": 3.165
},
{
"text": "tasks ",
"font": "serif",
"width": 7.372,
"textWidth": 4.168
},
{
"text": "from ",
"font": "serif",
"width": 4.666,
"textWidth": 3.998
},
{
"text": "complex ",
"font": "serif",
"width": 7.698,
"textWidth": 7.028
},
{
"text": "agentic ",
"font": "serif",
"width": 6.608,
"textWidth": 5.939
},
{
"text": "workflows ",
"font": "serif",
"width": 9.533,
"textWidth": 8.866
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 23.134,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "massive ",
"font": "serif",
"width": 7.262,
"textWidth": 6.666
},
{
"text": "cross-document ",
"font": "serif",
"width": 13.722,
"textWidth": 13.126
},
{
"text": "analysis ",
"font": "serif",
"width": 9.73,
"textWidth": 6.67
},
{
"text": "has ",
"font": "serif",
"width": 3.411,
"textWidth": 2.815
},
{
"text": "also ",
"font": "serif",
"width": 3.888,
"textWidth": 3.292
},
{
"text": "made ",
"font": "serif",
"width": 5.219,
"textWidth": 4.623
},
{
"text": "efficient ",
"font": "serif",
"width": 7.176,
"textWidth": 6.582
},
{
"text": "support ",
"font": "serif",
"width": 7.131,
"textWidth": 6.535
},
{
"text": "for ",
"font": "serif",
"width": 2.978,
"textWidth": 2.381
},
{
"text": "ultra-long ",
"font": "serif",
"width": 8.864,
"textWidth": 8.268
},
{
"text": "contexts ",
"font": "serif",
"width": 6.81,
"textWidth": 6.81
}
]
},
{
"left": 11.905,
"top": 24.744,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "critical ",
"font": "serif",
"width": 6.12,
"textWidth": 5.574
},
{
"text": "for ",
"font": "serif",
"width": 2.927,
"textWidth": 2.381
},
{
"text": "future ",
"font": "serif",
"width": 5.632,
"textWidth": 5.086
},
{
"text": "progress. ",
"font": "serif",
"width": 8.374,
"textWidth": 7.542
},
{
"text": "While ",
"font": "serif",
"width": 5.486,
"textWidth": 4.94
},
{
"text": "recent ",
"font": "serif",
"width": 5.569,
"textWidth": 5.023
},
{
"text": "open-source ",
"font": "serif",
"width": 10.666,
"textWidth": 10.12
},
{
"text": "efforts ",
"font": "serif",
"width": 5.813,
"textWidth": 5.268
},
{
"text": "(Bai ",
"font": "serif",
"width": 3.789,
"textWidth": 3.243
},
{
"text": "et ",
"font": "serif",
"width": 2.051,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.959,
"textWidth": 2.413
},
{
"text": "2025a; ",
"font": "serif",
"width": 5.686,
"textWidth": 5.14
},
{
"text": "DeepSeek-AI, ",
"font": "serif",
"width": 11.346,
"textWidth": 11.346
}
]
},
{
"left": 11.905,
"top": 26.353,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2024; ",
"font": "serif",
"width": 4.666,
"textWidth": 4.206
},
{
"text": "MiniMax, ",
"font": "serif",
"width": 8.539,
"textWidth": 8.079
},
{
"text": "2025; ",
"font": "serif",
"width": 4.666,
"textWidth": 4.206
},
{
"text": "Qwen, ",
"font": "serif",
"width": 5.939,
"textWidth": 5.479
},
{
"text": "2025) ",
"font": "serif",
"width": 4.821,
"textWidth": 4.361
},
{
"text": "have ",
"font": "serif",
"width": 4.432,
"textWidth": 3.974
},
{
"text": "advanced ",
"font": "serif",
"width": 8.483,
"textWidth": 8.023
},
{
"text": "general ",
"font": "serif",
"width": 6.595,
"textWidth": 6.135
},
{
"text": "capabilities, ",
"font": "serif",
"width": 10.257,
"textWidth": 9.797
},
{
"text": "this ",
"font": "serif",
"width": 3.494,
"textWidth": 3.034
},
{
"text": "core ",
"font": "serif",
"width": 3.911,
"textWidth": 3.451
},
{
"text": "architectural ",
"font": "serif",
"width": 10.391,
"textWidth": 10.391
}
]
},
{
"left": 11.905,
"top": 27.962,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "inefficiency ",
"font": "serif",
"width": 9.678,
"textWidth": 9.223
},
{
"text": "in ",
"font": "serif",
"width": 2.045,
"textWidth": 1.589
},
{
"text": "handling ",
"font": "serif",
"width": 7.725,
"textWidth": 7.27
},
{
"text": "ultra-long ",
"font": "serif",
"width": 8.506,
"textWidth": 8.049
},
{
"text": "sequences ",
"font": "serif",
"width": 8.597,
"textWidth": 8.142
},
{
"text": "remains ",
"font": "serif",
"width": 6.89,
"textWidth": 6.435
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.91
},
{
"text": "key ",
"font": "serif",
"width": 3.35,
"textWidth": 2.895
},
{
"text": "impediment, ",
"font": "serif",
"width": 10.786,
"textWidth": 10.329
},
{
"text": "limiting ",
"font": "serif",
"width": 6.846,
"textWidth": 6.389
},
{
"text": "further ",
"font": "serif",
"width": 6.12,
"textWidth": 5.663
},
{
"text": "gains ",
"font": "serif",
"width": 4.282,
"textWidth": 4.282
}
]
},
{
"left": 11.905,
"top": 29.572,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.368,
"textWidth": 3.912
},
{
"text": "test-time ",
"font": "serif",
"width": 7.528,
"textWidth": 7.073
},
{
"text": "scaling ",
"font": "serif",
"width": 6.103,
"textWidth": 5.648
},
{
"text": "and ",
"font": "serif",
"width": 3.552,
"textWidth": 3.096
},
{
"text": "hindering ",
"font": "serif",
"width": 8.446,
"textWidth": 7.991
},
{
"text": "further ",
"font": "serif",
"width": 6.149,
"textWidth": 5.694
},
{
"text": "exploration ",
"font": "serif",
"width": 9.734,
"textWidth": 9.278
},
{
"text": "into ",
"font": "serif",
"width": 3.647,
"textWidth": 3.192
},
{
"text": "long-horizon ",
"font": "serif",
"width": 10.972,
"textWidth": 10.516
},
{
"text": "scenarios ",
"font": "serif",
"width": 7.927,
"textWidth": 7.471
},
{
"text": "and ",
"font": "serif",
"width": 3.552,
"textWidth": 3.096
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.534,
"textWidth": 4.534
}
]
},
{
"left": 14.75,
"top": 31.986,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.147,
"textWidth": 1.691
},
{
"text": "order ",
"font": "serif",
"width": 4.887,
"textWidth": 4.431
},
{
"text": "to ",
"font": "serif",
"width": 2.059,
"textWidth": 1.604
},
{
"text": "break ",
"font": "serif",
"width": 4.992,
"textWidth": 4.535
},
{
"text": "the ",
"font": "serif",
"width": 3.008,
"textWidth": 2.552
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.175,
"textWidth": 7.719
},
{
"text": "barrier ",
"font": "serif",
"width": 5.989,
"textWidth": 5.535
},
{
"text": "in ",
"font": "serif",
"width": 2.063,
"textWidth": 1.606
},
{
"text": "ultra-long ",
"font": "serif",
"width": 8.594,
"textWidth": 8.138
},
{
"text": "contexts, ",
"font": "serif",
"width": 7.619,
"textWidth": 7.163
},
{
"text": "we ",
"font": "serif",
"width": 2.87,
"textWidth": 2.416
},
{
"text": "develop ",
"font": "serif",
"width": 7.029,
"textWidth": 6.572
},
{
"text": "the ",
"font": "serif",
"width": 3.008,
"textWidth": 2.552
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 10.905,
"textWidth": 10.905
}
]
},
{
"left": 11.905,
"top": 33.595,
"width": 76.373,
"height": 1.296,
"words": [
{
"text": "series, ",
"font": "serif",
"width": 5.401,
"textWidth": 4.945
},
{
"text": "including ",
"font": "serif",
"width": 8.12,
"textWidth": 7.666
},
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.501
},
{
"text": "preview ",
"font": "serif",
"width": 6.993,
"textWidth": 6.539
},
{
"text": "versions ",
"font": "serif",
"width": 7.139,
"textWidth": 6.683
},
{
"text": "of ",
"font": "serif",
"width": 2.04,
"textWidth": 1.585
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.497,
"textWidth": 14.042
},
{
"text": "with ",
"font": "serif",
"width": 4.122,
"textWidth": 3.666
},
{
"text": "1.6T ",
"font": "serif",
"width": 3.814,
"textWidth": 3.36
},
{
"text": "parameters ",
"font": "serif",
"width": 9.44,
"textWidth": 8.984
},
{
"text": "(49B ",
"font": "serif",
"width": 3.962,
"textWidth": 3.506
},
{
"text": "activated) ",
"font": "serif",
"width": 7.888,
"textWidth": 7.888
}
]
},
{
"left": 11.905,
"top": 35.205,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.608,
"textWidth": 3.152
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.493,
"textWidth": 16.037
},
{
"text": "with ",
"font": "serif",
"width": 4.241,
"textWidth": 3.785
},
{
"text": "284B ",
"font": "serif",
"width": 4.389,
"textWidth": 3.931
},
{
"text": "parameters ",
"font": "serif",
"width": 9.732,
"textWidth": 9.276
},
{
"text": "(13B ",
"font": "serif",
"width": 4.076,
"textWidth": 3.62
},
{
"text": "activated). ",
"font": "serif",
"width": 9.179,
"textWidth": 8.611
},
{
"text": "Through ",
"font": "serif",
"width": 7.641,
"textWidth": 7.185
},
{
"text": "architectural ",
"font": "serif",
"width": 10.807,
"textWidth": 10.349
},
{
"text": "innova- ",
"font": "serif",
"width": 6.327,
"textWidth": 6.327
}
]
},
{
"left": 11.905,
"top": 36.814,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tions, ",
"font": "serif",
"width": 4.993,
"textWidth": 4.522
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.546,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 5.126,
"textWidth": 4.658
},
{
"text": "achieve ",
"font": "serif",
"width": 6.713,
"textWidth": 6.243
},
{
"text": "a ",
"font": "serif",
"width": 1.402,
"textWidth": 0.935
},
{
"text": "dramatic ",
"font": "serif",
"width": 7.853,
"textWidth": 7.384
},
{
"text": "leap ",
"font": "serif",
"width": 3.965,
"textWidth": 3.497
},
{
"text": "in ",
"font": "serif",
"width": 2.099,
"textWidth": 1.632
},
{
"text": "computational ",
"font": "serif",
"width": 12.505,
"textWidth": 12.036
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.309,
"textWidth": 7.842
},
{
"text": "for ",
"font": "serif",
"width": 2.849,
"textWidth": 2.381
},
{
"text": "processing ",
"font": "serif",
"width": 8.832,
"textWidth": 8.832
}
]
},
{
"left": 11.905,
"top": 38.423,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "ultra-long ",
"font": "serif",
"width": 8.731,
"textWidth": 8.268
},
{
"text": "sequences. ",
"font": "serif",
"width": 9.417,
"textWidth": 8.83
},
{
"text": "This ",
"font": "serif",
"width": 4.034,
"textWidth": 3.57
},
{
"text": "breakthrough ",
"font": "serif",
"width": 11.75,
"textWidth": 11.287
},
{
"text": "enables ",
"font": "serif",
"width": 6.647,
"textWidth": 6.184
},
{
"text": "efficient ",
"font": "serif",
"width": 7.047,
"textWidth": 6.582
},
{
"text": "support ",
"font": "serif",
"width": 6.999,
"textWidth": 6.535
},
{
"text": "for ",
"font": "serif",
"width": 2.845,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 1.4,
"textWidth": 0.935
},
{
"text": "context ",
"font": "serif",
"width": 6.481,
"textWidth": 6.017
},
{
"text": "length ",
"font": "serif",
"width": 5.727,
"textWidth": 5.264
},
{
"text": "of ",
"font": "serif",
"width": 2.109,
"textWidth": 1.643
},
{
"text": "one ",
"font": "serif",
"width": 3.004,
"textWidth": 3.004
}
]
},
{
"left": 11.905,
"top": 40.033,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "million ",
"font": "serif",
"width": 6.285,
"textWidth": 5.824
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.261,
"textWidth": 5.802
},
{
"text": "ushering ",
"font": "serif",
"width": 7.637,
"textWidth": 7.176
},
{
"text": "in ",
"font": "serif",
"width": 2.062,
"textWidth": 1.601
},
{
"text": "a ",
"font": "serif",
"width": 1.376,
"textWidth": 0.917
},
{
"text": "new ",
"font": "serif",
"width": 3.937,
"textWidth": 3.476
},
{
"text": "era ",
"font": "serif",
"width": 2.981,
"textWidth": 2.521
},
{
"text": "of ",
"font": "serif",
"width": 2.071,
"textWidth": 1.612
},
{
"text": "million-length ",
"font": "serif",
"width": 12.061,
"textWidth": 11.601
},
{
"text": "contexts ",
"font": "serif",
"width": 7.143,
"textWidth": 6.683
},
{
"text": "for ",
"font": "serif",
"width": 2.796,
"textWidth": 2.337
},
{
"text": "next-generation ",
"font": "serif",
"width": 13.25,
"textWidth": 12.79
},
{
"text": "LLMs. ",
"font": "serif",
"width": 5.786,
"textWidth": 5.213
},
{
"text": "We ",
"font": "serif",
"width": 2.544,
"textWidth": 2.544
}
]
},
{
"left": 11.905,
"top": 41.642,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "believe ",
"font": "serif",
"width": 6.425,
"textWidth": 5.864
},
{
"text": "our ",
"font": "serif",
"width": 3.447,
"textWidth": 2.886
},
{
"text": "capability ",
"font": "serif",
"width": 8.698,
"textWidth": 8.137
},
{
"text": "to ",
"font": "serif",
"width": 2.191,
"textWidth": 1.63
},
{
"text": "efficiently ",
"font": "serif",
"width": 8.726,
"textWidth": 8.165
},
{
"text": "handle ",
"font": "serif",
"width": 6.253,
"textWidth": 5.692
},
{
"text": "ultra-long ",
"font": "serif",
"width": 8.829,
"textWidth": 8.268
},
{
"text": "sequences ",
"font": "serif",
"width": 8.922,
"textWidth": 8.363
},
{
"text": "unlocks ",
"font": "serif",
"width": 7.002,
"textWidth": 6.441
},
{
"text": "the ",
"font": "serif",
"width": 3.153,
"textWidth": 2.593
},
{
"text": "next ",
"font": "serif",
"width": 4.118,
"textWidth": 3.557
},
{
"text": "frontier ",
"font": "serif",
"width": 6.785,
"textWidth": 6.225
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 43.252,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "test-time ",
"font": "serif",
"width": 7.611,
"textWidth": 7.15
},
{
"text": "scaling, ",
"font": "serif",
"width": 6.631,
"textWidth": 6.17
},
{
"text": "paves ",
"font": "serif",
"width": 5.211,
"textWidth": 4.75
},
{
"text": "the ",
"font": "serif",
"width": 3.023,
"textWidth": 2.565
},
{
"text": "way ",
"font": "serif",
"width": 3.955,
"textWidth": 3.495
},
{
"text": "for ",
"font": "serif",
"width": 2.816,
"textWidth": 2.356
},
{
"text": "deeper ",
"font": "serif",
"width": 6.087,
"textWidth": 5.629
},
{
"text": "research ",
"font": "serif",
"width": 7.232,
"textWidth": 6.771
},
{
"text": "into ",
"font": "serif",
"width": 3.687,
"textWidth": 3.227
},
{
"text": "long-horizon ",
"font": "serif",
"width": 11.091,
"textWidth": 10.632
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.046,
"textWidth": 4.586
},
{
"text": "and ",
"font": "serif",
"width": 3.589,
"textWidth": 3.131
},
{
"text": "establishes ",
"font": "serif",
"width": 9.286,
"textWidth": 8.826
},
{
"text": "a ",
"font": "serif",
"width": 0.925,
"textWidth": 0.925
}
]
},
{
"left": 11.905,
"top": 44.861,
"width": 59.615,
"height": 1.296,
"words": [
{
"text": "necessary ",
"font": "serif",
"width": 8.307,
"textWidth": 7.849
},
{
"text": "foundation ",
"font": "serif",
"width": 9.475,
"textWidth": 9.016
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "exploring ",
"font": "serif",
"width": 8.26,
"textWidth": 7.801
},
{
"text": "future ",
"font": "serif",
"width": 5.445,
"textWidth": 4.987
},
{
"text": "paradigms ",
"font": "serif",
"width": 9.183,
"textWidth": 8.725
},
{
"text": "like ",
"font": "serif",
"width": 3.421,
"textWidth": 2.963
},
{
"text": "online ",
"font": "serif",
"width": 5.536,
"textWidth": 5.078
},
{
"text": "learning. ",
"font": "serif",
"width": 7.195,
"textWidth": 7.195
}
]
},
{
"left": 14.75,
"top": 47.275,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "Compared ",
"font": "serif",
"width": 9.389,
"textWidth": 8.797
},
{
"text": "with ",
"font": "serif",
"width": 4.393,
"textWidth": 3.8
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.591
},
{
"text": "DeepSeek-V3 ",
"font": "serif",
"width": 11.672,
"textWidth": 11.079
},
{
"text": "architecture ",
"font": "serif",
"width": 10.365,
"textWidth": 9.773
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.56,
"textWidth": 11.969
},
{
"text": "2024), ",
"font": "serif",
"width": 5.455,
"textWidth": 4.828
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.672,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 4.658,
"textWidth": 4.658
}
]
},
{
"left": 11.905,
"top": 48.884,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "retain ",
"font": "serif",
"width": 4.984,
"textWidth": 4.589
},
{
"text": "the ",
"font": "serif",
"width": 2.886,
"textWidth": 2.491
},
{
"text": "DeepSeekMoE ",
"font": "serif",
"width": 12.024,
"textWidth": 11.629
},
{
"text": "framework ",
"font": "serif",
"width": 9.235,
"textWidth": 8.838
},
{
"text": "(Dai ",
"font": "serif",
"width": 3.804,
"textWidth": 3.409
},
{
"text": "et ",
"font": "serif",
"width": 1.841,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.714,
"textWidth": 2.319
},
{
"text": "2024) ",
"font": "serif",
"width": 4.587,
"textWidth": 4.19
},
{
"text": "and ",
"font": "serif",
"width": 3.436,
"textWidth": 3.041
},
{
"text": "Multi-Token ",
"font": "serif",
"width": 10.223,
"textWidth": 9.827
},
{
"text": "Prediction ",
"font": "serif",
"width": 8.569,
"textWidth": 8.173
},
{
"text": "(MTP) ",
"font": "serif",
"width": 5.476,
"textWidth": 5.081
},
{
"text": "strategy, ",
"font": "serif",
"width": 6.643,
"textWidth": 6.643
}
]
},
{
"left": 11.828,
"top": 50.494,
"width": 76.571,
"height": 1.296,
"words": [
{
"text": "while ",
"font": "serif",
"width": 5.065,
"textWidth": 4.607
},
{
"text": "introducing ",
"font": "serif",
"width": 10.149,
"textWidth": 9.689
},
{
"text": "several ",
"font": "serif",
"width": 6.285,
"textWidth": 5.828
},
{
"text": "key ",
"font": "serif",
"width": 3.417,
"textWidth": 2.959
},
{
"text": "innovations ",
"font": "serif",
"width": 10.197,
"textWidth": 9.738
},
{
"text": "in ",
"font": "serif",
"width": 2.081,
"textWidth": 1.624
},
{
"text": "architecture ",
"font": "serif",
"width": 10.184,
"textWidth": 9.725
},
{
"text": "and ",
"font": "serif",
"width": 3.607,
"textWidth": 3.149
},
{
"text": "optimization. ",
"font": "serif",
"width": 11.603,
"textWidth": 11.036
},
{
"text": "To ",
"font": "serif",
"width": 2.446,
"textWidth": 1.988
},
{
"text": "enhance ",
"font": "serif",
"width": 7.243,
"textWidth": 6.786
},
{
"text": "long- ",
"font": "serif",
"width": 4.293,
"textWidth": 4.293
}
]
},
{
"left": 11.905,
"top": 52.103,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "context ",
"font": "serif",
"width": 6.621,
"textWidth": 6.017
},
{
"text": "efficiency, ",
"font": "serif",
"width": 8.746,
"textWidth": 8.105
},
{
"text": "we ",
"font": "serif",
"width": 3.058,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 6.105,
"textWidth": 5.501
},
{
"text": "a ",
"font": "serif",
"width": 1.538,
"textWidth": 0.935
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.189,
"textWidth": 5.585
},
{
"text": "attention ",
"font": "serif",
"width": 8.0,
"textWidth": 7.397
},
{
"text": "mechanism ",
"font": "serif",
"width": 10.077,
"textWidth": 9.473
},
{
"text": "combining ",
"font": "serif",
"width": 9.442,
"textWidth": 8.838
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.948,
"textWidth": 10.345
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.466,
"textWidth": 5.466
}
]
},
{
"left": 11.833,
"top": 53.713,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Attention ",
"font": "serif",
"width": 8.406,
"textWidth": 7.918
},
{
"text": "(CSA) ",
"font": "serif",
"width": 5.494,
"textWidth": 5.006
},
{
"text": "and ",
"font": "serif",
"width": 3.653,
"textWidth": 3.165
},
{
"text": "Heavily ",
"font": "serif",
"width": 7.056,
"textWidth": 6.569
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.831,
"textWidth": 10.343
},
{
"text": "Attention ",
"font": "serif",
"width": 8.406,
"textWidth": 7.918
},
{
"text": "(HCA). ",
"font": "serif",
"width": 6.535,
"textWidth": 6.047
},
{
"text": "CSA ",
"font": "serif",
"width": 4.249,
"textWidth": 3.761
},
{
"text": "compresses ",
"font": "serif",
"width": 9.987,
"textWidth": 9.5
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.195,
"textWidth": 2.707
},
{
"text": "caches ",
"font": "serif",
"width": 5.37,
"textWidth": 5.37
}
]
},
{
"left": 11.905,
"top": 55.322,
"width": 76.496,
"height": 1.296,
"words": [
{
"text": "along ",
"font": "serif",
"width": 4.919,
"textWidth": 4.463
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "sequence ",
"font": "serif",
"width": 7.76,
"textWidth": 7.303
},
{
"text": "dimension ",
"font": "serif",
"width": 8.914,
"textWidth": 8.456
},
{
"text": "and ",
"font": "serif",
"width": 3.509,
"textWidth": 3.053
},
{
"text": "then ",
"font": "serif",
"width": 4.009,
"textWidth": 3.551
},
{
"text": "performs ",
"font": "serif",
"width": 7.77,
"textWidth": 7.312
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.34,
"textWidth": 7.884
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.731,
"textWidth": 5.273
},
{
"text": "Attention ",
"font": "serif",
"width": 8.095,
"textWidth": 7.639
},
{
"text": "(DSA) ",
"font": "serif",
"width": 5.404,
"textWidth": 4.946
},
{
"text": "(DeepSeek- ",
"font": "serif",
"width": 9.085,
"textWidth": 9.085
}
]
},
{
"left": 11.833,
"top": 56.931,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "AI, ",
"font": "serif",
"width": 3.2,
"textWidth": 2.552
},
{
"text": "2025), ",
"font": "serif",
"width": 5.524,
"textWidth": 4.828
},
{
"text": "whereas ",
"font": "serif",
"width": 7.518,
"textWidth": 6.87
},
{
"text": "HCA ",
"font": "serif",
"width": 4.983,
"textWidth": 4.335
},
{
"text": "applies ",
"font": "serif",
"width": 6.606,
"textWidth": 5.957
},
{
"text": "more ",
"font": "serif",
"width": 4.92,
"textWidth": 4.271
},
{
"text": "aggressive ",
"font": "serif",
"width": 9.343,
"textWidth": 8.694
},
{
"text": "compression ",
"font": "serif",
"width": 11.111,
"textWidth": 10.462
},
{
"text": "to ",
"font": "serif",
"width": 2.279,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.241,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.353,
"textWidth": 2.707
},
{
"text": "caches ",
"font": "serif",
"width": 6.019,
"textWidth": 5.37
},
{
"text": "but ",
"font": "serif",
"width": 3.419,
"textWidth": 2.77
},
{
"text": "keeps ",
"font": "serif",
"width": 4.746,
"textWidth": 4.746
}
]
},
{
"left": 11.905,
"top": 58.541,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "dense ",
"font": "serif",
"width": 5.481,
"textWidth": 4.813
},
{
"text": "attention. ",
"font": "serif",
"width": 9.06,
"textWidth": 7.866
},
{
"text": "To ",
"font": "serif",
"width": 2.666,
"textWidth": 1.998
},
{
"text": "strengthen ",
"font": "serif",
"width": 9.477,
"textWidth": 8.81
},
{
"text": "modeling ",
"font": "serif",
"width": 8.591,
"textWidth": 7.924
},
{
"text": "capability, ",
"font": "serif",
"width": 9.12,
"textWidth": 8.4
},
{
"text": "we ",
"font": "serif",
"width": 3.122,
"textWidth": 2.454
},
{
"text": "incorporate ",
"font": "serif",
"width": 10.21,
"textWidth": 9.543
},
{
"text": "Manifold-Constrained ",
"font": "serif",
"width": 18.465,
"textWidth": 18.465
}
]
},
{
"left": 11.905,
"top": 60.15,
"width": 16.242,
"height": 1.296,
"words": [
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 16.242,
"textWidth": 16.242
}
]
},
{
"left": 29.289,
"top": 60.123,
"width": 1.454,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.454,
"textWidth": 1.454
}
]
},
{
"left": 30.743,
"top": 60.15,
"width": 57.672,
"height": 1.296,
"words": [
{
"text": "HC) ",
"font": "serif",
"width": 4.021,
"textWidth": 3.503
},
{
"text": "(Xie ",
"font": "serif",
"width": 3.826,
"textWidth": 3.309
},
{
"text": "et ",
"font": "serif",
"width": 2.023,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.933,
"textWidth": 2.413
},
{
"text": "2026) ",
"font": "serif",
"width": 4.879,
"textWidth": 4.361
},
{
"text": "that ",
"font": "serif",
"width": 3.759,
"textWidth": 3.241
},
{
"text": "upgrade ",
"font": "serif",
"width": 7.518,
"textWidth": 7.0
},
{
"text": "conventional ",
"font": "serif",
"width": 11.238,
"textWidth": 10.718
},
{
"text": "residual ",
"font": "serif",
"width": 7.202,
"textWidth": 6.684
},
{
"text": "connections. ",
"font": "serif",
"width": 10.273,
"textWidth": 10.273
}
]
},
{
"left": 11.833,
"top": 61.76,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Additionally, ",
"font": "serif",
"width": 11.563,
"textWidth": 10.87
},
{
"text": "we ",
"font": "serif",
"width": 3.101,
"textWidth": 2.454
},
{
"text": "introduce ",
"font": "serif",
"width": 8.608,
"textWidth": 7.961
},
{
"text": "the ",
"font": "serif",
"width": 3.239,
"textWidth": 2.593
},
{
"text": "Muon ",
"font": "serif",
"width": 5.651,
"textWidth": 5.004
},
{
"text": "(Jordan ",
"font": "serif",
"width": 6.782,
"textWidth": 6.135
},
{
"text": "et ",
"font": "serif",
"width": 2.152,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.06,
"textWidth": 2.413
},
{
"text": "2024; ",
"font": "serif",
"width": 4.853,
"textWidth": 4.206
},
{
"text": "Liu ",
"font": "serif",
"width": 3.46,
"textWidth": 2.813
},
{
"text": "et ",
"font": "serif",
"width": 2.15,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.06,
"textWidth": 2.413
},
{
"text": "2025) ",
"font": "serif",
"width": 5.008,
"textWidth": 4.361
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.707,
"textWidth": 8.06
},
{
"text": "to ",
"font": "serif",
"width": 2.277,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 63.369,
"width": 75.612,
"height": 1.296,
"words": [
{
"text": "training ",
"font": "serif",
"width": 6.914,
"textWidth": 6.456
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series, ",
"font": "serif",
"width": 5.483,
"textWidth": 5.025
},
{
"text": "leading ",
"font": "serif",
"width": 6.524,
"textWidth": 6.066
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "faster ",
"font": "serif",
"width": 4.961,
"textWidth": 4.503
},
{
"text": "convergence ",
"font": "serif",
"width": 10.598,
"textWidth": 10.14
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "improved ",
"font": "serif",
"width": 8.436,
"textWidth": 7.977
},
{
"text": "training ",
"font": "serif",
"width": 6.914,
"textWidth": 6.456
},
{
"text": "stability. ",
"font": "serif",
"width": 6.775,
"textWidth": 6.775
}
]
},
{
"left": 14.75,
"top": 65.783,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.442,
"textWidth": 1.985
},
{
"text": "enable ",
"font": "serif",
"width": 5.816,
"textWidth": 5.359
},
{
"text": "efficient ",
"font": "serif",
"width": 7.0,
"textWidth": 6.543
},
{
"text": "training ",
"font": "serif",
"width": 7.004,
"textWidth": 6.547
},
{
"text": "and ",
"font": "serif",
"width": 3.601,
"textWidth": 3.144
},
{
"text": "inference ",
"font": "serif",
"width": 7.976,
"textWidth": 7.52
},
{
"text": "for ",
"font": "serif",
"width": 2.825,
"textWidth": 2.367
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.471,
"textWidth": 11.014
},
{
"text": "series ",
"font": "serif",
"width": 5.088,
"textWidth": 4.631
},
{
"text": "as ",
"font": "serif",
"width": 2.174,
"textWidth": 1.717
},
{
"text": "well ",
"font": "serif",
"width": 3.979,
"textWidth": 3.521
},
{
"text": "as ",
"font": "serif",
"width": 2.172,
"textWidth": 1.717
},
{
"text": "productive ",
"font": "serif",
"width": 9.457,
"textWidth": 9.001
},
{
"text": "de- ",
"font": "serif",
"width": 2.644,
"textWidth": 2.644
}
]
},
{
"left": 11.853,
"top": 67.392,
"width": 76.241,
"height": 1.296,
"words": [
{
"text": "velopment, ",
"font": "serif",
"width": 9.604,
"textWidth": 9.148
},
{
"text": "we ",
"font": "serif",
"width": 2.855,
"textWidth": 2.401
},
{
"text": "introduce ",
"font": "serif",
"width": 8.245,
"textWidth": 7.789
},
{
"text": "several ",
"font": "serif",
"width": 6.184,
"textWidth": 5.73
},
{
"text": "infrastructure ",
"font": "serif",
"width": 11.555,
"textWidth": 11.102
},
{
"text": "optimizations. ",
"font": "serif",
"width": 12.194,
"textWidth": 11.627
},
{
"text": "First, ",
"font": "serif",
"width": 4.556,
"textWidth": 4.1
},
{
"text": "we ",
"font": "serif",
"width": 2.855,
"textWidth": 2.401
},
{
"text": "design ",
"font": "serif",
"width": 5.838,
"textWidth": 5.383
},
{
"text": "and ",
"font": "serif",
"width": 3.55,
"textWidth": 3.096
},
{
"text": "implement ",
"font": "serif",
"width": 8.806,
"textWidth": 8.806
}
]
},
{
"left": 11.905,
"top": 69.002,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.389,
"textWidth": 0.932
},
{
"text": "single ",
"font": "serif",
"width": 5.345,
"textWidth": 4.889
},
{
"text": "fused ",
"font": "serif",
"width": 5.023,
"textWidth": 4.566
},
{
"text": "kernel ",
"font": "serif",
"width": 5.642,
"textWidth": 5.185
},
{
"text": "for ",
"font": "serif",
"width": 2.831,
"textWidth": 2.374
},
{
"text": "MoE ",
"font": "serif",
"width": 4.376,
"textWidth": 3.92
},
{
"text": "modules ",
"font": "serif",
"width": 7.608,
"textWidth": 7.151
},
{
"text": "that ",
"font": "serif",
"width": 3.688,
"textWidth": 3.232
},
{
"text": "fully ",
"font": "serif",
"width": 4.322,
"textWidth": 3.865
},
{
"text": "overlaps ",
"font": "serif",
"width": 7.541,
"textWidth": 7.084
},
{
"text": "computation, ",
"font": "serif",
"width": 11.449,
"textWidth": 10.992
},
{
"text": "communication, ",
"font": "serif",
"width": 13.822,
"textWidth": 13.365
},
{
"text": "and ",
"font": "serif",
"width": 3.155,
"textWidth": 3.155
}
]
},
{
"left": 11.905,
"top": 70.611,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "memory ",
"font": "serif",
"width": 7.33,
"textWidth": 6.871
},
{
"text": "access. ",
"font": "serif",
"width": 6.019,
"textWidth": 5.445
},
{
"text": "Second, ",
"font": "serif",
"width": 6.77,
"textWidth": 6.311
},
{
"text": "we ",
"font": "serif",
"width": 2.872,
"textWidth": 2.411
},
{
"text": "employ ",
"font": "serif",
"width": 6.622,
"textWidth": 6.163
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.564,
"textWidth": 7.103
},
{
"text": "(Wang ",
"font": "serif",
"width": 5.746,
"textWidth": 5.287
},
{
"text": "et ",
"font": "serif",
"width": 1.939,
"textWidth": 1.478
},
{
"text": "al., ",
"font": "serif",
"width": 2.83,
"textWidth": 2.371
},
{
"text": "2026), ",
"font": "serif",
"width": 5.204,
"textWidth": 4.743
},
{
"text": "a ",
"font": "serif",
"width": 1.377,
"textWidth": 0.918
},
{
"text": "Domain-Specific ",
"font": "serif",
"width": 13.862,
"textWidth": 13.401
},
{
"text": "Language ",
"font": "serif",
"width": 8.056,
"textWidth": 8.056
}
]
},
{
"left": 11.844,
"top": 72.22,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "(DSL) ",
"font": "serif",
"width": 5.181,
"textWidth": 4.721
},
{
"text": "to ",
"font": "serif",
"width": 2.058,
"textWidth": 1.598
},
{
"text": "balance ",
"font": "serif",
"width": 6.599,
"textWidth": 6.137
},
{
"text": "development ",
"font": "serif",
"width": 11.166,
"textWidth": 10.706
},
{
"text": "productivity ",
"font": "serif",
"width": 10.607,
"textWidth": 10.147
},
{
"text": "and ",
"font": "serif",
"width": 3.563,
"textWidth": 3.103
},
{
"text": "runtime ",
"font": "serif",
"width": 6.968,
"textWidth": 6.508
},
{
"text": "efficiency. ",
"font": "serif",
"width": 8.518,
"textWidth": 7.943
},
{
"text": "Third, ",
"font": "serif",
"width": 5.454,
"textWidth": 4.992
},
{
"text": "we ",
"font": "serif",
"width": 2.866,
"textWidth": 2.406
},
{
"text": "provide ",
"font": "serif",
"width": 6.819,
"textWidth": 6.359
},
{
"text": "efficient ",
"font": "serif",
"width": 6.453,
"textWidth": 6.453
}
]
},
{
"left": 11.905,
"top": 73.83,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "batch-invariant ",
"font": "serif",
"width": 12.79,
"textWidth": 12.332
},
{
"text": "and ",
"font": "serif",
"width": 3.543,
"textWidth": 3.084
},
{
"text": "deterministic ",
"font": "serif",
"width": 11.063,
"textWidth": 10.605
},
{
"text": "kernel ",
"font": "serif",
"width": 5.527,
"textWidth": 5.068
},
{
"text": "libraries ",
"font": "serif",
"width": 7.05,
"textWidth": 6.592
},
{
"text": "to ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "ensure ",
"font": "serif",
"width": 5.82,
"textWidth": 5.361
},
{
"text": "bitwise ",
"font": "serif",
"width": 6.283,
"textWidth": 5.826
},
{
"text": "reproducibility ",
"font": "serif",
"width": 12.547,
"textWidth": 12.09
},
{
"text": "across ",
"font": "serif",
"width": 5.405,
"textWidth": 4.946
},
{
"text": "train- ",
"font": "serif",
"width": 4.421,
"textWidth": 4.421
}
]
},
{
"left": 11.905,
"top": 75.439,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.26,
"textWidth": 2.671
},
{
"text": "and ",
"font": "serif",
"width": 3.753,
"textWidth": 3.165
},
{
"text": "inference. ",
"font": "serif",
"width": 8.989,
"textWidth": 8.03
},
{
"text": "Fourth, ",
"font": "serif",
"width": 6.713,
"textWidth": 6.09
},
{
"text": "we ",
"font": "serif",
"width": 3.041,
"textWidth": 2.454
},
{
"text": "incorporate ",
"font": "serif",
"width": 10.131,
"textWidth": 9.543
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.692,
"textWidth": 3.103
},
{
"text": "quantization-aware ",
"font": "serif",
"width": 16.721,
"textWidth": 16.132
},
{
"text": "training ",
"font": "serif",
"width": 7.174,
"textWidth": 6.585
},
{
"text": "for ",
"font": "serif",
"width": 2.97,
"textWidth": 2.381
},
{
"text": "MoE ",
"font": "serif",
"width": 4.52,
"textWidth": 3.931
},
{
"text": "expert ",
"font": "serif",
"width": 5.226,
"textWidth": 5.226
}
]
},
{
"left": 11.828,
"top": 77.049,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "weights ",
"font": "serif",
"width": 7.002,
"textWidth": 6.527
},
{
"text": "and ",
"font": "serif",
"width": 3.639,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "indexer ",
"font": "serif",
"width": 6.742,
"textWidth": 6.268
},
{
"text": "QK ",
"font": "serif",
"width": 3.301,
"textWidth": 2.826
},
{
"text": "path ",
"font": "serif",
"width": 4.23,
"textWidth": 3.755
},
{
"text": "to ",
"font": "serif",
"width": 2.105,
"textWidth": 1.63
},
{
"text": "reduce ",
"font": "serif",
"width": 6.07,
"textWidth": 5.595
},
{
"text": "memory ",
"font": "serif",
"width": 7.47,
"textWidth": 6.995
},
{
"text": "and ",
"font": "serif",
"width": 3.639,
"textWidth": 3.165
},
{
"text": "computation. ",
"font": "serif",
"width": 11.644,
"textWidth": 11.025
},
{
"text": "Fifth, ",
"font": "serif",
"width": 4.849,
"textWidth": 4.37
},
{
"text": "for ",
"font": "serif",
"width": 2.856,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "training ",
"font": "serif",
"width": 6.585,
"textWidth": 6.585
}
]
},
{
"left": 11.905,
"top": 78.658,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "framework, ",
"font": "serif",
"width": 9.727,
"textWidth": 9.287
},
{
"text": "we ",
"font": "serif",
"width": 2.795,
"textWidth": 2.358
},
{
"text": "extend ",
"font": "serif",
"width": 5.812,
"textWidth": 5.375
},
{
"text": "the ",
"font": "serif",
"width": 2.926,
"textWidth": 2.491
},
{
"text": "autograd ",
"font": "serif",
"width": 7.687,
"textWidth": 7.25
},
{
"text": "framework ",
"font": "serif",
"width": 9.274,
"textWidth": 8.838
},
{
"text": "with ",
"font": "serif",
"width": 4.088,
"textWidth": 3.651
},
{
"text": "tensor-level ",
"font": "serif",
"width": 9.723,
"textWidth": 9.287
},
{
"text": "checkpointing ",
"font": "serif",
"width": 11.715,
"textWidth": 11.279
},
{
"text": "for ",
"font": "serif",
"width": 2.723,
"textWidth": 2.288
},
{
"text": "fine-grained ",
"font": "serif",
"width": 9.722,
"textWidth": 9.722
}
]
},
{
"left": 11.905,
"top": 80.267,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "recomputation ",
"font": "serif",
"width": 12.296,
"textWidth": 11.836
},
{
"text": "control; ",
"font": "serif",
"width": 6.579,
"textWidth": 6.116
},
{
"text": "and ",
"font": "serif",
"width": 3.539,
"textWidth": 3.081
},
{
"text": "we ",
"font": "serif",
"width": 2.85,
"textWidth": 2.389
},
{
"text": "enhance ",
"font": "serif",
"width": 7.099,
"textWidth": 6.639
},
{
"text": "training ",
"font": "serif",
"width": 6.872,
"textWidth": 6.411
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.093,
"textWidth": 7.634
},
{
"text": "with ",
"font": "serif",
"width": 4.16,
"textWidth": 3.7
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.91
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.898,
"textWidth": 5.438
},
{
"text": "ZeRO ",
"font": "serif",
"width": 5.19,
"textWidth": 4.731
},
{
"text": "strategy ",
"font": "serif",
"width": 6.942,
"textWidth": 6.482
},
{
"text": "for ",
"font": "serif",
"width": 2.779,
"textWidth": 2.318
},
{
"text": "the ",
"font": "serif",
"width": 2.524,
"textWidth": 2.524
}
]
},
{
"left": 11.905,
"top": 81.877,
"width": 24.159,
"height": 1.296,
"words": [
{
"text": "Muon ",
"font": "serif",
"width": 5.26,
"textWidth": 4.808
},
{
"text": "optimizer, ",
"font": "serif",
"width": 8.511,
"textWidth": 8.057
},
{
"text": "cost-effective ",
"font": "serif",
"width": 10.388,
"textWidth": 10.388
}
]
},
{
"left": 36.517,
"top": 81.849,
"width": 1.397,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.397,
"textWidth": 1.397
}
]
},
{
"left": 37.914,
"top": 81.877,
"width": 50.181,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.22,
"textWidth": 2.768
},
{
"text": "implementations ",
"font": "serif",
"width": 13.894,
"textWidth": 13.441
},
{
"text": "via ",
"font": "serif",
"width": 2.888,
"textWidth": 2.435
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.134,
"textWidth": 11.681
},
{
"text": "and ",
"font": "serif",
"width": 3.493,
"textWidth": 3.041
},
{
"text": "fused ",
"font": "serif",
"width": 4.853,
"textWidth": 4.4
},
{
"text": "kernels, ",
"font": "serif",
"width": 6.659,
"textWidth": 6.207
},
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 11.905,
"top": 83.486,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "two-stage ",
"font": "serif",
"width": 8.632,
"textWidth": 8.083
},
{
"text": "contextual ",
"font": "serif",
"width": 9.174,
"textWidth": 8.623
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.795,
"textWidth": 9.245
},
{
"text": "to ",
"font": "serif",
"width": 2.18,
"textWidth": 1.63
},
{
"text": "manage ",
"font": "serif",
"width": 7.094,
"textWidth": 6.542
},
{
"text": "compressed ",
"font": "serif",
"width": 10.397,
"textWidth": 9.847
},
{
"text": "attention. ",
"font": "serif",
"width": 8.711,
"textWidth": 7.866
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.57,
"textWidth": 5.997
},
{
"text": "for ",
"font": "serif",
"width": 2.931,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.142,
"textWidth": 2.593
},
{
"text": "inference ",
"font": "serif",
"width": 7.565,
"textWidth": 7.565
}
]
},
{
"left": 11.905,
"top": 85.095,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "framework, ",
"font": "serif",
"width": 10.096,
"textWidth": 9.638
},
{
"text": "we ",
"font": "serif",
"width": 2.906,
"textWidth": 2.447
},
{
"text": "design ",
"font": "serif",
"width": 5.945,
"textWidth": 5.485
},
{
"text": "a ",
"font": "serif",
"width": 1.39,
"textWidth": 0.932
},
{
"text": "heterogeneous ",
"font": "serif",
"width": 12.495,
"textWidth": 12.036
},
{
"text": "KV ",
"font": "serif",
"width": 3.157,
"textWidth": 2.699
},
{
"text": "cache ",
"font": "serif",
"width": 5.025,
"textWidth": 4.564
},
{
"text": "structure ",
"font": "serif",
"width": 7.856,
"textWidth": 7.397
},
{
"text": "with ",
"font": "serif",
"width": 4.248,
"textWidth": 3.789
},
{
"text": "on-disk ",
"font": "serif",
"width": 6.691,
"textWidth": 6.231
},
{
"text": "storage ",
"font": "serif",
"width": 6.471,
"textWidth": 6.013
},
{
"text": "strategies ",
"font": "serif",
"width": 8.286,
"textWidth": 7.828
},
{
"text": "to ",
"font": "serif",
"width": 1.625,
"textWidth": 1.625
}
]
},
{
"left": 11.905,
"top": 86.705,
"width": 28.682,
"height": 1.296,
"words": [
{
"text": "enable ",
"font": "serif",
"width": 5.743,
"textWidth": 5.285
},
{
"text": "efficient ",
"font": "serif",
"width": 6.911,
"textWidth": 6.453
},
{
"text": "shared-prefix ",
"font": "serif",
"width": 11.241,
"textWidth": 10.783
},
{
"text": "reuse. ",
"font": "serif",
"width": 4.787,
"textWidth": 4.787
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "4 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"5": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 14.75,
"top": 10.472,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "By ",
"font": "serif",
"width": 2.635,
"textWidth": 2.175
},
{
"text": "employing ",
"font": "serif",
"width": 9.377,
"textWidth": 8.918
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.029,
"textWidth": 5.569
},
{
"text": "CSA ",
"font": "serif",
"width": 4.21,
"textWidth": 3.75
},
{
"text": "and ",
"font": "serif",
"width": 3.614,
"textWidth": 3.155
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.248,
"textWidth": 4.788
},
{
"text": "along ",
"font": "serif",
"width": 5.073,
"textWidth": 4.613
},
{
"text": "with ",
"font": "serif",
"width": 4.248,
"textWidth": 3.787
},
{
"text": "precision ",
"font": "serif",
"width": 7.981,
"textWidth": 7.52
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.842,
"textWidth": 11.382
},
{
"text": "on ",
"font": "serif",
"width": 2.561,
"textWidth": 2.102
},
{
"text": "computation ",
"font": "serif",
"width": 10.527,
"textWidth": 10.527
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.473,
"textWidth": 3.041
},
{
"text": "storage, ",
"font": "serif",
"width": 6.681,
"textWidth": 6.243
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.077,
"textWidth": 10.645
},
{
"text": "series ",
"font": "serif",
"width": 4.908,
"textWidth": 4.476
},
{
"text": "achieve ",
"font": "serif",
"width": 6.433,
"textWidth": 5.999
},
{
"text": "significantly ",
"font": "serif",
"width": 10.217,
"textWidth": 9.783
},
{
"text": "lower ",
"font": "serif",
"width": 5.004,
"textWidth": 4.571
},
{
"text": "inference ",
"font": "serif",
"width": 7.699,
"textWidth": 7.265
},
{
"text": "FLOPs ",
"font": "serif",
"width": 5.787,
"textWidth": 5.354
},
{
"text": "and ",
"font": "serif",
"width": 3.473,
"textWidth": 3.041
},
{
"text": "a ",
"font": "serif",
"width": 1.331,
"textWidth": 0.898
},
{
"text": "substantially ",
"font": "serif",
"width": 10.178,
"textWidth": 10.178
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "reduced ",
"font": "serif",
"width": 7.077,
"textWidth": 6.618
},
{
"text": "KV ",
"font": "serif",
"width": 3.118,
"textWidth": 2.659
},
{
"text": "cache ",
"font": "serif",
"width": 4.954,
"textWidth": 4.497
},
{
"text": "size ",
"font": "serif",
"width": 3.57,
"textWidth": 3.111
},
{
"text": "compared ",
"font": "serif",
"width": 8.614,
"textWidth": 8.155
},
{
"text": "with ",
"font": "serif",
"width": 4.192,
"textWidth": 3.733
},
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 13.177,
"textWidth": 12.72
},
{
"text": "especially ",
"font": "serif",
"width": 8.458,
"textWidth": 7.999
},
{
"text": "in ",
"font": "serif",
"width": 2.062,
"textWidth": 1.603
},
{
"text": "long-context ",
"font": "serif",
"width": 10.608,
"textWidth": 10.149
},
{
"text": "settings. ",
"font": "serif",
"width": 7.286,
"textWidth": 6.717
},
{
"text": "The ",
"font": "serif",
"width": 3.074,
"textWidth": 3.074
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "right ",
"font": "serif",
"width": 4.262,
"textWidth": 3.861
},
{
"text": "part ",
"font": "serif",
"width": 3.675,
"textWidth": 3.272
},
{
"text": "of ",
"font": "serif",
"width": 1.979,
"textWidth": 1.579
},
{
"text": "Figure ",
"font": "serif",
"width": 5.541,
"textWidth": 5.14
},
{
"text": "1 ",
"font": "serif",
"width": 1.3,
"textWidth": 0.898
},
{
"text": "demonstrates ",
"font": "serif",
"width": 11.131,
"textWidth": 10.731
},
{
"text": "the ",
"font": "serif",
"width": 2.893,
"textWidth": 2.491
},
{
"text": "estimated ",
"font": "serif",
"width": 8.157,
"textWidth": 7.757
},
{
"text": "single-token ",
"font": "serif",
"width": 10.18,
"textWidth": 9.779
},
{
"text": "inference ",
"font": "serif",
"width": 7.667,
"textWidth": 7.266
},
{
"text": "FLOPs ",
"font": "serif",
"width": 5.756,
"textWidth": 5.354
},
{
"text": "and ",
"font": "serif",
"width": 3.441,
"textWidth": 3.041
},
{
"text": "accumulated ",
"font": "serif",
"width": 10.208,
"textWidth": 10.208
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.131,
"textWidth": 2.675
},
{
"text": "cache ",
"font": "serif",
"width": 4.982,
"textWidth": 4.524
},
{
"text": "size ",
"font": "serif",
"width": 3.586,
"textWidth": 3.129
},
{
"text": "of ",
"font": "serif",
"width": 2.082,
"textWidth": 1.624
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.791,
"textWidth": 12.334
},
{
"text": "and ",
"font": "serif",
"width": 3.586,
"textWidth": 3.127
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.405,
"textWidth": 10.949
},
{
"text": "series. ",
"font": "serif",
"width": 5.634,
"textWidth": 5.065
},
{
"text": "In ",
"font": "serif",
"width": 2.154,
"textWidth": 1.698
},
{
"text": "the ",
"font": "serif",
"width": 3.02,
"textWidth": 2.562
},
{
"text": "scenario ",
"font": "serif",
"width": 7.219,
"textWidth": 6.763
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.624
},
{
"text": "1M-token ",
"font": "serif",
"width": 8.342,
"textWidth": 7.884
},
{
"text": "context, ",
"font": "serif",
"width": 6.408,
"textWidth": 6.408
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.344,
"height": 1.296,
"words": [
{
"text": "even ",
"font": "serif",
"width": 4.395,
"textWidth": 3.935
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.483,
"textWidth": 15.023
},
{
"text": "which ",
"font": "serif",
"width": 5.569,
"textWidth": 5.109
},
{
"text": "has ",
"font": "serif",
"width": 3.275,
"textWidth": 2.815
},
{
"text": "a ",
"font": "serif",
"width": 1.394,
"textWidth": 0.935
},
{
"text": "larger ",
"font": "serif",
"width": 5.316,
"textWidth": 4.856
},
{
"text": "number ",
"font": "serif",
"width": 6.993,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "activated ",
"font": "serif",
"width": 8.014,
"textWidth": 7.554
},
{
"text": "parameters, ",
"font": "serif",
"width": 10.24,
"textWidth": 9.78
},
{
"text": "attains ",
"font": "serif",
"width": 5.972,
"textWidth": 5.512
},
{
"text": "only ",
"font": "serif",
"width": 4.152,
"textWidth": 3.692
},
{
"text": "27% ",
"font": "serif",
"width": 3.439,
"textWidth": 3.439
}
]
},
{
"left": 11.905,
"top": 20.129,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.333,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.281,
"textWidth": 2.593
},
{
"text": "single-token ",
"font": "serif",
"width": 10.868,
"textWidth": 10.178
},
{
"text": "FLOPs ",
"font": "serif",
"width": 6.26,
"textWidth": 5.572
},
{
"text": "(measured ",
"font": "serif",
"width": 9.455,
"textWidth": 8.765
},
{
"text": "in ",
"font": "serif",
"width": 2.322,
"textWidth": 1.632
},
{
"text": "equivalent ",
"font": "serif",
"width": 9.429,
"textWidth": 8.739
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.793,
"textWidth": 3.103
},
{
"text": "FLOPs) ",
"font": "serif",
"width": 6.883,
"textWidth": 6.195
},
{
"text": "and ",
"font": "serif",
"width": 3.854,
"textWidth": 3.165
},
{
"text": "10% ",
"font": "serif",
"width": 4.127,
"textWidth": 3.439
},
{
"text": "of ",
"font": "serif",
"width": 2.333,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.281,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.396,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 4.578,
"textWidth": 4.578
}
]
},
{
"left": 11.905,
"top": 21.738,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "size ",
"font": "serif",
"width": 3.625,
"textWidth": 3.167
},
{
"text": "relative ",
"font": "serif",
"width": 6.643,
"textWidth": 6.185
},
{
"text": "to ",
"font": "serif",
"width": 2.088,
"textWidth": 1.63
},
{
"text": "DeepSeek-V3.2. ",
"font": "serif",
"width": 13.519,
"textWidth": 12.948
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.434,
"textWidth": 10.974
},
{
"text": "DeepSeek-V4-Flash, ",
"font": "serif",
"width": 17.025,
"textWidth": 16.567
},
{
"text": "with ",
"font": "serif",
"width": 4.26,
"textWidth": 3.8
},
{
"text": "its ",
"font": "serif",
"width": 2.404,
"textWidth": 1.946
},
{
"text": "smaller ",
"font": "serif",
"width": 6.557,
"textWidth": 6.099
},
{
"text": "number ",
"font": "serif",
"width": 6.993,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "activated ",
"font": "serif",
"width": 7.699,
"textWidth": 7.259
},
{
"text": "parameters, ",
"font": "serif",
"width": 9.84,
"textWidth": 9.396
},
{
"text": "pushes ",
"font": "serif",
"width": 6.031,
"textWidth": 5.591
},
{
"text": "efficiency ",
"font": "serif",
"width": 7.974,
"textWidth": 7.534
},
{
"text": "even ",
"font": "serif",
"width": 4.221,
"textWidth": 3.78
},
{
"text": "further: ",
"font": "serif",
"width": 6.6,
"textWidth": 6.04
},
{
"text": "in ",
"font": "serif",
"width": 2.008,
"textWidth": 1.568
},
{
"text": "the ",
"font": "serif",
"width": 2.931,
"textWidth": 2.491
},
{
"text": "1M-token ",
"font": "serif",
"width": 8.105,
"textWidth": 7.665
},
{
"text": "context ",
"font": "serif",
"width": 6.221,
"textWidth": 5.781
},
{
"text": "setting, ",
"font": "serif",
"width": 6.252,
"textWidth": 5.808
},
{
"text": "it ",
"font": "serif",
"width": 1.548,
"textWidth": 1.108
},
{
"text": "achieves ",
"font": "serif",
"width": 6.76,
"textWidth": 6.76
}
]
},
{
"left": 11.905,
"top": 24.957,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "only ",
"font": "serif",
"width": 4.003,
"textWidth": 3.547
},
{
"text": "10% ",
"font": "serif",
"width": 3.759,
"textWidth": 3.305
},
{
"text": "of ",
"font": "serif",
"width": 2.035,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.947,
"textWidth": 2.491
},
{
"text": "single-token ",
"font": "serif",
"width": 10.233,
"textWidth": 9.777
},
{
"text": "FLOPs ",
"font": "serif",
"width": 5.81,
"textWidth": 5.354
},
{
"text": "and ",
"font": "serif",
"width": 3.495,
"textWidth": 3.041
},
{
"text": "7% ",
"font": "serif",
"width": 2.863,
"textWidth": 2.407
},
{
"text": "of ",
"font": "serif",
"width": 2.035,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.491
},
{
"text": "KV ",
"font": "serif",
"width": 3.057,
"textWidth": 2.601
},
{
"text": "cache ",
"font": "serif",
"width": 4.853,
"textWidth": 4.398
},
{
"text": "size ",
"font": "serif",
"width": 3.499,
"textWidth": 3.042
},
{
"text": "compared ",
"font": "serif",
"width": 8.43,
"textWidth": 7.976
},
{
"text": "with ",
"font": "serif",
"width": 4.107,
"textWidth": 3.651
},
{
"text": "DeepSeek-V3.2. ",
"font": "serif",
"width": 12.441,
"textWidth": 12.441
}
]
},
{
"left": 11.833,
"top": 26.566,
"width": 76.263,
"height": 1.296,
"words": [
{
"text": "Additionally, ",
"font": "serif",
"width": 10.993,
"textWidth": 10.534
},
{
"text": "for ",
"font": "serif",
"width": 2.768,
"textWidth": 2.309
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.201,
"textWidth": 10.742
},
{
"text": "series, ",
"font": "serif",
"width": 5.43,
"textWidth": 4.97
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.512
},
{
"text": "routed ",
"font": "serif",
"width": 5.791,
"textWidth": 5.33
},
{
"text": "expert ",
"font": "serif",
"width": 5.526,
"textWidth": 5.068
},
{
"text": "parameters ",
"font": "serif",
"width": 9.488,
"textWidth": 9.03
},
{
"text": "utilize ",
"font": "serif",
"width": 5.499,
"textWidth": 5.04
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.467,
"textWidth": 3.009
},
{
"text": "precision. ",
"font": "serif",
"width": 8.337,
"textWidth": 7.766
},
{
"text": "While ",
"font": "serif",
"width": 4.79,
"textWidth": 4.79
}
]
},
{
"left": 11.905,
"top": 28.176,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.23,
"textWidth": 2.593
},
{
"text": "peak ",
"font": "serif",
"width": 4.632,
"textWidth": 3.993
},
{
"text": "FLOPs ",
"font": "serif",
"width": 6.21,
"textWidth": 5.572
},
{
"text": "for ",
"font": "serif",
"width": 3.021,
"textWidth": 2.381
},
{
"text": "FP4 ",
"font": "serif",
"width": 5.545,
"textWidth": 3.103
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.74,
"textWidth": 3.103
},
{
"text": "operations ",
"font": "serif",
"width": 9.406,
"textWidth": 8.767
},
{
"text": "are ",
"font": "serif",
"width": 3.174,
"textWidth": 2.535
},
{
"text": "currently ",
"font": "serif",
"width": 8.215,
"textWidth": 7.576
},
{
"text": "the ",
"font": "serif",
"width": 3.23,
"textWidth": 2.591
},
{
"text": "same ",
"font": "serif",
"width": 4.911,
"textWidth": 4.273
},
{
"text": "as ",
"font": "serif",
"width": 2.366,
"textWidth": 1.727
},
{
"text": "FP8 ",
"font": "serif",
"width": 5.545,
"textWidth": 3.103
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.74,
"textWidth": 3.103
},
{
"text": "on ",
"font": "serif",
"width": 2.748,
"textWidth": 2.109
},
{
"text": "existing ",
"font": "serif",
"width": 6.477,
"textWidth": 6.477
}
]
},
{
"left": 11.905,
"top": 29.785,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "hardware, ",
"font": "serif",
"width": 8.838,
"textWidth": 8.381
},
{
"text": "they ",
"font": "serif",
"width": 4.068,
"textWidth": 3.611
},
{
"text": "can ",
"font": "serif",
"width": 3.293,
"textWidth": 2.836
},
{
"text": "theoretically ",
"font": "serif",
"width": 10.655,
"textWidth": 10.198
},
{
"text": "be ",
"font": "serif",
"width": 2.375,
"textWidth": 1.918
},
{
"text": "implemented ",
"font": "serif",
"width": 11.43,
"textWidth": 10.973
},
{
"text": "to ",
"font": "serif",
"width": 2.078,
"textWidth": 1.62
},
{
"text": "be ",
"font": "serif",
"width": 2.373,
"textWidth": 1.918
},
{
"text": "1 ",
"font": "serif",
"width": 1.773,
"textWidth": 0.929
},
{
"text": "3 ",
"font": "serif",
"width": 1.386,
"textWidth": 0.929
},
{
"text": "more ",
"font": "serif",
"width": 4.703,
"textWidth": 4.246
},
{
"text": "efficient ",
"font": "serif",
"width": 7.0,
"textWidth": 6.543
},
{
"text": "on ",
"font": "serif",
"width": 2.553,
"textWidth": 2.096
},
{
"text": "future ",
"font": "serif",
"width": 5.513,
"textWidth": 5.056
},
{
"text": "hardware, ",
"font": "serif",
"width": 8.381,
"textWidth": 8.381
}
]
},
{
"left": 11.828,
"top": 31.394,
"width": 51.92,
"height": 1.296,
"words": [
{
"text": "which ",
"font": "serif",
"width": 5.467,
"textWidth": 5.009
},
{
"text": "will ",
"font": "serif",
"width": 3.586,
"textWidth": 3.128
},
{
"text": "further ",
"font": "serif",
"width": 6.163,
"textWidth": 5.705
},
{
"text": "enhance ",
"font": "serif",
"width": 7.144,
"textWidth": 6.685
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.146,
"textWidth": 7.688
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series. ",
"font": "serif",
"width": 5.025,
"textWidth": 5.025
}
]
},
{
"left": 14.75,
"top": 33.808,
"width": 73.403,
"height": 1.296,
"words": [
{
"text": "During ",
"font": "serif",
"width": 6.108,
"textWidth": 5.749
},
{
"text": "pre-training, ",
"font": "serif",
"width": 10.37,
"textWidth": 9.991
},
{
"text": "we ",
"font": "serif",
"width": 2.717,
"textWidth": 2.358
},
{
"text": "train ",
"font": "serif",
"width": 4.12,
"textWidth": 3.761
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.828,
"textWidth": 15.469
},
{
"text": "on ",
"font": "serif",
"width": 2.385,
"textWidth": 2.026
},
{
"text": "32T ",
"font": "serif",
"width": 3.256,
"textWidth": 2.897
},
{
"text": "tokens ",
"font": "serif",
"width": 5.593,
"textWidth": 5.232
},
{
"text": "and ",
"font": "serif",
"width": 3.4,
"textWidth": 3.041
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.344,
"textWidth": 13.983
},
{
"text": "on ",
"font": "serif",
"width": 2.385,
"textWidth": 2.026
},
{
"text": "33T ",
"font": "serif",
"width": 2.897,
"textWidth": 2.897
}
]
},
{
"left": 11.905,
"top": 35.418,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tokens, ",
"font": "serif",
"width": 6.312,
"textWidth": 5.855
},
{
"text": "respectively. ",
"font": "serif",
"width": 10.658,
"textWidth": 10.091
},
{
"text": "After ",
"font": "serif",
"width": 4.735,
"textWidth": 4.278
},
{
"text": "pre-training, ",
"font": "serif",
"width": 10.752,
"textWidth": 10.297
},
{
"text": "these ",
"font": "serif",
"width": 4.696,
"textWidth": 4.239
},
{
"text": "two ",
"font": "serif",
"width": 3.613,
"textWidth": 3.158
},
{
"text": "models ",
"font": "serif",
"width": 6.443,
"textWidth": 5.986
},
{
"text": "can ",
"font": "serif",
"width": 3.28,
"textWidth": 2.825
},
{
"text": "natively ",
"font": "serif",
"width": 7.1,
"textWidth": 6.645
},
{
"text": "and ",
"font": "serif",
"width": 3.591,
"textWidth": 3.134
},
{
"text": "efficiently ",
"font": "serif",
"width": 8.54,
"textWidth": 8.085
},
{
"text": "support ",
"font": "serif",
"width": 6.471,
"textWidth": 6.471
}
]
},
{
"left": 11.813,
"top": 37.027,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "1M-length ",
"font": "serif",
"width": 9.137,
"textWidth": 8.589
},
{
"text": "contexts. ",
"font": "serif",
"width": 8.111,
"textWidth": 7.275
},
{
"text": "In ",
"font": "serif",
"width": 2.266,
"textWidth": 1.718
},
{
"text": "our ",
"font": "serif",
"width": 3.432,
"textWidth": 2.886
},
{
"text": "internal ",
"font": "serif",
"width": 6.989,
"textWidth": 6.441
},
{
"text": "evaluations, ",
"font": "serif",
"width": 10.582,
"textWidth": 10.014
},
{
"text": "DeepSeek-V4-Flash-Base ",
"font": "serif",
"width": 21.035,
"textWidth": 20.487
},
{
"text": "already ",
"font": "serif",
"width": 6.742,
"textWidth": 6.195
},
{
"text": "surpasses ",
"font": "serif",
"width": 7.989,
"textWidth": 7.989
}
]
},
{
"left": 11.905,
"top": 38.636,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V3.2-Base ",
"font": "serif",
"width": 17.014,
"textWidth": 16.554
},
{
"text": "across ",
"font": "serif",
"width": 5.443,
"textWidth": 4.981
},
{
"text": "a ",
"font": "serif",
"width": 1.38,
"textWidth": 0.917
},
{
"text": "majority ",
"font": "serif",
"width": 7.305,
"textWidth": 6.844
},
{
"text": "of ",
"font": "serif",
"width": 2.075,
"textWidth": 1.612
},
{
"text": "benchmarks ",
"font": "serif",
"width": 10.363,
"textWidth": 9.902
},
{
"text": "with ",
"font": "serif",
"width": 4.192,
"textWidth": 3.729
},
{
"text": "its ",
"font": "serif",
"width": 2.37,
"textWidth": 1.91
},
{
"text": "more ",
"font": "serif",
"width": 4.654,
"textWidth": 4.192
},
{
"text": "parameter-efficient ",
"font": "serif",
"width": 15.859,
"textWidth": 15.398
},
{
"text": "design. ",
"font": "serif",
"width": 5.857,
"textWidth": 5.857
}
]
},
{
"left": 11.905,
"top": 40.246,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro-Base ",
"font": "serif",
"width": 18.59,
"textWidth": 18.2
},
{
"text": "further ",
"font": "serif",
"width": 5.981,
"textWidth": 5.591
},
{
"text": "extends ",
"font": "serif",
"width": 6.527,
"textWidth": 6.137
},
{
"text": "this ",
"font": "serif",
"width": 3.305,
"textWidth": 2.915
},
{
"text": "advantage ",
"font": "serif",
"width": 8.685,
"textWidth": 8.296
},
{
"text": "to ",
"font": "serif",
"width": 1.956,
"textWidth": 1.566
},
{
"text": "set ",
"font": "serif",
"width": 2.597,
"textWidth": 2.207
},
{
"text": "a ",
"font": "serif",
"width": 1.288,
"textWidth": 0.898
},
{
"text": "new ",
"font": "serif",
"width": 3.793,
"textWidth": 3.403
},
{
"text": "performance ",
"font": "serif",
"width": 10.514,
"textWidth": 10.124
},
{
"text": "standard ",
"font": "serif",
"width": 7.448,
"textWidth": 7.058
},
{
"text": "among ",
"font": "serif",
"width": 5.508,
"textWidth": 5.508
}
]
},
{
"left": 11.905,
"top": 41.855,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.554,
"textWidth": 8.1
},
{
"text": "foundation ",
"font": "serif",
"width": 9.568,
"textWidth": 9.116
},
{
"text": "models, ",
"font": "serif",
"width": 6.911,
"textWidth": 6.455
},
{
"text": "achieving ",
"font": "serif",
"width": 8.4,
"textWidth": 7.948
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.927,
"textWidth": 12.473
},
{
"text": "superiority ",
"font": "serif",
"width": 9.545,
"textWidth": 9.092
},
{
"text": "across ",
"font": "serif",
"width": 5.484,
"textWidth": 5.03
},
{
"text": "reasoning, ",
"font": "serif",
"width": 8.953,
"textWidth": 8.499
},
{
"text": "coding, ",
"font": "serif",
"width": 6.077,
"textWidth": 6.077
}
]
},
{
"left": 11.905,
"top": 43.465,
"width": 34.015,
"height": 1.296,
"words": [
{
"text": "long-context, ",
"font": "serif",
"width": 11.045,
"textWidth": 10.587
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "world ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.5,
"textWidth": 9.042
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 14.75,
"top": 45.879,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.563,
"textWidth": 3.102
},
{
"text": "post-training ",
"font": "serif",
"width": 11.118,
"textWidth": 10.659
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.159,
"textWidth": 6.698
},
{
"text": "of ",
"font": "serif",
"width": 2.09,
"textWidth": 1.629
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.441,
"textWidth": 10.98
},
{
"text": "series ",
"font": "serif",
"width": 5.078,
"textWidth": 4.617
},
{
"text": "features ",
"font": "serif",
"width": 6.985,
"textWidth": 6.524
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.926
},
{
"text": "two-stage ",
"font": "serif",
"width": 8.473,
"textWidth": 8.011
},
{
"text": "paradigm: ",
"font": "serif",
"width": 9.071,
"textWidth": 8.499
},
{
"text": "the ",
"font": "serif",
"width": 3.031,
"textWidth": 2.57
},
{
"text": "inde- ",
"font": "serif",
"width": 4.254,
"textWidth": 4.254
}
]
},
{
"left": 11.85,
"top": 47.488,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "pendent ",
"font": "serif",
"width": 7.331,
"textWidth": 6.842
},
{
"text": "cultivation ",
"font": "serif",
"width": 9.397,
"textWidth": 8.907
},
{
"text": "of ",
"font": "serif",
"width": 2.133,
"textWidth": 1.643
},
{
"text": "domain-specific ",
"font": "serif",
"width": 13.638,
"textWidth": 13.148
},
{
"text": "experts, ",
"font": "serif",
"width": 6.984,
"textWidth": 6.486
},
{
"text": "followed ",
"font": "serif",
"width": 7.838,
"textWidth": 7.348
},
{
"text": "by ",
"font": "serif",
"width": 2.563,
"textWidth": 2.073
},
{
"text": "unified ",
"font": "serif",
"width": 6.417,
"textWidth": 5.927
},
{
"text": "model ",
"font": "serif",
"width": 5.742,
"textWidth": 5.253
},
{
"text": "consolidation ",
"font": "serif",
"width": 11.668,
"textWidth": 11.178
},
{
"text": "via ",
"font": "serif",
"width": 2.535,
"textWidth": 2.535
}
]
},
{
"left": 11.905,
"top": 49.097,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "on-policy ",
"font": "serif",
"width": 7.915,
"textWidth": 7.525
},
{
"text": "distillation ",
"font": "serif",
"width": 8.956,
"textWidth": 8.567
},
{
"text": "(Lu ",
"font": "serif",
"width": 3.168,
"textWidth": 2.778
},
{
"text": "and ",
"font": "serif",
"width": 3.43,
"textWidth": 3.041
},
{
"text": "Lab, ",
"font": "serif",
"width": 3.827,
"textWidth": 3.437
},
{
"text": "2025). ",
"font": "serif",
"width": 5.183,
"textWidth": 4.639
},
{
"text": "Initially, ",
"font": "serif",
"width": 6.873,
"textWidth": 6.469
},
{
"text": "for ",
"font": "serif",
"width": 2.678,
"textWidth": 2.288
},
{
"text": "each ",
"font": "serif",
"width": 3.989,
"textWidth": 3.601
},
{
"text": "target ",
"font": "serif",
"width": 4.995,
"textWidth": 4.605
},
{
"text": "domain ",
"font": "serif",
"width": 8.705,
"textWidth": 6.13
},
{
"text": "such ",
"font": "serif",
"width": 4.077,
"textWidth": 3.687
},
{
"text": "as ",
"font": "serif",
"width": 2.049,
"textWidth": 1.659
},
{
"text": "mathematics, ",
"font": "serif",
"width": 10.575,
"textWidth": 10.575
}
]
},
{
"left": 11.905,
"top": 50.707,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "coding, ",
"font": "serif",
"width": 6.578,
"textWidth": 6.119
},
{
"text": "agent, ",
"font": "serif",
"width": 5.485,
"textWidth": 5.024
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.157
},
{
"text": "instruction ",
"font": "serif",
"width": 9.418,
"textWidth": 8.959
},
{
"text": "following ",
"font": "serif",
"width": 10.75,
"textWidth": 7.966
},
{
"text": "a ",
"font": "serif",
"width": 1.392,
"textWidth": 0.933
},
{
"text": "separate ",
"font": "serif",
"width": 7.369,
"textWidth": 6.91
},
{
"text": "expert ",
"font": "serif",
"width": 5.675,
"textWidth": 5.216
},
{
"text": "model ",
"font": "serif",
"width": 5.703,
"textWidth": 5.242
},
{
"text": "is ",
"font": "serif",
"width": 1.793,
"textWidth": 1.332
},
{
"text": "trained ",
"font": "serif",
"width": 6.399,
"textWidth": 5.94
},
{
"text": "independently. ",
"font": "serif",
"width": 12.333,
"textWidth": 12.333
}
]
},
{
"left": 11.848,
"top": 52.316,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.51,
"textWidth": 3.049
},
{
"text": "base ",
"font": "serif",
"width": 4.024,
"textWidth": 3.563
},
{
"text": "model ",
"font": "serif",
"width": 5.578,
"textWidth": 5.119
},
{
"text": "first ",
"font": "serif",
"width": 3.649,
"textWidth": 3.188
},
{
"text": "undergoes ",
"font": "serif",
"width": 8.944,
"textWidth": 8.483
},
{
"text": "Supervised ",
"font": "serif",
"width": 9.52,
"textWidth": 9.059
},
{
"text": "Fine-Tuning ",
"font": "serif",
"width": 10.256,
"textWidth": 9.795
},
{
"text": "(SFT) ",
"font": "serif",
"width": 4.76,
"textWidth": 4.299
},
{
"text": "on ",
"font": "serif",
"width": 2.516,
"textWidth": 2.055
},
{
"text": "high-quality, ",
"font": "serif",
"width": 10.678,
"textWidth": 10.217
},
{
"text": "domain-specific ",
"font": "serif",
"width": 12.813,
"textWidth": 12.813
}
]
},
{
"left": 11.905,
"top": 53.926,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "data ",
"font": "serif",
"width": 4.094,
"textWidth": 3.621
},
{
"text": "to ",
"font": "serif",
"width": 2.105,
"textWidth": 1.63
},
{
"text": "establish ",
"font": "serif",
"width": 7.707,
"textWidth": 7.234
},
{
"text": "foundational ",
"font": "serif",
"width": 11.148,
"textWidth": 10.675
},
{
"text": "capabilities. ",
"font": "serif",
"width": 10.412,
"textWidth": 9.797
},
{
"text": "Subsequently, ",
"font": "serif",
"width": 11.92,
"textWidth": 11.444
},
{
"text": "Reinforcement ",
"font": "serif",
"width": 12.567,
"textWidth": 12.092
},
{
"text": "Learning ",
"font": "serif",
"width": 7.943,
"textWidth": 7.47
},
{
"text": "(RL) ",
"font": "serif",
"width": 4.109,
"textWidth": 3.636
},
{
"text": "is ",
"font": "serif",
"width": 1.809,
"textWidth": 1.337
},
{
"text": "ap- ",
"font": "serif",
"width": 2.681,
"textWidth": 2.681
}
]
},
{
"left": 11.85,
"top": 55.535,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "plied ",
"font": "serif",
"width": 4.737,
"textWidth": 4.249
},
{
"text": "using ",
"font": "serif",
"width": 5.079,
"textWidth": 4.591
},
{
"text": "Group ",
"font": "serif",
"width": 5.892,
"textWidth": 5.404
},
{
"text": "Relative ",
"font": "serif",
"width": 7.215,
"textWidth": 6.727
},
{
"text": "Policy ",
"font": "serif",
"width": 5.595,
"textWidth": 5.107
},
{
"text": "Optimization ",
"font": "serif",
"width": 11.561,
"textWidth": 11.072
},
{
"text": "(GRPO) ",
"font": "serif",
"width": 7.006,
"textWidth": 6.518
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.457,
"textWidth": 11.969
},
{
"text": "2025), ",
"font": "serif",
"width": 5.324,
"textWidth": 4.828
},
{
"text": "which ",
"font": "serif",
"width": 5.598,
"textWidth": 5.109
},
{
"text": "further ",
"font": "serif",
"width": 5.819,
"textWidth": 5.819
}
]
},
{
"left": 11.905,
"top": 57.144,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "optimizes ",
"font": "serif",
"width": 8.24,
"textWidth": 7.796
},
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "model ",
"font": "serif",
"width": 5.49,
"textWidth": 5.047
},
{
"text": "for ",
"font": "serif",
"width": 2.732,
"textWidth": 2.288
},
{
"text": "domain-aligned ",
"font": "serif",
"width": 13.118,
"textWidth": 12.672
},
{
"text": "behaviors ",
"font": "serif",
"width": 8.229,
"textWidth": 7.785
},
{
"text": "guided ",
"font": "serif",
"width": 6.104,
"textWidth": 5.659
},
{
"text": "by ",
"font": "serif",
"width": 2.435,
"textWidth": 1.992
},
{
"text": "reward ",
"font": "serif",
"width": 6.151,
"textWidth": 5.706
},
{
"text": "models ",
"font": "serif",
"width": 6.252,
"textWidth": 5.808
},
{
"text": "tailored ",
"font": "serif",
"width": 6.588,
"textWidth": 6.144
},
{
"text": "to ",
"font": "serif",
"width": 2.01,
"textWidth": 1.566
},
{
"text": "specific ",
"font": "serif",
"width": 5.905,
"textWidth": 5.905
}
]
},
{
"left": 11.905,
"top": 58.754,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "success ",
"font": "serif",
"width": 6.683,
"textWidth": 6.06
},
{
"text": "criteria. ",
"font": "serif",
"width": 7.361,
"textWidth": 6.301
},
{
"text": "This ",
"font": "serif",
"width": 4.193,
"textWidth": 3.57
},
{
"text": "phase ",
"font": "serif",
"width": 5.456,
"textWidth": 4.834
},
{
"text": "yields ",
"font": "serif",
"width": 5.58,
"textWidth": 4.957
},
{
"text": "a ",
"font": "serif",
"width": 1.557,
"textWidth": 0.935
},
{
"text": "diverse ",
"font": "serif",
"width": 6.686,
"textWidth": 6.064
},
{
"text": "set ",
"font": "serif",
"width": 2.92,
"textWidth": 2.297
},
{
"text": "of ",
"font": "serif",
"width": 2.266,
"textWidth": 1.643
},
{
"text": "specialized ",
"font": "serif",
"width": 9.802,
"textWidth": 9.18
},
{
"text": "experts, ",
"font": "serif",
"width": 7.15,
"textWidth": 6.486
},
{
"text": "each ",
"font": "serif",
"width": 4.37,
"textWidth": 3.748
},
{
"text": "excelling ",
"font": "serif",
"width": 7.967,
"textWidth": 7.344
},
{
"text": "in ",
"font": "serif",
"width": 2.254,
"textWidth": 1.632
},
{
"text": "its ",
"font": "serif",
"width": 1.946,
"textWidth": 1.946
}
]
},
{
"left": 11.905,
"top": 60.363,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "respective ",
"font": "serif",
"width": 8.466,
"textWidth": 8.019
},
{
"text": "field. ",
"font": "serif",
"width": 4.581,
"textWidth": 4.016
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.203,
"textWidth": 5.752
},
{
"text": "to ",
"font": "serif",
"width": 2.015,
"textWidth": 1.566
},
{
"text": "integrate ",
"font": "serif",
"width": 7.513,
"textWidth": 7.065
},
{
"text": "these ",
"font": "serif",
"width": 4.562,
"textWidth": 4.113
},
{
"text": "distinct ",
"font": "serif",
"width": 6.367,
"textWidth": 5.918
},
{
"text": "proficiencies, ",
"font": "serif",
"width": 10.889,
"textWidth": 10.438
},
{
"text": "a ",
"font": "serif",
"width": 1.347,
"textWidth": 0.898
},
{
"text": "single ",
"font": "serif",
"width": 5.158,
"textWidth": 4.711
},
{
"text": "unified ",
"font": "serif",
"width": 6.144,
"textWidth": 5.695
},
{
"text": "model ",
"font": "serif",
"width": 5.496,
"textWidth": 5.047
},
{
"text": "is ",
"font": "serif",
"width": 1.731,
"textWidth": 1.284
},
{
"text": "trained ",
"font": "serif",
"width": 5.718,
"textWidth": 5.718
}
]
},
{
"left": 11.905,
"top": 61.972,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "through ",
"font": "serif",
"width": 6.805,
"textWidth": 6.415
},
{
"text": "on-policy ",
"font": "serif",
"width": 7.915,
"textWidth": 7.525
},
{
"text": "distillation, ",
"font": "serif",
"width": 9.418,
"textWidth": 9.016
},
{
"text": "wherein ",
"font": "serif",
"width": 6.898,
"textWidth": 6.509
},
{
"text": "the ",
"font": "serif",
"width": 2.881,
"textWidth": 2.491
},
{
"text": "unified ",
"font": "serif",
"width": 6.085,
"textWidth": 5.695
},
{
"text": "model ",
"font": "serif",
"width": 5.436,
"textWidth": 5.047
},
{
"text": "acts ",
"font": "serif",
"width": 3.432,
"textWidth": 3.042
},
{
"text": "as ",
"font": "serif",
"width": 2.049,
"textWidth": 1.659
},
{
"text": "the ",
"font": "serif",
"width": 2.881,
"textWidth": 2.491
},
{
"text": "student ",
"font": "serif",
"width": 6.408,
"textWidth": 6.018
},
{
"text": "learning ",
"font": "serif",
"width": 6.992,
"textWidth": 6.602
},
{
"text": "to ",
"font": "serif",
"width": 1.956,
"textWidth": 1.566
},
{
"text": "optimize ",
"font": "serif",
"width": 7.035,
"textWidth": 7.035
}
]
},
{
"left": 11.905,
"top": 63.582,
"width": 32.674,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "reverse ",
"font": "serif",
"width": 6.319,
"textWidth": 5.861
},
{
"text": "KL ",
"font": "serif",
"width": 2.908,
"textWidth": 2.45
},
{
"text": "loss ",
"font": "serif",
"width": 3.546,
"textWidth": 3.088
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "teacher ",
"font": "serif",
"width": 6.332,
"textWidth": 5.874
},
{
"text": "models. ",
"font": "serif",
"width": 6.385,
"textWidth": 6.385
}
]
},
{
"left": 11.905,
"top": 65.975,
"width": 30.949,
"height": 1.296,
"words": [
{
"text": "Summary ",
"font": "serif-bold",
"width": 8.604,
"textWidth": 8.146
},
{
"text": "of ",
"font": "serif-bold",
"width": 2.19,
"textWidth": 1.732
},
{
"text": "Core ",
"font": "serif-bold",
"width": 4.429,
"textWidth": 3.971
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 9.519,
"textWidth": 9.06
},
{
"text": "Results ",
"font": "serif-bold",
"width": 6.207,
"textWidth": 6.207
}
]
},
{
"left": 16.486,
"top": 68.389,
"width": 9.556,
"height": 1.296,
"words": [
{
"text": "Knowledge ",
"font": "serif-bold",
"width": 9.556,
"textWidth": 9.556
}
]
},
{
"left": 27.062,
"top": 68.41,
"width": 61.337,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.122,
"textWidth": 1.664
},
{
"text": "assessments ",
"font": "serif",
"width": 10.177,
"textWidth": 9.721
},
{
"text": "of ",
"font": "serif",
"width": 2.05,
"textWidth": 1.592
},
{
"text": "broad ",
"font": "serif",
"width": 5.14,
"textWidth": 4.682
},
{
"text": "world ",
"font": "serif",
"width": 5.303,
"textWidth": 4.847
},
{
"text": "knowledge, ",
"font": "serif",
"width": 9.844,
"textWidth": 9.386
},
{
"text": "DeepSeek-V4-Pro-Max, ",
"font": "serif",
"width": 19.164,
"textWidth": 18.706
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.511
},
{
"text": "maxi- ",
"font": "serif",
"width": 4.568,
"textWidth": 4.568
}
]
},
{
"left": 16.486,
"top": 70.019,
"width": 71.913,
"height": 1.296,
"words": [
{
"text": "mum ",
"font": "serif",
"width": 4.757,
"textWidth": 4.298
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.326,
"textWidth": 7.867
},
{
"text": "effort ",
"font": "serif",
"width": 4.801,
"textWidth": 4.343
},
{
"text": "mode ",
"font": "serif",
"width": 5.029,
"textWidth": 4.57
},
{
"text": "of ",
"font": "serif",
"width": 2.052,
"textWidth": 1.595
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.04,
"textWidth": 14.581
},
{
"text": "significantly ",
"font": "serif",
"width": 10.341,
"textWidth": 9.884
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.494,
"textWidth": 10.035
},
{
"text": "leading ",
"font": "serif",
"width": 6.462,
"textWidth": 6.005
},
{
"text": "open- ",
"font": "serif",
"width": 4.61,
"textWidth": 4.61
}
]
},
{
"left": 16.486,
"top": 71.629,
"width": 71.793,
"height": 1.296,
"words": [
{
"text": "source ",
"font": "serif",
"width": 5.658,
"textWidth": 5.202
},
{
"text": "models ",
"font": "serif",
"width": 6.312,
"textWidth": 5.856
},
{
"text": "on ",
"font": "serif",
"width": 2.499,
"textWidth": 2.042
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.511
},
{
"text": "SimpleQA ",
"font": "serif",
"width": 8.849,
"textWidth": 8.39
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 7.963,
"textWidth": 7.505
},
{
"text": "2024d) ",
"font": "serif",
"width": 5.787,
"textWidth": 5.33
},
{
"text": "and ",
"font": "serif",
"width": 3.522,
"textWidth": 3.065
},
{
"text": "Chinese-SimpleQA ",
"font": "serif",
"width": 15.87,
"textWidth": 15.414
},
{
"text": "(He ",
"font": "serif",
"width": 3.433,
"textWidth": 2.977
},
{
"text": "et ",
"font": "serif",
"width": 1.914,
"textWidth": 1.458
},
{
"text": "al., ",
"font": "serif",
"width": 2.796,
"textWidth": 2.338
},
{
"text": "2024) ",
"font": "serif",
"width": 4.224,
"textWidth": 4.224
}
]
},
{
"left": 16.486,
"top": 73.238,
"width": 71.838,
"height": 1.296,
"words": [
{
"text": "benchmarks. ",
"font": "serif",
"width": 10.764,
"textWidth": 10.195
},
{
"text": "Regarding ",
"font": "serif",
"width": 8.796,
"textWidth": 8.338
},
{
"text": "educational ",
"font": "serif",
"width": 9.796,
"textWidth": 9.338
},
{
"text": "knowledge ",
"font": "serif",
"width": 11.627,
"textWidth": 8.906
},
{
"text": "evaluated ",
"font": "serif",
"width": 8.318,
"textWidth": 7.86
},
{
"text": "via ",
"font": "serif",
"width": 2.904,
"textWidth": 2.448
},
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 9.739,
"textWidth": 9.28
},
{
"text": "(Wang ",
"font": "serif",
"width": 5.652,
"textWidth": 5.193
},
{
"text": "et ",
"font": "serif",
"width": 1.912,
"textWidth": 1.453
},
{
"text": "al., ",
"font": "serif",
"width": 2.33,
"textWidth": 2.33
}
]
},
{
"left": 16.486,
"top": 74.847,
"width": 71.656,
"height": 1.296,
"words": [
{
"text": "2024b), ",
"font": "serif",
"width": 6.354,
"textWidth": 5.862
},
{
"text": "HLE ",
"font": "serif",
"width": 4.324,
"textWidth": 3.839
},
{
"text": "(Phan ",
"font": "serif",
"width": 5.346,
"textWidth": 4.862
},
{
"text": "et ",
"font": "serif",
"width": 1.989,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.897,
"textWidth": 2.413
},
{
"text": "2025), ",
"font": "serif",
"width": 5.32,
"textWidth": 4.828
},
{
"text": "and ",
"font": "serif",
"width": 3.649,
"textWidth": 3.165
},
{
"text": "GPQA ",
"font": "serif",
"width": 5.963,
"textWidth": 5.479
},
{
"text": "(Rein ",
"font": "serif",
"width": 4.883,
"textWidth": 4.398
},
{
"text": "et ",
"font": "serif",
"width": 1.989,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.899,
"textWidth": 2.413
},
{
"text": "2023) ",
"font": "serif",
"width": 7.199,
"textWidth": 4.361
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.846,
"textWidth": 18.846
}
]
},
{
"left": 16.486,
"top": 76.457,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "shows ",
"font": "serif",
"width": 5.877,
"textWidth": 5.253
},
{
"text": "a ",
"font": "serif",
"width": 1.557,
"textWidth": 0.935
},
{
"text": "marginal ",
"font": "serif",
"width": 8.064,
"textWidth": 7.44
},
{
"text": "lead ",
"font": "serif",
"width": 4.14,
"textWidth": 3.516
},
{
"text": "over ",
"font": "serif",
"width": 4.333,
"textWidth": 3.71
},
{
"text": "its ",
"font": "serif",
"width": 2.57,
"textWidth": 1.946
},
{
"text": "open-source ",
"font": "serif",
"width": 10.745,
"textWidth": 10.12
},
{
"text": "counterparts. ",
"font": "serif",
"width": 12.038,
"textWidth": 10.973
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.47,
"textWidth": 18.846
},
{
"text": "has ",
"font": "serif",
"width": 2.815,
"textWidth": 2.815
}
]
},
{
"left": 16.486,
"top": 78.066,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "significantly ",
"font": "serif",
"width": 10.508,
"textWidth": 10.054
},
{
"text": "closed ",
"font": "serif",
"width": 5.614,
"textWidth": 5.158
},
{
"text": "the ",
"font": "serif",
"width": 3.015,
"textWidth": 2.56
},
{
"text": "gap ",
"font": "serif",
"width": 3.512,
"textWidth": 3.058
},
{
"text": "with ",
"font": "serif",
"width": 4.208,
"textWidth": 3.752
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.56
},
{
"text": "leading ",
"font": "serif",
"width": 6.564,
"textWidth": 6.108
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.805,
"textWidth": 9.351
},
{
"text": "model, ",
"font": "serif",
"width": 6.103,
"textWidth": 5.647
},
{
"text": "Gemini-3.1-Pro, ",
"font": "serif",
"width": 13.341,
"textWidth": 12.885
},
{
"text": "despite ",
"font": "serif",
"width": 5.926,
"textWidth": 5.926
}
]
},
{
"left": 16.486,
"top": 79.676,
"width": 42.748,
"height": 1.296,
"words": [
{
"text": "still ",
"font": "serif",
"width": 3.432,
"textWidth": 2.974
},
{
"text": "trailing ",
"font": "serif",
"width": 6.381,
"textWidth": 5.923
},
{
"text": "it ",
"font": "serif",
"width": 1.589,
"textWidth": 1.131
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "these ",
"font": "serif",
"width": 4.655,
"textWidth": 4.197
},
{
"text": "knowledge-based ",
"font": "serif",
"width": 14.815,
"textWidth": 14.357
},
{
"text": "evaluations. ",
"font": "serif",
"width": 9.817,
"textWidth": 9.817
}
]
},
{
"left": 16.486,
"top": 81.264,
"width": 8.963,
"height": 1.296,
"words": [
{
"text": "Reasoning ",
"font": "serif-bold",
"width": 8.963,
"textWidth": 8.963
}
]
},
{
"left": 26.481,
"top": 81.285,
"width": 61.918,
"height": 1.296,
"words": [
{
"text": "Through ",
"font": "serif",
"width": 7.613,
"textWidth": 7.157
},
{
"text": "the ",
"font": "serif",
"width": 3.03,
"textWidth": 2.572
},
{
"text": "expansion ",
"font": "serif",
"width": 8.841,
"textWidth": 8.385
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.63
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.502,
"textWidth": 8.043
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.322,
"textWidth": 5.866
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.156,
"textWidth": 18.698
},
{
"text": "demon- ",
"font": "serif",
"width": 6.367,
"textWidth": 6.367
}
]
},
{
"left": 16.486,
"top": 82.894,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "strates ",
"font": "serif",
"width": 5.542,
"textWidth": 5.162
},
{
"text": "superior ",
"font": "serif",
"width": 7.087,
"textWidth": 6.706
},
{
"text": "performance ",
"font": "serif",
"width": 10.505,
"textWidth": 10.124
},
{
"text": "relative ",
"font": "serif",
"width": 6.322,
"textWidth": 5.941
},
{
"text": "to ",
"font": "serif",
"width": 1.947,
"textWidth": 1.566
},
{
"text": "GPT-5.2 ",
"font": "serif",
"width": 6.679,
"textWidth": 6.298
},
{
"text": "and ",
"font": "serif",
"width": 3.421,
"textWidth": 3.041
},
{
"text": "Gemini-3.0-Pro ",
"font": "serif",
"width": 12.471,
"textWidth": 12.09
},
{
"text": "on ",
"font": "serif",
"width": 2.407,
"textWidth": 2.026
},
{
"text": "standard ",
"font": "serif",
"width": 7.441,
"textWidth": 7.06
},
{
"text": "reasoning ",
"font": "serif",
"width": 7.787,
"textWidth": 7.787
}
]
},
{
"left": 16.486,
"top": 84.504,
"width": 71.913,
"height": 1.296,
"words": [
{
"text": "benchmarks. ",
"font": "serif",
"width": 10.839,
"textWidth": 10.268
},
{
"text": "Nevertheless, ",
"font": "serif",
"width": 11.375,
"textWidth": 10.915
},
{
"text": "its ",
"font": "serif",
"width": 2.351,
"textWidth": 1.892
},
{
"text": "performance ",
"font": "serif",
"width": 10.708,
"textWidth": 10.248
},
{
"text": "falls ",
"font": "serif",
"width": 3.801,
"textWidth": 3.343
},
{
"text": "marginally ",
"font": "serif",
"width": 9.235,
"textWidth": 8.775
},
{
"text": "short ",
"font": "serif",
"width": 4.59,
"textWidth": 4.132
},
{
"text": "of ",
"font": "serif",
"width": 2.058,
"textWidth": 1.598
},
{
"text": "GPT-5.4 ",
"font": "serif",
"width": 6.835,
"textWidth": 6.376
},
{
"text": "and ",
"font": "serif",
"width": 3.536,
"textWidth": 3.078
},
{
"text": "Gemini- ",
"font": "serif",
"width": 6.585,
"textWidth": 6.585
}
]
},
{
"left": 16.486,
"top": 86.113,
"width": 71.68,
"height": 1.296,
"words": [
{
"text": "3.1-Pro, ",
"font": "serif",
"width": 6.447,
"textWidth": 6.034
},
{
"text": "suggesting ",
"font": "serif",
"width": 9.018,
"textWidth": 8.615
},
{
"text": "a ",
"font": "serif",
"width": 1.3,
"textWidth": 0.898
},
{
"text": "developmental ",
"font": "serif",
"width": 12.315,
"textWidth": 11.913
},
{
"text": "trajectory ",
"font": "serif",
"width": 7.949,
"textWidth": 7.545
},
{
"text": "that ",
"font": "serif",
"width": 3.516,
"textWidth": 3.114
},
{
"text": "trails ",
"font": "serif",
"width": 4.402,
"textWidth": 4.0
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.15,
"textWidth": 11.747
},
{
"text": "frontier ",
"font": "serif",
"width": 6.381,
"textWidth": 5.979
},
{
"text": "models ",
"font": "serif",
"width": 6.21,
"textWidth": 5.808
},
{
"text": "by ",
"font": "serif",
"width": 1.992,
"textWidth": 1.992
}
]
},
{
"left": 16.486,
"top": 87.723,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "approximately ",
"font": "serif",
"width": 12.104,
"textWidth": 11.65
},
{
"text": "3 ",
"font": "serif",
"width": 1.356,
"textWidth": 0.901
},
{
"text": "to ",
"font": "serif",
"width": 2.027,
"textWidth": 1.571
},
{
"text": "6 ",
"font": "serif",
"width": 1.356,
"textWidth": 0.901
},
{
"text": "months. ",
"font": "serif",
"width": 7.04,
"textWidth": 6.473
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.03,
"textWidth": 10.575
},
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "serif",
"width": 20.106,
"textWidth": 19.65
},
{
"text": "achieves ",
"font": "serif",
"width": 7.236,
"textWidth": 6.781
},
{
"text": "comparable ",
"font": "serif",
"width": 9.353,
"textWidth": 9.353
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "5 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"6": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 31.069,
"top": 11.213,
"width": 5.972,
"height": 0.749,
"words": [
{
"text": "MTP ",
"font": "sans",
"width": 2.208,
"textWidth": 1.969
},
{
"text": "Modules ",
"font": "sans",
"width": 3.764,
"textWidth": 3.764
}
]
},
{
"left": 46.985,
"top": 11.209,
"width": 3.606,
"height": 0.673,
"words": [
{
"text": "MTP ",
"font": "sans-italic",
"width": 1.98,
"textWidth": 1.767
},
{
"text": "Loss ",
"font": "sans-italic",
"width": 1.627,
"textWidth": 1.627
}
]
},
{
"left": 30.612,
"top": 14.972,
"width": 6.882,
"height": 0.749,
"words": [
{
"text": "Prediction ",
"font": "sans",
"width": 4.632,
"textWidth": 4.388
},
{
"text": "Head ",
"font": "sans",
"width": 2.25,
"textWidth": 2.25
}
]
},
{
"left": 47.258,
"top": 14.974,
"width": 3.06,
"height": 0.673,
"words": [
{
"text": "LM ",
"font": "sans-italic",
"width": 1.434,
"textWidth": 1.213
},
{
"text": "Loss ",
"font": "sans-italic",
"width": 1.626,
"textWidth": 1.626
}
]
},
{
"left": 62.356,
"top": 19.163,
"width": 7.982,
"height": 0.749,
"words": [
{
"text": "Transformer ",
"font": "sans-bold",
"width": 5.602,
"textWidth": 5.363
},
{
"text": "Block ",
"font": "sans-bold",
"width": 2.38,
"textWidth": 2.38
}
]
},
{
"left": 50.66,
"top": 21.258,
"width": 7.617,
"height": 0.749,
"words": [
{
"text": "Post-Block ",
"font": "sans",
"width": 4.714,
"textWidth": 4.472
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.903,
"textWidth": 2.903
}
]
},
{
"left": 62.161,
"top": 24.775,
"width": 6.272,
"height": 0.749,
"words": [
{
"text": "DeepSeekMoE ",
"font": "sans",
"width": 6.272,
"textWidth": 6.272
}
]
},
{
"left": 30.685,
"top": 25.858,
"width": 6.747,
"height": 0.749,
"words": [
{
"text": "Residual ",
"font": "sans",
"width": 3.844,
"textWidth": 3.604
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.904,
"textWidth": 2.904
}
]
},
{
"left": 46.95,
"top": 28.459,
"width": 7.204,
"height": 0.749,
"words": [
{
"text": "Pre-Block ",
"font": "sans",
"width": 4.301,
"textWidth": 4.06
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.903,
"textWidth": 2.903
}
]
},
{
"left": 50.66,
"top": 31.734,
"width": 7.617,
"height": 0.749,
"words": [
{
"text": "Post-Block ",
"font": "sans",
"width": 4.714,
"textWidth": 4.472
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.903,
"textWidth": 2.903
}
]
},
{
"left": 63.106,
"top": 35.25,
"width": 4.383,
"height": 0.749,
"words": [
{
"text": "CSA ",
"font": "sans",
"width": 2.545,
"textWidth": 1.66
},
{
"text": "HCA ",
"font": "sans",
"width": 1.838,
"textWidth": 1.838
}
]
},
{
"left": 30.685,
"top": 36.333,
"width": 6.747,
"height": 0.749,
"words": [
{
"text": "Residual ",
"font": "sans",
"width": 3.844,
"textWidth": 3.604
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.904,
"textWidth": 2.904
}
]
},
{
"left": 46.95,
"top": 38.934,
"width": 7.204,
"height": 0.749,
"words": [
{
"text": "Pre-Block ",
"font": "sans",
"width": 4.301,
"textWidth": 4.06
},
{
"text": "Mixing ",
"font": "sans",
"width": 2.903,
"textWidth": 2.903
}
]
},
{
"left": 31.629,
"top": 41.638,
"width": 4.864,
"height": 0.749,
"words": [
{
"text": "Embedding ",
"font": "sans",
"width": 4.864,
"textWidth": 4.864
}
]
},
{
"left": 31.607,
"top": 44.193,
"width": 4.908,
"height": 0.673,
"words": [
{
"text": "Input ",
"font": "sans",
"width": 2.278,
"textWidth": 2.063
},
{
"text": "Tokens ",
"font": "sans",
"width": 2.631,
"textWidth": 2.631
}
]
},
{
"left": 11.905,
"top": 46.399,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.684,
"textWidth": 5.224
},
{
"text": "2 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.913
},
{
"text": "Overall ",
"font": "serif",
"width": 6.496,
"textWidth": 6.036
},
{
"text": "architecture ",
"font": "serif",
"width": 10.001,
"textWidth": 9.541
},
{
"text": "of ",
"font": "serif",
"width": 2.064,
"textWidth": 1.604
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.277,
"textWidth": 10.818
},
{
"text": "series. ",
"font": "serif",
"width": 5.578,
"textWidth": 5.005
},
{
"text": "We ",
"font": "serif",
"width": 2.99,
"textWidth": 2.53
},
{
"text": "use ",
"font": "serif",
"width": 3.209,
"textWidth": 2.749
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.912,
"textWidth": 5.454
},
{
"text": "CSA ",
"font": "serif",
"width": 4.132,
"textWidth": 3.672
},
{
"text": "(Compressed ",
"font": "serif",
"width": 11.167,
"textWidth": 10.707
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.337,
"textWidth": 5.337
}
]
},
{
"left": 11.833,
"top": 48.009,
"width": 76.298,
"height": 1.296,
"words": [
{
"text": "Attention) ",
"font": "serif",
"width": 8.99,
"textWidth": 8.532
},
{
"text": "and ",
"font": "serif",
"width": 3.619,
"textWidth": 3.162
},
{
"text": "HCA ",
"font": "serif",
"width": 4.788,
"textWidth": 4.331
},
{
"text": "(Heavily ",
"font": "serif",
"width": 7.642,
"textWidth": 7.184
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.792,
"textWidth": 10.334
},
{
"text": "Attention) ",
"font": "serif",
"width": 8.99,
"textWidth": 8.532
},
{
"text": "for ",
"font": "serif",
"width": 2.837,
"textWidth": 2.379
},
{
"text": "attention ",
"font": "serif",
"width": 7.849,
"textWidth": 7.391
},
{
"text": "layers, ",
"font": "serif",
"width": 5.864,
"textWidth": 5.406
},
{
"text": "DeepSeekMoE ",
"font": "serif",
"width": 12.549,
"textWidth": 12.092
},
{
"text": "for ",
"font": "serif",
"width": 2.379,
"textWidth": 2.379
}
]
},
{
"left": 11.905,
"top": 49.618,
"width": 61.339,
"height": 1.296,
"words": [
{
"text": "feed-forward ",
"font": "serif",
"width": 11.144,
"textWidth": 10.686
},
{
"text": "layers, ",
"font": "serif",
"width": 5.764,
"textWidth": 5.305
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "strengthen ",
"font": "serif",
"width": 9.095,
"textWidth": 8.637
},
{
"text": "conventional ",
"font": "serif",
"width": 10.966,
"textWidth": 10.508
},
{
"text": "residual ",
"font": "serif",
"width": 7.012,
"textWidth": 6.553
},
{
"text": "connections ",
"font": "serif",
"width": 10.072,
"textWidth": 9.614
},
{
"text": "with ",
"font": "serif",
"width": 3.726,
"textWidth": 3.726
}
]
},
{
"left": 73.702,
"top": 49.591,
"width": 1.426,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.426,
"textWidth": 1.426
}
]
},
{
"left": 75.128,
"top": 49.618,
"width": 3.282,
"height": 1.296,
"words": [
{
"text": "HC. ",
"font": "serif",
"width": 3.282,
"textWidth": 3.282
}
]
},
{
"left": 16.431,
"top": 53.77,
"width": 71.663,
"height": 1.296,
"words": [
{
"text": "performance ",
"font": "serif",
"width": 10.904,
"textWidth": 10.444
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "GPT-5.2 ",
"font": "serif",
"width": 6.961,
"textWidth": 6.501
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.137
},
{
"text": "Gemini-3.0-Pro, ",
"font": "serif",
"width": 13.396,
"textWidth": 12.936
},
{
"text": "establishing ",
"font": "serif",
"width": 10.275,
"textWidth": 9.818
},
{
"text": "itself ",
"font": "serif",
"width": 4.432,
"textWidth": 3.972
},
{
"text": "as ",
"font": "serif",
"width": 2.171,
"textWidth": 1.712
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.926
},
{
"text": "highly ",
"font": "serif",
"width": 5.753,
"textWidth": 5.295
},
{
"text": "cost-effective ",
"font": "serif",
"width": 10.716,
"textWidth": 10.716
}
]
},
{
"left": 16.486,
"top": 55.379,
"width": 33.132,
"height": 1.296,
"words": [
{
"text": "architecture ",
"font": "serif",
"width": 10.039,
"textWidth": 9.581
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "complex ",
"font": "serif",
"width": 7.349,
"textWidth": 6.891
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 16.415,
"top": 56.968,
"width": 5.03,
"height": 1.296,
"words": [
{
"text": "Agent ",
"font": "serif-bold",
"width": 5.03,
"textWidth": 5.03
}
]
},
{
"left": 22.464,
"top": 56.988,
"width": 65.631,
"height": 1.296,
"words": [
{
"text": "On ",
"font": "serif",
"width": 2.935,
"textWidth": 2.477
},
{
"text": "public ",
"font": "serif",
"width": 5.495,
"textWidth": 5.039
},
{
"text": "benchmarks, ",
"font": "serif",
"width": 10.684,
"textWidth": 10.226
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.711,
"textWidth": 18.253
},
{
"text": "is ",
"font": "serif",
"width": 1.751,
"textWidth": 1.295
},
{
"text": "on ",
"font": "serif",
"width": 2.499,
"textWidth": 2.042
},
{
"text": "par ",
"font": "serif",
"width": 3.167,
"textWidth": 2.709
},
{
"text": "with ",
"font": "serif",
"width": 4.137,
"textWidth": 3.681
},
{
"text": "leading ",
"font": "serif",
"width": 6.449,
"textWidth": 5.993
},
{
"text": "open-source ",
"font": "serif",
"width": 9.803,
"textWidth": 9.803
}
]
},
{
"left": 16.486,
"top": 58.598,
"width": 71.929,
"height": 1.296,
"words": [
{
"text": "models, ",
"font": "serif",
"width": 6.908,
"textWidth": 6.449
},
{
"text": "such ",
"font": "serif",
"width": 4.261,
"textWidth": 3.8
},
{
"text": "as ",
"font": "serif",
"width": 2.169,
"textWidth": 1.71
},
{
"text": "Kimi-K2.6 ",
"font": "serif",
"width": 8.788,
"textWidth": 8.329
},
{
"text": "and ",
"font": "serif",
"width": 3.593,
"textWidth": 3.134
},
{
"text": "GLM-5.1, ",
"font": "serif",
"width": 8.148,
"textWidth": 7.687
},
{
"text": "but ",
"font": "serif",
"width": 3.202,
"textWidth": 2.743
},
{
"text": "slightly ",
"font": "serif",
"width": 6.599,
"textWidth": 6.14
},
{
"text": "worse ",
"font": "serif",
"width": 5.416,
"textWidth": 4.957
},
{
"text": "than ",
"font": "serif",
"width": 4.144,
"textWidth": 3.683
},
{
"text": "frontier ",
"font": "serif",
"width": 6.621,
"textWidth": 6.162
},
{
"text": "closed ",
"font": "serif",
"width": 5.632,
"textWidth": 5.173
},
{
"text": "models. ",
"font": "serif",
"width": 6.449,
"textWidth": 6.449
}
]
},
{
"left": 16.486,
"top": 60.207,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.271,
"textWidth": 1.718
},
{
"text": "our ",
"font": "serif",
"width": 3.439,
"textWidth": 2.886
},
{
"text": "internal ",
"font": "serif",
"width": 6.995,
"textWidth": 6.441
},
{
"text": "evaluation, ",
"font": "serif",
"width": 9.799,
"textWidth": 9.221
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.399,
"textWidth": 18.846
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.892,
"textWidth": 10.339
},
{
"text": "Claude ",
"font": "serif",
"width": 6.522,
"textWidth": 5.969
},
{
"text": "Sonnet ",
"font": "serif",
"width": 6.238,
"textWidth": 5.683
},
{
"text": "4.5 ",
"font": "serif",
"width": 2.89,
"textWidth": 2.337
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 16.486,
"top": 61.816,
"width": 26.736,
"height": 1.296,
"words": [
{
"text": "approaches ",
"font": "serif",
"width": 9.72,
"textWidth": 9.262
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "level ",
"font": "serif",
"width": 4.316,
"textWidth": 3.858
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "Opus ",
"font": "serif",
"width": 4.882,
"textWidth": 4.424
},
{
"text": "4.5. ",
"font": "serif",
"width": 2.749,
"textWidth": 2.749
}
]
},
{
"left": 16.486,
"top": 63.405,
"width": 11.631,
"height": 1.296,
"words": [
{
"text": "Long-Context ",
"font": "serif-bold",
"width": 11.631,
"textWidth": 11.631
}
]
},
{
"left": 29.24,
"top": 63.426,
"width": 58.856,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.349,
"textWidth": 18.846
},
{
"text": "delivers ",
"font": "serif",
"width": 7.109,
"textWidth": 6.608
},
{
"text": "strong ",
"font": "serif",
"width": 5.757,
"textWidth": 5.256
},
{
"text": "results ",
"font": "serif",
"width": 5.969,
"textWidth": 5.466
},
{
"text": "on ",
"font": "serif",
"width": 2.611,
"textWidth": 2.109
},
{
"text": "synthetic ",
"font": "serif",
"width": 7.997,
"textWidth": 7.496
},
{
"text": "and ",
"font": "serif",
"width": 3.667,
"textWidth": 3.165
},
{
"text": "real ",
"font": "serif",
"width": 3.582,
"textWidth": 3.079
},
{
"text": "use ",
"font": "serif",
"width": 2.815,
"textWidth": 2.815
}
]
},
{
"left": 16.486,
"top": 65.035,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "cases ",
"font": "serif",
"width": 4.481,
"textWidth": 4.079
},
{
"text": "with ",
"font": "serif",
"width": 4.053,
"textWidth": 3.651
},
{
"text": "a ",
"font": "serif",
"width": 1.302,
"textWidth": 0.898
},
{
"text": "1-million-token ",
"font": "serif",
"width": 12.669,
"textWidth": 12.266
},
{
"text": "context ",
"font": "serif",
"width": 6.183,
"textWidth": 5.781
},
{
"text": "window, ",
"font": "serif",
"width": 7.336,
"textWidth": 6.922
},
{
"text": "surpassing ",
"font": "serif",
"width": 9.023,
"textWidth": 8.621
},
{
"text": "even ",
"font": "serif",
"width": 4.183,
"textWidth": 3.78
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.493,
"textWidth": 12.09
},
{
"text": "on ",
"font": "serif",
"width": 2.428,
"textWidth": 2.026
},
{
"text": "academic ",
"font": "serif",
"width": 7.457,
"textWidth": 7.457
}
]
},
{
"left": 16.486,
"top": 66.644,
"width": 10.351,
"height": 1.296,
"words": [
{
"text": "benchmarks. ",
"font": "serif",
"width": 10.351,
"textWidth": 10.351
}
]
},
{
"left": 16.486,
"top": 68.233,
"width": 35.189,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif-bold",
"width": 15.447,
"textWidth": 14.995
},
{
"text": "v.s. ",
"font": "serif-bold",
"width": 3.116,
"textWidth": 2.551
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif-bold",
"width": 16.626,
"textWidth": 16.626
}
]
},
{
"left": 52.698,
"top": 68.254,
"width": 35.701,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "serif",
"width": 20.482,
"textWidth": 20.03
},
{
"text": "exhibits ",
"font": "serif",
"width": 6.809,
"textWidth": 6.357
},
{
"text": "lower ",
"font": "serif",
"width": 5.123,
"textWidth": 4.673
},
{
"text": "per- ",
"font": "serif",
"width": 3.287,
"textWidth": 3.287
}
]
},
{
"left": 16.486,
"top": 69.863,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "formance ",
"font": "serif",
"width": 8.483,
"textWidth": 7.78
},
{
"text": "in ",
"font": "serif",
"width": 2.337,
"textWidth": 1.632
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.926,
"textWidth": 9.223
},
{
"text": "evaluations ",
"font": "serif",
"width": 10.249,
"textWidth": 9.546
},
{
"text": "due ",
"font": "serif",
"width": 3.868,
"textWidth": 3.165
},
{
"text": "to ",
"font": "serif",
"width": 2.335,
"textWidth": 1.63
},
{
"text": "its ",
"font": "serif",
"width": 2.649,
"textWidth": 1.946
},
{
"text": "smaller ",
"font": "serif",
"width": 6.802,
"textWidth": 6.099
},
{
"text": "parameter ",
"font": "serif",
"width": 9.225,
"textWidth": 8.52
},
{
"text": "scale. ",
"font": "serif",
"width": 5.767,
"textWidth": 4.464
},
{
"text": "However, ",
"font": "serif",
"width": 8.817,
"textWidth": 8.053
},
{
"text": "it ",
"font": "serif",
"width": 1.153,
"textWidth": 1.153
}
]
},
{
"left": 16.486,
"top": 71.473,
"width": 71.912,
"height": 1.296,
"words": [
{
"text": "achieves ",
"font": "serif",
"width": 7.625,
"textWidth": 7.036
},
{
"text": "comparable ",
"font": "serif",
"width": 10.294,
"textWidth": 9.705
},
{
"text": "results ",
"font": "serif",
"width": 6.056,
"textWidth": 5.468
},
{
"text": "on ",
"font": "serif",
"width": 2.697,
"textWidth": 2.109
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.696,
"textWidth": 8.107
},
{
"text": "tasks ",
"font": "serif",
"width": 4.757,
"textWidth": 4.168
},
{
"text": "when ",
"font": "serif",
"width": 5.221,
"textWidth": 4.63
},
{
"text": "allocated ",
"font": "serif",
"width": 8.043,
"textWidth": 7.455
},
{
"text": "a ",
"font": "serif",
"width": 1.523,
"textWidth": 0.935
},
{
"text": "larger ",
"font": "serif",
"width": 5.445,
"textWidth": 4.856
},
{
"text": "thinking ",
"font": "serif",
"width": 7.628,
"textWidth": 7.04
},
{
"text": "bud- ",
"font": "serif",
"width": 3.925,
"textWidth": 3.925
}
]
},
{
"left": 16.486,
"top": 73.082,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "get. ",
"font": "serif",
"width": 3.972,
"textWidth": 3.011
},
{
"text": "In ",
"font": "serif",
"width": 2.307,
"textWidth": 1.718
},
{
"text": "agent ",
"font": "serif",
"width": 5.155,
"textWidth": 4.567
},
{
"text": "evaluations, ",
"font": "serif",
"width": 10.636,
"textWidth": 10.014
},
{
"text": "while ",
"font": "serif",
"width": 5.219,
"textWidth": 4.63
},
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "serif",
"width": 20.979,
"textWidth": 20.39
},
{
"text": "matches ",
"font": "serif",
"width": 7.389,
"textWidth": 6.8
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.593
},
{
"text": "performance ",
"font": "serif",
"width": 11.126,
"textWidth": 10.535
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 16.486,
"top": 74.691,
"width": 71.608,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.747,
"textWidth": 18.292
},
{
"text": "on ",
"font": "serif",
"width": 2.502,
"textWidth": 2.047
},
{
"text": "several ",
"font": "serif",
"width": 6.14,
"textWidth": 5.684
},
{
"text": "benchmarks, ",
"font": "serif",
"width": 10.704,
"textWidth": 10.247
},
{
"text": "it ",
"font": "serif",
"width": 1.575,
"textWidth": 1.119
},
{
"text": "still ",
"font": "serif",
"width": 3.4,
"textWidth": 2.945
},
{
"text": "trails ",
"font": "serif",
"width": 4.496,
"textWidth": 4.04
},
{
"text": "its ",
"font": "serif",
"width": 2.344,
"textWidth": 1.889
},
{
"text": "larger ",
"font": "serif",
"width": 5.169,
"textWidth": 4.714
},
{
"text": "counterpart ",
"font": "serif",
"width": 9.884,
"textWidth": 9.429
},
{
"text": "on ",
"font": "serif",
"width": 2.504,
"textWidth": 2.047
},
{
"text": "more ",
"font": "serif",
"width": 4.144,
"textWidth": 4.144
}
]
},
{
"left": 16.486,
"top": 76.301,
"width": 24.513,
"height": 1.296,
"words": [
{
"text": "complex, ",
"font": "serif",
"width": 7.807,
"textWidth": 7.349
},
{
"text": "high-difficulty ",
"font": "serif",
"width": 12.161,
"textWidth": 11.703
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 11.905,
"top": 80.387,
"width": 15.045,
"height": 1.538,
"words": [
{
"text": "2. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "Architecture ",
"font": "serif-bold",
"width": 12.325,
"textWidth": 12.325
}
]
},
{
"left": 11.905,
"top": 83.591,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "Overall, ",
"font": "serif",
"width": 6.837,
"textWidth": 6.388
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.092,
"textWidth": 10.645
},
{
"text": "series ",
"font": "serif",
"width": 4.923,
"textWidth": 4.476
},
{
"text": "retain ",
"font": "serif",
"width": 5.036,
"textWidth": 4.589
},
{
"text": "the ",
"font": "serif",
"width": 2.938,
"textWidth": 2.491
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.242,
"textWidth": 9.793
},
{
"text": "(Vaswani ",
"font": "serif",
"width": 7.796,
"textWidth": 7.349
},
{
"text": "et ",
"font": "serif",
"width": 1.893,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.766,
"textWidth": 2.319
},
{
"text": "2017) ",
"font": "serif",
"width": 4.637,
"textWidth": 4.19
},
{
"text": "architecture ",
"font": "serif",
"width": 9.836,
"textWidth": 9.387
},
{
"text": "and ",
"font": "serif",
"width": 3.488,
"textWidth": 3.041
},
{
"text": "Multi- ",
"font": "serif",
"width": 5.011,
"textWidth": 5.011
}
]
},
{
"left": 11.848,
"top": 85.2,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "Token ",
"font": "serif",
"width": 5.389,
"textWidth": 4.929
},
{
"text": "Prediction ",
"font": "serif",
"width": 8.816,
"textWidth": 8.357
},
{
"text": "(MTP) ",
"font": "serif",
"width": 5.654,
"textWidth": 5.195
},
{
"text": "modules ",
"font": "serif",
"width": 7.507,
"textWidth": 7.046
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.217,
"textWidth": 11.758
},
{
"text": "2024; ",
"font": "serif",
"width": 4.593,
"textWidth": 4.132
},
{
"text": "Gloeckle ",
"font": "serif",
"width": 7.527,
"textWidth": 7.066
},
{
"text": "et ",
"font": "serif",
"width": 1.937,
"textWidth": 1.478
},
{
"text": "al., ",
"font": "serif",
"width": 2.832,
"textWidth": 2.371
},
{
"text": "2024), ",
"font": "serif",
"width": 5.202,
"textWidth": 4.743
},
{
"text": "while ",
"font": "serif",
"width": 5.009,
"textWidth": 4.548
},
{
"text": "introducing ",
"font": "serif",
"width": 9.565,
"textWidth": 9.565
}
]
},
{
"left": 11.905,
"top": 86.81,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "several ",
"font": "serif",
"width": 6.389,
"textWidth": 5.856
},
{
"text": "key ",
"font": "serif",
"width": 3.509,
"textWidth": 2.974
},
{
"text": "upgrades ",
"font": "serif",
"width": 8.326,
"textWidth": 7.793
},
{
"text": "over ",
"font": "serif",
"width": 4.245,
"textWidth": 3.71
},
{
"text": "DeepSeek-V3: ",
"font": "serif",
"width": 12.264,
"textWidth": 11.546
},
{
"text": "(1) ",
"font": "serif",
"width": 2.714,
"textWidth": 2.18
},
{
"text": "firstly, ",
"font": "serif",
"width": 5.669,
"textWidth": 5.118
},
{
"text": "we ",
"font": "serif",
"width": 2.989,
"textWidth": 2.454
},
{
"text": "introduce ",
"font": "serif",
"width": 8.494,
"textWidth": 7.961
},
{
"text": "the ",
"font": "serif",
"width": 3.127,
"textWidth": 2.593
},
{
"text": "Manifold-Constrained ",
"font": "serif",
"width": 18.465,
"textWidth": 18.465
}
]
},
{
"left": 11.905,
"top": 88.419,
"width": 16.242,
"height": 1.296,
"words": [
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 16.242,
"textWidth": 16.242
}
]
},
{
"left": 29.259,
"top": 88.392,
"width": 1.454,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.454,
"textWidth": 1.454
}
]
},
{
"left": 30.713,
"top": 88.419,
"width": 57.611,
"height": 1.296,
"words": [
{
"text": "HC) ",
"font": "serif",
"width": 3.993,
"textWidth": 3.503
},
{
"text": "(Xie ",
"font": "serif",
"width": 3.796,
"textWidth": 3.309
},
{
"text": "et ",
"font": "serif",
"width": 1.995,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.903,
"textWidth": 2.413
},
{
"text": "2026) ",
"font": "serif",
"width": 4.851,
"textWidth": 4.361
},
{
"text": "to ",
"font": "serif",
"width": 2.118,
"textWidth": 1.63
},
{
"text": "strengthen ",
"font": "serif",
"width": 9.301,
"textWidth": 8.812
},
{
"text": "conventional ",
"font": "serif",
"width": 11.206,
"textWidth": 10.716
},
{
"text": "residual ",
"font": "serif",
"width": 7.174,
"textWidth": 6.686
},
{
"text": "connections; ",
"font": "serif",
"width": 10.273,
"textWidth": 10.273
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "6 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"7": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.844,
"top": 10.472,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "(2) ",
"font": "serif",
"width": 2.664,
"textWidth": 2.18
},
{
"text": "secondly, ",
"font": "serif",
"width": 8.107,
"textWidth": 7.615
},
{
"text": "we ",
"font": "serif",
"width": 2.94,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 5.985,
"textWidth": 5.501
},
{
"text": "a ",
"font": "serif",
"width": 1.419,
"textWidth": 0.935
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.071,
"textWidth": 5.585
},
{
"text": "attention ",
"font": "serif",
"width": 7.883,
"textWidth": 7.399
},
{
"text": "architecture, ",
"font": "serif",
"width": 10.731,
"textWidth": 10.242
},
{
"text": "which ",
"font": "serif",
"width": 5.595,
"textWidth": 5.109
},
{
"text": "greatly ",
"font": "serif",
"width": 6.251,
"textWidth": 5.767
},
{
"text": "improves ",
"font": "serif",
"width": 8.273,
"textWidth": 7.789
},
{
"text": "long-context ",
"font": "serif",
"width": 10.331,
"textWidth": 10.331
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "efficiency ",
"font": "serif",
"width": 7.976,
"textWidth": 7.534
},
{
"text": "through ",
"font": "serif",
"width": 6.857,
"textWidth": 6.415
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.379,
"textWidth": 9.937
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.693,
"textWidth": 5.251
},
{
"text": "Attention ",
"font": "serif",
"width": 8.051,
"textWidth": 7.608
},
{
"text": "and ",
"font": "serif",
"width": 3.482,
"textWidth": 3.039
},
{
"text": "Heavily ",
"font": "serif",
"width": 6.753,
"textWidth": 6.311
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.379,
"textWidth": 9.937
},
{
"text": "Attention. ",
"font": "serif",
"width": 8.619,
"textWidth": 8.057
},
{
"text": "(3) ",
"font": "serif",
"width": 2.538,
"textWidth": 2.094
},
{
"text": "thirdly, ",
"font": "serif",
"width": 5.693,
"textWidth": 5.693
}
]
},
{
"left": 11.828,
"top": 13.691,
"width": 76.573,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 3.049,
"textWidth": 2.454
},
{
"text": "employ ",
"font": "serif",
"width": 6.866,
"textWidth": 6.273
},
{
"text": "Muon ",
"font": "serif",
"width": 5.598,
"textWidth": 5.004
},
{
"text": "(Jordan ",
"font": "serif",
"width": 6.729,
"textWidth": 6.135
},
{
"text": "et ",
"font": "serif",
"width": 2.099,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.008,
"textWidth": 2.413
},
{
"text": "2024; ",
"font": "serif",
"width": 4.798,
"textWidth": 4.206
},
{
"text": "Liu ",
"font": "serif",
"width": 3.408,
"textWidth": 2.813
},
{
"text": "et ",
"font": "serif",
"width": 2.099,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.006,
"textWidth": 2.413
},
{
"text": "2025) ",
"font": "serif",
"width": 4.955,
"textWidth": 4.361
},
{
"text": "as ",
"font": "serif",
"width": 2.322,
"textWidth": 1.727
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "optimizer. ",
"font": "serif",
"width": 9.367,
"textWidth": 8.391
},
{
"text": "For ",
"font": "serif",
"width": 3.393,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.185,
"textWidth": 2.593
},
{
"text": "Mixture-of- ",
"font": "serif",
"width": 9.503,
"textWidth": 9.503
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Experts ",
"font": "serif",
"width": 6.494,
"textWidth": 6.038
},
{
"text": "(MoE) ",
"font": "serif",
"width": 5.444,
"textWidth": 4.988
},
{
"text": "components, ",
"font": "serif",
"width": 10.657,
"textWidth": 10.202
},
{
"text": "we ",
"font": "serif",
"width": 2.823,
"textWidth": 2.365
},
{
"text": "still ",
"font": "serif",
"width": 3.38,
"textWidth": 2.924
},
{
"text": "adopt ",
"font": "serif",
"width": 5.111,
"textWidth": 4.655
},
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.499
},
{
"text": "DeepSeekMoE ",
"font": "serif",
"width": 12.12,
"textWidth": 11.664
},
{
"text": "(Dai ",
"font": "serif",
"width": 3.875,
"textWidth": 3.419
},
{
"text": "et ",
"font": "serif",
"width": 1.906,
"textWidth": 1.45
},
{
"text": "al., ",
"font": "serif",
"width": 2.781,
"textWidth": 2.326
},
{
"text": "2024) ",
"font": "serif",
"width": 4.659,
"textWidth": 4.203
},
{
"text": "architecture, ",
"font": "serif",
"width": 10.324,
"textWidth": 9.867
},
{
"text": "with ",
"font": "serif",
"width": 3.662,
"textWidth": 3.662
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "only ",
"font": "serif",
"width": 4.086,
"textWidth": 3.627
},
{
"text": "minor ",
"font": "serif",
"width": 5.41,
"textWidth": 4.951
},
{
"text": "adjustments ",
"font": "serif",
"width": 10.36,
"textWidth": 9.901
},
{
"text": "from ",
"font": "serif",
"width": 4.385,
"textWidth": 3.928
},
{
"text": "DeepSeek-V3. ",
"font": "serif",
"width": 11.91,
"textWidth": 11.343
},
{
"text": "The ",
"font": "serif",
"width": 3.533,
"textWidth": 3.074
},
{
"text": "Multi-Token ",
"font": "serif",
"width": 10.511,
"textWidth": 10.052
},
{
"text": "Prediction ",
"font": "serif",
"width": 8.814,
"textWidth": 8.357
},
{
"text": "(MTP) ",
"font": "serif",
"width": 5.654,
"textWidth": 5.195
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 11.758,
"textWidth": 11.758
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2024; ",
"font": "serif",
"width": 4.832,
"textWidth": 4.206
},
{
"text": "Gloeckle ",
"font": "serif",
"width": 7.821,
"textWidth": 7.195
},
{
"text": "et ",
"font": "serif",
"width": 2.131,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.039,
"textWidth": 2.413
},
{
"text": "2024; ",
"font": "serif",
"width": 4.832,
"textWidth": 4.206
},
{
"text": "Li ",
"font": "serif",
"width": 2.314,
"textWidth": 1.686
},
{
"text": "et ",
"font": "serif",
"width": 2.131,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.039,
"textWidth": 2.413
},
{
"text": "2024; ",
"font": "serif",
"width": 4.832,
"textWidth": 4.206
},
{
"text": "Qi ",
"font": "serif",
"width": 2.639,
"textWidth": 2.013
},
{
"text": "et ",
"font": "serif",
"width": 2.131,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.039,
"textWidth": 2.413
},
{
"text": "2020) ",
"font": "serif",
"width": 4.987,
"textWidth": 4.361
},
{
"text": "configuration ",
"font": "serif",
"width": 11.797,
"textWidth": 11.171
},
{
"text": "remains ",
"font": "serif",
"width": 7.238,
"textWidth": 6.612
},
{
"text": "identical ",
"font": "serif",
"width": 7.757,
"textWidth": 7.131
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 20.129,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.634,
"textWidth": 3.178
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.611
},
{
"text": "DeepSeek-V3. ",
"font": "serif",
"width": 11.888,
"textWidth": 11.32
},
{
"text": "All ",
"font": "serif",
"width": 2.947,
"textWidth": 2.492
},
{
"text": "other ",
"font": "serif",
"width": 4.723,
"textWidth": 4.266
},
{
"text": "unspecified ",
"font": "serif",
"width": 9.837,
"textWidth": 9.381
},
{
"text": "details ",
"font": "serif",
"width": 5.811,
"textWidth": 5.355
},
{
"text": "follow ",
"font": "serif",
"width": 5.663,
"textWidth": 5.206
},
{
"text": "the ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "settings ",
"font": "serif",
"width": 6.702,
"textWidth": 6.246
},
{
"text": "established ",
"font": "serif",
"width": 9.546,
"textWidth": 9.09
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.6
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.622,
"textWidth": 8.622
}
]
},
{
"left": 11.839,
"top": 21.738,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V3 ",
"font": "serif",
"width": 2.75,
"textWidth": 2.284
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.434,
"textWidth": 11.969
},
{
"text": "2024). ",
"font": "serif",
"width": 5.419,
"textWidth": 4.828
},
{
"text": "Figure ",
"font": "serif",
"width": 5.815,
"textWidth": 5.35
},
{
"text": "2 ",
"font": "serif",
"width": 1.4,
"textWidth": 0.935
},
{
"text": "illustrates ",
"font": "serif",
"width": 8.597,
"textWidth": 8.131
},
{
"text": "the ",
"font": "serif",
"width": 3.058,
"textWidth": 2.593
},
{
"text": "overall ",
"font": "serif",
"width": 6.198,
"textWidth": 5.733
},
{
"text": "architecture ",
"font": "serif",
"width": 10.24,
"textWidth": 9.774
},
{
"text": "of ",
"font": "serif",
"width": 2.109,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 12.014,
"textWidth": 11.546
},
{
"text": "and ",
"font": "serif",
"width": 3.63,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 22.314,
"height": 1.296,
"words": [
{
"text": "details ",
"font": "serif",
"width": 5.813,
"textWidth": 5.355
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "described ",
"font": "serif",
"width": 8.315,
"textWidth": 7.856
},
{
"text": "below. ",
"font": "serif",
"width": 5.243,
"textWidth": 5.243
}
]
},
{
"left": 11.905,
"top": 27.21,
"width": 35.274,
"height": 1.296,
"words": [
{
"text": "2.1. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Designs ",
"font": "serif-bold",
"width": 7.277,
"textWidth": 6.819
},
{
"text": "Inherited ",
"font": "serif-bold",
"width": 8.296,
"textWidth": 7.838
},
{
"text": "from ",
"font": "serif-bold",
"width": 4.532,
"textWidth": 4.074
},
{
"text": "DeepSeek-V3 ",
"font": "serif-bold",
"width": 11.503,
"textWidth": 11.503
}
]
},
{
"left": 11.905,
"top": 29.861,
"width": 16.354,
"height": 1.296,
"words": [
{
"text": "Mixture-of-Experts. ",
"font": "serif-bold",
"width": 16.354,
"textWidth": 16.354
}
]
},
{
"left": 30.08,
"top": 29.881,
"width": 58.244,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.667,
"textWidth": 2.205
},
{
"text": "previous ",
"font": "serif",
"width": 7.589,
"textWidth": 7.129
},
{
"text": "DeepSeek-series ",
"font": "serif",
"width": 13.663,
"textWidth": 13.202
},
{
"text": "models ",
"font": "serif",
"width": 6.395,
"textWidth": 5.933
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.206,
"textWidth": 11.744
},
{
"text": "2024; ",
"font": "serif",
"width": 4.588,
"textWidth": 4.128
},
{
"text": "DeepSeek-AI, ",
"font": "serif",
"width": 11.135,
"textWidth": 11.135
}
]
},
{
"left": 11.905,
"top": 31.491,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "2024), ",
"font": "serif",
"width": 5.311,
"textWidth": 4.828
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.554,
"textWidth": 11.077
},
{
"text": "series ",
"font": "serif",
"width": 5.135,
"textWidth": 4.658
},
{
"text": "also ",
"font": "serif",
"width": 3.768,
"textWidth": 3.292
},
{
"text": "adopt ",
"font": "serif",
"width": 5.307,
"textWidth": 4.83
},
{
"text": "the ",
"font": "serif",
"width": 3.069,
"textWidth": 2.593
},
{
"text": "DeepSeekMoE ",
"font": "serif",
"width": 12.58,
"textWidth": 12.103
},
{
"text": "paradigm ",
"font": "serif",
"width": 8.584,
"textWidth": 8.107
},
{
"text": "(Dai ",
"font": "serif",
"width": 4.025,
"textWidth": 3.548
},
{
"text": "et ",
"font": "serif",
"width": 1.981,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.89,
"textWidth": 2.413
},
{
"text": "2024) ",
"font": "serif",
"width": 4.838,
"textWidth": 4.361
},
{
"text": "for ",
"font": "serif",
"width": 2.858,
"textWidth": 2.381
},
{
"text": "Feed- ",
"font": "serif",
"width": 4.595,
"textWidth": 4.595
}
]
},
{
"left": 11.905,
"top": 33.1,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Forward ",
"font": "serif",
"width": 7.319,
"textWidth": 6.859
},
{
"text": "Networks ",
"font": "serif",
"width": 8.346,
"textWidth": 7.886
},
{
"text": "(FFNs), ",
"font": "serif",
"width": 6.356,
"textWidth": 5.896
},
{
"text": "which ",
"font": "serif",
"width": 5.368,
"textWidth": 4.908
},
{
"text": "sets ",
"font": "serif",
"width": 3.428,
"textWidth": 2.969
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.181,
"textWidth": 9.722
},
{
"text": "routed ",
"font": "serif",
"width": 5.742,
"textWidth": 5.282
},
{
"text": "experts ",
"font": "serif",
"width": 6.243,
"textWidth": 5.783
},
{
"text": "and ",
"font": "serif",
"width": 3.5,
"textWidth": 3.041
},
{
"text": "shared ",
"font": "serif",
"width": 5.799,
"textWidth": 5.339
},
{
"text": "experts. ",
"font": "serif",
"width": 6.805,
"textWidth": 6.232
},
{
"text": "Different ",
"font": "serif",
"width": 7.103,
"textWidth": 7.103
}
]
},
{
"left": 11.905,
"top": 34.71,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.479,
"textWidth": 3.998
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 12.032,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 2.935,
"textWidth": 2.454
},
{
"text": "change ",
"font": "serif",
"width": 6.355,
"textWidth": 5.875
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "activation ",
"font": "serif",
"width": 8.651,
"textWidth": 8.171
},
{
"text": "function ",
"font": "serif",
"width": 7.41,
"textWidth": 6.929
},
{
"text": "that ",
"font": "serif",
"width": 3.722,
"textWidth": 3.241
},
{
"text": "computes ",
"font": "serif",
"width": 8.529,
"textWidth": 8.049
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "affinity ",
"font": "serif",
"width": 6.415,
"textWidth": 5.935
},
{
"text": "scores ",
"font": "serif",
"width": 5.516,
"textWidth": 5.036
},
{
"text": "from ",
"font": "serif",
"width": 4.0,
"textWidth": 4.0
}
]
},
{
"left": 11.905,
"top": 36.319,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Sigmoid ",
"font": "serif",
"width": 9.308,
"textWidth": 6.786
},
{
"text": "into ",
"font": "serif",
"width": 3.812,
"textWidth": 3.262
},
{
"text": "Sqrt ",
"font": "serif",
"width": 4.085,
"textWidth": 3.31
},
{
"text": "Softplus ",
"font": "serif",
"width": 10.673,
"textWidth": 6.687
},
{
"text": "For ",
"font": "serif",
"width": 3.348,
"textWidth": 2.798
},
{
"text": "load ",
"font": "serif",
"width": 4.191,
"textWidth": 3.641
},
{
"text": "balancing, ",
"font": "serif",
"width": 9.077,
"textWidth": 8.503
},
{
"text": "we ",
"font": "serif",
"width": 3.004,
"textWidth": 2.454
},
{
"text": "also ",
"font": "serif",
"width": 3.843,
"textWidth": 3.292
},
{
"text": "employ ",
"font": "serif",
"width": 6.823,
"textWidth": 6.273
},
{
"text": "the ",
"font": "serif",
"width": 3.142,
"textWidth": 2.593
},
{
"text": "auxiliary-loss-free ",
"font": "serif",
"width": 14.885,
"textWidth": 14.885
}
]
},
{
"left": 11.905,
"top": 37.928,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "strategy ",
"font": "serif",
"width": 6.948,
"textWidth": 6.489
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.125,
"textWidth": 11.664
},
{
"text": "2024; ",
"font": "serif",
"width": 4.558,
"textWidth": 4.099
},
{
"text": "Wang ",
"font": "serif",
"width": 5.097,
"textWidth": 4.636
},
{
"text": "et ",
"font": "serif",
"width": 1.925,
"textWidth": 1.466
},
{
"text": "al., ",
"font": "serif",
"width": 2.813,
"textWidth": 2.352
},
{
"text": "2024a), ",
"font": "serif",
"width": 6.075,
"textWidth": 5.616
},
{
"text": "augmented ",
"font": "serif",
"width": 9.602,
"textWidth": 9.143
},
{
"text": "by ",
"font": "serif",
"width": 2.481,
"textWidth": 2.02
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.911
},
{
"text": "slight ",
"font": "serif",
"width": 4.96,
"textWidth": 4.499
},
{
"text": "sequence-wise ",
"font": "serif",
"width": 12.137,
"textWidth": 11.677
},
{
"text": "balance ",
"font": "serif",
"width": 6.101,
"textWidth": 6.101
}
]
},
{
"left": 11.905,
"top": 39.538,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "loss ",
"font": "serif",
"width": 3.425,
"textWidth": 3.026
},
{
"text": "that ",
"font": "serif",
"width": 3.511,
"textWidth": 3.114
},
{
"text": "prevents ",
"font": "serif",
"width": 7.283,
"textWidth": 6.884
},
{
"text": "extreme ",
"font": "serif",
"width": 6.753,
"textWidth": 6.354
},
{
"text": "imbalance ",
"font": "serif",
"width": 8.522,
"textWidth": 8.123
},
{
"text": "within ",
"font": "serif",
"width": 5.616,
"textWidth": 5.219
},
{
"text": "individual ",
"font": "serif",
"width": 8.725,
"textWidth": 8.326
},
{
"text": "sequences. ",
"font": "serif",
"width": 9.032,
"textWidth": 8.484
},
{
"text": "For ",
"font": "serif",
"width": 3.087,
"textWidth": 2.689
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 11.503,
"textWidth": 11.094
},
{
"text": "we ",
"font": "serif",
"width": 2.757,
"textWidth": 2.358
},
{
"text": "remove ",
"font": "serif",
"width": 5.977,
"textWidth": 5.977
}
]
},
{
"left": 11.905,
"top": 41.147,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.114,
"textWidth": 2.593
},
{
"text": "constraint ",
"font": "serif",
"width": 8.774,
"textWidth": 8.255
},
{
"text": "on ",
"font": "serif",
"width": 2.63,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.112,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.055,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.165,
"textWidth": 1.643
},
{
"text": "routing ",
"font": "serif",
"width": 6.655,
"textWidth": 6.133
},
{
"text": "target ",
"font": "serif",
"width": 5.314,
"textWidth": 4.793
},
{
"text": "nodes, ",
"font": "serif",
"width": 5.942,
"textWidth": 5.406
},
{
"text": "and ",
"font": "serif",
"width": 3.684,
"textWidth": 3.165
},
{
"text": "carefully ",
"font": "serif",
"width": 7.763,
"textWidth": 7.243
},
{
"text": "redesign ",
"font": "serif",
"width": 7.623,
"textWidth": 7.101
},
{
"text": "the ",
"font": "serif",
"width": 3.114,
"textWidth": 2.593
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.245,
"textWidth": 9.245
}
]
},
{
"left": 11.905,
"top": 42.756,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "strategy ",
"font": "serif",
"width": 6.946,
"textWidth": 6.489
},
{
"text": "to ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "maintain ",
"font": "serif",
"width": 7.662,
"textWidth": 7.204
},
{
"text": "training ",
"font": "serif",
"width": 6.877,
"textWidth": 6.418
},
{
"text": "efficiency. ",
"font": "serif",
"width": 8.461,
"textWidth": 7.893
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.152,
"textWidth": 10.695
},
{
"text": "compared ",
"font": "serif",
"width": 8.549,
"textWidth": 8.09
},
{
"text": "with ",
"font": "serif",
"width": 4.161,
"textWidth": 3.703
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 11.709,
"textWidth": 11.252
},
{
"text": "we ",
"font": "serif",
"width": 2.851,
"textWidth": 2.392
},
{
"text": "replace ",
"font": "serif",
"width": 5.776,
"textWidth": 5.776
}
]
},
{
"left": 11.905,
"top": 44.366,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.146,
"textWidth": 2.593
},
{
"text": "dense ",
"font": "serif",
"width": 5.367,
"textWidth": 4.813
},
{
"text": "FFN ",
"font": "serif",
"width": 4.183,
"textWidth": 3.632
},
{
"text": "layers ",
"font": "serif",
"width": 5.498,
"textWidth": 4.944
},
{
"text": "in ",
"font": "serif",
"width": 2.185,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.146,
"textWidth": 2.593
},
{
"text": "initial ",
"font": "serif",
"width": 5.361,
"textWidth": 4.808
},
{
"text": "several ",
"font": "serif",
"width": 6.408,
"textWidth": 5.856
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.754,
"textWidth": 10.201
},
{
"text": "blocks ",
"font": "serif",
"width": 5.813,
"textWidth": 5.26
},
{
"text": "with ",
"font": "serif",
"width": 4.354,
"textWidth": 3.8
},
{
"text": "MoE ",
"font": "serif",
"width": 4.482,
"textWidth": 3.931
},
{
"text": "layers ",
"font": "serif",
"width": 5.498,
"textWidth": 4.944
},
{
"text": "that ",
"font": "serif",
"width": 3.795,
"textWidth": 3.241
},
{
"text": "employ ",
"font": "serif",
"width": 6.273,
"textWidth": 6.273
}
]
},
{
"left": 11.905,
"top": 45.975,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Hash ",
"font": "serif",
"width": 4.841,
"textWidth": 4.37
},
{
"text": "routing ",
"font": "serif",
"width": 6.606,
"textWidth": 6.135
},
{
"text": "(Roller ",
"font": "serif",
"width": 6.084,
"textWidth": 5.613
},
{
"text": "et ",
"font": "serif",
"width": 1.976,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.884,
"textWidth": 2.413
},
{
"text": "2021). ",
"font": "serif",
"width": 5.438,
"textWidth": 4.828
},
{
"text": "The ",
"font": "serif",
"width": 3.6,
"textWidth": 3.129
},
{
"text": "Hash ",
"font": "serif",
"width": 4.841,
"textWidth": 4.37
},
{
"text": "routing ",
"font": "serif",
"width": 6.604,
"textWidth": 6.133
},
{
"text": "strategy ",
"font": "serif",
"width": 7.131,
"textWidth": 6.658
},
{
"text": "determines ",
"font": "serif",
"width": 9.722,
"textWidth": 9.251
},
{
"text": "the ",
"font": "serif",
"width": 3.064,
"textWidth": 2.593
},
{
"text": "target ",
"font": "serif",
"width": 5.264,
"textWidth": 4.793
},
{
"text": "experts ",
"font": "serif",
"width": 6.492,
"textWidth": 6.019
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 47.585,
"width": 69.238,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "token ",
"font": "serif",
"width": 5.02,
"textWidth": 4.561
},
{
"text": "according ",
"font": "serif",
"width": 8.432,
"textWidth": 7.974
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "predefined ",
"font": "serif",
"width": 9.299,
"textWidth": 8.841
},
{
"text": "hash ",
"font": "serif",
"width": 4.285,
"textWidth": 3.826
},
{
"text": "function ",
"font": "serif",
"width": 7.252,
"textWidth": 6.793
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "regard ",
"font": "serif",
"width": 5.773,
"textWidth": 5.315
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "input ",
"font": "serif",
"width": 4.862,
"textWidth": 4.404
},
{
"text": "token ",
"font": "serif",
"width": 5.02,
"textWidth": 4.561
},
{
"text": "ID. ",
"font": "serif",
"width": 2.494,
"textWidth": 2.494
}
]
},
{
"left": 11.905,
"top": 51.767,
"width": 20.624,
"height": 1.296,
"words": [
{
"text": "Multi-Token ",
"font": "serif-bold",
"width": 11.331,
"textWidth": 10.802
},
{
"text": "Prediction. ",
"font": "serif-bold",
"width": 9.292,
"textWidth": 9.292
}
]
},
{
"left": 34.351,
"top": 51.788,
"width": 53.745,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.774,
"textWidth": 2.247
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 12.092,
"textWidth": 11.546
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.608,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 5.187,
"textWidth": 4.658
},
{
"text": "also ",
"font": "serif",
"width": 3.821,
"textWidth": 3.292
},
{
"text": "set ",
"font": "serif",
"width": 2.824,
"textWidth": 2.297
},
{
"text": "MTP ",
"font": "serif",
"width": 4.572,
"textWidth": 4.043
},
{
"text": "modules ",
"font": "serif",
"width": 7.701,
"textWidth": 7.172
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 53.397,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "objectives. ",
"font": "serif",
"width": 8.874,
"textWidth": 8.304
},
{
"text": "Given ",
"font": "serif",
"width": 5.307,
"textWidth": 4.848
},
{
"text": "that ",
"font": "serif",
"width": 3.594,
"textWidth": 3.136
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "MTP ",
"font": "serif",
"width": 4.372,
"textWidth": 3.912
},
{
"text": "strategy ",
"font": "serif",
"width": 6.901,
"textWidth": 6.443
},
{
"text": "has ",
"font": "serif",
"width": 3.183,
"textWidth": 2.724
},
{
"text": "been ",
"font": "serif",
"width": 4.245,
"textWidth": 3.786
},
{
"text": "validated ",
"font": "serif",
"width": 8.008,
"textWidth": 7.55
},
{
"text": "in ",
"font": "serif",
"width": 2.039,
"textWidth": 1.579
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 11.632,
"textWidth": 11.173
},
{
"text": "we ",
"font": "serif",
"width": 2.833,
"textWidth": 2.375
},
{
"text": "adopt ",
"font": "serif",
"width": 5.133,
"textWidth": 4.674
},
{
"text": "the ",
"font": "serif",
"width": 2.966,
"textWidth": 2.509
},
{
"text": "same ",
"font": "serif",
"width": 4.135,
"textWidth": 4.135
}
]
},
{
"left": 11.905,
"top": 55.007,
"width": 43.777,
"height": 1.296,
"words": [
{
"text": "strategy ",
"font": "serif",
"width": 6.986,
"textWidth": 6.528
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series ",
"font": "serif",
"width": 5.025,
"textWidth": 4.567
},
{
"text": "without ",
"font": "serif",
"width": 6.887,
"textWidth": 6.429
},
{
"text": "modification. ",
"font": "serif",
"width": 10.767,
"textWidth": 10.767
}
]
},
{
"left": 11.905,
"top": 58.869,
"width": 39.311,
"height": 1.296,
"words": [
{
"text": "2.2. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Manifold-Constrained ",
"font": "serif-bold",
"width": 19.29,
"textWidth": 18.832
},
{
"text": "Hyper-Connections ",
"font": "serif-bold",
"width": 16.356,
"textWidth": 16.356
}
]
},
{
"left": 11.833,
"top": 61.541,
"width": 76.332,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.507,
"textWidth": 2.159
},
{
"text": "shown ",
"font": "serif",
"width": 5.679,
"textWidth": 5.33
},
{
"text": "in ",
"font": "serif",
"width": 1.916,
"textWidth": 1.568
},
{
"text": "Figure ",
"font": "serif",
"width": 5.487,
"textWidth": 5.138
},
{
"text": "2, ",
"font": "serif",
"width": 1.717,
"textWidth": 1.347
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 10.993,
"textWidth": 10.645
},
{
"text": "series ",
"font": "serif",
"width": 4.824,
"textWidth": 4.476
},
{
"text": "incorporate ",
"font": "serif",
"width": 9.517,
"textWidth": 9.168
},
{
"text": "Manifold-Constrained ",
"font": "serif",
"width": 18.087,
"textWidth": 17.739
},
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 15.605,
"textWidth": 15.605
}
]
},
{
"left": 12.462,
"top": 63.123,
"width": 1.444,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.444,
"textWidth": 1.444
}
]
},
{
"left": 13.907,
"top": 63.15,
"width": 74.189,
"height": 1.296,
"words": [
{
"text": "HC) ",
"font": "serif",
"width": 3.936,
"textWidth": 3.479
},
{
"text": "(Xie ",
"font": "serif",
"width": 3.743,
"textWidth": 3.286
},
{
"text": "et ",
"font": "serif",
"width": 1.951,
"textWidth": 1.494
},
{
"text": "al., ",
"font": "serif",
"width": 2.855,
"textWidth": 2.397
},
{
"text": "2026) ",
"font": "serif",
"width": 4.788,
"textWidth": 4.331
},
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "strengthen ",
"font": "serif",
"width": 9.206,
"textWidth": 8.749
},
{
"text": "the ",
"font": "serif",
"width": 3.032,
"textWidth": 2.575
},
{
"text": "conventional ",
"font": "serif",
"width": 11.101,
"textWidth": 10.645
},
{
"text": "residual ",
"font": "serif",
"width": 7.097,
"textWidth": 6.64
},
{
"text": "connections ",
"font": "serif",
"width": 10.196,
"textWidth": 9.739
},
{
"text": "between ",
"font": "serif",
"width": 7.385,
"textWidth": 6.928
},
{
"text": "adjacent ",
"font": "serif",
"width": 6.824,
"textWidth": 6.824
}
]
},
{
"left": 11.848,
"top": 64.759,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Transformer ",
"font": "serif",
"width": 10.424,
"textWidth": 9.967
},
{
"text": "blocks. ",
"font": "serif",
"width": 6.167,
"textWidth": 5.598
},
{
"text": "Compared ",
"font": "serif",
"width": 9.055,
"textWidth": 8.598
},
{
"text": "with ",
"font": "serif",
"width": 4.171,
"textWidth": 3.715
},
{
"text": "naive ",
"font": "serif",
"width": 4.873,
"textWidth": 4.416
},
{
"text": "Hyper-Connections ",
"font": "serif",
"width": 16.333,
"textWidth": 15.876
},
{
"text": "(HC) ",
"font": "serif",
"width": 4.491,
"textWidth": 4.032
},
{
"text": "(Zhu ",
"font": "serif",
"width": 4.449,
"textWidth": 3.992
},
{
"text": "et ",
"font": "serif",
"width": 1.928,
"textWidth": 1.471
},
{
"text": "al., ",
"font": "serif",
"width": 2.816,
"textWidth": 2.359
},
{
"text": "2025), ",
"font": "serif",
"width": 5.178,
"textWidth": 4.719
},
{
"text": "the ",
"font": "serif",
"width": 2.991,
"textWidth": 2.534
},
{
"text": "core ",
"font": "serif",
"width": 3.373,
"textWidth": 3.373
}
]
},
{
"left": 11.905,
"top": 66.369,
"width": 5.4,
"height": 1.296,
"words": [
{
"text": "idea ",
"font": "serif",
"width": 3.822,
"textWidth": 3.378
},
{
"text": "of ",
"font": "serif",
"width": 1.579,
"textWidth": 1.579
}
]
},
{
"left": 17.749,
"top": 66.341,
"width": 1.397,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.397,
"textWidth": 1.397
}
]
},
{
"left": 19.146,
"top": 66.369,
"width": 68.949,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.211,
"textWidth": 2.768
},
{
"text": "is ",
"font": "serif",
"width": 1.728,
"textWidth": 1.284
},
{
"text": "to ",
"font": "serif",
"width": 2.01,
"textWidth": 1.566
},
{
"text": "constrain ",
"font": "serif",
"width": 7.789,
"textWidth": 7.345
},
{
"text": "the ",
"font": "serif",
"width": 2.935,
"textWidth": 2.491
},
{
"text": "residual ",
"font": "serif",
"width": 6.864,
"textWidth": 6.421
},
{
"text": "mapping ",
"font": "serif",
"width": 7.653,
"textWidth": 7.209
},
{
"text": "onto ",
"font": "serif",
"width": 4.036,
"textWidth": 3.592
},
{
"text": "a ",
"font": "serif",
"width": 1.342,
"textWidth": 0.898
},
{
"text": "specific ",
"font": "serif",
"width": 6.349,
"textWidth": 5.905
},
{
"text": "manifold, ",
"font": "serif",
"width": 8.145,
"textWidth": 7.699
},
{
"text": "and ",
"font": "serif",
"width": 3.484,
"textWidth": 3.041
},
{
"text": "thus ",
"font": "serif",
"width": 3.919,
"textWidth": 3.475
},
{
"text": "enhance ",
"font": "serif",
"width": 6.995,
"textWidth": 6.552
},
{
"text": "the ",
"font": "serif",
"width": 2.491,
"textWidth": 2.491
}
]
},
{
"left": 11.905,
"top": 67.978,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "stability ",
"font": "serif",
"width": 6.78,
"textWidth": 6.39
},
{
"text": "of ",
"font": "serif",
"width": 1.968,
"textWidth": 1.579
},
{
"text": "signal ",
"font": "serif",
"width": 5.138,
"textWidth": 4.749
},
{
"text": "propagation ",
"font": "serif",
"width": 10.135,
"textWidth": 9.745
},
{
"text": "across ",
"font": "serif",
"width": 5.266,
"textWidth": 4.874
},
{
"text": "layers ",
"font": "serif",
"width": 5.14,
"textWidth": 4.75
},
{
"text": "while ",
"font": "serif",
"width": 4.838,
"textWidth": 4.449
},
{
"text": "preserving ",
"font": "serif",
"width": 8.917,
"textWidth": 8.527
},
{
"text": "model ",
"font": "serif",
"width": 5.436,
"textWidth": 5.047
},
{
"text": "expressivity. ",
"font": "serif",
"width": 10.361,
"textWidth": 9.817
},
{
"text": "This ",
"font": "serif",
"width": 3.82,
"textWidth": 3.43
},
{
"text": "subsection ",
"font": "serif",
"width": 8.391,
"textWidth": 8.391
}
]
},
{
"left": 11.905,
"top": 69.588,
"width": 52.568,
"height": 1.296,
"words": [
{
"text": "briefly ",
"font": "serif",
"width": 5.74,
"textWidth": 5.282
},
{
"text": "introduces ",
"font": "serif",
"width": 9.04,
"textWidth": 8.582
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "standard ",
"font": "serif",
"width": 7.662,
"textWidth": 7.204
},
{
"text": "HC ",
"font": "serif",
"width": 3.282,
"textWidth": 2.824
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "describes ",
"font": "serif",
"width": 7.972,
"textWidth": 7.514
},
{
"text": "how ",
"font": "serif",
"width": 4.054,
"textWidth": 3.596
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "design ",
"font": "serif",
"width": 5.393,
"textWidth": 5.393
}
]
},
{
"left": 64.931,
"top": 69.56,
"width": 1.426,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.426,
"textWidth": 1.426
}
]
},
{
"left": 66.357,
"top": 69.588,
"width": 18.163,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.282,
"textWidth": 2.824
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "stable ",
"font": "serif",
"width": 5.173,
"textWidth": 4.715
},
{
"text": "training. ",
"font": "serif",
"width": 6.914,
"textWidth": 6.914
}
]
},
{
"left": 11.905,
"top": 73.77,
"width": 25.446,
"height": 1.296,
"words": [
{
"text": "Standard ",
"font": "serif-bold",
"width": 8.296,
"textWidth": 7.787
},
{
"text": "Hyper-Connections. ",
"font": "serif-bold",
"width": 17.151,
"textWidth": 17.151
}
]
},
{
"left": 39.174,
"top": 73.791,
"width": 48.922,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.638,
"textWidth": 3.129
},
{
"text": "standard ",
"font": "serif",
"width": 7.858,
"textWidth": 7.35
},
{
"text": "HC ",
"font": "serif",
"width": 3.389,
"textWidth": 2.881
},
{
"text": "expands ",
"font": "serif",
"width": 7.449,
"textWidth": 6.941
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "width ",
"font": "serif",
"width": 5.453,
"textWidth": 4.942
},
{
"text": "of ",
"font": "serif",
"width": 2.152,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "residual ",
"font": "serif",
"width": 7.193,
"textWidth": 6.684
},
{
"text": "stream ",
"font": "serif",
"width": 5.589,
"textWidth": 5.589
}
]
},
{
"left": 84.963,
"top": 75.53,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 11.905,
"top": 75.4,
"width": 70.417,
"height": 1.425,
"words": [
{
"text": "by ",
"font": "serif",
"width": 2.518,
"textWidth": 2.061
},
{
"text": "a ",
"font": "serif",
"width": 1.388,
"textWidth": 0.929
},
{
"text": "factor ",
"font": "serif",
"width": 5.185,
"textWidth": 4.727
},
{
"text": "of ",
"font": "serif",
"width": 3.049,
"textWidth": 1.633
},
{
"text": "hc ",
"font": "serif",
"width": 2.491,
"textWidth": 1.374
},
{
"text": "Specifically, ",
"font": "serif",
"width": 10.061,
"textWidth": 9.602
},
{
"text": "the ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "shape ",
"font": "serif",
"width": 5.263,
"textWidth": 4.805
},
{
"text": "of ",
"font": "serif",
"width": 2.092,
"textWidth": 1.633
},
{
"text": "the ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "residual ",
"font": "serif",
"width": 7.104,
"textWidth": 6.647
},
{
"text": "stream ",
"font": "serif",
"width": 6.013,
"textWidth": 5.554
},
{
"text": "is ",
"font": "serif",
"width": 1.786,
"textWidth": 1.329
},
{
"text": "expanded ",
"font": "serif",
"width": 8.594,
"textWidth": 8.137
},
{
"text": "from ",
"font": "serif",
"width": 7.184,
"textWidth": 3.977
},
{
"text": "to ",
"font": "serif",
"width": 1.62,
"textWidth": 1.62
}
]
},
{
"left": 79.597,
"top": 77.139,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 11.828,
"top": 77.009,
"width": 46.313,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 7.213,
"textWidth": 5.142
},
{
"text": "is ",
"font": "serif",
"width": 1.877,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "hidden ",
"font": "serif",
"width": 6.438,
"textWidth": 5.899
},
{
"text": "size ",
"font": "serif",
"width": 3.707,
"textWidth": 3.167
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "actual ",
"font": "serif",
"width": 5.52,
"textWidth": 4.98
},
{
"text": "layer ",
"font": "serif",
"width": 4.69,
"textWidth": 4.152
},
{
"text": "input. ",
"font": "serif",
"width": 5.772,
"textWidth": 4.959
},
{
"text": "Let ",
"font": "serif",
"width": 2.647,
"textWidth": 2.647
}
]
},
{
"left": 63.401,
"top": 76.989,
"width": 0.935,
"height": 1.296,
"words": [
{
"text": "x ",
"font": "serif-bold",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 64.741,
"top": 77.464,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 69.879,
"top": 76.989,
"width": 0.935,
"height": 1.296,
"words": [
{
"text": "x ",
"font": "serif-bold",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 83.034,
"top": 77.009,
"width": 5.062,
"height": 1.296,
"words": [
{
"text": "be ",
"font": "serif",
"width": 2.469,
"textWidth": 1.929
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 72.254,
"top": 77.804,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 11.905,
"top": 78.619,
"width": 19.855,
"height": 1.296,
"words": [
{
"text": "residual ",
"font": "serif",
"width": 7.206,
"textWidth": 6.684
},
{
"text": "state ",
"font": "serif",
"width": 4.363,
"textWidth": 3.841
},
{
"text": "before ",
"font": "serif",
"width": 5.694,
"textWidth": 5.172
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 32.837,
"top": 78.619,
"width": 2.32,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.32,
"textWidth": 2.32
}
]
},
{
"left": 35.679,
"top": 78.619,
"width": 52.416,
"height": 1.296,
"words": [
{
"text": "layer. ",
"font": "serif",
"width": 5.241,
"textWidth": 4.482
},
{
"text": "HC ",
"font": "serif",
"width": 3.402,
"textWidth": 2.881
},
{
"text": "introduces ",
"font": "serif",
"width": 9.275,
"textWidth": 8.754
},
{
"text": "three ",
"font": "serif",
"width": 4.714,
"textWidth": 4.193
},
{
"text": "linear ",
"font": "serif",
"width": 5.266,
"textWidth": 4.744
},
{
"text": "mappings: ",
"font": "serif",
"width": 9.458,
"textWidth": 8.763
},
{
"text": "an ",
"font": "serif",
"width": 2.542,
"textWidth": 2.023
},
{
"text": "input ",
"font": "serif",
"width": 5.013,
"textWidth": 4.492
},
{
"text": "mapping ",
"font": "serif",
"width": 7.503,
"textWidth": 7.503
}
]
},
{
"left": 17.343,
"top": 80.008,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 19.67,
"top": 80.228,
"width": 23.263,
"height": 1.296,
"words": [
{
"text": "hc, ",
"font": "serif",
"width": 2.215,
"textWidth": 1.682
},
{
"text": "a ",
"font": "serif",
"width": 1.452,
"textWidth": 0.935
},
{
"text": "residual ",
"font": "serif",
"width": 7.204,
"textWidth": 6.686
},
{
"text": "transformation ",
"font": "serif",
"width": 12.391,
"textWidth": 12.391
}
]
},
{
"left": 49.52,
"top": 80.358,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 52.308,
"top": 80.228,
"width": 22.076,
"height": 1.296,
"words": [
{
"text": "hc, ",
"font": "serif",
"width": 2.215,
"textWidth": 1.682
},
{
"text": "and ",
"font": "serif",
"width": 3.682,
"textWidth": 3.165
},
{
"text": "an ",
"font": "serif",
"width": 2.54,
"textWidth": 2.023
},
{
"text": "output ",
"font": "serif",
"width": 6.135,
"textWidth": 5.617
},
{
"text": "mapping ",
"font": "serif",
"width": 7.503,
"textWidth": 7.503
}
]
},
{
"left": 80.908,
"top": 80.008,
"width": 7.187,
"height": 1.516,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 2.09,
"textWidth": 1.047
},
{
"text": "1. ",
"font": "serif",
"width": 1.968,
"textWidth": 1.22
},
{
"text": "The ",
"font": "serif",
"width": 3.129,
"textWidth": 3.129
}
]
},
{
"left": 11.905,
"top": 81.838,
"width": 40.028,
"height": 1.296,
"words": [
{
"text": "update ",
"font": "serif",
"width": 6.176,
"textWidth": 5.718
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "residual ",
"font": "serif",
"width": 7.012,
"textWidth": 6.553
},
{
"text": "state ",
"font": "serif",
"width": 4.224,
"textWidth": 3.766
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "then ",
"font": "serif",
"width": 4.067,
"textWidth": 3.608
},
{
"text": "formulated ",
"font": "serif",
"width": 9.561,
"textWidth": 9.103
},
{
"text": "as: ",
"font": "serif",
"width": 2.151,
"textWidth": 2.151
}
]
},
{
"left": 43.08,
"top": 85.053,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 86.141,
"top": 84.598,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(1) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 11.828,
"top": 87.359,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 19.561,
"top": 87.359,
"width": 9.518,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.926,
"textWidth": 6.443
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 30.118,
"top": 87.359,
"width": 2.32,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.32,
"textWidth": 2.32
}
]
},
{
"left": 32.92,
"top": 87.359,
"width": 55.175,
"height": 1.296,
"words": [
{
"text": "layer ",
"font": "serif",
"width": 4.636,
"textWidth": 4.152
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.449,
"textWidth": 3.959
},
{
"text": "an ",
"font": "serif",
"width": 2.505,
"textWidth": 2.023
},
{
"text": "MoE ",
"font": "serif",
"width": 4.413,
"textWidth": 3.931
},
{
"text": "layer), ",
"font": "serif",
"width": 5.731,
"textWidth": 5.241
},
{
"text": "whose ",
"font": "serif",
"width": 5.84,
"textWidth": 5.355
},
{
"text": "input ",
"font": "serif",
"width": 4.974,
"textWidth": 4.492
},
{
"text": "and ",
"font": "serif",
"width": 3.647,
"textWidth": 3.165
},
{
"text": "output ",
"font": "serif",
"width": 6.101,
"textWidth": 5.617
},
{
"text": "shapes ",
"font": "serif",
"width": 6.109,
"textWidth": 5.626
},
{
"text": "are ",
"font": "serif",
"width": 3.019,
"textWidth": 2.537
},
{
"text": "both ",
"font": "serif",
"width": 3.752,
"textWidth": 3.752
}
]
},
{
"left": 15.229,
"top": 88.969,
"width": 25.66,
"height": 1.296,
"words": [
{
"text": "Note ",
"font": "serif",
"width": 4.507,
"textWidth": 4.051
},
{
"text": "that ",
"font": "serif",
"width": 3.676,
"textWidth": 3.219
},
{
"text": "the ",
"font": "serif",
"width": 3.033,
"textWidth": 2.575
},
{
"text": "actual ",
"font": "serif",
"width": 5.402,
"textWidth": 4.946
},
{
"text": "layer ",
"font": "serif",
"width": 4.58,
"textWidth": 4.123
},
{
"text": "input ",
"font": "serif",
"width": 4.461,
"textWidth": 4.461
}
]
},
{
"left": 49.366,
"top": 88.969,
"width": 38.729,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.784,
"textWidth": 1.327
},
{
"text": "also ",
"font": "serif",
"width": 4.717,
"textWidth": 3.269
},
{
"text": "-dimensional, ",
"font": "serif",
"width": 11.712,
"textWidth": 11.256
},
{
"text": "so ",
"font": "serif",
"width": 2.259,
"textWidth": 1.801
},
{
"text": "the ",
"font": "serif",
"width": 3.032,
"textWidth": 2.575
},
{
"text": "expanded ",
"font": "serif",
"width": 8.586,
"textWidth": 8.129
},
{
"text": "residual ",
"font": "serif",
"width": 6.639,
"textWidth": 6.639
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "7 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"8": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.828,
"top": 10.472,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "width ",
"font": "serif",
"width": 5.304,
"textWidth": 4.845
},
{
"text": "does ",
"font": "serif",
"width": 4.232,
"textWidth": 3.775
},
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "influence ",
"font": "serif",
"width": 7.913,
"textWidth": 7.455
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "design ",
"font": "serif",
"width": 5.85,
"textWidth": 5.393
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "inner ",
"font": "serif",
"width": 4.724,
"textWidth": 4.268
},
{
"text": "layers. ",
"font": "serif",
"width": 5.874,
"textWidth": 5.305
},
{
"text": "HC ",
"font": "serif",
"width": 3.282,
"textWidth": 2.824
},
{
"text": "decouples ",
"font": "serif",
"width": 8.665,
"textWidth": 8.206
},
{
"text": "the ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "residual ",
"font": "serif",
"width": 7.012,
"textWidth": 6.553
},
{
"text": "width ",
"font": "serif",
"width": 5.304,
"textWidth": 4.845
},
{
"text": "from ",
"font": "serif",
"width": 3.92,
"textWidth": 3.92
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.208,
"textWidth": 2.593
},
{
"text": "actual ",
"font": "serif",
"width": 5.593,
"textWidth": 4.98
},
{
"text": "hidden ",
"font": "serif",
"width": 6.514,
"textWidth": 5.899
},
{
"text": "size, ",
"font": "serif",
"width": 4.286,
"textWidth": 3.634
},
{
"text": "offering ",
"font": "serif",
"width": 7.152,
"textWidth": 6.537
},
{
"text": "a ",
"font": "serif",
"width": 1.548,
"textWidth": 0.935
},
{
"text": "complementary ",
"font": "serif",
"width": 13.634,
"textWidth": 13.019
},
{
"text": "scaling ",
"font": "serif",
"width": 6.385,
"textWidth": 5.772
},
{
"text": "axis ",
"font": "serif",
"width": 3.851,
"textWidth": 3.236
},
{
"text": "with ",
"font": "serif",
"width": 4.413,
"textWidth": 3.8
},
{
"text": "minimal ",
"font": "serif",
"width": 7.571,
"textWidth": 6.956
},
{
"text": "computational ",
"font": "serif",
"width": 12.036,
"textWidth": 12.036
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 10.369,
"height": 1.296,
"words": [
{
"text": "overhead, ",
"font": "serif",
"width": 8.645,
"textWidth": 8.188
},
{
"text": "as ",
"font": "serif",
"width": 1.724,
"textWidth": 1.724
}
]
},
{
"left": 23.687,
"top": 13.691,
"width": 39.759,
"height": 1.425,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.914,
"textWidth": 1.374
},
{
"text": "is ",
"font": "serif",
"width": 1.791,
"textWidth": 1.334
},
{
"text": "typically ",
"font": "serif",
"width": 7.649,
"textWidth": 7.194
},
{
"text": "much ",
"font": "serif",
"width": 5.143,
"textWidth": 4.686
},
{
"text": "smaller ",
"font": "serif",
"width": 6.545,
"textWidth": 6.087
},
{
"text": "than ",
"font": "serif",
"width": 4.168,
"textWidth": 3.713
},
{
"text": "the ",
"font": "serif",
"width": 3.045,
"textWidth": 2.588
},
{
"text": "hidden ",
"font": "serif",
"width": 6.345,
"textWidth": 5.888
},
{
"text": "size ",
"font": "serif",
"width": 3.16,
"textWidth": 3.16
}
]
},
{
"left": 65.927,
"top": 13.691,
"width": 22.169,
"height": 1.296,
"words": [
{
"text": "However, ",
"font": "serif",
"width": 8.492,
"textWidth": 8.035
},
{
"text": "even ",
"font": "serif",
"width": 4.384,
"textWidth": 3.927
},
{
"text": "though ",
"font": "serif",
"width": 6.418,
"textWidth": 5.961
},
{
"text": "HC ",
"font": "serif",
"width": 2.875,
"textWidth": 2.875
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "has ",
"font": "serif",
"width": 3.348,
"textWidth": 2.815
},
{
"text": "demonstrated ",
"font": "serif",
"width": 12.049,
"textWidth": 11.518
},
{
"text": "potential ",
"font": "serif",
"width": 7.901,
"textWidth": 7.369
},
{
"text": "in ",
"font": "serif",
"width": 2.163,
"textWidth": 1.632
},
{
"text": "improving ",
"font": "serif",
"width": 9.303,
"textWidth": 8.772
},
{
"text": "model ",
"font": "serif",
"width": 5.785,
"textWidth": 5.253
},
{
"text": "performance, ",
"font": "serif",
"width": 11.556,
"textWidth": 11.004
},
{
"text": "we ",
"font": "serif",
"width": 2.985,
"textWidth": 2.454
},
{
"text": "find ",
"font": "serif",
"width": 3.894,
"textWidth": 3.361
},
{
"text": "that ",
"font": "serif",
"width": 3.772,
"textWidth": 3.241
},
{
"text": "the ",
"font": "serif",
"width": 3.125,
"textWidth": 2.593
},
{
"text": "training ",
"font": "serif",
"width": 7.118,
"textWidth": 6.585
},
{
"text": "will ",
"font": "serif",
"width": 3.191,
"textWidth": 3.191
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "frequently ",
"font": "serif",
"width": 8.646,
"textWidth": 8.236
},
{
"text": "exhibit ",
"font": "serif",
"width": 5.864,
"textWidth": 5.456
},
{
"text": "numerical ",
"font": "serif",
"width": 8.434,
"textWidth": 8.024
},
{
"text": "instability ",
"font": "serif",
"width": 8.367,
"textWidth": 7.958
},
{
"text": "when ",
"font": "serif",
"width": 4.858,
"textWidth": 4.449
},
{
"text": "stacking ",
"font": "serif",
"width": 7.017,
"textWidth": 6.607
},
{
"text": "multiple ",
"font": "serif",
"width": 7.171,
"textWidth": 6.762
},
{
"text": "layers, ",
"font": "serif",
"width": 5.618,
"textWidth": 5.199
},
{
"text": "which ",
"font": "serif",
"width": 5.318,
"textWidth": 4.908
},
{
"text": "hinders ",
"font": "serif",
"width": 6.451,
"textWidth": 6.042
},
{
"text": "the ",
"font": "serif",
"width": 2.9,
"textWidth": 2.491
},
{
"text": "scaling ",
"font": "serif",
"width": 5.546,
"textWidth": 5.546
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 5.351,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "HC. ",
"font": "serif",
"width": 3.282,
"textWidth": 3.282
}
]
},
{
"left": 11.905,
"top": 22.626,
"width": 35.997,
"height": 1.296,
"words": [
{
"text": "Manifold-Constrained ",
"font": "serif-bold",
"width": 19.632,
"textWidth": 19.171
},
{
"text": "Residual ",
"font": "serif-bold",
"width": 8.024,
"textWidth": 7.563
},
{
"text": "Mapping. ",
"font": "serif-bold",
"width": 8.341,
"textWidth": 8.341
}
]
},
{
"left": 49.724,
"top": 22.647,
"width": 18.565,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.584,
"textWidth": 3.123
},
{
"text": "core ",
"font": "serif",
"width": 3.905,
"textWidth": 3.444
},
{
"text": "innovation ",
"font": "serif",
"width": 9.436,
"textWidth": 8.975
},
{
"text": "of ",
"font": "serif",
"width": 1.64,
"textWidth": 1.64
}
]
},
{
"left": 68.75,
"top": 22.619,
"width": 1.451,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.451,
"textWidth": 1.451
}
]
},
{
"left": 70.201,
"top": 22.647,
"width": 17.895,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.334,
"textWidth": 2.875
},
{
"text": "is ",
"font": "serif",
"width": 1.795,
"textWidth": 1.334
},
{
"text": "to ",
"font": "serif",
"width": 2.088,
"textWidth": 1.627
},
{
"text": "constrain ",
"font": "serif",
"width": 8.091,
"textWidth": 7.63
},
{
"text": "the ",
"font": "serif",
"width": 2.588,
"textWidth": 2.588
}
]
},
{
"left": 11.905,
"top": 24.256,
"width": 19.723,
"height": 1.296,
"words": [
{
"text": "residual ",
"font": "serif",
"width": 6.853,
"textWidth": 6.422
},
{
"text": "mapping ",
"font": "serif",
"width": 7.642,
"textWidth": 7.209
},
{
"text": "matrix ",
"font": "serif",
"width": 5.228,
"textWidth": 5.228
}
]
},
{
"left": 34.082,
"top": 24.256,
"width": 54.197,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 1.999,
"textWidth": 1.566
},
{
"text": "the ",
"font": "serif",
"width": 2.922,
"textWidth": 2.491
},
{
"text": "manifold ",
"font": "serif",
"width": 7.683,
"textWidth": 7.25
},
{
"text": "of ",
"font": "serif",
"width": 2.01,
"textWidth": 1.579
},
{
"text": "doubly ",
"font": "serif",
"width": 6.108,
"textWidth": 5.675
},
{
"text": "stochastic ",
"font": "serif",
"width": 8.166,
"textWidth": 7.735
},
{
"text": "matrices ",
"font": "serif",
"width": 7.153,
"textWidth": 6.72
},
{
"text": "(the ",
"font": "serif",
"width": 3.52,
"textWidth": 3.089
},
{
"text": "Birkhoff ",
"font": "serif",
"width": 6.95,
"textWidth": 6.518
},
{
"text": "polytope) ",
"font": "serif",
"width": 7.685,
"textWidth": 7.685
}
]
},
{
"left": 14.91,
"top": 25.865,
"width": 53.201,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "thus ",
"font": "serif",
"width": 4.004,
"textWidth": 3.546
},
{
"text": "enhance ",
"font": "serif",
"width": 7.144,
"textWidth": 6.685
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "stability ",
"font": "serif",
"width": 6.979,
"textWidth": 6.52
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "signal ",
"font": "serif",
"width": 5.304,
"textWidth": 4.845
},
{
"text": "propagation ",
"font": "serif",
"width": 10.402,
"textWidth": 9.944
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "layers: ",
"font": "serif",
"width": 5.305,
"textWidth": 5.305
}
]
},
{
"left": 49.254,
"top": 28.123,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 53.056,
"top": 28.123,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 56.026,
"top": 28.123,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 61.486,
"top": 28.123,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 68.406,
"top": 28.143,
"width": 19.873,
"height": 1.296,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 17.736,
"textWidth": 0.916
},
{
"text": "(2) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 11.848,
"top": 30.421,
"width": 55.554,
"height": 1.296,
"words": [
{
"text": "This ",
"font": "serif",
"width": 3.951,
"textWidth": 3.493
},
{
"text": "constraint ",
"font": "serif",
"width": 8.536,
"textWidth": 8.077
},
{
"text": "ensures ",
"font": "serif",
"width": 6.617,
"textWidth": 6.158
},
{
"text": "that ",
"font": "serif",
"width": 3.629,
"textWidth": 3.171
},
{
"text": "the ",
"font": "serif",
"width": 2.994,
"textWidth": 2.537
},
{
"text": "spectral ",
"font": "serif",
"width": 6.787,
"textWidth": 6.328
},
{
"text": "norm ",
"font": "serif",
"width": 4.858,
"textWidth": 4.4
},
{
"text": "of ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "mapping ",
"font": "serif",
"width": 7.799,
"textWidth": 7.34
},
{
"text": "matrix ",
"font": "serif",
"width": 5.324,
"textWidth": 5.324
}
]
},
{
"left": 71.283,
"top": 30.421,
"width": 16.812,
"height": 1.392,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 1.211,
"textWidth": 0.669
},
{
"text": "is ",
"font": "serif",
"width": 1.765,
"textWidth": 1.308
},
{
"text": "bounded ",
"font": "serif",
"width": 7.747,
"textWidth": 7.288
},
{
"text": "by ",
"font": "serif",
"width": 2.486,
"textWidth": 2.028
},
{
"text": "1, ",
"font": "serif",
"width": 1.829,
"textWidth": 1.372
},
{
"text": "so ",
"font": "serif",
"width": 1.774,
"textWidth": 1.774
}
]
},
{
"left": 11.905,
"top": 32.031,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.848,
"textWidth": 2.491
},
{
"text": "residual ",
"font": "serif",
"width": 6.778,
"textWidth": 6.421
},
{
"text": "transformation ",
"font": "serif",
"width": 12.261,
"textWidth": 11.905
},
{
"text": "is ",
"font": "serif",
"width": 1.642,
"textWidth": 1.284
},
{
"text": "non-expansive, ",
"font": "serif",
"width": 12.464,
"textWidth": 12.087
},
{
"text": "which ",
"font": "serif",
"width": 5.266,
"textWidth": 4.908
},
{
"text": "increases ",
"font": "serif",
"width": 7.539,
"textWidth": 7.182
},
{
"text": "the ",
"font": "serif",
"width": 2.848,
"textWidth": 2.491
},
{
"text": "numerical ",
"font": "serif",
"width": 8.38,
"textWidth": 8.023
},
{
"text": "stability ",
"font": "serif",
"width": 6.747,
"textWidth": 6.39
},
{
"text": "during ",
"font": "serif",
"width": 5.812,
"textWidth": 5.456
},
{
"text": "both ",
"font": "serif",
"width": 3.604,
"textWidth": 3.604
}
]
},
{
"left": 11.905,
"top": 33.64,
"width": 43.717,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "forward ",
"font": "serif",
"width": 6.904,
"textWidth": 6.458
},
{
"text": "pass ",
"font": "serif",
"width": 3.946,
"textWidth": 3.5
},
{
"text": "and ",
"font": "serif",
"width": 3.486,
"textWidth": 3.041
},
{
"text": "backpropagation. ",
"font": "serif",
"width": 14.443,
"textWidth": 13.879
},
{
"text": "Besides, ",
"font": "serif",
"width": 6.859,
"textWidth": 6.41
},
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "set ",
"font": "serif",
"width": 2.207,
"textWidth": 2.207
}
]
},
{
"left": 58.601,
"top": 33.64,
"width": 29.493,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.73,
"textWidth": 1.284
},
{
"text": "closed ",
"font": "serif",
"width": 5.465,
"textWidth": 5.02
},
{
"text": "under ",
"font": "serif",
"width": 5.241,
"textWidth": 4.795
},
{
"text": "multiplication, ",
"font": "serif",
"width": 12.15,
"textWidth": 11.702
},
{
"text": "which ",
"font": "serif",
"width": 4.908,
"textWidth": 4.908
}
]
},
{
"left": 11.905,
"top": 35.25,
"width": 41.578,
"height": 1.296,
"words": [
{
"text": "guarantees ",
"font": "serif",
"width": 9.104,
"textWidth": 8.7
},
{
"text": "stability ",
"font": "serif",
"width": 6.794,
"textWidth": 6.39
},
{
"text": "in ",
"font": "serif",
"width": 1.974,
"textWidth": 1.568
},
{
"text": "the ",
"font": "serif",
"width": 2.895,
"textWidth": 2.491
},
{
"text": "scenarios ",
"font": "serif",
"width": 7.741,
"textWidth": 7.336
},
{
"text": "of ",
"font": "serif",
"width": 1.983,
"textWidth": 1.579
},
{
"text": "deep ",
"font": "serif",
"width": 4.303,
"textWidth": 3.897
},
{
"text": "stacks ",
"font": "serif",
"width": 5.206,
"textWidth": 4.802
},
{
"text": "of ",
"font": "serif",
"width": 1.579,
"textWidth": 1.579
}
]
},
{
"left": 53.887,
"top": 35.222,
"width": 1.397,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.397,
"textWidth": 1.397
}
]
},
{
"left": 55.284,
"top": 35.25,
"width": 32.81,
"height": 1.296,
"words": [
{
"text": "HC. ",
"font": "serif",
"width": 3.621,
"textWidth": 3.217
},
{
"text": "In ",
"font": "serif",
"width": 2.056,
"textWidth": 1.65
},
{
"text": "addition, ",
"font": "serif",
"width": 7.613,
"textWidth": 7.198
},
{
"text": "the ",
"font": "serif",
"width": 2.895,
"textWidth": 2.491
},
{
"text": "input ",
"font": "serif",
"width": 4.72,
"textWidth": 4.316
},
{
"text": "transformation ",
"font": "serif",
"width": 11.905,
"textWidth": 11.905
}
]
},
{
"left": 14.121,
"top": 36.859,
"width": 22.287,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.722,
"textWidth": 3.165
},
{
"text": "output ",
"font": "serif",
"width": 6.174,
"textWidth": 5.617
},
{
"text": "transformation ",
"font": "serif",
"width": 12.391,
"textWidth": 12.391
}
]
},
{
"left": 39.048,
"top": 36.859,
"width": 49.048,
"height": 1.296,
"words": [
{
"text": "are ",
"font": "serif",
"width": 3.092,
"textWidth": 2.535
},
{
"text": "also ",
"font": "serif",
"width": 3.849,
"textWidth": 3.292
},
{
"text": "constrained ",
"font": "serif",
"width": 10.24,
"textWidth": 9.683
},
{
"text": "to ",
"font": "serif",
"width": 2.187,
"textWidth": 1.63
},
{
"text": "be ",
"font": "serif",
"width": 2.488,
"textWidth": 1.929
},
{
"text": "non-negative ",
"font": "serif",
"width": 11.436,
"textWidth": 10.879
},
{
"text": "and ",
"font": "serif",
"width": 3.724,
"textWidth": 3.165
},
{
"text": "bounded ",
"font": "serif",
"width": 8.006,
"textWidth": 7.447
},
{
"text": "via ",
"font": "serif",
"width": 3.092,
"textWidth": 2.535
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 38.468,
"width": 45.627,
"height": 1.296,
"words": [
{
"text": "Sigmoid ",
"font": "serif",
"width": 7.244,
"textWidth": 6.786
},
{
"text": "function ",
"font": "serif",
"width": 7.252,
"textWidth": 6.793
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "avoid ",
"font": "serif",
"width": 5.064,
"textWidth": 4.605
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "risk ",
"font": "serif",
"width": 3.511,
"textWidth": 3.053
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "signal ",
"font": "serif",
"width": 5.304,
"textWidth": 4.845
},
{
"text": "cancellation. ",
"font": "serif",
"width": 10.127,
"textWidth": 10.127
}
]
},
{
"left": 11.905,
"top": 42.575,
"width": 23.246,
"height": 1.296,
"words": [
{
"text": "Dynamic ",
"font": "serif-bold",
"width": 8.242,
"textWidth": 7.787
},
{
"text": "Parameterization. ",
"font": "serif-bold",
"width": 15.005,
"textWidth": 15.005
}
]
},
{
"left": 36.973,
"top": 42.596,
"width": 51.425,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.583,
"textWidth": 3.129
},
{
"text": "parameters ",
"font": "serif",
"width": 9.767,
"textWidth": 9.313
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.643
},
{
"text": "three ",
"font": "serif",
"width": 4.647,
"textWidth": 4.193
},
{
"text": "linear ",
"font": "serif",
"width": 5.198,
"textWidth": 4.744
},
{
"text": "mappings ",
"font": "serif",
"width": 8.752,
"textWidth": 8.296
},
{
"text": "are ",
"font": "serif",
"width": 2.989,
"textWidth": 2.535
},
{
"text": "dynamically ",
"font": "serif",
"width": 10.745,
"textWidth": 10.29
},
{
"text": "gen- ",
"font": "serif",
"width": 3.645,
"textWidth": 3.645
}
]
},
{
"left": 11.905,
"top": 44.205,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "erated, ",
"font": "serif",
"width": 6.464,
"textWidth": 5.683
},
{
"text": "which ",
"font": "serif",
"width": 5.825,
"textWidth": 5.109
},
{
"text": "are ",
"font": "serif",
"width": 3.251,
"textWidth": 2.535
},
{
"text": "decomposed ",
"font": "serif",
"width": 11.231,
"textWidth": 10.513
},
{
"text": "into ",
"font": "serif",
"width": 3.978,
"textWidth": 3.262
},
{
"text": "a ",
"font": "serif",
"width": 1.651,
"textWidth": 0.935
},
{
"text": "dynamic ",
"font": "serif",
"width": 7.944,
"textWidth": 7.228
},
{
"text": "(input-dependent) ",
"font": "serif",
"width": 15.954,
"textWidth": 15.238
},
{
"text": "component ",
"font": "serif",
"width": 10.042,
"textWidth": 9.326
},
{
"text": "and ",
"font": "serif",
"width": 3.881,
"textWidth": 3.165
},
{
"text": "a ",
"font": "serif",
"width": 1.652,
"textWidth": 0.935
},
{
"text": "static ",
"font": "serif",
"width": 4.32,
"textWidth": 4.32
}
]
},
{
"left": 59.211,
"top": 45.944,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 11.844,
"top": 45.814,
"width": 40.931,
"height": 1.296,
"words": [
{
"text": "(input-independent) ",
"font": "serif",
"width": 17.367,
"textWidth": 16.87
},
{
"text": "component. ",
"font": "serif",
"width": 10.475,
"textWidth": 9.793
},
{
"text": "Given ",
"font": "serif",
"width": 5.507,
"textWidth": 5.01
},
{
"text": "the ",
"font": "serif",
"width": 3.09,
"textWidth": 2.593
},
{
"text": "input ",
"font": "serif",
"width": 4.492,
"textWidth": 4.492
}
]
},
{
"left": 63.082,
"top": 45.814,
"width": 25.317,
"height": 1.296,
"words": [
{
"text": "it ",
"font": "serif",
"width": 1.651,
"textWidth": 1.153
},
{
"text": "is ",
"font": "serif",
"width": 1.832,
"textWidth": 1.337
},
{
"text": "first ",
"font": "serif",
"width": 3.768,
"textWidth": 3.271
},
{
"text": "flattened ",
"font": "serif",
"width": 7.808,
"textWidth": 7.311
},
{
"text": "and ",
"font": "serif",
"width": 3.66,
"textWidth": 3.165
},
{
"text": "normal- ",
"font": "serif",
"width": 6.599,
"textWidth": 6.599
}
]
},
{
"left": 11.905,
"top": 47.424,
"width": 3.94,
"height": 1.296,
"words": [
{
"text": "ized: ",
"font": "serif",
"width": 3.94,
"textWidth": 3.94
}
]
},
{
"left": 20.055,
"top": 47.424,
"width": 12.288,
"height": 1.296,
"words": [
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.561,
"textWidth": 8.786
},
{
"text": "vec ",
"font": "serif",
"width": 2.727,
"textWidth": 2.727
}
]
},
{
"left": 39.619,
"top": 47.204,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 41.946,
"top": 47.554,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 44.914,
"top": 47.424,
"width": 43.18,
"height": 1.296,
"words": [
{
"text": "Then, ",
"font": "serif",
"width": 5.091,
"textWidth": 4.634
},
{
"text": "we ",
"font": "serif",
"width": 2.885,
"textWidth": 2.428
},
{
"text": "follow ",
"font": "serif",
"width": 5.71,
"textWidth": 5.253
},
{
"text": "the ",
"font": "serif",
"width": 3.021,
"textWidth": 2.565
},
{
"text": "conventional ",
"font": "serif",
"width": 11.06,
"textWidth": 10.603
},
{
"text": "HC ",
"font": "serif",
"width": 3.304,
"textWidth": 2.849
},
{
"text": "to ",
"font": "serif",
"width": 2.069,
"textWidth": 1.612
},
{
"text": "generate ",
"font": "serif",
"width": 7.476,
"textWidth": 7.019
},
{
"text": "the ",
"font": "serif",
"width": 2.565,
"textWidth": 2.565
}
]
},
{
"left": 11.905,
"top": 49.033,
"width": 24.88,
"height": 1.296,
"words": [
{
"text": "unconstrained ",
"font": "serif",
"width": 12.123,
"textWidth": 11.665
},
{
"text": "raw ",
"font": "serif",
"width": 3.627,
"textWidth": 3.169
},
{
"text": "parameters ",
"font": "serif",
"width": 9.13,
"textWidth": 9.13
}
]
},
{
"left": 42.459,
"top": 48.814,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 44.786,
"top": 49.033,
"width": 1.673,
"height": 1.296,
"words": [
{
"text": "hc, ",
"font": "serif",
"width": 1.673,
"textWidth": 1.673
}
]
},
{
"left": 52.765,
"top": 49.163,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 55.553,
"top": 49.033,
"width": 5.234,
"height": 1.296,
"words": [
{
"text": "hc, ",
"font": "serif",
"width": 2.131,
"textWidth": 1.673
},
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 67.029,
"top": 48.814,
"width": 3.301,
"height": 1.516,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 2.09,
"textWidth": 1.047
},
{
"text": "1: ",
"font": "serif",
"width": 1.211,
"textWidth": 1.211
}
]
},
{
"left": 43.51,
"top": 50.838,
"width": 1.951,
"height": 0.947,
"words": [
{
"text": "pre ",
"font": "serif",
"width": 1.951,
"textWidth": 1.951
}
]
},
{
"left": 50.652,
"top": 50.838,
"width": 1.951,
"height": 0.947,
"words": [
{
"text": "pre ",
"font": "serif",
"width": 1.951,
"textWidth": 1.951
}
]
},
{
"left": 56.189,
"top": 50.838,
"width": 1.951,
"height": 0.947,
"words": [
{
"text": "pre ",
"font": "serif",
"width": 1.951,
"textWidth": 1.951
}
]
},
{
"left": 86.142,
"top": 51.311,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(3) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 43.51,
"top": 52.991,
"width": 6.251,
"height": 1.58,
"words": [
{
"text": "res ",
"font": "serif",
"width": 3.004,
"textWidth": 1.714
},
{
"text": "Mat ",
"font": "serif",
"width": 3.247,
"textWidth": 3.247
}
]
},
{
"left": 53.663,
"top": 52.991,
"width": 1.714,
"height": 0.947,
"words": [
{
"text": "res ",
"font": "serif",
"width": 1.714,
"textWidth": 1.714
}
]
},
{
"left": 58.963,
"top": 52.991,
"width": 29.316,
"height": 1.58,
"words": [
{
"text": "res ",
"font": "serif",
"width": 27.179,
"textWidth": 1.714
},
{
"text": "(4) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 43.51,
"top": 55.07,
"width": 2.54,
"height": 0.947,
"words": [
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 51.241,
"top": 55.07,
"width": 2.54,
"height": 0.947,
"words": [
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 58.216,
"top": 55.07,
"width": 2.54,
"height": 0.947,
"words": [
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 86.142,
"top": 55.544,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(5) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 19.05,
"top": 57.73,
"width": 1.951,
"height": 0.947,
"words": [
{
"text": "pre ",
"font": "serif",
"width": 1.951,
"textWidth": 1.951
}
]
},
{
"left": 23.442,
"top": 57.73,
"width": 2.54,
"height": 0.947,
"words": [
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 30.454,
"top": 58.334,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 33.967,
"top": 58.334,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 40.919,
"top": 57.982,
"width": 1.714,
"height": 0.947,
"words": [
{
"text": "res ",
"font": "serif",
"width": 1.714,
"textWidth": 1.714
}
]
},
{
"left": 47.105,
"top": 58.251,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 50.617,
"top": 57.719,
"width": 0.51,
"height": 0.722,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.51,
"textWidth": 0.51
}
]
},
{
"left": 11.828,
"top": 58.204,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 35.675,
"top": 58.204,
"width": 3.165,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 50.617,
"top": 58.204,
"width": 37.479,
"height": 1.296,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.708,
"textWidth": 1.047
},
{
"text": "are ",
"font": "serif",
"width": 3.028,
"textWidth": 2.535
},
{
"text": "learnable ",
"font": "serif",
"width": 8.103,
"textWidth": 7.608
},
{
"text": "parameters ",
"font": "serif",
"width": 9.806,
"textWidth": 9.311
},
{
"text": "for ",
"font": "serif",
"width": 2.875,
"textWidth": 2.381
},
{
"text": "generating ",
"font": "serif",
"width": 9.365,
"textWidth": 8.872
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 59.813,
"width": 46.819,
"height": 1.296,
"words": [
{
"text": "dynamic ",
"font": "serif",
"width": 7.812,
"textWidth": 7.228
},
{
"text": "components; ",
"font": "serif",
"width": 11.232,
"textWidth": 10.586
},
{
"text": "Mat ",
"font": "serif",
"width": 5.803,
"textWidth": 3.247
},
{
"text": "reshapes ",
"font": "serif",
"width": 7.812,
"textWidth": 7.227
},
{
"text": "a ",
"font": "serif",
"width": 1.518,
"textWidth": 0.935
},
{
"text": "vector ",
"font": "serif",
"width": 5.733,
"textWidth": 5.15
},
{
"text": "of ",
"font": "serif",
"width": 2.226,
"textWidth": 1.643
},
{
"text": "size ",
"font": "serif",
"width": 3.75,
"textWidth": 3.167
},
{
"text": "1 ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 61.652,
"top": 59.593,
"width": 18.823,
"height": 1.516,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 2.041,
"textWidth": 0.669
},
{
"text": "into ",
"font": "serif",
"width": 3.845,
"textWidth": 3.262
},
{
"text": "a ",
"font": "serif",
"width": 1.518,
"textWidth": 0.935
},
{
"text": "matrix ",
"font": "serif",
"width": 6.025,
"textWidth": 5.441
},
{
"text": "of ",
"font": "serif",
"width": 2.228,
"textWidth": 1.643
},
{
"text": "size ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 82.015,
"top": 60.292,
"width": 1.374,
"height": 0.947,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 86.4,
"top": 60.292,
"width": 1.374,
"height": 0.947,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 61.652,
"top": 60.574,
"width": 1.374,
"height": 0.947,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 12.827,
"top": 61.301,
"width": 1.951,
"height": 0.947,
"words": [
{
"text": "pre ",
"font": "serif",
"width": 1.951,
"textWidth": 1.951
}
]
},
{
"left": 18.42,
"top": 61.555,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 23.735,
"top": 61.301,
"width": 2.54,
"height": 0.947,
"words": [
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 30.615,
"top": 61.555,
"width": 3.292,
"height": 1.516,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 2.09,
"textWidth": 1.047
},
{
"text": "1, ",
"font": "serif",
"width": 1.202,
"textWidth": 1.202
}
]
},
{
"left": 38.658,
"top": 61.553,
"width": 1.714,
"height": 0.947,
"words": [
{
"text": "res ",
"font": "serif",
"width": 1.714,
"textWidth": 1.714
}
]
},
{
"left": 44.713,
"top": 61.904,
"width": 1.047,
"height": 0.722,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.047,
"textWidth": 1.047
}
]
},
{
"left": 47.501,
"top": 61.301,
"width": 36.952,
"height": 1.325,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 26.787,
"textWidth": 1.047
},
{
"text": "pre ",
"font": "serif",
"width": 3.931,
"textWidth": 1.951
},
{
"text": "res ",
"font": "serif",
"width": 3.694,
"textWidth": 1.714
},
{
"text": "post ",
"font": "serif",
"width": 2.54,
"textWidth": 2.54
}
]
},
{
"left": 20.747,
"top": 61.774,
"width": 1.664,
"height": 1.296,
"words": [
{
"text": "hc, ",
"font": "serif",
"width": 1.664,
"textWidth": 1.664
}
]
},
{
"left": 34.308,
"top": 61.774,
"width": 3.041,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 49.103,
"top": 61.774,
"width": 23.752,
"height": 1.296,
"words": [
{
"text": "are ",
"font": "serif",
"width": 2.821,
"textWidth": 2.435
},
{
"text": "learnable ",
"font": "serif",
"width": 7.696,
"textWidth": 7.31
},
{
"text": "static ",
"font": "serif",
"width": 4.538,
"textWidth": 4.15
},
{
"text": "biases; ",
"font": "serif",
"width": 5.655,
"textWidth": 5.246
},
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 11.905,
"top": 63.384,
"width": 43.581,
"height": 1.296,
"words": [
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "learnable ",
"font": "serif",
"width": 7.917,
"textWidth": 7.459
},
{
"text": "gating ",
"font": "serif",
"width": 5.61,
"textWidth": 5.151
},
{
"text": "factors ",
"font": "serif",
"width": 5.897,
"textWidth": 5.439
},
{
"text": "initialized ",
"font": "serif",
"width": 8.619,
"textWidth": 8.161
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "small ",
"font": "serif",
"width": 4.836,
"textWidth": 4.378
},
{
"text": "values. ",
"font": "serif",
"width": 5.703,
"textWidth": 5.703
}
]
},
{
"left": 11.905,
"top": 67.49,
"width": 27.162,
"height": 1.296,
"words": [
{
"text": "Applying ",
"font": "serif-bold",
"width": 8.388,
"textWidth": 7.931
},
{
"text": "Parameter ",
"font": "serif-bold",
"width": 8.789,
"textWidth": 8.332
},
{
"text": "Constraints. ",
"font": "serif-bold",
"width": 9.985,
"textWidth": 9.985
}
]
},
{
"left": 40.89,
"top": 67.511,
"width": 40.235,
"height": 1.296,
"words": [
{
"text": "After ",
"font": "serif",
"width": 4.633,
"textWidth": 4.176
},
{
"text": "obtaining ",
"font": "serif",
"width": 8.095,
"textWidth": 7.638
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.506
},
{
"text": "unconstrained ",
"font": "serif",
"width": 11.958,
"textWidth": 11.501
},
{
"text": "raw ",
"font": "serif",
"width": 3.583,
"textWidth": 3.124
},
{
"text": "parameters ",
"font": "serif",
"width": 9.002,
"textWidth": 9.002
}
]
},
{
"left": 11.828,
"top": 69.12,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.937,
"textWidth": 2.454
},
{
"text": "then ",
"font": "serif",
"width": 4.163,
"textWidth": 3.681
},
{
"text": "apply ",
"font": "serif",
"width": 5.247,
"textWidth": 4.765
},
{
"text": "constraints ",
"font": "serif",
"width": 9.53,
"textWidth": 9.047
},
{
"text": "described ",
"font": "serif",
"width": 8.496,
"textWidth": 8.014
},
{
"text": "earlier ",
"font": "serif",
"width": 5.772,
"textWidth": 5.29
},
{
"text": "to ",
"font": "serif",
"width": 2.112,
"textWidth": 1.63
},
{
"text": "them ",
"font": "serif",
"width": 4.726,
"textWidth": 4.243
},
{
"text": "to ",
"font": "serif",
"width": 2.112,
"textWidth": 1.63
},
{
"text": "enhance ",
"font": "serif",
"width": 7.299,
"textWidth": 6.817
},
{
"text": "the ",
"font": "serif",
"width": 3.075,
"textWidth": 2.593
},
{
"text": "numerical ",
"font": "serif",
"width": 8.834,
"textWidth": 8.352
},
{
"text": "stability. ",
"font": "serif",
"width": 7.556,
"textWidth": 6.914
},
{
"text": "To ",
"font": "serif",
"width": 2.481,
"textWidth": 1.998
},
{
"text": "be ",
"font": "serif",
"width": 1.929,
"textWidth": 1.929
}
]
},
{
"left": 11.905,
"top": 70.73,
"width": 76.226,
"height": 1.296,
"words": [
{
"text": "specific, ",
"font": "serif",
"width": 6.902,
"textWidth": 6.445
},
{
"text": "for ",
"font": "serif",
"width": 2.78,
"textWidth": 2.321
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.527
},
{
"text": "input ",
"font": "serif",
"width": 4.835,
"textWidth": 4.377
},
{
"text": "and ",
"font": "serif",
"width": 3.541,
"textWidth": 3.084
},
{
"text": "output ",
"font": "serif",
"width": 5.933,
"textWidth": 5.474
},
{
"text": "mappings, ",
"font": "serif",
"width": 8.997,
"textWidth": 8.538
},
{
"text": "we ",
"font": "serif",
"width": 2.849,
"textWidth": 2.392
},
{
"text": "employ ",
"font": "serif",
"width": 6.571,
"textWidth": 6.113
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.911
},
{
"text": "Sigmoid ",
"font": "serif",
"width": 7.203,
"textWidth": 6.745
},
{
"text": "function ",
"font": "serif",
"width": 10.621,
"textWidth": 6.753
},
{
"text": "to ",
"font": "serif",
"width": 2.046,
"textWidth": 1.588
},
{
"text": "ensure ",
"font": "serif",
"width": 5.82,
"textWidth": 5.363
},
{
"text": "their ",
"font": "serif",
"width": 3.776,
"textWidth": 3.776
}
]
},
{
"left": 11.905,
"top": 72.339,
"width": 27.218,
"height": 1.296,
"words": [
{
"text": "non-negativity ",
"font": "serif",
"width": 12.398,
"textWidth": 11.939
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "boundedness: ",
"font": "serif",
"width": 11.26,
"textWidth": 11.26
}
]
},
{
"left": 86.142,
"top": 74.617,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(6) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 49.201,
"top": 76.582,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 86.142,
"top": 76.582,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(7) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 11.833,
"top": 78.86,
"width": 22.462,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.623,
"textWidth": 2.165
},
{
"text": "for ",
"font": "serif",
"width": 2.753,
"textWidth": 2.295
},
{
"text": "the ",
"font": "serif",
"width": 2.958,
"textWidth": 2.499
},
{
"text": "residual ",
"font": "serif",
"width": 6.9,
"textWidth": 6.44
},
{
"text": "mapping ",
"font": "serif",
"width": 7.229,
"textWidth": 7.229
}
]
},
{
"left": 37.253,
"top": 78.86,
"width": 48.166,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.823,
"textWidth": 2.365
},
{
"text": "project ",
"font": "serif",
"width": 5.875,
"textWidth": 5.417
},
{
"text": "it ",
"font": "serif",
"width": 1.571,
"textWidth": 1.111
},
{
"text": "onto ",
"font": "serif",
"width": 4.06,
"textWidth": 3.603
},
{
"text": "the ",
"font": "serif",
"width": 2.956,
"textWidth": 2.499
},
{
"text": "manifold ",
"font": "serif",
"width": 7.73,
"textWidth": 7.272
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.583
},
{
"text": "doubly ",
"font": "serif",
"width": 6.152,
"textWidth": 5.693
},
{
"text": "stochastic ",
"font": "serif",
"width": 8.216,
"textWidth": 7.759
},
{
"text": "matrices ",
"font": "serif",
"width": 6.741,
"textWidth": 6.741
}
]
},
{
"left": 11.848,
"top": 80.469,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "This ",
"font": "serif",
"width": 3.942,
"textWidth": 3.483
},
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.304
},
{
"text": "achieved ",
"font": "serif",
"width": 7.664,
"textWidth": 7.204
},
{
"text": "by ",
"font": "serif",
"width": 2.482,
"textWidth": 2.022
},
{
"text": "the ",
"font": "serif",
"width": 2.989,
"textWidth": 2.529
},
{
"text": "Sinkhorn-Knopp ",
"font": "serif",
"width": 14.039,
"textWidth": 13.579
},
{
"text": "algorithm, ",
"font": "serif",
"width": 8.884,
"textWidth": 8.424
},
{
"text": "which ",
"font": "serif",
"width": 5.443,
"textWidth": 4.983
},
{
"text": "first ",
"font": "serif",
"width": 3.651,
"textWidth": 3.191
},
{
"text": "applies ",
"font": "serif",
"width": 6.271,
"textWidth": 5.811
},
{
"text": "an ",
"font": "serif",
"width": 2.432,
"textWidth": 1.973
},
{
"text": "exponential ",
"font": "serif",
"width": 9.929,
"textWidth": 9.469
},
{
"text": "function ",
"font": "serif",
"width": 6.76,
"textWidth": 6.76
}
]
},
{
"left": 11.905,
"top": 82.078,
"width": 1.582,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 1.582,
"textWidth": 1.582
}
]
},
{
"left": 15.997,
"top": 82.078,
"width": 21.857,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.041,
"textWidth": 1.582
},
{
"text": "ensure ",
"font": "serif",
"width": 5.802,
"textWidth": 5.341
},
{
"text": "positivity, ",
"font": "serif",
"width": 8.36,
"textWidth": 7.899
},
{
"text": "getting ",
"font": "serif",
"width": 5.653,
"textWidth": 5.653
}
]
},
{
"left": 40.525,
"top": 81.859,
"width": 6.408,
"height": 1.516,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 3.483,
"textWidth": 0.669
},
{
"text": "exp ",
"font": "serif",
"width": 2.925,
"textWidth": 2.925
}
]
},
{
"left": 50.914,
"top": 82.078,
"width": 37.258,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "then ",
"font": "serif",
"width": 4.033,
"textWidth": 3.572
},
{
"text": "iteratively ",
"font": "serif",
"width": 8.621,
"textWidth": 8.162
},
{
"text": "performs ",
"font": "serif",
"width": 7.818,
"textWidth": 7.359
},
{
"text": "column ",
"font": "serif",
"width": 6.537,
"textWidth": 6.076
},
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "row ",
"font": "serif",
"width": 3.188,
"textWidth": 3.188
}
]
},
{
"left": 11.905,
"top": 83.688,
"width": 11.881,
"height": 1.296,
"words": [
{
"text": "normalization: ",
"font": "serif",
"width": 11.881,
"textWidth": 11.881
}
]
},
{
"left": 55.209,
"top": 85.013,
"width": 33.07,
"height": 1.58,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 30.933,
"textWidth": 0.669
},
{
"text": "(8) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 11.828,
"top": 87.359,
"width": 4.971,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 4.971,
"textWidth": 4.971
}
]
},
{
"left": 19.22,
"top": 87.359,
"width": 3.059,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.059,
"textWidth": 3.059
}
]
},
{
"left": 24.707,
"top": 87.359,
"width": 63.388,
"height": 1.296,
"words": [
{
"text": "denote ",
"font": "serif",
"width": 5.923,
"textWidth": 5.462
},
{
"text": "row ",
"font": "serif",
"width": 3.634,
"textWidth": 3.173
},
{
"text": "and ",
"font": "serif",
"width": 3.52,
"textWidth": 3.059
},
{
"text": "column ",
"font": "serif",
"width": 6.512,
"textWidth": 6.051
},
{
"text": "normalization, ",
"font": "serif",
"width": 12.175,
"textWidth": 11.714
},
{
"text": "respectively. ",
"font": "serif",
"width": 10.421,
"textWidth": 9.846
},
{
"text": "This ",
"font": "serif",
"width": 3.912,
"textWidth": 3.451
},
{
"text": "iteration ",
"font": "serif",
"width": 7.212,
"textWidth": 6.751
},
{
"text": "converges ",
"font": "serif",
"width": 8.504,
"textWidth": 8.043
},
{
"text": "to ",
"font": "serif",
"width": 1.576,
"textWidth": 1.576
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 31.261,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "constrained ",
"font": "serif",
"width": 9.951,
"textWidth": 9.493
},
{
"text": "doubly ",
"font": "serif",
"width": 6.249,
"textWidth": 5.791
},
{
"text": "stochastic ",
"font": "serif",
"width": 8.351,
"textWidth": 7.893
},
{
"text": "matrix ",
"font": "serif",
"width": 5.335,
"textWidth": 5.335
}
]
},
{
"left": 49.951,
"top": 88.969,
"width": 12.289,
"height": 1.296,
"words": [
{
"text": "max ",
"font": "serif",
"width": 3.752,
"textWidth": 1.939
},
{
"text": "We ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "choose ",
"font": "serif",
"width": 5.536,
"textWidth": 5.536
}
]
},
{
"left": 63.276,
"top": 88.969,
"width": 22.88,
"height": 1.392,
"words": [
{
"text": "max ",
"font": "serif",
"width": 4.73,
"textWidth": 2.543
},
{
"text": "20 ",
"font": "serif",
"width": 2.291,
"textWidth": 1.833
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "practical ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "value. ",
"font": "serif",
"width": 4.926,
"textWidth": 4.926
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "8 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"9": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 41.739,
"top": 10.919,
"width": 24.697,
"height": 1.043,
"words": [
{
"text": "Shared ",
"font": "sans-bold",
"width": 4.591,
"textWidth": 4.262
},
{
"text": "Key-Value ",
"font": "sans-bold",
"width": 6.411,
"textWidth": 6.072
},
{
"text": "Multi-Query ",
"font": "sans-bold",
"width": 7.88,
"textWidth": 7.546
},
{
"text": "Attention ",
"font": "sans-bold",
"width": 5.815,
"textWidth": 5.815
}
]
},
{
"left": 27.626,
"top": 13.863,
"width": 6.901,
"height": 0.81,
"words": [
{
"text": "Concatenation ",
"font": "sans-bold",
"width": 6.901,
"textWidth": 6.901
}
]
},
{
"left": 47.75,
"top": 16.07,
"width": 10.573,
"height": 1.043,
"words": [
{
"text": "Lightning ",
"font": "sans-bold",
"width": 5.969,
"textWidth": 5.62
},
{
"text": "Indexer ",
"font": "sans-bold",
"width": 4.604,
"textWidth": 4.604
}
]
},
{
"left": 13.649,
"top": 16.631,
"width": 21.034,
"height": 0.817,
"words": [
{
"text": "Sliding ",
"font": "sans",
"width": 3.316,
"textWidth": 3.045
},
{
"text": "Window ",
"font": "sans",
"width": 13.759,
"textWidth": 3.895
},
{
"text": "Selected ",
"font": "sans",
"width": 3.959,
"textWidth": 3.959
}
]
},
{
"left": 14.902,
"top": 17.604,
"width": 20.675,
"height": 0.817,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.504,
"textWidth": 1.244
},
{
"text": "Entries ",
"font": "sans",
"width": 13.424,
"textWidth": 3.211
},
{
"text": "Compressed ",
"font": "sans",
"width": 5.748,
"textWidth": 5.748
}
]
},
{
"left": 30.347,
"top": 18.577,
"width": 24.745,
"height": 0.988,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.504,
"textWidth": 1.244
},
{
"text": "Entries ",
"font": "sans",
"width": 17.431,
"textWidth": 3.211
},
{
"text": "Index ",
"font": "sans",
"width": 2.802,
"textWidth": 2.536
},
{
"text": "Scores ",
"font": "sans",
"width": 3.009,
"textWidth": 3.009
}
]
},
{
"left": 36.893,
"top": 20.064,
"width": 28.494,
"height": 0.965,
"words": [
{
"text": "Top-k ",
"font": "sans-bold",
"width": 22.638,
"textWidth": 2.595
},
{
"text": "Multi-Query ",
"font": "sans-bold",
"width": 5.856,
"textWidth": 5.856
}
]
},
{
"left": 36.26,
"top": 21.037,
"width": 28.454,
"height": 0.965,
"words": [
{
"text": "Selector ",
"font": "sans-bold",
"width": 23.94,
"textWidth": 3.862
},
{
"text": "Attention ",
"font": "sans-bold",
"width": 4.513,
"textWidth": 4.513
}
]
},
{
"left": 28.588,
"top": 23.558,
"width": 25.815,
"height": 0.865,
"words": [
{
"text": "Compressed ",
"font": "sans",
"width": 20.067,
"textWidth": 5.748
},
{
"text": "Compressed ",
"font": "sans",
"width": 5.748,
"textWidth": 5.748
}
]
},
{
"left": 29.105,
"top": 24.402,
"width": 54.737,
"height": 0.995,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.504,
"textWidth": 1.244
},
{
"text": "Entries ",
"font": "sans",
"width": 18.002,
"textWidth": 3.211
},
{
"text": "Indexer ",
"font": "sans",
"width": 3.741,
"textWidth": 3.477
},
{
"text": "Keys ",
"font": "sans",
"width": 16.207,
"textWidth": 2.095
},
{
"text": "Indexer ",
"font": "sans",
"width": 3.741,
"textWidth": 3.477
},
{
"text": "Queries ",
"font": "sans",
"width": 7.924,
"textWidth": 3.618
},
{
"text": "Queries ",
"font": "sans",
"width": 3.618,
"textWidth": 3.618
}
]
},
{
"left": 35.389,
"top": 27.582,
"width": 25.455,
"height": 0.81,
"words": [
{
"text": "Token-Level ",
"font": "sans-bold",
"width": 19.871,
"textWidth": 5.584
},
{
"text": "Token-Level ",
"font": "sans-bold",
"width": 5.584,
"textWidth": 5.584
}
]
},
{
"left": 35.345,
"top": 28.555,
"width": 25.542,
"height": 0.81,
"words": [
{
"text": "Compressor ",
"font": "sans-bold",
"width": 19.871,
"textWidth": 5.671
},
{
"text": "Compressor ",
"font": "sans-bold",
"width": 5.671,
"textWidth": 5.671
}
]
},
{
"left": 16.818,
"top": 33.913,
"width": 62.408,
"height": 0.865,
"words": [
{
"text": "Hidden ",
"font": "sans",
"width": 3.618,
"textWidth": 3.344
},
{
"text": "States ",
"font": "sans",
"width": 3.087,
"textWidth": 2.827
},
{
"text": "of ",
"font": "sans",
"width": 1.214,
"textWidth": 0.954
},
{
"text": "KV ",
"font": "sans",
"width": 1.509,
"textWidth": 1.244
},
{
"text": "Tokens ",
"font": "sans",
"width": 39.664,
"textWidth": 3.166
},
{
"text": "Hidden ",
"font": "sans",
"width": 3.617,
"textWidth": 3.344
},
{
"text": "State ",
"font": "sans",
"width": 2.639,
"textWidth": 2.379
},
{
"text": "of ",
"font": "sans",
"width": 1.214,
"textWidth": 0.954
},
{
"text": "Query ",
"font": "sans",
"width": 3.127,
"textWidth": 2.864
},
{
"text": "Token ",
"font": "sans",
"width": 2.72,
"textWidth": 2.72
}
]
},
{
"left": 77.971,
"top": 37.445,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 37.704,
"width": 65.211,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.823,
"textWidth": 5.35
},
{
"text": "3 ",
"font": "serif",
"width": 2.395,
"textWidth": 0.935
},
{
"text": "Core ",
"font": "serif",
"width": 4.419,
"textWidth": 3.946
},
{
"text": "architectures ",
"font": "serif",
"width": 11.04,
"textWidth": 10.567
},
{
"text": "of ",
"font": "serif",
"width": 2.116,
"textWidth": 1.643
},
{
"text": "CSA. ",
"font": "serif",
"width": 4.701,
"textWidth": 4.228
},
{
"text": "It ",
"font": "serif",
"width": 1.712,
"textWidth": 1.239
},
{
"text": "compresses ",
"font": "serif",
"width": 9.973,
"textWidth": 9.5
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.006,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.116,
"textWidth": 1.643
},
{
"text": "KV ",
"font": "serif",
"width": 3.18,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.036,
"textWidth": 5.563
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 79.495,
"top": 37.704,
"width": 8.6,
"height": 1.296,
"words": [
{
"text": "times, ",
"font": "serif",
"width": 5.436,
"textWidth": 4.959
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 39.314,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "then ",
"font": "serif",
"width": 4.183,
"textWidth": 3.681
},
{
"text": "applies ",
"font": "serif",
"width": 6.462,
"textWidth": 5.957
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.675,
"textWidth": 8.172
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.969,
"textWidth": 5.466
},
{
"text": "Attention ",
"font": "serif",
"width": 8.423,
"textWidth": 7.918
},
{
"text": "for ",
"font": "serif",
"width": 2.884,
"textWidth": 2.381
},
{
"text": "further ",
"font": "serif",
"width": 6.322,
"textWidth": 5.819
},
{
"text": "acceleration. ",
"font": "serif",
"width": 11.036,
"textWidth": 10.331
},
{
"text": "Additionally, ",
"font": "serif",
"width": 11.386,
"textWidth": 10.87
},
{
"text": "a ",
"font": "serif",
"width": 1.437,
"textWidth": 0.935
},
{
"text": "small ",
"font": "serif",
"width": 4.969,
"textWidth": 4.466
},
{
"text": "set ",
"font": "serif",
"width": 2.802,
"textWidth": 2.297
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 40.923,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sliding ",
"font": "serif",
"width": 6.172,
"textWidth": 5.694
},
{
"text": "window ",
"font": "serif",
"width": 7.389,
"textWidth": 6.913
},
{
"text": "KV ",
"font": "serif",
"width": 3.185,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.04,
"textWidth": 5.563
},
{
"text": "is ",
"font": "serif",
"width": 1.815,
"textWidth": 1.337
},
{
"text": "combined ",
"font": "serif",
"width": 8.681,
"textWidth": 8.204
},
{
"text": "with ",
"font": "serif",
"width": 4.279,
"textWidth": 3.8
},
{
"text": "the ",
"font": "serif",
"width": 3.071,
"textWidth": 2.593
},
{
"text": "selected ",
"font": "serif",
"width": 7.081,
"textWidth": 6.602
},
{
"text": "compressed ",
"font": "serif",
"width": 10.326,
"textWidth": 9.847
},
{
"text": "KV ",
"font": "serif",
"width": 3.185,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.04,
"textWidth": 5.561
},
{
"text": "to ",
"font": "serif",
"width": 2.109,
"textWidth": 1.63
},
{
"text": "enhance ",
"font": "serif",
"width": 6.819,
"textWidth": 6.819
}
]
},
{
"left": 11.905,
"top": 42.533,
"width": 26.201,
"height": 1.296,
"words": [
{
"text": "local ",
"font": "serif",
"width": 4.255,
"textWidth": 3.797
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.378,
"textWidth": 9.92
},
{
"text": "dependencies. ",
"font": "serif",
"width": 11.567,
"textWidth": 11.567
}
]
},
{
"left": 11.905,
"top": 46.663,
"width": 35.272,
"height": 1.296,
"words": [
{
"text": "2.3. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Hybrid ",
"font": "serif-bold",
"width": 6.566,
"textWidth": 6.108
},
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.5,
"textWidth": 8.042
},
{
"text": "with ",
"font": "serif-bold",
"width": 4.325,
"textWidth": 3.867
},
{
"text": "CSA ",
"font": "serif-bold",
"width": 4.327,
"textWidth": 3.869
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "HCA ",
"font": "serif-bold",
"width": 4.275,
"textWidth": 4.275
}
]
},
{
"left": 11.833,
"top": 49.335,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.627,
"textWidth": 2.168
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "context ",
"font": "serif",
"width": 6.265,
"textWidth": 5.805
},
{
"text": "length ",
"font": "serif",
"width": 5.536,
"textWidth": 5.078
},
{
"text": "reaches ",
"font": "serif",
"width": 6.382,
"textWidth": 5.924
},
{
"text": "extreme ",
"font": "serif",
"width": 6.842,
"textWidth": 6.382
},
{
"text": "scales, ",
"font": "serif",
"width": 5.529,
"textWidth": 5.071
},
{
"text": "the ",
"font": "serif",
"width": 2.961,
"textWidth": 2.501
},
{
"text": "attention ",
"font": "serif",
"width": 7.595,
"textWidth": 7.137
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.599,
"textWidth": 9.139
},
{
"text": "emerges ",
"font": "serif",
"width": 7.089,
"textWidth": 6.631
},
{
"text": "as ",
"font": "serif",
"width": 2.126,
"textWidth": 1.666
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "dominant ",
"font": "serif",
"width": 7.792,
"textWidth": 7.792
}
]
},
{
"left": 11.905,
"top": 50.944,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "computational ",
"font": "serif",
"width": 12.696,
"textWidth": 12.036
},
{
"text": "bottleneck ",
"font": "serif",
"width": 9.227,
"textWidth": 8.565
},
{
"text": "in ",
"font": "serif",
"width": 2.292,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.596,
"textWidth": 0.935
},
{
"text": "model. ",
"font": "serif",
"width": 6.896,
"textWidth": 5.72
},
{
"text": "For ",
"font": "serif",
"width": 3.458,
"textWidth": 2.798
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 12.259,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 3.114,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 6.163,
"textWidth": 5.501
},
{
"text": "two ",
"font": "serif",
"width": 3.849,
"textWidth": 3.189
},
{
"text": "efficient ",
"font": "serif",
"width": 7.243,
"textWidth": 6.582
},
{
"text": "attention ",
"font": "serif",
"width": 7.399,
"textWidth": 7.399
}
]
},
{
"left": 11.905,
"top": 52.553,
"width": 76.373,
"height": 1.296,
"words": [
{
"text": "architectures ",
"font": "serif",
"width": 12.859,
"textWidth": 10.149
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.393,
"textWidth": 9.935
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.708,
"textWidth": 5.251
},
{
"text": "Attention ",
"font": "serif",
"width": 8.064,
"textWidth": 7.608
},
{
"text": "(CSA) ",
"font": "serif",
"width": 5.268,
"textWidth": 4.81
},
{
"text": "and ",
"font": "serif",
"width": 3.497,
"textWidth": 3.041
},
{
"text": "Heavily ",
"font": "serif",
"width": 6.767,
"textWidth": 6.311
},
{
"text": "Compressed ",
"font": "serif",
"width": 10.393,
"textWidth": 9.937
},
{
"text": "Attention ",
"font": "serif",
"width": 8.064,
"textWidth": 7.608
},
{
"text": "(HCA) ",
"font": "serif",
"width": 5.361,
"textWidth": 5.361
}
]
},
{
"left": 13.841,
"top": 54.163,
"width": 74.559,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.582,
"textWidth": 3.121
},
{
"text": "employ ",
"font": "serif",
"width": 6.646,
"textWidth": 6.187
},
{
"text": "their ",
"font": "serif",
"width": 4.281,
"textWidth": 3.822
},
{
"text": "interleaved ",
"font": "serif",
"width": 9.675,
"textWidth": 9.214
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.968,
"textWidth": 5.509
},
{
"text": "configuration, ",
"font": "serif",
"width": 11.937,
"textWidth": 11.478
},
{
"text": "which ",
"font": "serif",
"width": 5.499,
"textWidth": 5.039
},
{
"text": "substantially ",
"font": "serif",
"width": 10.907,
"textWidth": 10.448
},
{
"text": "reduces ",
"font": "serif",
"width": 6.759,
"textWidth": 6.3
},
{
"text": "the ",
"font": "serif",
"width": 3.018,
"textWidth": 2.557
},
{
"text": "compu- ",
"font": "serif",
"width": 6.287,
"textWidth": 6.287
}
]
},
{
"left": 11.905,
"top": 55.772,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tational ",
"font": "serif",
"width": 6.765,
"textWidth": 6.284
},
{
"text": "cost ",
"font": "serif",
"width": 3.733,
"textWidth": 3.253
},
{
"text": "of ",
"font": "serif",
"width": 2.123,
"textWidth": 1.643
},
{
"text": "attention ",
"font": "serif",
"width": 7.879,
"textWidth": 7.399
},
{
"text": "in ",
"font": "serif",
"width": 2.112,
"textWidth": 1.632
},
{
"text": "long-text ",
"font": "serif",
"width": 7.873,
"textWidth": 7.393
},
{
"text": "scenarios. ",
"font": "serif",
"width": 8.739,
"textWidth": 8.103
},
{
"text": "CSA ",
"font": "serif",
"width": 4.241,
"textWidth": 3.761
},
{
"text": "integrates ",
"font": "serif",
"width": 8.627,
"textWidth": 8.146
},
{
"text": "both ",
"font": "serif",
"width": 4.232,
"textWidth": 3.752
},
{
"text": "compression ",
"font": "serif",
"width": 10.945,
"textWidth": 10.464
},
{
"text": "and ",
"font": "serif",
"width": 3.645,
"textWidth": 3.165
},
{
"text": "sparse ",
"font": "serif",
"width": 5.277,
"textWidth": 5.277
}
]
},
{
"left": 11.905,
"top": 57.382,
"width": 60.99,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.918,
"textWidth": 7.399
},
{
"text": "strategies: ",
"font": "serif",
"width": 9.008,
"textWidth": 8.318
},
{
"text": "it ",
"font": "serif",
"width": 1.673,
"textWidth": 1.153
},
{
"text": "first ",
"font": "serif",
"width": 3.791,
"textWidth": 3.271
},
{
"text": "compresses ",
"font": "serif",
"width": 10.017,
"textWidth": 9.498
},
{
"text": "the ",
"font": "serif",
"width": 3.112,
"textWidth": 2.593
},
{
"text": "Key-Value ",
"font": "serif",
"width": 9.116,
"textWidth": 8.597
},
{
"text": "(KV) ",
"font": "serif",
"width": 4.471,
"textWidth": 3.952
},
{
"text": "cache ",
"font": "serif",
"width": 5.096,
"textWidth": 4.578
},
{
"text": "of ",
"font": "serif",
"width": 2.163,
"textWidth": 1.643
},
{
"text": "every ",
"font": "serif",
"width": 4.625,
"textWidth": 4.625
}
]
},
{
"left": 75.346,
"top": 57.382,
"width": 12.75,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.965,
"textWidth": 5.445
},
{
"text": "into ",
"font": "serif",
"width": 3.782,
"textWidth": 3.262
},
{
"text": "one ",
"font": "serif",
"width": 3.004,
"textWidth": 3.004
}
]
},
{
"left": 11.905,
"top": 58.991,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "entry, ",
"font": "serif",
"width": 4.869,
"textWidth": 4.445
},
{
"text": "and ",
"font": "serif",
"width": 3.455,
"textWidth": 3.041
},
{
"text": "then ",
"font": "serif",
"width": 3.951,
"textWidth": 3.536
},
{
"text": "applies ",
"font": "serif",
"width": 6.14,
"textWidth": 5.724
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.267,
"textWidth": 7.85
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.666,
"textWidth": 5.251
},
{
"text": "Attention ",
"font": "serif",
"width": 8.023,
"textWidth": 7.608
},
{
"text": "(DSA) ",
"font": "serif",
"width": 5.341,
"textWidth": 4.926
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 11.916,
"textWidth": 11.5
},
{
"text": "2025) ",
"font": "serif",
"width": 4.605,
"textWidth": 4.19
},
{
"text": "where ",
"font": "serif",
"width": 5.356,
"textWidth": 4.941
},
{
"text": "each ",
"font": "serif",
"width": 4.016,
"textWidth": 3.601
},
{
"text": "query ",
"font": "serif",
"width": 4.657,
"textWidth": 4.657
}
]
},
{
"left": 11.905,
"top": 60.6,
"width": 17.126,
"height": 1.296,
"words": [
{
"text": "token ",
"font": "serif",
"width": 5.026,
"textWidth": 4.566
},
{
"text": "attends ",
"font": "serif",
"width": 6.417,
"textWidth": 5.956
},
{
"text": "to ",
"font": "serif",
"width": 2.06,
"textWidth": 1.6
},
{
"text": "only ",
"font": "serif",
"width": 3.623,
"textWidth": 3.623
}
]
},
{
"left": 30.871,
"top": 60.6,
"width": 57.528,
"height": 1.296,
"words": [
{
"text": "compressed ",
"font": "serif",
"width": 10.122,
"textWidth": 9.664
},
{
"text": "KV ",
"font": "serif",
"width": 3.117,
"textWidth": 2.656
},
{
"text": "entries. ",
"font": "serif",
"width": 6.49,
"textWidth": 5.918
},
{
"text": "HCA ",
"font": "serif",
"width": 4.715,
"textWidth": 4.254
},
{
"text": "aims ",
"font": "serif",
"width": 4.307,
"textWidth": 3.847
},
{
"text": "for ",
"font": "serif",
"width": 2.798,
"textWidth": 2.337
},
{
"text": "extreme ",
"font": "serif",
"width": 6.951,
"textWidth": 6.492
},
{
"text": "compression ",
"font": "serif",
"width": 10.728,
"textWidth": 10.267
},
{
"text": "by ",
"font": "serif",
"width": 2.493,
"textWidth": 2.034
},
{
"text": "consol- ",
"font": "serif",
"width": 5.808,
"textWidth": 5.808
}
]
},
{
"left": 11.905,
"top": 62.21,
"width": 24.467,
"height": 1.296,
"words": [
{
"text": "idating ",
"font": "serif",
"width": 6.385,
"textWidth": 5.901
},
{
"text": "the ",
"font": "serif",
"width": 3.077,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.191,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.062,
"textWidth": 4.578
},
{
"text": "of ",
"font": "serif",
"width": 2.127,
"textWidth": 1.643
},
{
"text": "every ",
"font": "serif",
"width": 4.625,
"textWidth": 4.625
}
]
},
{
"left": 44.748,
"top": 62.21,
"width": 43.346,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.929,
"textWidth": 5.445
},
{
"text": "into ",
"font": "serif",
"width": 3.746,
"textWidth": 3.262
},
{
"text": "a ",
"font": "serif",
"width": 1.419,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.387,
"textWidth": 4.903
},
{
"text": "entry. ",
"font": "serif",
"width": 5.281,
"textWidth": 4.636
},
{
"text": "The ",
"font": "serif",
"width": 3.613,
"textWidth": 3.129
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.071,
"textWidth": 5.585
},
{
"text": "architecture ",
"font": "serif",
"width": 10.257,
"textWidth": 9.773
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 63.819,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 4.099,
"textWidth": 3.643
},
{
"text": "and ",
"font": "serif",
"width": 3.523,
"textWidth": 3.065
},
{
"text": "HCA ",
"font": "serif",
"width": 4.655,
"textWidth": 4.199
},
{
"text": "remarkably ",
"font": "serif",
"width": 9.672,
"textWidth": 9.216
},
{
"text": "improves ",
"font": "serif",
"width": 7.999,
"textWidth": 7.543
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.511
},
{
"text": "long-context ",
"font": "serif",
"width": 10.465,
"textWidth": 10.007
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.052,
"textWidth": 7.596
},
{
"text": "of ",
"font": "serif",
"width": 2.048,
"textWidth": 1.592
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.188,
"textWidth": 10.732
},
{
"text": "series, ",
"font": "serif",
"width": 5.423,
"textWidth": 4.965
},
{
"text": "making ",
"font": "serif",
"width": 6.098,
"textWidth": 6.098
}
]
},
{
"left": 11.905,
"top": 65.428,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "one-million-token ",
"font": "serif",
"width": 15.365,
"textWidth": 14.836
},
{
"text": "context ",
"font": "serif",
"width": 6.546,
"textWidth": 6.017
},
{
"text": "feasible ",
"font": "serif",
"width": 6.791,
"textWidth": 6.262
},
{
"text": "in ",
"font": "serif",
"width": 2.161,
"textWidth": 1.632
},
{
"text": "practice. ",
"font": "serif",
"width": 7.754,
"textWidth": 6.972
},
{
"text": "This ",
"font": "serif",
"width": 4.099,
"textWidth": 3.57
},
{
"text": "subsection ",
"font": "serif",
"width": 9.262,
"textWidth": 8.733
},
{
"text": "describes ",
"font": "serif",
"width": 8.193,
"textWidth": 7.664
},
{
"text": "the ",
"font": "serif",
"width": 3.122,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 3.982,
"textWidth": 3.453
},
{
"text": "techniques ",
"font": "serif",
"width": 8.916,
"textWidth": 8.916
}
]
},
{
"left": 11.905,
"top": 66.818,
"width": 76.19,
"height": 1.516,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.638
},
{
"text": "our ",
"font": "serif",
"width": 3.338,
"textWidth": 2.878
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.029,
"textWidth": 5.569
},
{
"text": "attention ",
"font": "serif",
"width": 7.835,
"textWidth": 7.377
},
{
"text": "architecture, ",
"font": "serif",
"width": 10.672,
"textWidth": 10.212
},
{
"text": "and ",
"font": "serif",
"width": 3.616,
"textWidth": 3.155
},
{
"text": "we ",
"font": "serif",
"width": 2.907,
"textWidth": 2.447
},
{
"text": "also ",
"font": "serif",
"width": 3.742,
"textWidth": 3.282
},
{
"text": "provide ",
"font": "serif",
"width": 6.928,
"textWidth": 6.467
},
{
"text": "an ",
"font": "serif",
"width": 2.477,
"textWidth": 2.017
},
{
"text": "open-source ",
"font": "serif",
"width": 10.551,
"textWidth": 10.09
},
{
"text": "implementation1 ",
"font": "serif",
"width": 14.371,
"textWidth": 13.827
},
{
"text": "to ",
"font": "serif",
"width": 1.625,
"textWidth": 1.625
}
]
},
{
"left": 11.905,
"top": 68.647,
"width": 29.716,
"height": 1.296,
"words": [
{
"text": "specify ",
"font": "serif",
"width": 6.191,
"textWidth": 5.732
},
{
"text": "more ",
"font": "serif",
"width": 4.646,
"textWidth": 4.188
},
{
"text": "details ",
"font": "serif",
"width": 5.813,
"textWidth": 5.355
},
{
"text": "unambiguously. ",
"font": "serif",
"width": 13.067,
"textWidth": 13.067
}
]
},
{
"left": 11.905,
"top": 72.243,
"width": 29.069,
"height": 1.296,
"words": [
{
"text": "2.3.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Compressed ",
"font": "serif-bold-italic",
"width": 10.231,
"textWidth": 9.773
},
{
"text": "Sparse ",
"font": "serif-bold-italic",
"width": 5.855,
"textWidth": 5.397
},
{
"text": "Attention ",
"font": "serif-bold-italic",
"width": 7.943,
"textWidth": 7.943
}
]
},
{
"left": 11.848,
"top": 74.927,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.358,
"textWidth": 3.006
},
{
"text": "core ",
"font": "serif",
"width": 3.667,
"textWidth": 3.315
},
{
"text": "architecture ",
"font": "serif",
"width": 9.741,
"textWidth": 9.387
},
{
"text": "of ",
"font": "serif",
"width": 1.931,
"textWidth": 1.579
},
{
"text": "CSA ",
"font": "serif",
"width": 3.965,
"textWidth": 3.613
},
{
"text": "is ",
"font": "serif",
"width": 1.638,
"textWidth": 1.284
},
{
"text": "illustrated ",
"font": "serif",
"width": 8.5,
"textWidth": 8.148
},
{
"text": "in ",
"font": "serif",
"width": 1.92,
"textWidth": 1.568
},
{
"text": "Figure ",
"font": "serif",
"width": 5.492,
"textWidth": 5.14
},
{
"text": "3, ",
"font": "serif",
"width": 1.721,
"textWidth": 1.347
},
{
"text": "which ",
"font": "serif",
"width": 5.262,
"textWidth": 4.908
},
{
"text": "first ",
"font": "serif",
"width": 3.495,
"textWidth": 3.143
},
{
"text": "compresses ",
"font": "serif",
"width": 9.477,
"textWidth": 9.123
},
{
"text": "the ",
"font": "serif",
"width": 2.843,
"textWidth": 2.491
},
{
"text": "KV ",
"font": "serif",
"width": 2.953,
"textWidth": 2.601
},
{
"text": "cache ",
"font": "serif",
"width": 4.752,
"textWidth": 4.398
},
{
"text": "of ",
"font": "serif",
"width": 1.931,
"textWidth": 1.579
},
{
"text": "each ",
"font": "serif",
"width": 3.601,
"textWidth": 3.601
}
]
},
{
"left": 13.774,
"top": 76.537,
"width": 73.372,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.797,
"textWidth": 5.338
},
{
"text": "into ",
"font": "serif",
"width": 3.656,
"textWidth": 3.198
},
{
"text": "one ",
"font": "serif",
"width": 3.403,
"textWidth": 2.945
},
{
"text": "entry, ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "then ",
"font": "serif",
"width": 4.067,
"textWidth": 3.608
},
{
"text": "applies ",
"font": "serif",
"width": 6.299,
"textWidth": 5.841
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.47,
"textWidth": 8.012
},
{
"text": "Sparse ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "Attention ",
"font": "serif",
"width": 8.221,
"textWidth": 7.763
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "further ",
"font": "serif",
"width": 6.163,
"textWidth": 5.705
},
{
"text": "acceleration. ",
"font": "serif",
"width": 10.129,
"textWidth": 10.129
}
]
},
{
"left": 11.905,
"top": 80.743,
"width": 27.002,
"height": 1.296,
"words": [
{
"text": "Compressed ",
"font": "serif-bold",
"width": 11.085,
"textWidth": 10.591
},
{
"text": "Key-Value ",
"font": "serif-bold",
"width": 9.429,
"textWidth": 8.935
},
{
"text": "Entries. ",
"font": "serif-bold",
"width": 6.488,
"textWidth": 6.488
}
]
},
{
"left": 40.729,
"top": 80.764,
"width": 47.366,
"height": 1.296,
"words": [
{
"text": "Let ",
"font": "serif",
"width": 11.192,
"textWidth": 2.647
},
{
"text": "be ",
"font": "serif",
"width": 2.423,
"textWidth": 1.929
},
{
"text": "a ",
"font": "serif",
"width": 1.428,
"textWidth": 0.935
},
{
"text": "sequence ",
"font": "serif",
"width": 8.064,
"textWidth": 7.571
},
{
"text": "of ",
"font": "serif",
"width": 2.137,
"textWidth": 1.643
},
{
"text": "input ",
"font": "serif",
"width": 4.985,
"textWidth": 4.492
},
{
"text": "hidden ",
"font": "serif",
"width": 6.391,
"textWidth": 5.898
},
{
"text": "states, ",
"font": "serif",
"width": 5.604,
"textWidth": 5.101
},
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 13.318,
"top": 82.373,
"width": 21.659,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.788,
"textWidth": 1.33
},
{
"text": "the ",
"font": "serif",
"width": 3.036,
"textWidth": 2.58
},
{
"text": "sequence ",
"font": "serif",
"width": 7.991,
"textWidth": 7.533
},
{
"text": "length ",
"font": "serif",
"width": 5.696,
"textWidth": 5.238
},
{
"text": "and ",
"font": "serif",
"width": 3.149,
"textWidth": 3.149
}
]
},
{
"left": 36.881,
"top": 82.373,
"width": 51.214,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.788,
"textWidth": 1.33
},
{
"text": "the ",
"font": "serif",
"width": 3.036,
"textWidth": 2.58
},
{
"text": "hidden ",
"font": "serif",
"width": 6.328,
"textWidth": 5.87
},
{
"text": "size. ",
"font": "serif",
"width": 4.183,
"textWidth": 3.616
},
{
"text": "CSA ",
"font": "serif",
"width": 4.2,
"textWidth": 3.743
},
{
"text": "first ",
"font": "serif",
"width": 3.713,
"textWidth": 3.255
},
{
"text": "computes ",
"font": "serif",
"width": 8.465,
"textWidth": 8.008
},
{
"text": "two ",
"font": "serif",
"width": 3.631,
"textWidth": 3.173
},
{
"text": "series ",
"font": "serif",
"width": 5.093,
"textWidth": 4.635
},
{
"text": "of ",
"font": "serif",
"width": 2.091,
"textWidth": 1.635
},
{
"text": "KV ",
"font": "serif",
"width": 3.151,
"textWidth": 2.693
},
{
"text": "entries ",
"font": "serif",
"width": 5.536,
"textWidth": 5.536
}
]
},
{
"left": 22.709,
"top": 83.982,
"width": 65.387,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.639,
"textWidth": 3.165
},
{
"text": "their ",
"font": "serif",
"width": 4.352,
"textWidth": 3.875
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.504,
"textWidth": 12.027
},
{
"text": "compression ",
"font": "serif",
"width": 10.937,
"textWidth": 10.462
},
{
"text": "weights ",
"font": "serif",
"width": 18.184,
"textWidth": 6.527
},
{
"text": "where ",
"font": "serif",
"width": 6.83,
"textWidth": 5.142
},
{
"text": "is ",
"font": "serif",
"width": 1.813,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "head ",
"font": "serif",
"width": 4.06,
"textWidth": 4.06
}
]
},
{
"left": 14.549,
"top": 88.951,
"width": 0.552,
"height": 0.781,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.552,
"textWidth": 0.552
}
]
},
{
"left": 15.185,
"top": 88.987,
"width": 61.141,
"height": 1.172,
"words": [
{
"text": "https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/tree/main/inference ",
"font": "mono",
"width": 61.141,
"textWidth": 61.141
}
]
},
{
"left": 49.542,
"top": 92.519,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "9 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
}
]
},
"10": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 9.051,
"height": 1.296,
"words": [
{
"text": "dimension: ",
"font": "serif",
"width": 9.051,
"textWidth": 9.051
}
]
},
{
"left": 86.141,
"top": 13.383,
"width": 2.137,
"height": 1.296,
"words": [
{
"text": "(9) ",
"font": "serif",
"width": 2.137,
"textWidth": 2.137
}
]
},
{
"left": 85.226,
"top": 15.515,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(10) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 18.426,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 28.296,
"textWidth": 5.026
},
{
"text": "are ",
"font": "serif",
"width": 2.936,
"textWidth": 2.478
},
{
"text": "trainable ",
"font": "serif",
"width": 7.615,
"textWidth": 7.157
},
{
"text": "parameters. ",
"font": "serif",
"width": 10.13,
"textWidth": 9.559
},
{
"text": "Next, ",
"font": "serif",
"width": 4.847,
"textWidth": 4.389
},
{
"text": "each ",
"font": "serif",
"width": 5.992,
"textWidth": 3.663
},
{
"text": "KV ",
"font": "serif",
"width": 3.104,
"textWidth": 2.646
},
{
"text": "entries ",
"font": "serif",
"width": 5.896,
"textWidth": 5.437
},
{
"text": "in ",
"font": "serif",
"width": 4.358,
"textWidth": 1.595
},
{
"text": "and ",
"font": "serif",
"width": 3.093,
"textWidth": 3.093
}
]
},
{
"left": 14.281,
"top": 20.035,
"width": 73.814,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.757,
"textWidth": 3.191
},
{
"text": "be ",
"font": "serif",
"width": 2.497,
"textWidth": 1.929
},
{
"text": "compressed ",
"font": "serif",
"width": 10.416,
"textWidth": 9.847
},
{
"text": "into ",
"font": "serif",
"width": 3.828,
"textWidth": 3.262
},
{
"text": "one ",
"font": "serif",
"width": 3.572,
"textWidth": 3.004
},
{
"text": "entry ",
"font": "serif",
"width": 4.939,
"textWidth": 4.37
},
{
"text": "according ",
"font": "serif",
"width": 8.7,
"textWidth": 8.133
},
{
"text": "to ",
"font": "serif",
"width": 2.198,
"textWidth": 1.63
},
{
"text": "their ",
"font": "serif",
"width": 4.443,
"textWidth": 3.875
},
{
"text": "compression ",
"font": "serif",
"width": 11.029,
"textWidth": 10.462
},
{
"text": "weights ",
"font": "serif",
"width": 7.096,
"textWidth": 6.527
},
{
"text": "and ",
"font": "serif",
"width": 3.731,
"textWidth": 3.165
},
{
"text": "learnable ",
"font": "serif",
"width": 7.608,
"textWidth": 7.608
}
]
},
{
"left": 47.104,
"top": 21.679,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 78.406,
"top": 21.426,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 11.85,
"top": 21.899,
"width": 65.013,
"height": 1.296,
"words": [
{
"text": "positional ",
"font": "serif",
"width": 8.467,
"textWidth": 8.011
},
{
"text": "biases ",
"font": "serif",
"width": 16.845,
"textWidth": 4.866
},
{
"text": "producing ",
"font": "serif",
"width": 21.041,
"textWidth": 8.398
},
{
"text": "Each ",
"font": "serif",
"width": 4.35,
"textWidth": 3.893
},
{
"text": "compressed ",
"font": "serif",
"width": 10.052,
"textWidth": 9.596
},
{
"text": "entry ",
"font": "serif",
"width": 4.259,
"textWidth": 4.259
}
]
},
{
"left": 86.793,
"top": 21.899,
"width": 1.302,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.302,
"textWidth": 1.302
}
]
},
{
"left": 11.905,
"top": 23.508,
"width": 10.724,
"height": 1.296,
"words": [
{
"text": "computed ",
"font": "serif",
"width": 8.692,
"textWidth": 8.234
},
{
"text": "by ",
"font": "serif",
"width": 2.032,
"textWidth": 2.032
}
]
},
{
"left": 26.427,
"top": 27.103,
"width": 2.917,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 34.081,
"top": 27.103,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 38.121,
"top": 26.42,
"width": 12.579,
"height": 1.63,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 3.577,
"textWidth": 0.669
},
{
"text": "Softmax ",
"font": "serif",
"width": 6.651,
"textWidth": 6.651
},
{
"text": "row ",
"font": "serif",
"width": 2.352,
"textWidth": 2.352
}
]
},
{
"left": 58.033,
"top": 27.103,
"width": 2.917,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 69.549,
"top": 27.103,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 73.589,
"top": 26.42,
"width": 14.689,
"height": 1.63,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 11.636,
"textWidth": 0.669
},
{
"text": "(11) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 44.593,
"top": 28.561,
"width": 2.917,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 58.857,
"top": 28.632,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 35.843,
"top": 29.493,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 85.225,
"top": 29.967,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(12) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 59.506,
"top": 31.763,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.828,
"top": 34.196,
"width": 76.268,
"height": 1.392,
"words": [
{
"text": "where ",
"font": "serif",
"width": 7.415,
"textWidth": 5.142
},
{
"text": "denotes ",
"font": "serif",
"width": 6.941,
"textWidth": 6.443
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "Hadamard ",
"font": "serif",
"width": 9.498,
"textWidth": 8.999
},
{
"text": "product; ",
"font": "serif",
"width": 7.543,
"textWidth": 7.025
},
{
"text": "Softmax ",
"font": "serif",
"width": 6.651,
"textWidth": 6.651
},
{
"text": "row ",
"font": "serif",
"width": 4.906,
"textWidth": 2.352
},
{
"text": "denotes ",
"font": "serif",
"width": 6.941,
"textWidth": 6.443
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "softmax ",
"font": "serif",
"width": 7.092,
"textWidth": 6.595
},
{
"text": "operation ",
"font": "serif",
"width": 8.473,
"textWidth": 7.974
},
{
"text": "along ",
"font": "serif",
"width": 4.626,
"textWidth": 4.626
}
]
},
{
"left": 11.905,
"top": 35.806,
"width": 58.218,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "row ",
"font": "serif",
"width": 3.765,
"textWidth": 3.284
},
{
"text": "dimension, ",
"font": "serif",
"width": 9.716,
"textWidth": 9.232
},
{
"text": "which ",
"font": "serif",
"width": 5.589,
"textWidth": 5.109
},
{
"text": "performs ",
"font": "serif",
"width": 8.062,
"textWidth": 7.582
},
{
"text": "normalization ",
"font": "serif",
"width": 12.13,
"textWidth": 11.651
},
{
"text": "across ",
"font": "serif",
"width": 5.555,
"textWidth": 5.077
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "total ",
"font": "serif",
"width": 4.198,
"textWidth": 3.718
},
{
"text": "of ",
"font": "serif",
"width": 2.122,
"textWidth": 1.643
},
{
"text": "2 ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 72.014,
"top": 35.806,
"width": 16.081,
"height": 1.296,
"words": [
{
"text": "elements ",
"font": "serif",
"width": 7.851,
"textWidth": 7.371
},
{
"text": "from ",
"font": "serif",
"width": 4.479,
"textWidth": 3.998
},
{
"text": "both ",
"font": "serif",
"width": 3.752,
"textWidth": 3.752
}
]
},
{
"left": 14.178,
"top": 37.415,
"width": 3.165,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 20.667,
"top": 37.415,
"width": 4.94,
"height": 1.296,
"words": [
{
"text": "When ",
"font": "serif",
"width": 4.94,
"textWidth": 4.94
}
]
},
{
"left": 28.789,
"top": 37.415,
"width": 1.402,
"height": 1.296,
"words": [
{
"text": "0, ",
"font": "serif",
"width": 1.402,
"textWidth": 1.402
}
]
},
{
"left": 39.954,
"top": 37.415,
"width": 30.164,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.811,
"textWidth": 1.337
},
{
"text": "padded ",
"font": "serif",
"width": 6.856,
"textWidth": 6.38
},
{
"text": "with ",
"font": "serif",
"width": 4.275,
"textWidth": 3.8
},
{
"text": "negative ",
"font": "serif",
"width": 7.539,
"textWidth": 7.062
},
{
"text": "infinity ",
"font": "serif",
"width": 6.518,
"textWidth": 6.043
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 79.903,
"top": 37.415,
"width": 8.191,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.811,
"textWidth": 1.337
},
{
"text": "padded ",
"font": "serif",
"width": 6.38,
"textWidth": 6.38
}
]
},
{
"left": 34.685,
"top": 38.163,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 38.725,
"top": 38.163,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 74.635,
"top": 38.163,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 78.674,
"top": 38.163,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 34.715,
"top": 39.123,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 11.828,
"top": 39.597,
"width": 21.341,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.203,
"textWidth": 3.744
},
{
"text": "zeros. ",
"font": "serif",
"width": 5.315,
"textWidth": 4.744
},
{
"text": "Note ",
"font": "serif",
"width": 4.477,
"textWidth": 4.019
},
{
"text": "that ",
"font": "serif",
"width": 3.652,
"textWidth": 3.194
},
{
"text": "each ",
"font": "serif",
"width": 3.693,
"textWidth": 3.693
}
]
},
{
"left": 38.924,
"top": 39.597,
"width": 49.207,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.775,
"textWidth": 1.317
},
{
"text": "derived ",
"font": "serif",
"width": 6.778,
"textWidth": 6.319
},
{
"text": "from ",
"font": "serif",
"width": 4.398,
"textWidth": 3.94
},
{
"text": "2 ",
"font": "serif",
"width": 2.791,
"textWidth": 0.921
},
{
"text": "KV ",
"font": "serif",
"width": 3.125,
"textWidth": 2.667
},
{
"text": "entries, ",
"font": "serif",
"width": 6.4,
"textWidth": 5.942
},
{
"text": "but ",
"font": "serif",
"width": 3.188,
"textWidth": 2.73
},
{
"text": "the ",
"font": "serif",
"width": 3.013,
"textWidth": 2.555
},
{
"text": "indexes ",
"font": "serif",
"width": 6.689,
"textWidth": 6.229
},
{
"text": "of ",
"font": "serif",
"width": 4.344,
"textWidth": 1.619
},
{
"text": "used ",
"font": "serif",
"width": 4.358,
"textWidth": 3.899
},
{
"text": "for ",
"font": "serif",
"width": 2.346,
"textWidth": 2.346
}
]
},
{
"left": 12.992,
"top": 41.079,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 42.996,
"top": 41.079,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 17.2,
"top": 41.552,
"width": 24.251,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.559,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "indexes ",
"font": "serif",
"width": 6.654,
"textWidth": 6.198
},
{
"text": "of ",
"font": "serif",
"width": 4.369,
"textWidth": 1.611
},
{
"text": "used ",
"font": "serif",
"width": 4.336,
"textWidth": 3.88
},
{
"text": "for ",
"font": "serif",
"width": 2.335,
"textWidth": 2.335
}
]
},
{
"left": 47.203,
"top": 41.552,
"width": 40.891,
"height": 1.296,
"words": [
{
"text": "are ",
"font": "serif",
"width": 2.941,
"textWidth": 2.485
},
{
"text": "overlapped. ",
"font": "serif",
"width": 10.314,
"textWidth": 9.746
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.731,
"textWidth": 8.274
},
{
"text": "CSA ",
"font": "serif",
"width": 4.144,
"textWidth": 3.687
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.6
},
{
"text": "fact ",
"font": "serif",
"width": 3.396,
"textWidth": 2.938
},
{
"text": "compresses ",
"font": "serif",
"width": 9.31,
"textWidth": 9.31
}
]
},
{
"left": 44.297,
"top": 42.297,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 30.841,
"top": 43.084,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 43.344,
"width": 18.097,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "sequence ",
"font": "serif",
"width": 7.88,
"textWidth": 7.422
},
{
"text": "length ",
"font": "serif",
"width": 5.619,
"textWidth": 5.161
},
{
"text": "to ",
"font": "serif",
"width": 1.598,
"textWidth": 1.598
}
]
},
{
"left": 32.35,
"top": 43.344,
"width": 4.862,
"height": 1.296,
"words": [
{
"text": "times. ",
"font": "serif",
"width": 4.862,
"textWidth": 4.862
}
]
},
{
"left": 11.905,
"top": 47.55,
"width": 33.516,
"height": 1.296,
"words": [
{
"text": "Lightning ",
"font": "serif-bold",
"width": 8.989,
"textWidth": 8.514
},
{
"text": "Indexer ",
"font": "serif-bold",
"width": 7.015,
"textWidth": 6.542
},
{
"text": "for ",
"font": "serif-bold",
"width": 2.968,
"textWidth": 2.494
},
{
"text": "Sparse ",
"font": "serif-bold",
"width": 6.185,
"textWidth": 5.711
},
{
"text": "Selection. ",
"font": "serif-bold",
"width": 8.357,
"textWidth": 8.357
}
]
},
{
"left": 47.241,
"top": 47.57,
"width": 35.303,
"height": 1.296,
"words": [
{
"text": "After ",
"font": "serif",
"width": 4.795,
"textWidth": 4.32
},
{
"text": "obtaining ",
"font": "serif",
"width": 8.376,
"textWidth": 7.901
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 10.322,
"textWidth": 9.849
},
{
"text": "KV ",
"font": "serif",
"width": 3.181,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 5.563,
"textWidth": 5.563
}
]
},
{
"left": 84.106,
"top": 47.351,
"width": 4.218,
"height": 1.516,
"words": [
{
"text": "Comp, ",
"font": "serif",
"width": 4.218,
"textWidth": 4.218
}
]
},
{
"left": 11.905,
"top": 49.18,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 4.245,
"textWidth": 3.761
},
{
"text": "applies ",
"font": "serif",
"width": 6.443,
"textWidth": 5.957
},
{
"text": "the ",
"font": "serif",
"width": 3.077,
"textWidth": 2.593
},
{
"text": "DSA ",
"font": "serif",
"width": 4.367,
"textWidth": 3.882
},
{
"text": "strategy ",
"font": "serif",
"width": 7.144,
"textWidth": 6.658
},
{
"text": "to ",
"font": "serif",
"width": 2.114,
"textWidth": 1.628
},
{
"text": "select ",
"font": "serif",
"width": 5.051,
"textWidth": 4.567
},
{
"text": "top-k ",
"font": "serif",
"width": 4.899,
"textWidth": 4.415
},
{
"text": "compressed ",
"font": "serif",
"width": 10.333,
"textWidth": 9.849
},
{
"text": "KV ",
"font": "serif",
"width": 3.191,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.049,
"textWidth": 5.563
},
{
"text": "for ",
"font": "serif",
"width": 2.866,
"textWidth": 2.381
},
{
"text": "core ",
"font": "serif",
"width": 3.937,
"textWidth": 3.451
},
{
"text": "attention. ",
"font": "serif",
"width": 8.513,
"textWidth": 7.866
},
{
"text": "First, ",
"font": "serif",
"width": 4.191,
"textWidth": 4.191
}
]
},
{
"left": 11.905,
"top": 50.789,
"width": 45.138,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 4.126,
"textWidth": 3.669
},
{
"text": "performs ",
"font": "serif",
"width": 7.855,
"textWidth": 7.396
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.529
},
{
"text": "same ",
"font": "serif",
"width": 4.626,
"textWidth": 4.168
},
{
"text": "compression ",
"font": "serif",
"width": 10.664,
"textWidth": 10.206
},
{
"text": "operation ",
"font": "serif",
"width": 8.237,
"textWidth": 7.779
},
{
"text": "used ",
"font": "serif",
"width": 4.32,
"textWidth": 3.86
},
{
"text": "for ",
"font": "serif",
"width": 2.323,
"textWidth": 2.323
}
]
},
{
"left": 58.588,
"top": 50.569,
"width": 29.508,
"height": 1.516,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 4.209,
"textWidth": 3.667
},
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.59
},
{
"text": "get ",
"font": "serif",
"width": 2.941,
"textWidth": 2.482
},
{
"text": "compressed ",
"font": "serif",
"width": 10.064,
"textWidth": 9.604
},
{
"text": "indexer ",
"font": "serif",
"width": 6.572,
"textWidth": 6.114
},
{
"text": "keys ",
"font": "serif",
"width": 3.674,
"textWidth": 3.674
}
]
},
{
"left": 13.145,
"top": 52.323,
"width": 4.118,
"height": 0.947,
"words": [
{
"text": "IComp ",
"font": "serif",
"width": 4.118,
"textWidth": 4.118
}
]
},
{
"left": 25.056,
"top": 52.543,
"width": 63.039,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 7.259,
"textWidth": 5.021
},
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.305
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.532
},
{
"text": "indexer ",
"font": "serif",
"width": 6.578,
"textWidth": 6.12
},
{
"text": "head ",
"font": "serif",
"width": 4.421,
"textWidth": 3.965
},
{
"text": "dimension. ",
"font": "serif",
"width": 9.583,
"textWidth": 9.015
},
{
"text": "Then, ",
"font": "serif",
"width": 5.032,
"textWidth": 4.574
},
{
"text": "for ",
"font": "serif",
"width": 2.784,
"textWidth": 2.325
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.913
},
{
"text": "query ",
"font": "serif",
"width": 5.191,
"textWidth": 4.733
},
{
"text": "token ",
"font": "serif",
"width": 6.536,
"textWidth": 4.543
},
{
"text": "we ",
"font": "serif",
"width": 2.853,
"textWidth": 2.397
},
{
"text": "produce ",
"font": "serif",
"width": 6.682,
"textWidth": 6.682
}
]
},
{
"left": 11.905,
"top": 54.152,
"width": 15.524,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "indexer ",
"font": "serif",
"width": 6.603,
"textWidth": 6.145
},
{
"text": "queries ",
"font": "serif",
"width": 5.921,
"textWidth": 5.921
}
]
},
{
"left": 28.732,
"top": 54.132,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 32.157,
"top": 54.132,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 37.719,
"top": 54.132,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 42.325,
"top": 54.152,
"width": 18.016,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "low-rank ",
"font": "serif",
"width": 7.856,
"textWidth": 7.398
},
{
"text": "manner: ",
"font": "serif",
"width": 6.728,
"textWidth": 6.728
}
]
},
{
"left": 30.306,
"top": 54.869,
"width": 4.429,
"height": 0.961,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 3.425,
"textWidth": 1.004
},
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 52.177,
"top": 57.72,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 56.116,
"top": 57.72,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 85.226,
"top": 57.741,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(13) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 37.192,
"top": 59.868,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 38.766,
"top": 60.555,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 40.617,
"top": 59.868,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 42.191,
"top": 60.541,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 46.179,
"top": 59.868,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 52.306,
"top": 59.868,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 56.116,
"top": 59.868,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 85.225,
"top": 59.889,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(14) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 63.413,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 17.637,
"top": 63.392,
"width": 1.142,
"height": 1.296,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 1.142,
"textWidth": 1.142
}
]
},
{
"left": 25.121,
"top": 63.413,
"width": 37.228,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 2.004,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.258,
"textWidth": 2.593
},
{
"text": "input ",
"font": "serif",
"width": 5.159,
"textWidth": 4.492
},
{
"text": "hidden ",
"font": "serif",
"width": 6.565,
"textWidth": 5.899
},
{
"text": "state ",
"font": "serif",
"width": 4.509,
"textWidth": 3.841
},
{
"text": "of ",
"font": "serif",
"width": 2.309,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.26,
"textWidth": 2.593
},
{
"text": "query ",
"font": "serif",
"width": 5.512,
"textWidth": 4.847
},
{
"text": "token ",
"font": "serif",
"width": 4.653,
"textWidth": 4.653
}
]
},
{
"left": 64.875,
"top": 63.392,
"width": 0.83,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.83,
"textWidth": 0.83
}
]
},
{
"left": 72.985,
"top": 63.413,
"width": 15.109,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 2.004,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.258,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 9.847,
"textWidth": 9.847
}
]
},
{
"left": 11.905,
"top": 65.022,
"width": 19.85,
"height": 1.296,
"words": [
{
"text": "latent ",
"font": "serif",
"width": 5.077,
"textWidth": 4.621
},
{
"text": "vector ",
"font": "serif",
"width": 5.542,
"textWidth": 5.084
},
{
"text": "for ",
"font": "serif",
"width": 2.807,
"textWidth": 2.351
},
{
"text": "queries; ",
"font": "serif",
"width": 6.424,
"textWidth": 6.424
}
]
},
{
"left": 34.226,
"top": 65.022,
"width": 34.977,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.817,
"textWidth": 6.361
},
{
"text": "the ",
"font": "serif",
"width": 3.017,
"textWidth": 2.56
},
{
"text": "query ",
"font": "serif",
"width": 5.241,
"textWidth": 4.785
},
{
"text": "compression ",
"font": "serif",
"width": 10.787,
"textWidth": 10.329
},
{
"text": "dimension; ",
"font": "serif",
"width": 9.115,
"textWidth": 9.115
}
]
},
{
"left": 71.848,
"top": 65.022,
"width": 16.284,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.817,
"textWidth": 6.361
},
{
"text": "the ",
"font": "serif",
"width": 3.017,
"textWidth": 2.56
},
{
"text": "number ",
"font": "serif",
"width": 6.45,
"textWidth": 6.45
}
]
},
{
"left": 11.905,
"top": 66.908,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.275,
"textWidth": 1.643
},
{
"text": "indexer ",
"font": "serif",
"width": 6.898,
"textWidth": 6.266
},
{
"text": "query ",
"font": "serif",
"width": 5.477,
"textWidth": 4.847
},
{
"text": "heads; ",
"font": "serif",
"width": 17.324,
"textWidth": 5.32
},
{
"text": "and ",
"font": "serif",
"width": 17.126,
"textWidth": 3.165
},
{
"text": "are ",
"font": "serif",
"width": 3.167,
"textWidth": 2.535
},
{
"text": "the ",
"font": "serif",
"width": 3.223,
"textWidth": 2.593
},
{
"text": "down-projection ",
"font": "serif",
"width": 14.337,
"textWidth": 13.707
},
{
"text": "and ",
"font": "serif",
"width": 3.796,
"textWidth": 3.165
},
{
"text": "up- ",
"font": "serif",
"width": 2.873,
"textWidth": 2.873
}
]
},
{
"left": 11.85,
"top": 68.517,
"width": 59.899,
"height": 1.296,
"words": [
{
"text": "projection ",
"font": "serif",
"width": 8.6,
"textWidth": 8.144
},
{
"text": "matrices ",
"font": "serif",
"width": 7.34,
"textWidth": 6.885
},
{
"text": "for ",
"font": "serif",
"width": 2.8,
"textWidth": 2.344
},
{
"text": "indexer ",
"font": "serif",
"width": 6.624,
"textWidth": 6.169
},
{
"text": "queries, ",
"font": "serif",
"width": 6.861,
"textWidth": 6.405
},
{
"text": "respectively. ",
"font": "serif",
"width": 10.598,
"textWidth": 10.031
},
{
"text": "Next, ",
"font": "serif",
"width": 4.876,
"textWidth": 4.42
},
{
"text": "the ",
"font": "serif",
"width": 3.006,
"textWidth": 2.552
},
{
"text": "index ",
"font": "serif",
"width": 5.018,
"textWidth": 4.561
},
{
"text": "score ",
"font": "serif",
"width": 4.177,
"textWidth": 4.177
}
]
},
{
"left": 78.221,
"top": 68.517,
"width": 9.875,
"height": 1.296,
"words": [
{
"text": "between ",
"font": "serif",
"width": 7.323,
"textWidth": 6.867
},
{
"text": "the ",
"font": "serif",
"width": 2.552,
"textWidth": 2.552
}
]
},
{
"left": 11.853,
"top": 70.127,
"width": 9.771,
"height": 1.296,
"words": [
{
"text": "query ",
"font": "serif",
"width": 5.21,
"textWidth": 4.752
},
{
"text": "token ",
"font": "serif",
"width": 4.561,
"textWidth": 4.561
}
]
},
{
"left": 23.162,
"top": 70.127,
"width": 27.986,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "preceding ",
"font": "serif",
"width": 8.558,
"textWidth": 8.1
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "block ",
"font": "serif",
"width": 4.38,
"textWidth": 4.38
}
]
},
{
"left": 56.056,
"top": 70.127,
"width": 4.277,
"height": 1.296,
"words": [
{
"text": "Floor ",
"font": "serif",
"width": 4.277,
"textWidth": 4.277
}
]
},
{
"left": 64.311,
"top": 70.127,
"width": 12.493,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "computed ",
"font": "serif",
"width": 8.692,
"textWidth": 8.234
},
{
"text": "by ",
"font": "serif",
"width": 2.032,
"textWidth": 2.032
}
]
},
{
"left": 30.435,
"top": 73.704,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 34.049,
"top": 73.69,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 44.353,
"top": 73.017,
"width": 1.527,
"height": 1.296,
"words": [
{
"text": "w ",
"font": "serif-bold",
"width": 1.527,
"textWidth": 1.527
}
]
},
{
"left": 48.57,
"top": 73.017,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 85.225,
"top": 73.038,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(15) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 66.301,
"top": 76.706,
"width": 4.118,
"height": 0.947,
"words": [
{
"text": "IComp ",
"font": "serif",
"width": 4.118,
"textWidth": 4.118
}
]
},
{
"left": 55.379,
"top": 77.179,
"width": 4.648,
"height": 1.296,
"words": [
{
"text": "ReLU ",
"font": "serif",
"width": 4.648,
"textWidth": 4.648
}
]
},
{
"left": 61.169,
"top": 77.159,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 85.226,
"top": 77.179,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(16) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 50.19,
"top": 78.967,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.828,
"top": 81.573,
"width": 32.669,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 15.451,
"textWidth": 5.142
},
{
"text": "is ",
"font": "serif",
"width": 1.813,
"textWidth": 1.337
},
{
"text": "a ",
"font": "serif",
"width": 1.411,
"textWidth": 0.935
},
{
"text": "learnable ",
"font": "serif",
"width": 8.085,
"textWidth": 7.608
},
{
"text": "matrix; ",
"font": "serif",
"width": 5.909,
"textWidth": 5.909
}
]
},
{
"left": 51.961,
"top": 81.573,
"width": 36.134,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.813,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.069,
"textWidth": 2.593
},
{
"text": "weight ",
"font": "serif",
"width": 6.212,
"textWidth": 5.735
},
{
"text": "of ",
"font": "serif",
"width": 2.12,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 4.018,
"textWidth": 2.593
},
{
"text": "-th ",
"font": "serif",
"width": 2.796,
"textWidth": 2.32
},
{
"text": "indexer ",
"font": "serif",
"width": 6.744,
"textWidth": 6.268
},
{
"text": "head. ",
"font": "serif",
"width": 5.152,
"textWidth": 4.527
},
{
"text": "For ",
"font": "serif",
"width": 3.275,
"textWidth": 2.798
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.853,
"top": 83.183,
"width": 9.63,
"height": 1.296,
"words": [
{
"text": "query ",
"font": "serif",
"width": 5.137,
"textWidth": 4.681
},
{
"text": "token ",
"font": "serif",
"width": 4.493,
"textWidth": 4.493
}
]
},
{
"left": 23.473,
"top": 83.183,
"width": 17.053,
"height": 1.296,
"words": [
{
"text": "given ",
"font": "serif",
"width": 4.921,
"textWidth": 4.464
},
{
"text": "its ",
"font": "serif",
"width": 2.336,
"textWidth": 1.879
},
{
"text": "index ",
"font": "serif",
"width": 4.933,
"textWidth": 4.475
},
{
"text": "scores ",
"font": "serif",
"width": 4.863,
"textWidth": 4.863
}
]
},
{
"left": 43.769,
"top": 83.183,
"width": 44.327,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.827,
"textWidth": 2.37
},
{
"text": "employ ",
"font": "serif",
"width": 6.515,
"textWidth": 6.058
},
{
"text": "a ",
"font": "serif",
"width": 1.361,
"textWidth": 0.903
},
{
"text": "top-k ",
"font": "serif",
"width": 4.72,
"textWidth": 4.264
},
{
"text": "selector ",
"font": "serif",
"width": 6.567,
"textWidth": 6.109
},
{
"text": "to ",
"font": "serif",
"width": 2.031,
"textWidth": 1.574
},
{
"text": "selectively ",
"font": "serif",
"width": 8.805,
"textWidth": 8.349
},
{
"text": "retain ",
"font": "serif",
"width": 5.071,
"textWidth": 4.612
},
{
"text": "a ",
"font": "serif",
"width": 1.359,
"textWidth": 0.903
},
{
"text": "subset ",
"font": "serif",
"width": 5.071,
"textWidth": 5.071
}
]
},
{
"left": 34.427,
"top": 84.573,
"width": 6.271,
"height": 0.947,
"words": [
{
"text": "SprsComp ",
"font": "serif",
"width": 6.271,
"textWidth": 6.271
}
]
},
{
"left": 11.905,
"top": 85.047,
"width": 20.747,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 5.454,
"textWidth": 5.454
}
]
},
{
"left": 41.24,
"top": 85.047,
"width": 24.027,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "subsequent ",
"font": "serif",
"width": 9.682,
"textWidth": 9.224
},
{
"text": "core ",
"font": "serif",
"width": 3.841,
"textWidth": 3.383
},
{
"text": "attention: ",
"font": "serif",
"width": 7.712,
"textWidth": 7.712
}
]
},
{
"left": 36.013,
"top": 87.863,
"width": 6.271,
"height": 0.947,
"words": [
{
"text": "SprsComp ",
"font": "serif",
"width": 6.271,
"textWidth": 6.271
}
]
},
{
"left": 46.446,
"top": 87.863,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 55.615,
"top": 88.336,
"width": 4.686,
"height": 1.296,
"words": [
{
"text": "Top-k ",
"font": "serif",
"width": 4.686,
"textWidth": 4.686
}
]
},
{
"left": 85.225,
"top": 88.336,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(17) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "10 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"11": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 40.765,
"top": 10.678,
"width": 23.466,
"height": 0.991,
"words": [
{
"text": "Shared ",
"font": "sans-bold",
"width": 4.362,
"textWidth": 4.049
},
{
"text": "Key-Value ",
"font": "sans-bold",
"width": 6.091,
"textWidth": 5.769
},
{
"text": "Multi-Query ",
"font": "sans-bold",
"width": 7.487,
"textWidth": 7.17
},
{
"text": "Attention ",
"font": "sans-bold",
"width": 5.526,
"textWidth": 5.526
}
]
},
{
"left": 40.572,
"top": 13.475,
"width": 6.557,
"height": 0.769,
"words": [
{
"text": "Concatenation ",
"font": "sans-bold",
"width": 6.557,
"textWidth": 6.557
}
]
},
{
"left": 27.292,
"top": 16.787,
"width": 18.525,
"height": 0.871,
"words": [
{
"text": "Sliding ",
"font": "sans",
"width": 3.151,
"textWidth": 2.893
},
{
"text": "Window ",
"font": "sans",
"width": 12.173,
"textWidth": 3.701
},
{
"text": "Heavily ",
"font": "sans",
"width": 3.201,
"textWidth": 3.201
}
]
},
{
"left": 28.483,
"top": 17.712,
"width": 18.464,
"height": 0.871,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.429,
"textWidth": 1.182
},
{
"text": "Entries ",
"font": "sans",
"width": 11.574,
"textWidth": 3.051
},
{
"text": "Compressed ",
"font": "sans",
"width": 5.461,
"textWidth": 5.461
}
]
},
{
"left": 41.976,
"top": 18.739,
"width": 4.48,
"height": 0.769,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.429,
"textWidth": 1.182
},
{
"text": "Entries ",
"font": "sans",
"width": 3.051,
"textWidth": 3.051
}
]
},
{
"left": 60.166,
"top": 19.832,
"width": 3.437,
"height": 0.769,
"words": [
{
"text": "Queries ",
"font": "sans",
"width": 3.437,
"textWidth": 3.437
}
]
},
{
"left": 47.949,
"top": 20.66,
"width": 5.306,
"height": 0.769,
"words": [
{
"text": "Token-Level ",
"font": "sans-bold",
"width": 5.306,
"textWidth": 5.306
}
]
},
{
"left": 47.906,
"top": 21.585,
"width": 5.388,
"height": 0.769,
"words": [
{
"text": "Compressor ",
"font": "sans-bold",
"width": 5.388,
"textWidth": 5.388
}
]
},
{
"left": 37.534,
"top": 28.855,
"width": 33.244,
"height": 0.875,
"words": [
{
"text": "Hidden ",
"font": "sans",
"width": 3.438,
"textWidth": 3.178
},
{
"text": "States ",
"font": "sans",
"width": 2.933,
"textWidth": 2.686
},
{
"text": "of ",
"font": "sans",
"width": 1.153,
"textWidth": 0.906
},
{
"text": "KV ",
"font": "sans",
"width": 1.434,
"textWidth": 1.182
},
{
"text": "Tokens ",
"font": "sans",
"width": 11.633,
"textWidth": 3.009
},
{
"text": "Hidden ",
"font": "sans",
"width": 3.437,
"textWidth": 3.177
},
{
"text": "State ",
"font": "sans",
"width": 2.508,
"textWidth": 2.261
},
{
"text": "of ",
"font": "sans",
"width": 1.153,
"textWidth": 0.906
},
{
"text": "Query ",
"font": "sans",
"width": 2.971,
"textWidth": 2.721
},
{
"text": "Token ",
"font": "sans",
"width": 2.584,
"textWidth": 2.584
}
]
},
{
"left": 11.905,
"top": 31.081,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.657,
"textWidth": 5.198
},
{
"text": "4 ",
"font": "serif",
"width": 2.342,
"textWidth": 0.908
},
{
"text": "Core ",
"font": "serif",
"width": 4.293,
"textWidth": 3.834
},
{
"text": "architectures ",
"font": "serif",
"width": 10.724,
"textWidth": 10.265
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.596
},
{
"text": "HCA. ",
"font": "serif",
"width": 5.127,
"textWidth": 4.666
},
{
"text": "It ",
"font": "serif",
"width": 1.664,
"textWidth": 1.204
},
{
"text": "performs ",
"font": "serif",
"width": 7.826,
"textWidth": 7.366
},
{
"text": "heavier ",
"font": "serif",
"width": 6.438,
"textWidth": 5.977
},
{
"text": "compression, ",
"font": "serif",
"width": 11.078,
"textWidth": 10.617
},
{
"text": "where ",
"font": "serif",
"width": 5.456,
"textWidth": 4.996
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "KV ",
"font": "serif",
"width": 3.091,
"textWidth": 2.63
},
{
"text": "entries ",
"font": "serif",
"width": 5.864,
"textWidth": 5.405
},
{
"text": "of ",
"font": "serif",
"width": 1.596,
"textWidth": 1.596
}
]
},
{
"left": 19.767,
"top": 32.691,
"width": 68.327,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.922,
"textWidth": 5.445
},
{
"text": "will ",
"font": "serif",
"width": 3.667,
"textWidth": 3.191
},
{
"text": "be ",
"font": "serif",
"width": 2.406,
"textWidth": 1.929
},
{
"text": "consolidated ",
"font": "serif",
"width": 11.038,
"textWidth": 10.561
},
{
"text": "into ",
"font": "serif",
"width": 3.739,
"textWidth": 3.262
},
{
"text": "one. ",
"font": "serif",
"width": 4.096,
"textWidth": 3.471
},
{
"text": "Also, ",
"font": "serif",
"width": 4.759,
"textWidth": 4.279
},
{
"text": "we ",
"font": "serif",
"width": 2.931,
"textWidth": 2.454
},
{
"text": "additionally ",
"font": "serif",
"width": 10.563,
"textWidth": 10.087
},
{
"text": "introduce ",
"font": "serif",
"width": 8.438,
"textWidth": 7.961
},
{
"text": "a ",
"font": "serif",
"width": 1.411,
"textWidth": 0.935
},
{
"text": "small ",
"font": "serif",
"width": 4.942,
"textWidth": 4.466
},
{
"text": "set ",
"font": "serif",
"width": 2.774,
"textWidth": 2.297
},
{
"text": "of ",
"font": "serif",
"width": 1.641,
"textWidth": 1.641
}
]
},
{
"left": 11.905,
"top": 34.3,
"width": 57.7,
"height": 1.296,
"words": [
{
"text": "sliding ",
"font": "serif",
"width": 6.04,
"textWidth": 5.582
},
{
"text": "window ",
"font": "serif",
"width": 7.235,
"textWidth": 6.777
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 5.912,
"textWidth": 5.454
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "enhance ",
"font": "serif",
"width": 7.144,
"textWidth": 6.685
},
{
"text": "local ",
"font": "serif",
"width": 4.255,
"textWidth": 3.797
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.378,
"textWidth": 9.92
},
{
"text": "dependencies. ",
"font": "serif",
"width": 11.567,
"textWidth": 11.567
}
]
},
{
"left": 11.905,
"top": 38.337,
"width": 21.646,
"height": 1.296,
"words": [
{
"text": "Shared ",
"font": "serif-bold",
"width": 6.692,
"textWidth": 6.023
},
{
"text": "Key-Value ",
"font": "serif-bold",
"width": 9.606,
"textWidth": 8.937
},
{
"text": "MQA. ",
"font": "serif-bold",
"width": 5.348,
"textWidth": 5.348
}
]
},
{
"left": 35.373,
"top": 38.357,
"width": 52.723,
"height": 1.296,
"words": [
{
"text": "After ",
"font": "serif",
"width": 4.989,
"textWidth": 4.32
},
{
"text": "selecting ",
"font": "serif",
"width": 7.909,
"textWidth": 7.238
},
{
"text": "the ",
"font": "serif",
"width": 3.262,
"textWidth": 2.593
},
{
"text": "sparse ",
"font": "serif",
"width": 5.948,
"textWidth": 5.277
},
{
"text": "KV ",
"font": "serif",
"width": 3.376,
"textWidth": 2.707
},
{
"text": "entries, ",
"font": "serif",
"width": 6.754,
"textWidth": 6.03
},
{
"text": "CSA ",
"font": "serif",
"width": 4.43,
"textWidth": 3.761
},
{
"text": "then ",
"font": "serif",
"width": 4.352,
"textWidth": 3.681
},
{
"text": "performs ",
"font": "serif",
"width": 8.251,
"textWidth": 7.582
},
{
"text": "core ",
"font": "serif",
"width": 3.453,
"textWidth": 3.453
}
]
},
{
"left": 11.905,
"top": 39.967,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.8,
"textWidth": 7.341
},
{
"text": "in ",
"font": "serif",
"width": 2.081,
"textWidth": 1.619
},
{
"text": "a ",
"font": "serif",
"width": 1.387,
"textWidth": 0.927
},
{
"text": "Multi-Query ",
"font": "serif",
"width": 10.862,
"textWidth": 10.402
},
{
"text": "Attention ",
"font": "serif",
"width": 8.316,
"textWidth": 7.856
},
{
"text": "(MQA) ",
"font": "serif",
"width": 6.352,
"textWidth": 5.89
},
{
"text": "(Shazeer, ",
"font": "serif",
"width": 7.958,
"textWidth": 7.498
},
{
"text": "2019) ",
"font": "serif",
"width": 4.787,
"textWidth": 4.327
},
{
"text": "manner, ",
"font": "serif",
"width": 7.135,
"textWidth": 6.673
},
{
"text": "where ",
"font": "serif",
"width": 5.562,
"textWidth": 5.102
},
{
"text": "each ",
"font": "serif",
"width": 4.18,
"textWidth": 3.718
},
{
"text": "compressed ",
"font": "serif",
"width": 9.77,
"textWidth": 9.77
}
]
},
{
"left": 11.905,
"top": 41.831,
"width": 9.346,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.079,
"textWidth": 2.619
},
{
"text": "entry ",
"font": "serif",
"width": 4.688,
"textWidth": 4.229
},
{
"text": "in ",
"font": "serif",
"width": 1.579,
"textWidth": 1.579
}
]
},
{
"left": 23.028,
"top": 41.357,
"width": 63.762,
"height": 1.769,
"words": [
{
"text": "SprsComp ",
"font": "serif",
"width": 6.814,
"textWidth": 6.271
},
{
"text": "serves ",
"font": "serif",
"width": 5.463,
"textWidth": 5.003
},
{
"text": "as ",
"font": "serif",
"width": 2.131,
"textWidth": 1.671
},
{
"text": "both ",
"font": "serif",
"width": 4.09,
"textWidth": 3.63
},
{
"text": "attention ",
"font": "serif",
"width": 7.619,
"textWidth": 7.159
},
{
"text": "key ",
"font": "serif",
"width": 3.337,
"textWidth": 2.878
},
{
"text": "and ",
"font": "serif",
"width": 3.522,
"textWidth": 3.062
},
{
"text": "value. ",
"font": "serif",
"width": 5.435,
"textWidth": 4.862
},
{
"text": "To ",
"font": "serif",
"width": 2.388,
"textWidth": 1.928
},
{
"text": "be ",
"font": "serif",
"width": 2.326,
"textWidth": 1.867
},
{
"text": "specific, ",
"font": "serif",
"width": 6.859,
"textWidth": 6.399
},
{
"text": "for ",
"font": "serif",
"width": 2.764,
"textWidth": 2.304
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.904
},
{
"text": "query ",
"font": "serif",
"width": 5.15,
"textWidth": 4.69
},
{
"text": "token ",
"font": "serif",
"width": 4.502,
"textWidth": 4.502
}
]
},
{
"left": 11.828,
"top": 43.44,
"width": 27.33,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "first ",
"font": "serif",
"width": 3.665,
"textWidth": 3.207
},
{
"text": "produce ",
"font": "serif",
"width": 7.167,
"textWidth": 6.709
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "queries ",
"font": "serif",
"width": 5.921,
"textWidth": 5.921
}
]
},
{
"left": 40.461,
"top": 43.419,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 42.034,
"top": 43.894,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 43.886,
"top": 43.419,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 45.459,
"top": 43.885,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 49.448,
"top": 43.419,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 54.054,
"top": 43.44,
"width": 27.586,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.378,
"textWidth": 3.92
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "latent ",
"font": "serif",
"width": 5.047,
"textWidth": 4.589
},
{
"text": "vector ",
"font": "serif",
"width": 5.049,
"textWidth": 5.049
}
]
},
{
"left": 82.098,
"top": 43.419,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 37.469,
"top": 46.189,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 39.043,
"top": 46.664,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 40.895,
"top": 46.189,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 42.468,
"top": 46.655,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 46.456,
"top": 46.189,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 52.583,
"top": 46.189,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 56.343,
"top": 46.189,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 85.226,
"top": 46.21,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(18) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 48.98,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 19.684,
"top": 48.98,
"width": 68.447,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.933,
"textWidth": 6.443
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.023,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.133,
"textWidth": 1.643
},
{
"text": "query ",
"font": "serif",
"width": 5.337,
"textWidth": 4.847
},
{
"text": "heads; ",
"font": "serif",
"width": 17.524,
"textWidth": 5.32
},
{
"text": "is ",
"font": "serif",
"width": 1.826,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.593
},
{
"text": "up-projection ",
"font": "serif",
"width": 11.636,
"textWidth": 11.146
},
{
"text": "matrices ",
"font": "serif",
"width": 7.485,
"textWidth": 6.995
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 11.853,
"top": 50.59,
"width": 34.193,
"height": 1.296,
"words": [
{
"text": "queries. ",
"font": "serif",
"width": 7.163,
"textWidth": 6.507
},
{
"text": "Note ",
"font": "serif",
"width": 4.567,
"textWidth": 4.079
},
{
"text": "that ",
"font": "serif",
"width": 3.729,
"textWidth": 3.241
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.593
},
{
"text": "latent ",
"font": "serif",
"width": 5.169,
"textWidth": 4.681
},
{
"text": "query ",
"font": "serif",
"width": 5.335,
"textWidth": 4.847
},
{
"text": "vector ",
"font": "serif",
"width": 5.15,
"textWidth": 5.15
}
]
},
{
"left": 46.532,
"top": 50.569,
"width": 0.83,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.83,
"textWidth": 0.83
}
]
},
{
"left": 48.873,
"top": 50.59,
"width": 39.542,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.824,
"textWidth": 1.337
},
{
"text": "shared ",
"font": "serif",
"width": 6.045,
"textWidth": 5.557
},
{
"text": "with ",
"font": "serif",
"width": 4.288,
"textWidth": 3.8
},
{
"text": "that ",
"font": "serif",
"width": 3.729,
"textWidth": 3.241
},
{
"text": "used ",
"font": "serif",
"width": 4.445,
"textWidth": 3.957
},
{
"text": "for ",
"font": "serif",
"width": 2.869,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.593
},
{
"text": "indexer ",
"font": "serif",
"width": 6.754,
"textWidth": 6.268
},
{
"text": "queries. ",
"font": "serif",
"width": 6.507,
"textWidth": 6.507
}
]
},
{
"left": 43.738,
"top": 51.98,
"width": 6.271,
"height": 0.947,
"words": [
{
"text": "SprsComp ",
"font": "serif",
"width": 6.271,
"textWidth": 6.271
}
]
},
{
"left": 11.905,
"top": 52.453,
"width": 21.964,
"height": 1.296,
"words": [
{
"text": "Next, ",
"font": "serif",
"width": 4.86,
"textWidth": 4.402
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "perform ",
"font": "serif",
"width": 7.114,
"textWidth": 6.656
},
{
"text": "MQA ",
"font": "serif",
"width": 5.058,
"textWidth": 4.6
},
{
"text": "on ",
"font": "serif",
"width": 2.067,
"textWidth": 2.067
}
]
},
{
"left": 35.172,
"top": 52.433,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 38.859,
"top": 52.453,
"width": 3.103,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 52.697,
"top": 55.129,
"width": 21.058,
"height": 0.947,
"words": [
{
"text": "SprsComp ",
"font": "serif",
"width": 14.786,
"textWidth": 6.271
},
{
"text": "SprsComp ",
"font": "serif",
"width": 6.271,
"textWidth": 6.271
}
]
},
{
"left": 24.563,
"top": 55.582,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 28.951,
"top": 55.602,
"width": 7.556,
"height": 1.296,
"words": [
{
"text": "CoreAttn ",
"font": "serif",
"width": 7.556,
"textWidth": 7.556
}
]
},
{
"left": 37.647,
"top": 55.424,
"width": 6.35,
"height": 1.425,
"words": [
{
"text": "query= ",
"font": "mono",
"width": 6.35,
"textWidth": 6.35
}
]
},
{
"left": 43.997,
"top": 55.582,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 47.145,
"top": 55.424,
"width": 4.233,
"height": 1.425,
"words": [
{
"text": "key= ",
"font": "mono",
"width": 4.233,
"textWidth": 4.233
}
]
},
{
"left": 59.816,
"top": 55.424,
"width": 6.35,
"height": 1.425,
"words": [
{
"text": "value= ",
"font": "mono",
"width": 6.35,
"textWidth": 6.35
}
]
},
{
"left": 85.225,
"top": 55.602,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(19) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 58.657,
"width": 4.941,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 4.941,
"textWidth": 4.941
}
]
},
{
"left": 17.21,
"top": 58.636,
"width": 0.999,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 0.999,
"textWidth": 0.999
}
]
},
{
"left": 24.097,
"top": 58.657,
"width": 26.322,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.728,
"textWidth": 1.284
},
{
"text": "the ",
"font": "serif",
"width": 2.933,
"textWidth": 2.491
},
{
"text": "core ",
"font": "serif",
"width": 3.757,
"textWidth": 3.315
},
{
"text": "attention ",
"font": "serif",
"width": 7.552,
"textWidth": 7.108
},
{
"text": "output ",
"font": "serif",
"width": 5.839,
"textWidth": 5.397
},
{
"text": "of ",
"font": "serif",
"width": 2.022,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.491,
"textWidth": 2.491
}
]
},
{
"left": 51.399,
"top": 58.657,
"width": 2.229,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.229,
"textWidth": 2.229
}
]
},
{
"left": 54.071,
"top": 58.657,
"width": 8.761,
"height": 1.296,
"words": [
{
"text": "head ",
"font": "serif",
"width": 4.343,
"textWidth": 3.901
},
{
"text": "at ",
"font": "serif",
"width": 1.927,
"textWidth": 1.483
},
{
"text": "the ",
"font": "serif",
"width": 2.491,
"textWidth": 2.491
}
]
},
{
"left": 63.895,
"top": 58.657,
"width": 2.229,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.229,
"textWidth": 2.229
}
]
},
{
"left": 66.568,
"top": 58.657,
"width": 21.527,
"height": 1.296,
"words": [
{
"text": "token; ",
"font": "serif",
"width": 5.366,
"textWidth": 4.919
},
{
"text": "CoreAttn ",
"font": "serif",
"width": 9.971,
"textWidth": 7.556
},
{
"text": "denotes ",
"font": "serif",
"width": 6.191,
"textWidth": 6.191
}
]
},
{
"left": 11.905,
"top": 60.267,
"width": 22.829,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "core ",
"font": "serif",
"width": 3.841,
"textWidth": 3.383
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "operation. ",
"font": "serif",
"width": 8.276,
"textWidth": 8.276
}
]
},
{
"left": 11.905,
"top": 64.45,
"width": 22.99,
"height": 1.296,
"words": [
{
"text": "Grouped ",
"font": "serif-bold",
"width": 7.78,
"textWidth": 7.383
},
{
"text": "Output ",
"font": "serif-bold",
"width": 6.381,
"textWidth": 5.984
},
{
"text": "Projection. ",
"font": "serif-bold",
"width": 8.829,
"textWidth": 8.829
}
]
},
{
"left": 36.718,
"top": 64.471,
"width": 29.136,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.047,
"textWidth": 1.65
},
{
"text": "the ",
"font": "serif",
"width": 2.89,
"textWidth": 2.491
},
{
"text": "configuration ",
"font": "serif",
"width": 11.13,
"textWidth": 10.731
},
{
"text": "of ",
"font": "serif",
"width": 1.976,
"textWidth": 1.579
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 11.094,
"textWidth": 11.094
}
]
},
{
"left": 69.128,
"top": 64.471,
"width": 19.195,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.681,
"textWidth": 1.284
},
{
"text": "quite ",
"font": "serif",
"width": 4.454,
"textWidth": 4.057
},
{
"text": "large. ",
"font": "serif",
"width": 4.953,
"textWidth": 4.405
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.107,
"textWidth": 8.107
}
]
},
{
"left": 11.905,
"top": 66.081,
"width": 49.627,
"height": 1.296,
"words": [
{
"text": "directly ",
"font": "serif",
"width": 6.673,
"textWidth": 6.216
},
{
"text": "projecting ",
"font": "serif",
"width": 8.627,
"textWidth": 8.17
},
{
"text": "the ",
"font": "serif",
"width": 3.011,
"textWidth": 2.555
},
{
"text": "outputs ",
"font": "serif",
"width": 6.77,
"textWidth": 6.314
},
{
"text": "of ",
"font": "serif",
"width": 2.076,
"textWidth": 1.619
},
{
"text": "the ",
"font": "serif",
"width": 3.011,
"textWidth": 2.555
},
{
"text": "core ",
"font": "serif",
"width": 3.857,
"textWidth": 3.4
},
{
"text": "attention ",
"font": "serif",
"width": 7.747,
"textWidth": 7.29
},
{
"text": "operation ",
"font": "serif",
"width": 7.855,
"textWidth": 7.855
}
]
},
{
"left": 62.764,
"top": 66.06,
"width": 1.024,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.024,
"textWidth": 1.024
}
]
},
{
"left": 64.242,
"top": 66.535,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 66.096,
"top": 66.06,
"width": 1.024,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.024,
"textWidth": 1.024
}
]
},
{
"left": 67.574,
"top": 66.526,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 71.575,
"top": 66.06,
"width": 1.024,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.024,
"textWidth": 1.024
}
]
},
{
"left": 77.604,
"top": 66.06,
"width": 1.024,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.024,
"textWidth": 1.024
}
]
},
{
"left": 85.112,
"top": 66.081,
"width": 2.984,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.063,
"textWidth": 1.606
},
{
"text": "a ",
"font": "serif",
"width": 0.921,
"textWidth": 0.921
}
]
},
{
"left": 12.895,
"top": 67.69,
"width": 75.2,
"height": 1.296,
"words": [
{
"text": "-dimensional ",
"font": "serif",
"width": 11.313,
"textWidth": 10.855
},
{
"text": "hidden ",
"font": "serif",
"width": 6.351,
"textWidth": 5.894
},
{
"text": "state ",
"font": "serif",
"width": 4.297,
"textWidth": 3.838
},
{
"text": "will ",
"font": "serif",
"width": 3.645,
"textWidth": 3.188
},
{
"text": "impose ",
"font": "serif",
"width": 6.478,
"textWidth": 6.021
},
{
"text": "a ",
"font": "serif",
"width": 1.391,
"textWidth": 0.934
},
{
"text": "substantial ",
"font": "serif",
"width": 9.459,
"textWidth": 9.001
},
{
"text": "computational ",
"font": "serif",
"width": 12.484,
"textWidth": 12.024
},
{
"text": "burden. ",
"font": "serif",
"width": 7.02,
"textWidth": 6.452
},
{
"text": "To ",
"font": "serif",
"width": 2.454,
"textWidth": 1.996
},
{
"text": "mitigate ",
"font": "serif",
"width": 7.277,
"textWidth": 6.82
},
{
"text": "this ",
"font": "serif",
"width": 3.031,
"textWidth": 3.031
}
]
},
{
"left": 11.905,
"top": 69.299,
"width": 67.051,
"height": 1.296,
"words": [
{
"text": "cost, ",
"font": "serif",
"width": 4.228,
"textWidth": 3.72
},
{
"text": "we ",
"font": "serif",
"width": 2.953,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 6.0,
"textWidth": 5.501
},
{
"text": "a ",
"font": "serif",
"width": 1.434,
"textWidth": 0.935
},
{
"text": "grouped ",
"font": "serif",
"width": 7.552,
"textWidth": 7.053
},
{
"text": "output ",
"font": "serif",
"width": 6.116,
"textWidth": 5.617
},
{
"text": "projection ",
"font": "serif",
"width": 8.772,
"textWidth": 8.273
},
{
"text": "strategy. ",
"font": "serif",
"width": 7.612,
"textWidth": 6.922
},
{
"text": "To ",
"font": "serif",
"width": 2.497,
"textWidth": 1.998
},
{
"text": "be ",
"font": "serif",
"width": 2.426,
"textWidth": 1.929
},
{
"text": "specific, ",
"font": "serif",
"width": 7.124,
"textWidth": 6.613
},
{
"text": "we ",
"font": "serif",
"width": 2.952,
"textWidth": 2.454
},
{
"text": "first ",
"font": "serif",
"width": 3.77,
"textWidth": 3.271
},
{
"text": "split ",
"font": "serif",
"width": 3.613,
"textWidth": 3.613
}
]
},
{
"left": 81.686,
"top": 69.299,
"width": 6.41,
"height": 1.296,
"words": [
{
"text": "outputs ",
"font": "serif",
"width": 6.41,
"textWidth": 6.41
}
]
},
{
"left": 11.905,
"top": 71.282,
"width": 3.262,
"height": 1.296,
"words": [
{
"text": "into ",
"font": "serif",
"width": 3.262,
"textWidth": 3.262
}
]
},
{
"left": 17.018,
"top": 71.282,
"width": 34.852,
"height": 1.296,
"words": [
{
"text": "groups, ",
"font": "serif",
"width": 6.754,
"textWidth": 6.275
},
{
"text": "and ",
"font": "serif",
"width": 3.639,
"textWidth": 3.165
},
{
"text": "then ",
"font": "serif",
"width": 4.155,
"textWidth": 3.681
},
{
"text": "for ",
"font": "serif",
"width": 2.856,
"textWidth": 2.381
},
{
"text": "each ",
"font": "serif",
"width": 4.223,
"textWidth": 3.748
},
{
"text": "group ",
"font": "serif",
"width": 5.49,
"textWidth": 5.015
},
{
"text": "of ",
"font": "serif",
"width": 2.118,
"textWidth": 1.643
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 52.346,
"top": 71.262,
"width": 1.039,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 61.383,
"top": 71.282,
"width": 13.692,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.929,
"textWidth": 2.454
},
{
"text": "project ",
"font": "serif",
"width": 6.096,
"textWidth": 5.621
},
{
"text": "it ",
"font": "serif",
"width": 1.628,
"textWidth": 1.153
},
{
"text": "to ",
"font": "serif",
"width": 2.105,
"textWidth": 1.63
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 77.229,
"top": 71.282,
"width": 10.866,
"height": 1.296,
"words": [
{
"text": "-dimensional ",
"font": "serif",
"width": 10.866,
"textWidth": 10.866
}
]
},
{
"left": 11.905,
"top": 73.133,
"width": 16.762,
"height": 1.296,
"words": [
{
"text": "intermediate ",
"font": "serif",
"width": 11.145,
"textWidth": 10.546
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 29.265,
"top": 73.112,
"width": 1.039,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 38.226,
"top": 73.133,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 52.239,
"top": 73.133,
"width": 35.856,
"height": 1.296,
"words": [
{
"text": "Finally, ",
"font": "serif",
"width": 6.63,
"textWidth": 5.997
},
{
"text": "we ",
"font": "serif",
"width": 3.053,
"textWidth": 2.454
},
{
"text": "project ",
"font": "serif",
"width": 6.221,
"textWidth": 5.623
},
{
"text": "the ",
"font": "serif",
"width": 3.191,
"textWidth": 2.593
},
{
"text": "intermediate ",
"font": "serif",
"width": 11.145,
"textWidth": 10.546
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 12.68,
"top": 75.01,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 16.005,
"top": 75.01,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 21.466,
"top": 75.01,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 30.767,
"top": 75.031,
"width": 22.358,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "final ",
"font": "serif",
"width": 4.083,
"textWidth": 3.625
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "output ",
"font": "serif",
"width": 5.507,
"textWidth": 5.507
}
]
},
{
"left": 53.583,
"top": 75.01,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 14.153,
"top": 75.755,
"width": 4.328,
"height": 0.961,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 3.324,
"textWidth": 1.004
},
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 11.905,
"top": 78.861,
"width": 30.189,
"height": 1.296,
"words": [
{
"text": "2.3.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Heavily ",
"font": "serif-bold-italic",
"width": 6.975,
"textWidth": 6.517
},
{
"text": "Compressed ",
"font": "serif-bold-italic",
"width": 10.231,
"textWidth": 9.773
},
{
"text": "Attention ",
"font": "serif-bold-italic",
"width": 7.943,
"textWidth": 7.943
}
]
},
{
"left": 11.848,
"top": 81.545,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.669,
"textWidth": 3.129
},
{
"text": "core ",
"font": "serif",
"width": 3.991,
"textWidth": 3.451
},
{
"text": "architecture ",
"font": "serif",
"width": 10.315,
"textWidth": 9.774
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "HCA ",
"font": "serif",
"width": 4.875,
"textWidth": 4.335
},
{
"text": "is ",
"font": "serif",
"width": 1.877,
"textWidth": 1.337
},
{
"text": "illustrated ",
"font": "serif",
"width": 9.021,
"textWidth": 8.481
},
{
"text": "in ",
"font": "serif",
"width": 2.172,
"textWidth": 1.632
},
{
"text": "Figure ",
"font": "serif",
"width": 5.89,
"textWidth": 5.35
},
{
"text": "4, ",
"font": "serif",
"width": 1.963,
"textWidth": 1.402
},
{
"text": "which ",
"font": "serif",
"width": 5.649,
"textWidth": 5.109
},
{
"text": "compresses ",
"font": "serif",
"width": 10.038,
"textWidth": 9.498
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.247,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.118,
"textWidth": 4.578
},
{
"text": "in ",
"font": "serif",
"width": 2.172,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 83.155,
"width": 44.021,
"height": 1.296,
"words": [
{
"text": "heavier ",
"font": "serif",
"width": 6.489,
"textWidth": 6.031
},
{
"text": "manner, ",
"font": "serif",
"width": 7.05,
"textWidth": 6.592
},
{
"text": "but ",
"font": "serif",
"width": 3.174,
"textWidth": 2.716
},
{
"text": "does ",
"font": "serif",
"width": 4.233,
"textWidth": 3.775
},
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "employ ",
"font": "serif",
"width": 6.608,
"textWidth": 6.15
},
{
"text": "sparse ",
"font": "serif",
"width": 5.632,
"textWidth": 5.173
},
{
"text": "attention. ",
"font": "serif",
"width": 7.712,
"textWidth": 7.712
}
]
},
{
"left": 11.905,
"top": 87.338,
"width": 26.387,
"height": 1.296,
"words": [
{
"text": "Compressed ",
"font": "serif-bold",
"width": 10.829,
"textWidth": 10.373
},
{
"text": "Key-Value ",
"font": "serif-bold",
"width": 9.203,
"textWidth": 8.747
},
{
"text": "Entries. ",
"font": "serif-bold",
"width": 6.355,
"textWidth": 6.355
}
]
},
{
"left": 40.113,
"top": 87.359,
"width": 47.981,
"height": 1.296,
"words": [
{
"text": "By ",
"font": "serif",
"width": 2.592,
"textWidth": 2.137
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.1
},
{
"text": "large, ",
"font": "serif",
"width": 4.947,
"textWidth": 4.491
},
{
"text": "the ",
"font": "serif",
"width": 2.995,
"textWidth": 2.539
},
{
"text": "compression ",
"font": "serif",
"width": 10.703,
"textWidth": 10.247
},
{
"text": "strategy ",
"font": "serif",
"width": 6.977,
"textWidth": 6.521
},
{
"text": "of ",
"font": "serif",
"width": 2.065,
"textWidth": 1.609
},
{
"text": "HCA ",
"font": "serif",
"width": 4.701,
"textWidth": 4.246
},
{
"text": "is ",
"font": "serif",
"width": 1.765,
"textWidth": 1.309
},
{
"text": "similar ",
"font": "serif",
"width": 6.084,
"textWidth": 5.63
},
{
"text": "to ",
"font": "serif",
"width": 1.596,
"textWidth": 1.596
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 40.914,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.603,
"textWidth": 3.146
},
{
"text": "of ",
"font": "serif",
"width": 2.054,
"textWidth": 1.595
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.561,
"textWidth": 4.104
},
{
"text": "but ",
"font": "serif",
"width": 3.148,
"textWidth": 2.689
},
{
"text": "employs ",
"font": "serif",
"width": 7.315,
"textWidth": 6.858
},
{
"text": "a ",
"font": "serif",
"width": 1.366,
"textWidth": 0.907
},
{
"text": "larger ",
"font": "serif",
"width": 5.171,
"textWidth": 4.714
},
{
"text": "compression ",
"font": "serif",
"width": 10.612,
"textWidth": 10.155
},
{
"text": "rate ",
"font": "serif",
"width": 3.084,
"textWidth": 3.084
}
]
},
{
"left": 61.031,
"top": 88.969,
"width": 27.064,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "does ",
"font": "serif",
"width": 4.195,
"textWidth": 3.737
},
{
"text": "not ",
"font": "serif",
"width": 3.097,
"textWidth": 2.638
},
{
"text": "perform ",
"font": "serif",
"width": 7.047,
"textWidth": 6.589
},
{
"text": "overlapped ",
"font": "serif",
"width": 9.195,
"textWidth": 9.195
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "11 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"12": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "compression. ",
"font": "serif",
"width": 12.021,
"textWidth": 10.93
},
{
"text": "Let ",
"font": "serif",
"width": 11.985,
"textWidth": 2.647
},
{
"text": "be ",
"font": "serif",
"width": 2.561,
"textWidth": 1.929
},
{
"text": "a ",
"font": "serif",
"width": 1.568,
"textWidth": 0.935
},
{
"text": "sequence ",
"font": "serif",
"width": 8.202,
"textWidth": 7.571
},
{
"text": "of ",
"font": "serif",
"width": 2.275,
"textWidth": 1.643
},
{
"text": "input ",
"font": "serif",
"width": 5.124,
"textWidth": 4.492
},
{
"text": "hidden ",
"font": "serif",
"width": 6.533,
"textWidth": 5.899
},
{
"text": "states, ",
"font": "serif",
"width": 5.776,
"textWidth": 5.101
},
{
"text": "HCA ",
"font": "serif",
"width": 4.967,
"textWidth": 4.335
},
{
"text": "first ",
"font": "serif",
"width": 3.905,
"textWidth": 3.271
},
{
"text": "computes ",
"font": "serif",
"width": 8.681,
"textWidth": 8.049
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 60.372,
"height": 1.296,
"words": [
{
"text": "original ",
"font": "serif",
"width": 6.784,
"textWidth": 6.326
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 13.294,
"textWidth": 5.454
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "their ",
"font": "serif",
"width": 4.257,
"textWidth": 3.799
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.249,
"textWidth": 11.791
},
{
"text": "compression ",
"font": "serif",
"width": 10.715,
"textWidth": 10.257
},
{
"text": "weights ",
"font": "serif",
"width": 6.399,
"textWidth": 6.399
}
]
},
{
"left": 85.226,
"top": 14.993,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(20) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 85.226,
"top": 17.076,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(21) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 19.987,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 18.059,
"textWidth": 4.941
},
{
"text": "are ",
"font": "serif",
"width": 2.791,
"textWidth": 2.435
},
{
"text": "trainable ",
"font": "serif",
"width": 7.392,
"textWidth": 7.035
},
{
"text": "parameters. ",
"font": "serif",
"width": 9.93,
"textWidth": 9.395
},
{
"text": "Next, ",
"font": "serif",
"width": 4.691,
"textWidth": 4.314
},
{
"text": "each ",
"font": "serif",
"width": 6.286,
"textWidth": 3.601
},
{
"text": "KV ",
"font": "serif",
"width": 2.956,
"textWidth": 2.601
},
{
"text": "entries ",
"font": "serif",
"width": 5.702,
"textWidth": 5.345
},
{
"text": "in ",
"font": "serif",
"width": 3.368,
"textWidth": 1.568
},
{
"text": "will ",
"font": "serif",
"width": 3.421,
"textWidth": 3.066
},
{
"text": "be ",
"font": "serif",
"width": 2.211,
"textWidth": 1.853
},
{
"text": "compressed ",
"font": "serif",
"width": 9.459,
"textWidth": 9.459
}
]
},
{
"left": 11.905,
"top": 21.596,
"width": 66.626,
"height": 1.296,
"words": [
{
"text": "into ",
"font": "serif",
"width": 3.965,
"textWidth": 3.262
},
{
"text": "one ",
"font": "serif",
"width": 3.707,
"textWidth": 3.004
},
{
"text": "according ",
"font": "serif",
"width": 8.836,
"textWidth": 8.133
},
{
"text": "to ",
"font": "serif",
"width": 2.333,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.296,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 11.165,
"textWidth": 10.462
},
{
"text": "weights ",
"font": "serif",
"width": 7.23,
"textWidth": 6.527
},
{
"text": "and ",
"font": "serif",
"width": 3.868,
"textWidth": 3.165
},
{
"text": "learnable ",
"font": "serif",
"width": 8.311,
"textWidth": 7.608
},
{
"text": "positional ",
"font": "serif",
"width": 8.924,
"textWidth": 8.221
},
{
"text": "biases ",
"font": "serif",
"width": 4.993,
"textWidth": 4.993
}
]
},
{
"left": 21.846,
"top": 23.241,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 53.714,
"top": 22.987,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 11.85,
"top": 23.46,
"width": 40.318,
"height": 1.296,
"words": [
{
"text": "producing ",
"font": "serif",
"width": 21.547,
"textWidth": 8.45
},
{
"text": "Each ",
"font": "serif",
"width": 4.374,
"textWidth": 3.916
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "entry ",
"font": "serif",
"width": 4.285,
"textWidth": 4.285
}
]
},
{
"left": 62.102,
"top": 23.46,
"width": 12.493,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "computed ",
"font": "serif",
"width": 8.692,
"textWidth": 8.234
},
{
"text": "by ",
"font": "serif",
"width": 2.032,
"textWidth": 2.032
}
]
},
{
"left": 38.885,
"top": 26.371,
"width": 14.106,
"height": 1.41,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 2.856,
"textWidth": 0.669
},
{
"text": "Softmax ",
"font": "serif",
"width": 6.651,
"textWidth": 6.651
},
{
"text": "row ",
"font": "serif",
"width": 2.352,
"textWidth": 2.352
}
]
},
{
"left": 60.446,
"top": 26.835,
"width": 2.917,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 85.226,
"top": 26.371,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(22) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 47.333,
"top": 28.38,
"width": 2.917,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.248,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 38.135,
"top": 29.311,
"width": 3.667,
"height": 0.947,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 85.225,
"top": 29.785,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(23) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 75.898,
"top": 33.929,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.848,
"top": 34.189,
"width": 62.987,
"height": 1.296,
"words": [
{
"text": "Through ",
"font": "serif",
"width": 7.53,
"textWidth": 7.072
},
{
"text": "this ",
"font": "serif",
"width": 3.432,
"textWidth": 2.974
},
{
"text": "compression ",
"font": "serif",
"width": 10.715,
"textWidth": 10.257
},
{
"text": "operation, ",
"font": "serif",
"width": 8.734,
"textWidth": 8.276
},
{
"text": "HCA ",
"font": "serif",
"width": 4.708,
"textWidth": 4.25
},
{
"text": "compresses ",
"font": "serif",
"width": 9.77,
"textWidth": 9.312
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "sequence ",
"font": "serif",
"width": 7.88,
"textWidth": 7.422
},
{
"text": "length ",
"font": "serif",
"width": 5.619,
"textWidth": 5.161
},
{
"text": "to ",
"font": "serif",
"width": 1.598,
"textWidth": 1.598
}
]
},
{
"left": 77.631,
"top": 34.189,
"width": 4.862,
"height": 1.296,
"words": [
{
"text": "times. ",
"font": "serif",
"width": 4.862,
"textWidth": 4.862
}
]
},
{
"left": 11.905,
"top": 38.395,
"width": 47.416,
"height": 1.296,
"words": [
{
"text": "Shared ",
"font": "serif-bold",
"width": 6.287,
"textWidth": 5.828
},
{
"text": "Key-Value ",
"font": "serif-bold",
"width": 9.098,
"textWidth": 8.639
},
{
"text": "MQA ",
"font": "serif-bold",
"width": 5.182,
"textWidth": 4.723
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.574,
"textWidth": 3.115
},
{
"text": "Grouped ",
"font": "serif-bold",
"width": 7.895,
"textWidth": 7.436
},
{
"text": "Output ",
"font": "serif-bold",
"width": 6.486,
"textWidth": 6.027
},
{
"text": "Projection. ",
"font": "serif-bold",
"width": 8.892,
"textWidth": 8.892
}
]
},
{
"left": 61.144,
"top": 38.416,
"width": 27.018,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.652,
"textWidth": 4.195
},
{
"text": "also ",
"font": "serif",
"width": 3.645,
"textWidth": 3.185
},
{
"text": "employs ",
"font": "serif",
"width": 7.297,
"textWidth": 6.837
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "shared ",
"font": "serif",
"width": 5.837,
"textWidth": 5.378
},
{
"text": "KV ",
"font": "serif",
"width": 2.619,
"textWidth": 2.619
}
]
},
{
"left": 11.905,
"top": 40.025,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "MQA ",
"font": "serif",
"width": 5.106,
"textWidth": 4.65
},
{
"text": "and ",
"font": "serif",
"width": 3.593,
"textWidth": 3.137
},
{
"text": "grouped ",
"font": "serif",
"width": 7.446,
"textWidth": 6.991
},
{
"text": "output ",
"font": "serif",
"width": 6.022,
"textWidth": 5.568
},
{
"text": "projection ",
"font": "serif",
"width": 8.656,
"textWidth": 8.202
},
{
"text": "strategies ",
"font": "serif",
"width": 8.237,
"textWidth": 7.782
},
{
"text": "as ",
"font": "serif",
"width": 2.168,
"textWidth": 1.712
},
{
"text": "CSA ",
"font": "serif",
"width": 4.184,
"textWidth": 3.728
},
{
"text": "does. ",
"font": "serif",
"width": 4.847,
"textWidth": 4.28
},
{
"text": "After ",
"font": "serif",
"width": 4.738,
"textWidth": 4.282
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.57
},
{
"text": "KV ",
"font": "serif",
"width": 3.137,
"textWidth": 2.683
},
{
"text": "compression, ",
"font": "serif",
"width": 11.291,
"textWidth": 10.835
},
{
"text": "for ",
"font": "serif",
"width": 2.814,
"textWidth": 2.36
},
{
"text": "a ",
"font": "serif",
"width": 0.926,
"textWidth": 0.926
}
]
},
{
"left": 11.853,
"top": 41.634,
"width": 9.771,
"height": 1.296,
"words": [
{
"text": "query ",
"font": "serif",
"width": 5.21,
"textWidth": 4.752
},
{
"text": "token ",
"font": "serif",
"width": 4.561,
"textWidth": 4.561
}
]
},
{
"left": 23.62,
"top": 41.634,
"width": 29.95,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.708,
"textWidth": 4.25
},
{
"text": "first ",
"font": "serif",
"width": 3.665,
"textWidth": 3.207
},
{
"text": "produces ",
"font": "serif",
"width": 7.944,
"textWidth": 7.486
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "queries ",
"font": "serif",
"width": 5.921,
"textWidth": 5.921
}
]
},
{
"left": 54.873,
"top": 41.613,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 56.448,
"top": 42.089,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 58.299,
"top": 41.613,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 59.873,
"top": 42.079,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 63.861,
"top": 41.613,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 68.467,
"top": 41.634,
"width": 18.016,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "low-rank ",
"font": "serif",
"width": 7.856,
"textWidth": 7.398
},
{
"text": "manner: ",
"font": "serif",
"width": 6.728,
"textWidth": 6.728
}
]
},
{
"left": 52.404,
"top": 44.525,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 56.343,
"top": 44.525,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 85.225,
"top": 44.545,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(24) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 37.469,
"top": 46.673,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 39.043,
"top": 47.148,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 40.895,
"top": 46.673,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 42.468,
"top": 47.138,
"width": 1.004,
"height": 0.947,
"words": [
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 46.456,
"top": 46.673,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 52.583,
"top": 46.673,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 56.343,
"top": 46.673,
"width": 0.814,
"height": 1.296,
"words": [
{
"text": "c ",
"font": "serif-bold",
"width": 0.814,
"textWidth": 0.814
}
]
},
{
"left": 85.226,
"top": 46.693,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(25) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 49.604,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 17.456,
"top": 49.584,
"width": 1.142,
"height": 1.296,
"words": [
{
"text": "h ",
"font": "serif-bold",
"width": 1.142,
"textWidth": 1.142
}
]
},
{
"left": 24.09,
"top": 49.604,
"width": 35.783,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.823,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.079,
"textWidth": 2.593
},
{
"text": "input ",
"font": "serif",
"width": 4.978,
"textWidth": 4.492
},
{
"text": "hidden ",
"font": "serif",
"width": 6.384,
"textWidth": 5.899
},
{
"text": "state ",
"font": "serif",
"width": 4.327,
"textWidth": 3.841
},
{
"text": "of ",
"font": "serif",
"width": 2.129,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.079,
"textWidth": 2.593
},
{
"text": "query ",
"font": "serif",
"width": 5.333,
"textWidth": 4.847
},
{
"text": "token ",
"font": "serif",
"width": 4.653,
"textWidth": 4.653
}
]
},
{
"left": 64.165,
"top": 49.604,
"width": 24.001,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.929,
"textWidth": 6.443
},
{
"text": "the ",
"font": "serif",
"width": 3.079,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.019,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.127,
"textWidth": 1.643
},
{
"text": "query ",
"font": "serif",
"width": 4.847,
"textWidth": 4.847
}
]
},
{
"left": 11.905,
"top": 51.214,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "heads; ",
"font": "serif",
"width": 16.202,
"textWidth": 5.273
},
{
"text": "and ",
"font": "serif",
"width": 15.138,
"textWidth": 3.137
},
{
"text": "are ",
"font": "serif",
"width": 2.97,
"textWidth": 2.512
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.57
},
{
"text": "down-projection ",
"font": "serif",
"width": 14.042,
"textWidth": 13.585
},
{
"text": "and ",
"font": "serif",
"width": 3.594,
"textWidth": 3.137
},
{
"text": "up-projection ",
"font": "serif",
"width": 11.504,
"textWidth": 11.048
},
{
"text": "matrices ",
"font": "serif",
"width": 7.391,
"textWidth": 6.933
},
{
"text": "for ",
"font": "serif",
"width": 2.36,
"textWidth": 2.36
}
]
},
{
"left": 11.853,
"top": 52.823,
"width": 39.359,
"height": 1.296,
"words": [
{
"text": "queries, ",
"font": "serif",
"width": 6.837,
"textWidth": 6.379
},
{
"text": "respectively. ",
"font": "serif",
"width": 10.558,
"textWidth": 9.99
},
{
"text": "Next, ",
"font": "serif",
"width": 4.86,
"textWidth": 4.402
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "perform ",
"font": "serif",
"width": 7.114,
"textWidth": 6.656
},
{
"text": "MQA ",
"font": "serif",
"width": 5.058,
"textWidth": 4.6
},
{
"text": "on ",
"font": "serif",
"width": 2.067,
"textWidth": 2.067
}
]
},
{
"left": 52.515,
"top": 52.802,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 56.203,
"top": 52.823,
"width": 3.103,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 60.851,
"top": 52.603,
"width": 4.209,
"height": 1.516,
"words": [
{
"text": "Comp: ",
"font": "serif",
"width": 4.209,
"textWidth": 4.209
}
]
},
{
"left": 27.397,
"top": 56.092,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 31.785,
"top": 56.113,
"width": 7.556,
"height": 1.296,
"words": [
{
"text": "CoreAttn ",
"font": "serif",
"width": 7.556,
"textWidth": 7.556
}
]
},
{
"left": 40.481,
"top": 55.934,
"width": 6.35,
"height": 1.425,
"words": [
{
"text": "query= ",
"font": "mono",
"width": 6.35,
"textWidth": 6.35
}
]
},
{
"left": 46.831,
"top": 56.092,
"width": 1.12,
"height": 1.296,
"words": [
{
"text": "q ",
"font": "serif-bold",
"width": 1.12,
"textWidth": 1.12
}
]
},
{
"left": 49.981,
"top": 55.934,
"width": 4.233,
"height": 1.425,
"words": [
{
"text": "key= ",
"font": "mono",
"width": 4.233,
"textWidth": 4.233
}
]
},
{
"left": 55.301,
"top": 55.828,
"width": 4.209,
"height": 1.58,
"words": [
{
"text": "Comp, ",
"font": "serif",
"width": 4.209,
"textWidth": 4.209
}
]
},
{
"left": 59.816,
"top": 55.934,
"width": 6.35,
"height": 1.425,
"words": [
{
"text": "value= ",
"font": "mono",
"width": 6.35,
"textWidth": 6.35
}
]
},
{
"left": 67.253,
"top": 55.828,
"width": 21.026,
"height": 1.58,
"words": [
{
"text": "Comp ",
"font": "serif",
"width": 17.973,
"textWidth": 3.667
},
{
"text": "(26) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.828,
"top": 59.309,
"width": 5.016,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.016,
"textWidth": 5.016
}
]
},
{
"left": 17.304,
"top": 59.288,
"width": 1.014,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.014,
"textWidth": 1.014
}
]
},
{
"left": 24.223,
"top": 59.309,
"width": 26.781,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.304
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.529
},
{
"text": "core ",
"font": "serif",
"width": 3.826,
"textWidth": 3.366
},
{
"text": "attention ",
"font": "serif",
"width": 7.675,
"textWidth": 7.217
},
{
"text": "output ",
"font": "serif",
"width": 5.939,
"textWidth": 5.479
},
{
"text": "of ",
"font": "serif",
"width": 2.062,
"textWidth": 1.603
},
{
"text": "the ",
"font": "serif",
"width": 2.529,
"textWidth": 2.529
}
]
},
{
"left": 52.0,
"top": 59.309,
"width": 2.263,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.263,
"textWidth": 2.263
}
]
},
{
"left": 54.722,
"top": 59.309,
"width": 8.913,
"height": 1.296,
"words": [
{
"text": "head ",
"font": "serif",
"width": 4.418,
"textWidth": 3.961
},
{
"text": "at ",
"font": "serif",
"width": 1.966,
"textWidth": 1.506
},
{
"text": "the ",
"font": "serif",
"width": 2.529,
"textWidth": 2.529
}
]
},
{
"left": 64.715,
"top": 59.309,
"width": 2.263,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.263,
"textWidth": 2.263
}
]
},
{
"left": 67.438,
"top": 59.309,
"width": 20.886,
"height": 1.296,
"words": [
{
"text": "token. ",
"font": "serif",
"width": 5.563,
"textWidth": 4.994
},
{
"text": "Next, ",
"font": "serif",
"width": 4.839,
"textWidth": 4.38
},
{
"text": "as ",
"font": "serif",
"width": 2.144,
"textWidth": 1.685
},
{
"text": "CSA ",
"font": "serif",
"width": 4.126,
"textWidth": 3.669
},
{
"text": "does, ",
"font": "serif",
"width": 4.212,
"textWidth": 4.212
}
]
},
{
"left": 11.905,
"top": 61.292,
"width": 9.137,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.762,
"textWidth": 4.305
},
{
"text": "splits ",
"font": "serif",
"width": 4.376,
"textWidth": 4.376
}
]
},
{
"left": 23.688,
"top": 61.292,
"width": 10.062,
"height": 1.296,
"words": [
{
"text": "outputs ",
"font": "serif",
"width": 6.822,
"textWidth": 6.366
},
{
"text": "into ",
"font": "serif",
"width": 3.239,
"textWidth": 3.239
}
]
},
{
"left": 35.566,
"top": 61.292,
"width": 30.395,
"height": 1.296,
"words": [
{
"text": "groups, ",
"font": "serif",
"width": 6.689,
"textWidth": 6.232
},
{
"text": "and ",
"font": "serif",
"width": 3.6,
"textWidth": 3.143
},
{
"text": "for ",
"font": "serif",
"width": 2.822,
"textWidth": 2.365
},
{
"text": "each ",
"font": "serif",
"width": 4.179,
"textWidth": 3.722
},
{
"text": "group ",
"font": "serif",
"width": 5.439,
"textWidth": 4.983
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.632
},
{
"text": "output ",
"font": "serif",
"width": 5.579,
"textWidth": 5.579
}
]
},
{
"left": 66.418,
"top": 61.271,
"width": 1.032,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.032,
"textWidth": 1.032
}
]
},
{
"left": 75.361,
"top": 61.292,
"width": 12.733,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.762,
"textWidth": 4.305
},
{
"text": "projects ",
"font": "serif",
"width": 6.826,
"textWidth": 6.369
},
{
"text": "it ",
"font": "serif",
"width": 1.145,
"textWidth": 1.145
}
]
},
{
"left": 11.905,
"top": 63.142,
"width": 3.056,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.122,
"textWidth": 1.63
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 17.134,
"top": 63.142,
"width": 28.015,
"height": 1.296,
"words": [
{
"text": "-dimensional ",
"font": "serif",
"width": 11.358,
"textWidth": 10.866
},
{
"text": "intermediate ",
"font": "serif",
"width": 11.04,
"textWidth": 10.546
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 45.64,
"top": 63.121,
"width": 1.039,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 54.076,
"top": 63.142,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 67.272,
"top": 63.142,
"width": 20.824,
"height": 1.296,
"words": [
{
"text": "Finally, ",
"font": "serif",
"width": 6.498,
"textWidth": 5.997
},
{
"text": "HCA ",
"font": "serif",
"width": 4.826,
"textWidth": 4.335
},
{
"text": "projects ",
"font": "serif",
"width": 6.907,
"textWidth": 6.413
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 65.04,
"width": 16.305,
"height": 1.296,
"words": [
{
"text": "intermediate ",
"font": "serif",
"width": 10.798,
"textWidth": 10.34
},
{
"text": "output ",
"font": "serif",
"width": 5.507,
"textWidth": 5.507
}
]
},
{
"left": 29.443,
"top": 65.019,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 32.767,
"top": 65.019,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 38.229,
"top": 65.019,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 47.53,
"top": 65.04,
"width": 22.358,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "final ",
"font": "serif",
"width": 4.083,
"textWidth": 3.625
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "output ",
"font": "serif",
"width": 5.507,
"textWidth": 5.507
}
]
},
{
"left": 70.346,
"top": 65.019,
"width": 1.019,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.019,
"textWidth": 1.019
}
]
},
{
"left": 30.916,
"top": 65.765,
"width": 4.328,
"height": 0.961,
"words": [
{
"text": ",1 ",
"font": "serif",
"width": 3.324,
"textWidth": 1.004
},
{
"text": ",2 ",
"font": "serif",
"width": 1.004,
"textWidth": 1.004
}
]
},
{
"left": 11.905,
"top": 68.906,
"width": 16.288,
"height": 1.296,
"words": [
{
"text": "2.3.3. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Other ",
"font": "serif-bold-italic",
"width": 5.243,
"textWidth": 4.785
},
{
"text": "Details ",
"font": "serif-bold-italic",
"width": 6.005,
"textWidth": 6.005
}
]
},
{
"left": 11.905,
"top": 71.59,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.219,
"textWidth": 1.718
},
{
"text": "addition ",
"font": "serif",
"width": 7.524,
"textWidth": 7.025
},
{
"text": "to ",
"font": "serif",
"width": 2.131,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 3.952,
"textWidth": 3.453
},
{
"text": "architectures ",
"font": "serif",
"width": 11.066,
"textWidth": 10.567
},
{
"text": "of ",
"font": "serif",
"width": 2.144,
"textWidth": 1.643
},
{
"text": "CSA ",
"font": "serif",
"width": 4.262,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.664,
"textWidth": 3.165
},
{
"text": "HCA ",
"font": "serif",
"width": 4.836,
"textWidth": 4.335
},
{
"text": "described ",
"font": "serif",
"width": 8.513,
"textWidth": 8.014
},
{
"text": "above, ",
"font": "serif",
"width": 5.92,
"textWidth": 5.408
},
{
"text": "our ",
"font": "serif",
"width": 3.385,
"textWidth": 2.886
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.086,
"textWidth": 5.585
},
{
"text": "attention ",
"font": "serif",
"width": 7.399,
"textWidth": 7.399
}
]
},
{
"left": 11.905,
"top": 73.199,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "incorporates ",
"font": "serif",
"width": 10.61,
"textWidth": 10.153
},
{
"text": "several ",
"font": "serif",
"width": 6.21,
"textWidth": 5.753
},
{
"text": "other ",
"font": "serif",
"width": 4.732,
"textWidth": 4.275
},
{
"text": "techniques. ",
"font": "serif",
"width": 9.786,
"textWidth": 9.218
},
{
"text": "For ",
"font": "serif",
"width": 3.206,
"textWidth": 2.749
},
{
"text": "writing ",
"font": "serif",
"width": 6.471,
"textWidth": 6.014
},
{
"text": "clarity, ",
"font": "serif",
"width": 5.861,
"textWidth": 5.404
},
{
"text": "we ",
"font": "serif",
"width": 2.868,
"textWidth": 2.411
},
{
"text": "omit ",
"font": "serif",
"width": 4.214,
"textWidth": 3.757
},
{
"text": "these ",
"font": "serif",
"width": 4.662,
"textWidth": 4.205
},
{
"text": "additional ",
"font": "serif",
"width": 8.81,
"textWidth": 8.353
},
{
"text": "techniques ",
"font": "serif",
"width": 8.759,
"textWidth": 8.759
}
]
},
{
"left": 11.905,
"top": 74.809,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.344,
"textWidth": 3.885
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "above ",
"font": "serif",
"width": 5.261,
"textWidth": 4.8
},
{
"text": "introduction ",
"font": "serif",
"width": 10.494,
"textWidth": 10.032
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.075
},
{
"text": "will ",
"font": "serif",
"width": 3.56,
"textWidth": 3.1
},
{
"text": "briefly ",
"font": "serif",
"width": 5.694,
"textWidth": 5.234
},
{
"text": "describe ",
"font": "serif",
"width": 7.137,
"textWidth": 6.676
},
{
"text": "them ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "in ",
"font": "serif",
"width": 2.045,
"textWidth": 1.585
},
{
"text": "this ",
"font": "serif",
"width": 3.407,
"textWidth": 2.948
},
{
"text": "subsection. ",
"font": "serif",
"width": 9.513,
"textWidth": 8.939
},
{
"text": "Also, ",
"font": "serif",
"width": 4.618,
"textWidth": 4.157
},
{
"text": "this ",
"font": "serif",
"width": 3.407,
"textWidth": 2.948
},
{
"text": "subsec- ",
"font": "serif",
"width": 5.921,
"textWidth": 5.921
}
]
},
{
"left": 11.905,
"top": 76.418,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tion ",
"font": "serif",
"width": 3.707,
"textWidth": 3.249
},
{
"text": "focuses ",
"font": "serif",
"width": 6.515,
"textWidth": 6.057
},
{
"text": "only ",
"font": "serif",
"width": 4.135,
"textWidth": 3.677
},
{
"text": "on ",
"font": "serif",
"width": 2.56,
"textWidth": 2.1
},
{
"text": "the ",
"font": "serif",
"width": 3.041,
"textWidth": 2.583
},
{
"text": "core ",
"font": "serif",
"width": 3.895,
"textWidth": 3.437
},
{
"text": "ideas ",
"font": "serif",
"width": 4.75,
"textWidth": 4.292
},
{
"text": "of ",
"font": "serif",
"width": 2.095,
"textWidth": 1.637
},
{
"text": "them ",
"font": "serif",
"width": 4.686,
"textWidth": 4.227
},
{
"text": "and ",
"font": "serif",
"width": 3.61,
"textWidth": 3.152
},
{
"text": "may ",
"font": "serif",
"width": 4.068,
"textWidth": 3.61
},
{
"text": "omit ",
"font": "serif",
"width": 4.268,
"textWidth": 3.81
},
{
"text": "some ",
"font": "serif",
"width": 4.8,
"textWidth": 4.342
},
{
"text": "tiny ",
"font": "serif",
"width": 3.726,
"textWidth": 3.268
},
{
"text": "details ",
"font": "serif",
"width": 5.899,
"textWidth": 5.441
},
{
"text": "for ",
"font": "serif",
"width": 2.832,
"textWidth": 2.372
},
{
"text": "simplicity. ",
"font": "serif",
"width": 9.019,
"textWidth": 8.449
},
{
"text": "We ",
"font": "serif",
"width": 2.584,
"textWidth": 2.584
}
]
},
{
"left": 11.905,
"top": 78.027,
"width": 74.039,
"height": 1.296,
"words": [
{
"text": "encourage ",
"font": "serif",
"width": 8.859,
"textWidth": 8.401
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "readers ",
"font": "serif",
"width": 6.442,
"textWidth": 5.983
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "refer ",
"font": "serif",
"width": 4.239,
"textWidth": 3.781
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "open-source ",
"font": "serif",
"width": 10.38,
"textWidth": 9.922
},
{
"text": "implementation ",
"font": "serif",
"width": 13.396,
"textWidth": 12.938
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "unambiguous ",
"font": "serif",
"width": 11.718,
"textWidth": 11.26
},
{
"text": "details. ",
"font": "serif",
"width": 5.813,
"textWidth": 5.813
}
]
},
{
"left": 11.905,
"top": 82.234,
"width": 37.019,
"height": 1.296,
"words": [
{
"text": "Query ",
"font": "serif-bold",
"width": 5.866,
"textWidth": 5.4
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.684,
"textWidth": 3.219
},
{
"text": "Key-Value ",
"font": "serif-bold",
"width": 9.402,
"textWidth": 8.935
},
{
"text": "Entry ",
"font": "serif-bold",
"width": 5.139,
"textWidth": 4.673
},
{
"text": "Normalization. ",
"font": "serif-bold",
"width": 12.928,
"textWidth": 12.928
}
]
},
{
"left": 50.744,
"top": 82.254,
"width": 37.654,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.266,
"textWidth": 2.798
},
{
"text": "both ",
"font": "serif",
"width": 4.217,
"textWidth": 3.752
},
{
"text": "CSA ",
"font": "serif",
"width": 4.226,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.63,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.268,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 2.92,
"textWidth": 2.454
},
{
"text": "perform ",
"font": "serif",
"width": 7.255,
"textWidth": 6.789
},
{
"text": "an ",
"font": "serif",
"width": 2.488,
"textWidth": 2.023
},
{
"text": "addi- ",
"font": "serif",
"width": 4.385,
"textWidth": 4.385
}
]
},
{
"left": 11.905,
"top": 83.864,
"width": 76.256,
"height": 1.296,
"words": [
{
"text": "tional ",
"font": "serif",
"width": 4.987,
"textWidth": 4.555
},
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.043,
"textWidth": 8.61
},
{
"text": "operation ",
"font": "serif",
"width": 8.093,
"textWidth": 7.662
},
{
"text": "on ",
"font": "serif",
"width": 2.459,
"textWidth": 2.026
},
{
"text": "each ",
"font": "serif",
"width": 4.034,
"textWidth": 3.601
},
{
"text": "head ",
"font": "serif",
"width": 4.334,
"textWidth": 3.901
},
{
"text": "of ",
"font": "serif",
"width": 2.011,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.924,
"textWidth": 2.491
},
{
"text": "queries ",
"font": "serif",
"width": 6.236,
"textWidth": 5.803
},
{
"text": "and ",
"font": "serif",
"width": 3.472,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.924,
"textWidth": 2.491
},
{
"text": "only ",
"font": "serif",
"width": 3.98,
"textWidth": 3.547
},
{
"text": "head ",
"font": "serif",
"width": 4.334,
"textWidth": 3.901
},
{
"text": "of ",
"font": "serif",
"width": 2.011,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.924,
"textWidth": 2.491
},
{
"text": "compressed ",
"font": "serif",
"width": 9.892,
"textWidth": 9.459
},
{
"text": "KV ",
"font": "serif",
"width": 2.601,
"textWidth": 2.601
}
]
},
{
"left": 11.905,
"top": 85.473,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "entries, ",
"font": "serif",
"width": 6.366,
"textWidth": 5.906
},
{
"text": "just ",
"font": "serif",
"width": 3.363,
"textWidth": 2.905
},
{
"text": "before ",
"font": "serif",
"width": 5.525,
"textWidth": 5.066
},
{
"text": "the ",
"font": "serif",
"width": 2.999,
"textWidth": 2.539
},
{
"text": "core ",
"font": "serif",
"width": 3.839,
"textWidth": 3.38
},
{
"text": "attention ",
"font": "serif",
"width": 7.704,
"textWidth": 7.244
},
{
"text": "operation. ",
"font": "serif",
"width": 8.839,
"textWidth": 8.268
},
{
"text": "This ",
"font": "serif",
"width": 3.956,
"textWidth": 3.497
},
{
"text": "normalization ",
"font": "serif",
"width": 11.869,
"textWidth": 11.409
},
{
"text": "avoids ",
"font": "serif",
"width": 5.837,
"textWidth": 5.377
},
{
"text": "exploding ",
"font": "serif",
"width": 8.649,
"textWidth": 8.189
},
{
"text": "attention ",
"font": "serif",
"width": 7.244,
"textWidth": 7.244
}
]
},
{
"left": 11.905,
"top": 87.082,
"width": 33.496,
"height": 1.296,
"words": [
{
"text": "logits ",
"font": "serif",
"width": 4.919,
"textWidth": 4.461
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "may ",
"font": "serif",
"width": 4.012,
"textWidth": 3.553
},
{
"text": "improve ",
"font": "serif",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "training ",
"font": "serif",
"width": 6.914,
"textWidth": 6.456
},
{
"text": "stability. ",
"font": "serif",
"width": 6.775,
"textWidth": 6.775
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "12 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"13": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.452,
"width": 30.359,
"height": 1.296,
"words": [
{
"text": "Partial ",
"font": "serif-bold",
"width": 5.779,
"textWidth": 5.386
},
{
"text": "Rotary ",
"font": "serif-bold",
"width": 5.88,
"textWidth": 5.488
},
{
"text": "Positional ",
"font": "serif-bold",
"width": 8.673,
"textWidth": 8.279
},
{
"text": "Embedding. ",
"font": "serif-bold",
"width": 10.027,
"textWidth": 10.027
}
]
},
{
"left": 44.087,
"top": 10.472,
"width": 44.08,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.08,
"textWidth": 2.689
},
{
"text": "both ",
"font": "serif",
"width": 3.998,
"textWidth": 3.604
},
{
"text": "CSA ",
"font": "serif",
"width": 4.007,
"textWidth": 3.613
},
{
"text": "and ",
"font": "serif",
"width": 3.434,
"textWidth": 3.041
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.005,
"textWidth": 4.614
},
{
"text": "we ",
"font": "serif",
"width": 2.751,
"textWidth": 2.358
},
{
"text": "partially ",
"font": "serif",
"width": 7.13,
"textWidth": 6.737
},
{
"text": "employ ",
"font": "serif",
"width": 6.419,
"textWidth": 6.027
},
{
"text": "the ",
"font": "serif",
"width": 2.884,
"textWidth": 2.491
},
{
"text": "Rotary ",
"font": "serif",
"width": 5.372,
"textWidth": 5.372
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Positional ",
"font": "serif",
"width": 8.515,
"textWidth": 8.057
},
{
"text": "Embedding ",
"font": "serif",
"width": 9.937,
"textWidth": 9.478
},
{
"text": "(RoPE) ",
"font": "serif",
"width": 6.124,
"textWidth": 5.666
},
{
"text": "(Su ",
"font": "serif",
"width": 3.132,
"textWidth": 2.675
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.474
},
{
"text": "al., ",
"font": "serif",
"width": 2.821,
"textWidth": 2.364
},
{
"text": "2024) ",
"font": "serif",
"width": 4.731,
"textWidth": 4.271
},
{
"text": "to ",
"font": "serif",
"width": 2.054,
"textWidth": 1.596
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.539
},
{
"text": "attention ",
"font": "serif",
"width": 7.706,
"textWidth": 7.246
},
{
"text": "queries, ",
"font": "serif",
"width": 6.831,
"textWidth": 6.373
},
{
"text": "KV ",
"font": "serif",
"width": 3.109,
"textWidth": 2.651
},
{
"text": "entries, ",
"font": "serif",
"width": 6.366,
"textWidth": 5.906
},
{
"text": "and ",
"font": "serif",
"width": 3.557,
"textWidth": 3.1
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.539
},
{
"text": "core ",
"font": "serif",
"width": 3.38,
"textWidth": 3.38
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.847,
"textWidth": 7.391
},
{
"text": "outputs. ",
"font": "serif",
"width": 7.438,
"textWidth": 6.87
},
{
"text": "To ",
"font": "serif",
"width": 2.452,
"textWidth": 1.996
},
{
"text": "be ",
"font": "serif",
"width": 2.383,
"textWidth": 1.927
},
{
"text": "specific, ",
"font": "serif",
"width": 7.064,
"textWidth": 6.607
},
{
"text": "for ",
"font": "serif",
"width": 2.835,
"textWidth": 2.379
},
{
"text": "each ",
"font": "serif",
"width": 4.2,
"textWidth": 3.744
},
{
"text": "query ",
"font": "serif",
"width": 5.3,
"textWidth": 4.842
},
{
"text": "vector ",
"font": "serif",
"width": 5.6,
"textWidth": 5.143
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.162
},
{
"text": "KV ",
"font": "serif",
"width": 3.16,
"textWidth": 2.704
},
{
"text": "entry ",
"font": "serif",
"width": 4.824,
"textWidth": 4.366
},
{
"text": "vector ",
"font": "serif",
"width": 5.6,
"textWidth": 5.145
},
{
"text": "used ",
"font": "serif",
"width": 4.409,
"textWidth": 3.953
},
{
"text": "in ",
"font": "serif",
"width": 2.086,
"textWidth": 1.63
},
{
"text": "CSA ",
"font": "serif",
"width": 4.215,
"textWidth": 3.757
},
{
"text": "and ",
"font": "serif",
"width": 3.162,
"textWidth": 3.162
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "HCA, ",
"font": "serif",
"width": 5.337,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 2.989,
"textWidth": 2.454
},
{
"text": "apply ",
"font": "serif",
"width": 5.301,
"textWidth": 4.765
},
{
"text": "RoPE ",
"font": "serif",
"width": 5.075,
"textWidth": 4.54
},
{
"text": "to ",
"font": "serif",
"width": 2.165,
"textWidth": 1.63
},
{
"text": "its ",
"font": "serif",
"width": 2.481,
"textWidth": 1.946
},
{
"text": "last ",
"font": "serif",
"width": 3.415,
"textWidth": 2.881
},
{
"text": "64 ",
"font": "serif",
"width": 2.404,
"textWidth": 1.869
},
{
"text": "dimensions. ",
"font": "serif",
"width": 10.825,
"textWidth": 10.025
},
{
"text": "Since ",
"font": "serif",
"width": 4.873,
"textWidth": 4.339
},
{
"text": "the ",
"font": "serif",
"width": 3.127,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.241,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.098,
"textWidth": 5.563
},
{
"text": "serve ",
"font": "serif",
"width": 4.912,
"textWidth": 4.378
},
{
"text": "as ",
"font": "serif",
"width": 2.264,
"textWidth": 1.727
},
{
"text": "both ",
"font": "serif",
"width": 4.286,
"textWidth": 3.752
},
{
"text": "attention ",
"font": "serif",
"width": 7.399,
"textWidth": 7.399
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 38.994,
"height": 1.296,
"words": [
{
"text": "keys ",
"font": "serif",
"width": 4.091,
"textWidth": 3.63
},
{
"text": "and ",
"font": "serif",
"width": 3.509,
"textWidth": 3.05
},
{
"text": "values, ",
"font": "serif",
"width": 6.067,
"textWidth": 5.606
},
{
"text": "the ",
"font": "serif",
"width": 2.96,
"textWidth": 2.499
},
{
"text": "naive ",
"font": "serif",
"width": 4.813,
"textWidth": 4.354
},
{
"text": "core ",
"font": "serif",
"width": 3.787,
"textWidth": 3.325
},
{
"text": "attention ",
"font": "serif",
"width": 7.59,
"textWidth": 7.13
},
{
"text": "outputs ",
"font": "serif",
"width": 6.177,
"textWidth": 6.177
}
]
},
{
"left": 52.205,
"top": 16.889,
"width": 1.002,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.002,
"textWidth": 1.002
}
]
},
{
"left": 55.777,
"top": 16.91,
"width": 32.547,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.536,
"textWidth": 3.075
},
{
"text": "carry ",
"font": "serif",
"width": 4.585,
"textWidth": 4.125
},
{
"text": "absolute ",
"font": "serif",
"width": 7.166,
"textWidth": 6.705
},
{
"text": "position ",
"font": "serif",
"width": 6.957,
"textWidth": 6.498
},
{
"text": "embeddings, ",
"font": "serif",
"width": 10.303,
"textWidth": 10.303
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "derived ",
"font": "serif",
"width": 6.751,
"textWidth": 6.294
},
{
"text": "from ",
"font": "serif",
"width": 4.381,
"textWidth": 3.924
},
{
"text": "the ",
"font": "serif",
"width": 3.003,
"textWidth": 2.544
},
{
"text": "weighted ",
"font": "serif",
"width": 8.084,
"textWidth": 7.628
},
{
"text": "sum ",
"font": "serif",
"width": 3.961,
"textWidth": 3.504
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.612
},
{
"text": "KV ",
"font": "serif",
"width": 3.113,
"textWidth": 2.656
},
{
"text": "entries. ",
"font": "serif",
"width": 6.487,
"textWidth": 5.918
},
{
"text": "As ",
"font": "serif",
"width": 2.662,
"textWidth": 2.205
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.917
},
{
"text": "countermeasure, ",
"font": "serif",
"width": 13.978,
"textWidth": 13.52
},
{
"text": "we ",
"font": "serif",
"width": 2.865,
"textWidth": 2.409
},
{
"text": "also ",
"font": "serif",
"width": 3.687,
"textWidth": 3.23
},
{
"text": "apply ",
"font": "serif",
"width": 5.133,
"textWidth": 4.676
},
{
"text": "RoPE ",
"font": "serif",
"width": 4.913,
"textWidth": 4.456
},
{
"text": "with ",
"font": "serif",
"width": 3.729,
"textWidth": 3.729
}
]
},
{
"left": 11.85,
"top": 20.129,
"width": 6.742,
"height": 1.296,
"words": [
{
"text": "position ",
"font": "serif",
"width": 6.742,
"textWidth": 6.742
}
]
},
{
"left": 21.254,
"top": 20.129,
"width": 27.274,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.587,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "last ",
"font": "serif",
"width": 3.359,
"textWidth": 2.881
},
{
"text": "64 ",
"font": "serif",
"width": 2.35,
"textWidth": 1.869
},
{
"text": "dimensions ",
"font": "serif",
"width": 10.036,
"textWidth": 9.558
},
{
"text": "of ",
"font": "serif",
"width": 2.122,
"textWidth": 1.643
},
{
"text": "each ",
"font": "serif",
"width": 3.748,
"textWidth": 3.748
}
]
},
{
"left": 49.009,
"top": 20.108,
"width": 1.039,
"height": 1.296,
"words": [
{
"text": "o ",
"font": "serif-bold",
"width": 1.039,
"textWidth": 1.039
}
]
},
{
"left": 52.412,
"top": 20.129,
"width": 35.682,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.196,
"textWidth": 1.718
},
{
"text": "this ",
"font": "serif",
"width": 3.514,
"textWidth": 3.034
},
{
"text": "way, ",
"font": "serif",
"width": 4.281,
"textWidth": 3.796
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "output ",
"font": "serif",
"width": 6.096,
"textWidth": 5.615
},
{
"text": "of ",
"font": "serif",
"width": 2.122,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 3.929,
"textWidth": 3.451
},
{
"text": "attention ",
"font": "serif",
"width": 7.399,
"textWidth": 7.399
}
]
},
{
"left": 11.828,
"top": 21.738,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.69,
"textWidth": 3.191
},
{
"text": "also ",
"font": "serif",
"width": 3.793,
"textWidth": 3.292
},
{
"text": "carry ",
"font": "serif",
"width": 4.78,
"textWidth": 4.281
},
{
"text": "relative ",
"font": "serif",
"width": 6.684,
"textWidth": 6.185
},
{
"text": "position ",
"font": "serif",
"width": 7.242,
"textWidth": 6.742
},
{
"text": "embeddings ",
"font": "serif",
"width": 13.092,
"textWidth": 10.223
},
{
"text": "the ",
"font": "serif",
"width": 3.094,
"textWidth": 2.593
},
{
"text": "contribution ",
"font": "serif",
"width": 10.752,
"textWidth": 10.253
},
{
"text": "of ",
"font": "serif",
"width": 2.142,
"textWidth": 1.643
},
{
"text": "each ",
"font": "serif",
"width": 4.249,
"textWidth": 3.748
},
{
"text": "KV ",
"font": "serif",
"width": 3.206,
"textWidth": 2.707
},
{
"text": "entry ",
"font": "serif",
"width": 4.871,
"textWidth": 4.37
},
{
"text": "to ",
"font": "serif",
"width": 2.129,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 3.453,
"textWidth": 3.453
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 72.082,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "outputs ",
"font": "serif",
"width": 6.742,
"textWidth": 6.284
},
{
"text": "will ",
"font": "serif",
"width": 3.586,
"textWidth": 3.128
},
{
"text": "also ",
"font": "serif",
"width": 3.685,
"textWidth": 3.227
},
{
"text": "be ",
"font": "serif",
"width": 2.349,
"textWidth": 1.891
},
{
"text": "related ",
"font": "serif",
"width": 6.071,
"textWidth": 5.613
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "distance ",
"font": "serif",
"width": 7.16,
"textWidth": 6.702
},
{
"text": "between ",
"font": "serif",
"width": 7.297,
"textWidth": 6.839
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "query ",
"font": "serif",
"width": 5.21,
"textWidth": 4.752
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entry. ",
"font": "serif",
"width": 4.539,
"textWidth": 4.539
}
]
},
{
"left": 11.905,
"top": 27.523,
"width": 41.842,
"height": 1.296,
"words": [
{
"text": "Additional ",
"font": "serif-bold",
"width": 9.825,
"textWidth": 9.344
},
{
"text": "Branch ",
"font": "serif-bold",
"width": 6.503,
"textWidth": 6.023
},
{
"text": "of ",
"font": "serif-bold",
"width": 2.247,
"textWidth": 1.766
},
{
"text": "Sliding ",
"font": "serif-bold",
"width": 6.812,
"textWidth": 6.333
},
{
"text": "Window ",
"font": "serif-bold",
"width": 7.785,
"textWidth": 7.305
},
{
"text": "Attention. ",
"font": "serif-bold",
"width": 8.67,
"textWidth": 8.67
}
]
},
{
"left": 55.569,
"top": 27.543,
"width": 32.527,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.198,
"textWidth": 1.718
},
{
"text": "order ",
"font": "serif",
"width": 4.982,
"textWidth": 4.501
},
{
"text": "to ",
"font": "serif",
"width": 2.11,
"textWidth": 1.63
},
{
"text": "strictly ",
"font": "serif",
"width": 6.187,
"textWidth": 5.707
},
{
"text": "preserve ",
"font": "serif",
"width": 7.582,
"textWidth": 7.101
},
{
"text": "causality ",
"font": "serif",
"width": 7.836,
"textWidth": 7.356
},
{
"text": "in ",
"font": "serif",
"width": 1.632,
"textWidth": 1.632
}
]
},
{
"left": 11.905,
"top": 29.153,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 4.175,
"textWidth": 3.72
},
{
"text": "and ",
"font": "serif",
"width": 3.585,
"textWidth": 3.131
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.205,
"textWidth": 4.75
},
{
"text": "each ",
"font": "serif",
"width": 4.162,
"textWidth": 3.707
},
{
"text": "query ",
"font": "serif",
"width": 5.25,
"textWidth": 4.795
},
{
"text": "attends ",
"font": "serif",
"width": 6.461,
"textWidth": 6.006
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.612
},
{
"text": "only ",
"font": "serif",
"width": 4.109,
"textWidth": 3.652
},
{
"text": "preceding ",
"font": "serif",
"width": 8.628,
"textWidth": 8.173
},
{
"text": "compressed ",
"font": "serif",
"width": 10.196,
"textWidth": 9.741
},
{
"text": "KV ",
"font": "serif",
"width": 3.132,
"textWidth": 2.678
},
{
"text": "blocks. ",
"font": "serif",
"width": 6.233,
"textWidth": 5.666
},
{
"text": "Consequently, ",
"font": "serif",
"width": 12.062,
"textWidth": 11.607
},
{
"text": "a ",
"font": "serif",
"width": 0.925,
"textWidth": 0.925
}
]
},
{
"left": 11.853,
"top": 30.762,
"width": 76.47,
"height": 1.296,
"words": [
{
"text": "query ",
"font": "serif",
"width": 5.03,
"textWidth": 4.657
},
{
"text": "cannot ",
"font": "serif",
"width": 5.726,
"textWidth": 5.352
},
{
"text": "access ",
"font": "serif",
"width": 5.248,
"textWidth": 4.876
},
{
"text": "information ",
"font": "serif",
"width": 9.847,
"textWidth": 9.474
},
{
"text": "from ",
"font": "serif",
"width": 4.215,
"textWidth": 3.842
},
{
"text": "other ",
"font": "serif",
"width": 4.553,
"textWidth": 4.179
},
{
"text": "tokens ",
"font": "serif",
"width": 5.605,
"textWidth": 5.232
},
{
"text": "within ",
"font": "serif",
"width": 5.593,
"textWidth": 5.219
},
{
"text": "its ",
"font": "serif",
"width": 2.243,
"textWidth": 1.87
},
{
"text": "own ",
"font": "serif",
"width": 3.895,
"textWidth": 3.524
},
{
"text": "compressed ",
"font": "serif",
"width": 9.835,
"textWidth": 9.461
},
{
"text": "block. ",
"font": "serif",
"width": 5.28,
"textWidth": 4.741
},
{
"text": "Meanwhile, ",
"font": "serif",
"width": 9.4,
"textWidth": 9.4
}
]
},
{
"left": 11.905,
"top": 32.371,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "recent ",
"font": "serif",
"width": 5.45,
"textWidth": 4.993
},
{
"text": "tokens ",
"font": "serif",
"width": 5.87,
"textWidth": 5.413
},
{
"text": "usually ",
"font": "serif",
"width": 6.53,
"textWidth": 6.073
},
{
"text": "possess ",
"font": "serif",
"width": 6.628,
"textWidth": 6.173
},
{
"text": "greater ",
"font": "serif",
"width": 6.24,
"textWidth": 5.785
},
{
"text": "relevance ",
"font": "serif",
"width": 8.254,
"textWidth": 7.799
},
{
"text": "to ",
"font": "serif",
"width": 2.078,
"textWidth": 1.62
},
{
"text": "the ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "query ",
"font": "serif",
"width": 5.276,
"textWidth": 4.818
},
{
"text": "token ",
"font": "serif",
"width": 5.082,
"textWidth": 4.625
},
{
"text": "in ",
"font": "serif",
"width": 2.078,
"textWidth": 1.622
},
{
"text": "language ",
"font": "serif",
"width": 8.015,
"textWidth": 7.558
},
{
"text": "modeling. ",
"font": "serif",
"width": 8.91,
"textWidth": 8.342
},
{
"text": "For ",
"font": "serif",
"width": 2.782,
"textWidth": 2.782
}
]
},
{
"left": 11.905,
"top": 33.981,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "these ",
"font": "serif",
"width": 4.522,
"textWidth": 4.113
},
{
"text": "reasons, ",
"font": "serif",
"width": 6.852,
"textWidth": 6.433
},
{
"text": "we ",
"font": "serif",
"width": 2.768,
"textWidth": 2.358
},
{
"text": "introduce ",
"font": "serif",
"width": 8.057,
"textWidth": 7.647
},
{
"text": "a ",
"font": "serif",
"width": 1.307,
"textWidth": 0.898
},
{
"text": "supplementary ",
"font": "serif",
"width": 12.478,
"textWidth": 12.069
},
{
"text": "attention ",
"font": "serif",
"width": 7.518,
"textWidth": 7.108
},
{
"text": "branch ",
"font": "serif",
"width": 5.898,
"textWidth": 5.488
},
{
"text": "to ",
"font": "serif",
"width": 1.976,
"textWidth": 1.566
},
{
"text": "both ",
"font": "serif",
"width": 4.014,
"textWidth": 3.604
},
{
"text": "CSA ",
"font": "serif",
"width": 4.023,
"textWidth": 3.613
},
{
"text": "and ",
"font": "serif",
"width": 3.45,
"textWidth": 3.041
},
{
"text": "HCA ",
"font": "serif",
"width": 4.573,
"textWidth": 4.165
},
{
"text": "in ",
"font": "serif",
"width": 1.977,
"textWidth": 1.568
},
{
"text": "a ",
"font": "serif",
"width": 1.307,
"textWidth": 0.898
},
{
"text": "sliding ",
"font": "serif",
"width": 5.47,
"textWidth": 5.47
}
]
},
{
"left": 11.828,
"top": 35.59,
"width": 76.497,
"height": 1.296,
"words": [
{
"text": "window ",
"font": "serif",
"width": 7.114,
"textWidth": 6.655
},
{
"text": "manner, ",
"font": "serif",
"width": 6.93,
"textWidth": 6.471
},
{
"text": "for ",
"font": "serif",
"width": 2.752,
"textWidth": 2.293
},
{
"text": "better ",
"font": "serif",
"width": 5.062,
"textWidth": 4.603
},
{
"text": "modeling ",
"font": "serif",
"width": 8.088,
"textWidth": 7.629
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.582
},
{
"text": "local ",
"font": "serif",
"width": 4.188,
"textWidth": 3.729
},
{
"text": "dependencies. ",
"font": "serif",
"width": 11.93,
"textWidth": 11.359
},
{
"text": "To ",
"font": "serif",
"width": 2.377,
"textWidth": 1.918
},
{
"text": "be ",
"font": "serif",
"width": 2.316,
"textWidth": 1.857
},
{
"text": "specific, ",
"font": "serif",
"width": 6.826,
"textWidth": 6.367
},
{
"text": "for ",
"font": "serif",
"width": 2.752,
"textWidth": 2.293
},
{
"text": "each ",
"font": "serif",
"width": 4.067,
"textWidth": 3.608
},
{
"text": "query ",
"font": "serif",
"width": 5.125,
"textWidth": 4.666
},
{
"text": "token, ",
"font": "serif",
"width": 4.929,
"textWidth": 4.929
}
]
},
{
"left": 11.828,
"top": 37.2,
"width": 19.584,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.824,
"textWidth": 2.363
},
{
"text": "additionally ",
"font": "serif",
"width": 10.171,
"textWidth": 9.711
},
{
"text": "produce ",
"font": "serif",
"width": 6.588,
"textWidth": 6.588
}
]
},
{
"left": 32.828,
"top": 37.2,
"width": 45.649,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.83,
"textWidth": 2.285
},
{
"text": "uncompressed ",
"font": "serif",
"width": 12.074,
"textWidth": 11.613
},
{
"text": "KV ",
"font": "serif",
"width": 3.067,
"textWidth": 2.606
},
{
"text": "entries ",
"font": "serif",
"width": 5.816,
"textWidth": 5.356
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.039,
"textWidth": 11.579
},
{
"text": "to ",
"font": "serif",
"width": 2.03,
"textWidth": 1.569
},
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.496
},
{
"text": "recent ",
"font": "serif",
"width": 4.836,
"textWidth": 4.836
}
]
},
{
"left": 79.894,
"top": 37.2,
"width": 8.522,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.83,
"textWidth": 2.285
},
{
"text": "tokens. ",
"font": "serif",
"width": 5.692,
"textWidth": 5.692
}
]
},
{
"left": 11.905,
"top": 38.809,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.26,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 3.993,
"textWidth": 3.451
},
{
"text": "attention ",
"font": "serif",
"width": 7.941,
"textWidth": 7.399
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "CSA ",
"font": "serif",
"width": 4.303,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.705,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.344,
"textWidth": 4.802
},
{
"text": "these ",
"font": "serif",
"width": 4.821,
"textWidth": 4.281
},
{
"text": "KV ",
"font": "serif",
"width": 3.249,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.103,
"textWidth": 5.563
},
{
"text": "in ",
"font": "serif",
"width": 2.174,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "sliding ",
"font": "serif",
"width": 6.236,
"textWidth": 5.694
},
{
"text": "window ",
"font": "serif",
"width": 7.455,
"textWidth": 6.913
},
{
"text": "will ",
"font": "serif",
"width": 3.731,
"textWidth": 3.191
},
{
"text": "be ",
"font": "serif",
"width": 2.471,
"textWidth": 1.929
},
{
"text": "used ",
"font": "serif",
"width": 3.957,
"textWidth": 3.957
}
]
},
{
"left": 11.905,
"top": 40.418,
"width": 31.314,
"height": 1.296,
"words": [
{
"text": "along ",
"font": "serif",
"width": 4.994,
"textWidth": 4.536
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries. ",
"font": "serif",
"width": 5.912,
"textWidth": 5.912
}
]
},
{
"left": 11.905,
"top": 44.594,
"width": 13.362,
"height": 1.296,
"words": [
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.845,
"textWidth": 8.202
},
{
"text": "Sink. ",
"font": "serif-bold",
"width": 4.516,
"textWidth": 4.516
}
]
},
{
"left": 27.089,
"top": 44.614,
"width": 61.007,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.359,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.236,
"textWidth": 2.593
},
{
"text": "core ",
"font": "serif",
"width": 4.094,
"textWidth": 3.451
},
{
"text": "attention ",
"font": "serif",
"width": 8.042,
"textWidth": 7.399
},
{
"text": "of ",
"font": "serif",
"width": 2.286,
"textWidth": 1.643
},
{
"text": "CSA ",
"font": "serif",
"width": 4.402,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.808,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.445,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 3.097,
"textWidth": 2.454
},
{
"text": "employ ",
"font": "serif",
"width": 6.914,
"textWidth": 6.273
},
{
"text": "the ",
"font": "serif",
"width": 3.236,
"textWidth": 2.593
},
{
"text": "trick ",
"font": "serif",
"width": 4.404,
"textWidth": 3.761
},
{
"text": "of ",
"font": "serif",
"width": 2.286,
"textWidth": 1.643
},
{
"text": "attention ",
"font": "serif",
"width": 7.399,
"textWidth": 7.399
}
]
},
{
"left": 11.905,
"top": 46.224,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sink ",
"font": "serif",
"width": 4.038,
"textWidth": 3.464
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 8.324,
"textWidth": 7.75
},
{
"text": "2025; ",
"font": "serif",
"width": 4.78,
"textWidth": 4.206
},
{
"text": "Xiao ",
"font": "serif",
"width": 4.32,
"textWidth": 3.746
},
{
"text": "et ",
"font": "serif",
"width": 2.079,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.989,
"textWidth": 2.413
},
{
"text": "2024). ",
"font": "serif",
"width": 5.742,
"textWidth": 4.828
},
{
"text": "To ",
"font": "serif",
"width": 2.572,
"textWidth": 1.998
},
{
"text": "be ",
"font": "serif",
"width": 2.505,
"textWidth": 1.929
},
{
"text": "specific, ",
"font": "serif",
"width": 7.215,
"textWidth": 6.612
},
{
"text": "we ",
"font": "serif",
"width": 3.028,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.871,
"textWidth": 2.297
},
{
"text": "a ",
"font": "serif",
"width": 1.508,
"textWidth": 0.935
},
{
"text": "series ",
"font": "serif",
"width": 5.232,
"textWidth": 4.658
},
{
"text": "of ",
"font": "serif",
"width": 2.219,
"textWidth": 1.643
},
{
"text": "learnable ",
"font": "serif",
"width": 8.182,
"textWidth": 7.606
},
{
"text": "sink ",
"font": "serif",
"width": 4.038,
"textWidth": 3.464
},
{
"text": "logits ",
"font": "serif",
"width": 4.55,
"textWidth": 4.55
}
]
},
{
"left": 24.118,
"top": 47.833,
"width": 5.97,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.378,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 31.617,
"top": 47.833,
"width": 2.32,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.32,
"textWidth": 2.32
}
]
},
{
"left": 34.516,
"top": 47.833,
"width": 16.284,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.98,
"textWidth": 7.399
},
{
"text": "head, ",
"font": "serif",
"width": 5.138,
"textWidth": 4.527
},
{
"text": "Exp ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 54.468,
"top": 47.833,
"width": 33.628,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.77,
"textWidth": 3.191
},
{
"text": "be ",
"font": "serif",
"width": 2.51,
"textWidth": 1.929
},
{
"text": "added ",
"font": "serif",
"width": 5.836,
"textWidth": 5.256
},
{
"text": "to ",
"font": "serif",
"width": 2.211,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.172,
"textWidth": 2.593
},
{
"text": "denominator ",
"font": "serif",
"width": 11.311,
"textWidth": 10.731
},
{
"text": "of ",
"font": "serif",
"width": 2.224,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 13.583,
"top": 48.55,
"width": 3.029,
"height": 0.961,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.36,
"textWidth": 0.669
},
{
"text": "2 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 49.442,
"width": 12.33,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "score: ",
"font": "serif",
"width": 4.618,
"textWidth": 4.618
}
]
},
{
"left": 48.414,
"top": 50.505,
"width": 3.167,
"height": 1.296,
"words": [
{
"text": "Exp ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 85.226,
"top": 51.477,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(27) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 45.535,
"top": 52.366,
"width": 3.167,
"height": 1.296,
"words": [
{
"text": "Exp ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 55.402,
"top": 52.366,
"width": 3.167,
"height": 1.296,
"words": [
{
"text": "Exp ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 11.828,
"top": 54.573,
"width": 5.142,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 28.906,
"top": 54.573,
"width": 42.821,
"height": 1.296,
"words": [
{
"text": "denote ",
"font": "serif",
"width": 6.198,
"textWidth": 5.651
},
{
"text": "the ",
"font": "serif",
"width": 3.14,
"textWidth": 2.593
},
{
"text": "attention ",
"font": "serif",
"width": 7.946,
"textWidth": 7.399
},
{
"text": "score ",
"font": "serif",
"width": 4.791,
"textWidth": 4.243
},
{
"text": "and ",
"font": "serif",
"width": 3.712,
"textWidth": 3.165
},
{
"text": "attention ",
"font": "serif",
"width": 7.944,
"textWidth": 7.399
},
{
"text": "logit ",
"font": "serif",
"width": 4.305,
"textWidth": 3.757
},
{
"text": "of ",
"font": "serif",
"width": 2.191,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 73.222,
"top": 54.573,
"width": 2.32,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.32,
"textWidth": 2.32
}
]
},
{
"left": 76.089,
"top": 54.573,
"width": 12.006,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.946,
"textWidth": 7.399
},
{
"text": "head ",
"font": "serif",
"width": 4.06,
"textWidth": 4.06
}
]
},
{
"left": 11.905,
"top": 56.183,
"width": 9.735,
"height": 1.296,
"words": [
{
"text": "between ",
"font": "serif",
"width": 7.221,
"textWidth": 6.764
},
{
"text": "the ",
"font": "serif",
"width": 2.514,
"textWidth": 2.514
}
]
},
{
"left": 22.632,
"top": 56.183,
"width": 2.249,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.249,
"textWidth": 2.249
}
]
},
{
"left": 25.338,
"top": 56.183,
"width": 16.16,
"height": 1.296,
"words": [
{
"text": "query ",
"font": "serif",
"width": 5.155,
"textWidth": 4.7
},
{
"text": "token ",
"font": "serif",
"width": 4.968,
"textWidth": 4.511
},
{
"text": "and ",
"font": "serif",
"width": 3.523,
"textWidth": 3.068
},
{
"text": "the ",
"font": "serif",
"width": 2.514,
"textWidth": 2.514
}
]
},
{
"left": 42.645,
"top": 56.183,
"width": 2.249,
"height": 1.296,
"words": [
{
"text": "-th ",
"font": "serif",
"width": 2.249,
"textWidth": 2.249
}
]
},
{
"left": 45.351,
"top": 56.183,
"width": 42.745,
"height": 1.296,
"words": [
{
"text": "preceding ",
"font": "serif",
"width": 8.466,
"textWidth": 8.009
},
{
"text": "token ",
"font": "serif",
"width": 4.966,
"textWidth": 4.511
},
{
"text": "or ",
"font": "serif",
"width": 2.162,
"textWidth": 1.706
},
{
"text": "compressed ",
"font": "serif",
"width": 10.003,
"textWidth": 9.548
},
{
"text": "block. ",
"font": "serif",
"width": 5.352,
"textWidth": 4.785
},
{
"text": "This ",
"font": "serif",
"width": 3.919,
"textWidth": 3.462
},
{
"text": "technique ",
"font": "serif",
"width": 7.877,
"textWidth": 7.877
}
]
},
{
"left": 11.905,
"top": 57.792,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "allows ",
"font": "serif",
"width": 5.86,
"textWidth": 5.395
},
{
"text": "each ",
"font": "serif",
"width": 4.213,
"textWidth": 3.748
},
{
"text": "query ",
"font": "serif",
"width": 5.314,
"textWidth": 4.847
},
{
"text": "head ",
"font": "serif",
"width": 4.525,
"textWidth": 4.06
},
{
"text": "to ",
"font": "serif",
"width": 2.095,
"textWidth": 1.63
},
{
"text": "adjust ",
"font": "serif",
"width": 5.509,
"textWidth": 5.043
},
{
"text": "its ",
"font": "serif",
"width": 2.413,
"textWidth": 1.946
},
{
"text": "total ",
"font": "serif",
"width": 4.183,
"textWidth": 3.718
},
{
"text": "attention ",
"font": "serif",
"width": 7.864,
"textWidth": 7.399
},
{
"text": "scores ",
"font": "serif",
"width": 5.503,
"textWidth": 5.036
},
{
"text": "to ",
"font": "serif",
"width": 2.095,
"textWidth": 1.63
},
{
"text": "be ",
"font": "serif",
"width": 2.395,
"textWidth": 1.929
},
{
"text": "not ",
"font": "serif",
"width": 3.183,
"textWidth": 2.718
},
{
"text": "equal ",
"font": "serif",
"width": 5.013,
"textWidth": 4.548
},
{
"text": "to ",
"font": "serif",
"width": 2.097,
"textWidth": 1.63
},
{
"text": "1, ",
"font": "serif",
"width": 1.869,
"textWidth": 1.402
},
{
"text": "and ",
"font": "serif",
"width": 3.63,
"textWidth": 3.165
},
{
"text": "even ",
"font": "serif",
"width": 4.4,
"textWidth": 3.935
},
{
"text": "to ",
"font": "serif",
"width": 2.097,
"textWidth": 1.63
},
{
"text": "be ",
"font": "serif",
"width": 1.929,
"textWidth": 1.929
}
]
},
{
"left": 11.905,
"top": 59.401,
"width": 5.417,
"height": 1.296,
"words": [
{
"text": "near ",
"font": "serif",
"width": 4.043,
"textWidth": 3.585
},
{
"text": "0. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 62.948,
"width": 22.327,
"height": 1.296,
"words": [
{
"text": "2.3.4. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Efficiency ",
"font": "serif-bold-italic",
"width": 8.329,
"textWidth": 7.871
},
{
"text": "Discussion ",
"font": "serif-bold-italic",
"width": 8.958,
"textWidth": 8.958
}
]
},
{
"left": 11.905,
"top": 65.633,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Due ",
"font": "serif",
"width": 4.01,
"textWidth": 3.469
},
{
"text": "to ",
"font": "serif",
"width": 2.17,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "employment ",
"font": "serif",
"width": 11.057,
"textWidth": 10.516
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.126,
"textWidth": 5.585
},
{
"text": "CSA ",
"font": "serif",
"width": 4.301,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.705,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.342,
"textWidth": 4.802
},
{
"text": "together ",
"font": "serif",
"width": 7.436,
"textWidth": 6.896
},
{
"text": "with ",
"font": "serif",
"width": 4.34,
"textWidth": 3.8
},
{
"text": "low-precision ",
"font": "serif",
"width": 11.831,
"textWidth": 11.29
},
{
"text": "computation ",
"font": "serif",
"width": 10.558,
"textWidth": 10.558
}
]
},
{
"left": 11.905,
"top": 67.242,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.522,
"textWidth": 3.062
},
{
"text": "storage, ",
"font": "serif",
"width": 6.747,
"textWidth": 6.287
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "attention ",
"font": "serif",
"width": 7.617,
"textWidth": 7.159
},
{
"text": "module ",
"font": "serif",
"width": 6.633,
"textWidth": 6.173
},
{
"text": "of ",
"font": "serif",
"width": 2.049,
"textWidth": 1.59
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.18,
"textWidth": 10.721
},
{
"text": "series ",
"font": "serif",
"width": 4.967,
"textWidth": 4.508
},
{
"text": "achieves ",
"font": "serif",
"width": 7.266,
"textWidth": 6.806
},
{
"text": "remarkable ",
"font": "serif",
"width": 9.527,
"textWidth": 9.067
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.047,
"textWidth": 7.588
},
{
"text": "in ",
"font": "serif",
"width": 2.037,
"textWidth": 1.579
},
{
"text": "both ",
"font": "serif",
"width": 3.63,
"textWidth": 3.63
}
]
},
{
"left": 11.905,
"top": 68.851,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 8.015,
"textWidth": 7.399
},
{
"text": "FLOPs ",
"font": "serif",
"width": 6.187,
"textWidth": 5.572
},
{
"text": "and ",
"font": "serif",
"width": 3.782,
"textWidth": 3.165
},
{
"text": "KV ",
"font": "serif",
"width": 3.324,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.195,
"textWidth": 4.578
},
{
"text": "size, ",
"font": "serif",
"width": 4.288,
"textWidth": 3.634
},
{
"text": "especially ",
"font": "serif",
"width": 8.759,
"textWidth": 8.143
},
{
"text": "in ",
"font": "serif",
"width": 2.249,
"textWidth": 1.632
},
{
"text": "long-context ",
"font": "serif",
"width": 10.946,
"textWidth": 10.331
},
{
"text": "scenarios. ",
"font": "serif",
"width": 9.146,
"textWidth": 8.103
},
{
"text": "First, ",
"font": "serif",
"width": 4.847,
"textWidth": 4.191
},
{
"text": "we ",
"font": "serif",
"width": 3.071,
"textWidth": 2.454
},
{
"text": "adopt ",
"font": "serif",
"width": 5.447,
"textWidth": 4.83
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 70.461,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "mixed ",
"font": "serif",
"width": 5.453,
"textWidth": 4.993
},
{
"text": "storage ",
"font": "serif",
"width": 6.254,
"textWidth": 5.794
},
{
"text": "format ",
"font": "serif",
"width": 5.819,
"textWidth": 5.357
},
{
"text": "for ",
"font": "serif",
"width": 2.748,
"textWidth": 2.288
},
{
"text": "KV ",
"font": "serif",
"width": 3.06,
"textWidth": 2.601
},
{
"text": "entries: ",
"font": "serif",
"width": 6.367,
"textWidth": 5.794
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.352,
"textWidth": 3.892
},
{
"text": "precision ",
"font": "serif",
"width": 7.706,
"textWidth": 7.245
},
{
"text": "is ",
"font": "serif",
"width": 1.744,
"textWidth": 1.284
},
{
"text": "used ",
"font": "serif",
"width": 4.262,
"textWidth": 3.802
},
{
"text": "for ",
"font": "serif",
"width": 2.748,
"textWidth": 2.288
},
{
"text": "the ",
"font": "serif",
"width": 2.951,
"textWidth": 2.491
},
{
"text": "rotary ",
"font": "serif",
"width": 5.309,
"textWidth": 4.849
},
{
"text": "positional ",
"font": "serif",
"width": 8.358,
"textWidth": 7.899
},
{
"text": "embedding ",
"font": "serif",
"width": 9.061,
"textWidth": 9.061
}
]
},
{
"left": 11.844,
"top": 72.07,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "(RoPE) ",
"font": "serif",
"width": 6.245,
"textWidth": 5.785
},
{
"text": "dimensions, ",
"font": "serif",
"width": 10.485,
"textWidth": 10.025
},
{
"text": "while ",
"font": "serif",
"width": 5.09,
"textWidth": 4.63
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.563,
"textWidth": 3.103
},
{
"text": "precision ",
"font": "serif",
"width": 8.002,
"textWidth": 7.542
},
{
"text": "is ",
"font": "serif",
"width": 1.796,
"textWidth": 1.337
},
{
"text": "applied ",
"font": "serif",
"width": 6.767,
"textWidth": 6.307
},
{
"text": "to ",
"font": "serif",
"width": 2.09,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.053,
"textWidth": 2.593
},
{
"text": "remaining ",
"font": "serif",
"width": 8.948,
"textWidth": 8.488
},
{
"text": "dimensions. ",
"font": "serif",
"width": 10.597,
"textWidth": 10.025
},
{
"text": "This ",
"font": "serif",
"width": 4.03,
"textWidth": 3.57
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.585,
"textWidth": 5.585
}
]
},
{
"left": 11.905,
"top": 73.679,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "representation ",
"font": "serif",
"width": 12.535,
"textWidth": 11.907
},
{
"text": "reduces ",
"font": "serif",
"width": 7.015,
"textWidth": 6.387
},
{
"text": "the ",
"font": "serif",
"width": 3.223,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.335,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.206,
"textWidth": 4.578
},
{
"text": "size ",
"font": "serif",
"width": 3.795,
"textWidth": 3.167
},
{
"text": "by ",
"font": "serif",
"width": 2.701,
"textWidth": 2.073
},
{
"text": "nearly ",
"font": "serif",
"width": 5.869,
"textWidth": 5.24
},
{
"text": "half ",
"font": "serif",
"width": 3.817,
"textWidth": 3.189
},
{
"text": "compared ",
"font": "serif",
"width": 8.929,
"textWidth": 8.301
},
{
"text": "with ",
"font": "serif",
"width": 4.428,
"textWidth": 3.8
},
{
"text": "pure ",
"font": "serif",
"width": 4.481,
"textWidth": 3.853
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.679,
"textWidth": 4.051
},
{
"text": "storage. ",
"font": "serif",
"width": 6.498,
"textWidth": 6.498
}
]
},
{
"left": 11.905,
"top": 75.289,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Second, ",
"font": "serif",
"width": 7.129,
"textWidth": 6.425
},
{
"text": "attention ",
"font": "serif",
"width": 8.053,
"textWidth": 7.399
},
{
"text": "computation ",
"font": "serif",
"width": 11.214,
"textWidth": 10.558
},
{
"text": "within ",
"font": "serif",
"width": 6.086,
"textWidth": 5.43
},
{
"text": "the ",
"font": "serif",
"width": 3.247,
"textWidth": 2.593
},
{
"text": "lightning ",
"font": "serif",
"width": 8.24,
"textWidth": 7.584
},
{
"text": "indexer ",
"font": "serif",
"width": 6.922,
"textWidth": 6.268
},
{
"text": "is ",
"font": "serif",
"width": 1.993,
"textWidth": 1.337
},
{
"text": "performed ",
"font": "serif",
"width": 9.481,
"textWidth": 8.827
},
{
"text": "in ",
"font": "serif",
"width": 2.286,
"textWidth": 1.632
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.759,
"textWidth": 3.103
},
{
"text": "precision, ",
"font": "serif",
"width": 8.01,
"textWidth": 8.01
}
]
},
{
"left": 11.828,
"top": 76.898,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "which ",
"font": "serif",
"width": 5.724,
"textWidth": 5.109
},
{
"text": "accelerates ",
"font": "serif",
"width": 9.515,
"textWidth": 8.9
},
{
"text": "the ",
"font": "serif",
"width": 3.208,
"textWidth": 2.593
},
{
"text": "attention ",
"font": "serif",
"width": 8.014,
"textWidth": 7.399
},
{
"text": "operation ",
"font": "serif",
"width": 8.589,
"textWidth": 7.974
},
{
"text": "under ",
"font": "serif",
"width": 5.606,
"textWidth": 4.991
},
{
"text": "extremely ",
"font": "serif",
"width": 8.814,
"textWidth": 8.199
},
{
"text": "long ",
"font": "serif",
"width": 4.307,
"textWidth": 3.692
},
{
"text": "contexts. ",
"font": "serif",
"width": 8.316,
"textWidth": 7.277
},
{
"text": "Third, ",
"font": "serif",
"width": 5.746,
"textWidth": 5.092
},
{
"text": "relative ",
"font": "serif",
"width": 6.8,
"textWidth": 6.185
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 78.508,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 13.305,
"textWidth": 12.847
},
{
"text": "a ",
"font": "serif",
"width": 1.384,
"textWidth": 0.927
},
{
"text": "smaller ",
"font": "serif",
"width": 6.51,
"textWidth": 6.052
},
{
"text": "attention ",
"font": "serif",
"width": 7.799,
"textWidth": 7.341
},
{
"text": "top-k ",
"font": "serif",
"width": 4.837,
"textWidth": 4.381
},
{
"text": "is ",
"font": "serif",
"width": 1.784,
"textWidth": 1.326
},
{
"text": "chosen ",
"font": "serif",
"width": 6.128,
"textWidth": 5.67
},
{
"text": "in ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.45,
"textWidth": 10.992
},
{
"text": "series, ",
"font": "serif",
"width": 5.543,
"textWidth": 5.085
},
{
"text": "thereby ",
"font": "serif",
"width": 6.675,
"textWidth": 6.217
},
{
"text": "improving ",
"font": "serif",
"width": 8.702,
"textWidth": 8.702
}
]
},
{
"left": 11.905,
"top": 80.117,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "model ",
"font": "serif",
"width": 5.521,
"textWidth": 5.062
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.015,
"textWidth": 7.557
},
{
"text": "on ",
"font": "serif",
"width": 2.491,
"textWidth": 2.032
},
{
"text": "short- ",
"font": "serif",
"width": 5.154,
"textWidth": 4.695
},
{
"text": "and ",
"font": "serif",
"width": 3.509,
"textWidth": 3.05
},
{
"text": "medium-length ",
"font": "serif",
"width": 12.886,
"textWidth": 12.428
},
{
"text": "texts. ",
"font": "serif",
"width": 4.752,
"textWidth": 4.181
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.231,
"textWidth": 5.772
},
{
"text": "and ",
"font": "serif",
"width": 3.509,
"textWidth": 3.05
},
{
"text": "most ",
"font": "serif",
"width": 4.383,
"textWidth": 3.925
},
{
"text": "importantly, ",
"font": "serif",
"width": 10.248,
"textWidth": 9.789
},
{
"text": "compressed ",
"font": "serif",
"width": 9.49,
"textWidth": 9.49
}
]
},
{
"left": 11.905,
"top": 81.726,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.756,
"textWidth": 7.297
},
{
"text": "and ",
"font": "serif",
"width": 3.58,
"textWidth": 3.121
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.966,
"textWidth": 5.509
},
{
"text": "attention ",
"font": "serif",
"width": 7.756,
"textWidth": 7.297
},
{
"text": "techniques ",
"font": "serif",
"width": 9.253,
"textWidth": 8.794
},
{
"text": "substantially ",
"font": "serif",
"width": 10.907,
"textWidth": 10.448
},
{
"text": "reduce ",
"font": "serif",
"width": 5.977,
"textWidth": 5.518
},
{
"text": "both ",
"font": "serif",
"width": 4.159,
"textWidth": 3.7
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.557
},
{
"text": "KV ",
"font": "serif",
"width": 3.129,
"textWidth": 2.67
},
{
"text": "cache ",
"font": "serif",
"width": 4.974,
"textWidth": 4.515
},
{
"text": "size ",
"font": "serif",
"width": 3.582,
"textWidth": 3.123
},
{
"text": "and ",
"font": "serif",
"width": 3.58,
"textWidth": 3.121
},
{
"text": "the ",
"font": "serif",
"width": 2.557,
"textWidth": 2.557
}
]
},
{
"left": 11.905,
"top": 83.336,
"width": 18.18,
"height": 1.296,
"words": [
{
"text": "computational ",
"font": "serif",
"width": 12.258,
"textWidth": 11.8
},
{
"text": "FLOPs. ",
"font": "serif",
"width": 5.921,
"textWidth": 5.921
}
]
},
{
"left": 14.75,
"top": 85.75,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "Taking ",
"font": "serif",
"width": 5.903,
"textWidth": 5.446
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.384,
"textWidth": 3.928
},
{
"text": "GQA8 ",
"font": "serif",
"width": 5.579,
"textWidth": 5.124
},
{
"text": "(Ainslie ",
"font": "serif",
"width": 6.744,
"textWidth": 6.287
},
{
"text": "et ",
"font": "serif",
"width": 1.916,
"textWidth": 1.459
},
{
"text": "al., ",
"font": "serif",
"width": 2.797,
"textWidth": 2.34
},
{
"text": "2023) ",
"font": "serif",
"width": 4.683,
"textWidth": 4.228
},
{
"text": "with ",
"font": "serif",
"width": 4.141,
"textWidth": 3.685
},
{
"text": "a ",
"font": "serif",
"width": 1.363,
"textWidth": 0.906
},
{
"text": "head ",
"font": "serif",
"width": 4.393,
"textWidth": 3.937
},
{
"text": "dimension ",
"font": "serif",
"width": 8.955,
"textWidth": 8.499
},
{
"text": "of ",
"font": "serif",
"width": 2.048,
"textWidth": 1.593
},
{
"text": "128 ",
"font": "serif",
"width": 3.175,
"textWidth": 2.719
},
{
"text": "as ",
"font": "serif",
"width": 2.131,
"textWidth": 1.675
},
{
"text": "the ",
"font": "serif",
"width": 2.971,
"textWidth": 2.514
},
{
"text": "baseline ",
"font": "serif",
"width": 9.247,
"textWidth": 6.523
},
{
"text": "one ",
"font": "serif",
"width": 2.913,
"textWidth": 2.913
}
]
},
{
"left": 11.905,
"top": 87.359,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "common ",
"font": "serif",
"width": 7.477,
"textWidth": 7.018
},
{
"text": "configurations ",
"font": "serif",
"width": 12.022,
"textWidth": 11.565
},
{
"text": "of ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "LLM ",
"font": "serif",
"width": 4.376,
"textWidth": 3.917
},
{
"text": "attention ",
"font": "serif",
"width": 9.877,
"textWidth": 7.152
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "KV ",
"font": "serif",
"width": 3.075,
"textWidth": 2.616
},
{
"text": "cache ",
"font": "serif",
"width": 4.884,
"textWidth": 4.425
},
{
"text": "size ",
"font": "serif",
"width": 3.52,
"textWidth": 3.061
},
{
"text": "of ",
"font": "serif",
"width": 2.045,
"textWidth": 1.588
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.169,
"textWidth": 10.71
},
{
"text": "series ",
"font": "serif",
"width": 4.962,
"textWidth": 4.503
},
{
"text": "can ",
"font": "serif",
"width": 2.757,
"textWidth": 2.757
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "be ",
"font": "serif",
"width": 2.373,
"textWidth": 1.916
},
{
"text": "dramatically ",
"font": "serif",
"width": 10.832,
"textWidth": 10.374
},
{
"text": "reduced ",
"font": "serif",
"width": 7.149,
"textWidth": 6.691
},
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "approximately ",
"font": "serif",
"width": 12.464,
"textWidth": 12.006
},
{
"text": "2% ",
"font": "serif",
"width": 2.944,
"textWidth": 2.488
},
{
"text": "times ",
"font": "serif",
"width": 4.918,
"textWidth": 4.461
},
{
"text": "of ",
"font": "serif",
"width": 2.09,
"textWidth": 1.632
},
{
"text": "that ",
"font": "serif",
"width": 3.676,
"textWidth": 3.219
},
{
"text": "baseline ",
"font": "serif",
"width": 7.14,
"textWidth": 6.681
},
{
"text": "in ",
"font": "serif",
"width": 2.077,
"textWidth": 1.621
},
{
"text": "the ",
"font": "serif",
"width": 3.033,
"textWidth": 2.575
},
{
"text": "1M-context ",
"font": "serif",
"width": 9.735,
"textWidth": 9.278
},
{
"text": "setting. ",
"font": "serif",
"width": 6.004,
"textWidth": 6.004
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "13 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"14": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.833,
"top": 10.419,
"width": 10.131,
"height": 1.296,
"words": [
{
"text": "Algorithm ",
"font": "serif-bold",
"width": 9.214,
"textWidth": 8.756
},
{
"text": "1 ",
"font": "serif-bold",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 22.422,
"top": 10.44,
"width": 27.819,
"height": 1.296,
"words": [
{
"text": "Muon ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "Optimizer ",
"font": "serif",
"width": 8.8,
"textWidth": 8.342
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 10.862,
"textWidth": 10.862
}
]
},
{
"left": 11.905,
"top": 12.501,
"width": 7.177,
"height": 1.296,
"words": [
{
"text": "Require: ",
"font": "serif-bold",
"width": 7.177,
"textWidth": 7.177
}
]
},
{
"left": 19.998,
"top": 12.522,
"width": 56.945,
"height": 1.296,
"words": [
{
"text": "Learning ",
"font": "serif",
"width": 7.781,
"textWidth": 7.323
},
{
"text": "rate ",
"font": "serif",
"width": 5.421,
"textWidth": 3.115
},
{
"text": "momentum ",
"font": "serif",
"width": 11.984,
"textWidth": 9.502
},
{
"text": "weight ",
"font": "serif",
"width": 6.081,
"textWidth": 5.622
},
{
"text": "decay ",
"font": "serif",
"width": 7.154,
"textWidth": 4.746
},
{
"text": "update ",
"font": "serif",
"width": 6.176,
"textWidth": 5.718
},
{
"text": "rescaling ",
"font": "serif",
"width": 7.686,
"textWidth": 7.228
},
{
"text": "factor ",
"font": "serif",
"width": 4.662,
"textWidth": 4.662
}
]
},
{
"left": 12.974,
"top": 14.297,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "1: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 15.02,
"top": 14.111,
"width": 2.445,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif-bold",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 17.923,
"top": 14.132,
"width": 14.401,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "training ",
"font": "serif",
"width": 6.914,
"textWidth": 6.456
},
{
"text": "step ",
"font": "serif",
"width": 3.354,
"textWidth": 3.354
}
]
},
{
"left": 33.861,
"top": 14.111,
"width": 2.139,
"height": 1.296,
"words": [
{
"text": "do ",
"font": "serif-bold",
"width": 2.139,
"textWidth": 2.139
}
]
},
{
"left": 12.974,
"top": 15.907,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "2: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 17.769,
"top": 15.72,
"width": 2.445,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif-bold",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 20.672,
"top": 15.741,
"width": 27.878,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "logically ",
"font": "serif",
"width": 7.36,
"textWidth": 6.902
},
{
"text": "independent ",
"font": "serif",
"width": 10.763,
"textWidth": 10.305
},
{
"text": "weight ",
"font": "serif",
"width": 5.622,
"textWidth": 5.622
}
]
},
{
"left": 57.381,
"top": 15.72,
"width": 2.139,
"height": 1.296,
"words": [
{
"text": "do ",
"font": "serif-bold",
"width": 2.139,
"textWidth": 2.139
}
]
},
{
"left": 12.974,
"top": 17.516,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "3: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 32.349,
"top": 17.35,
"width": 55.747,
"height": 1.401,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 40.058,
"textWidth": 0.669
},
{
"text": "Compute ",
"font": "serif",
"width": 8.058,
"textWidth": 7.6
},
{
"text": "gradients ",
"font": "serif",
"width": 7.631,
"textWidth": 7.631
}
]
},
{
"left": 12.974,
"top": 19.125,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "4: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 28.657,
"top": 19.414,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 62.999,
"top": 18.96,
"width": 25.132,
"height": 1.296,
"words": [
{
"text": "Accumulate ",
"font": "serif",
"width": 10.264,
"textWidth": 9.806
},
{
"text": "momentum ",
"font": "serif",
"width": 9.96,
"textWidth": 9.502
},
{
"text": "buffer ",
"font": "serif",
"width": 4.908,
"textWidth": 4.908
}
]
},
{
"left": 12.974,
"top": 20.735,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "5: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 24.358,
"top": 20.569,
"width": 17.925,
"height": 1.296,
"words": [
{
"text": "HybridNewtonSchulz ",
"font": "serif",
"width": 17.925,
"textWidth": 17.925
}
]
},
{
"left": 54.017,
"top": 20.569,
"width": 34.079,
"height": 1.296,
"words": [
{
"text": "Nesterov ",
"font": "serif",
"width": 7.838,
"textWidth": 7.38
},
{
"text": "trick ",
"font": "serif",
"width": 4.145,
"textWidth": 3.687
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.934,
"textWidth": 5.476
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 12.601,
"textWidth": 12.601
}
]
},
{
"left": 12.974,
"top": 22.499,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "6: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 28.619,
"top": 22.334,
"width": 3.48,
"height": 1.296,
"words": [
{
"text": "max ",
"font": "serif",
"width": 3.48,
"textWidth": 3.48
}
]
},
{
"left": 68.522,
"top": 22.334,
"width": 19.574,
"height": 1.296,
"words": [
{
"text": "Rescale ",
"font": "serif",
"width": 6.478,
"textWidth": 6.02
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "update ",
"font": "serif",
"width": 6.176,
"textWidth": 5.718
},
{
"text": "RMS ",
"font": "serif",
"width": 3.92,
"textWidth": 3.92
}
]
},
{
"left": 12.974,
"top": 24.109,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "7: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 27.379,
"top": 23.943,
"width": 3.652,
"height": 1.401,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 2.735,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 60.411,
"top": 23.943,
"width": 27.683,
"height": 1.296,
"words": [
{
"text": "Perform ",
"font": "serif",
"width": 7.12,
"textWidth": 6.662
},
{
"text": "weight ",
"font": "serif",
"width": 6.081,
"textWidth": 5.622
},
{
"text": "decay ",
"font": "serif",
"width": 5.205,
"textWidth": 4.746
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "update ",
"font": "serif",
"width": 5.718,
"textWidth": 5.718
}
]
},
{
"left": 12.974,
"top": 25.718,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "8: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 17.769,
"top": 25.532,
"width": 6.059,
"height": 1.296,
"words": [
{
"text": "end ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "for ",
"font": "serif-bold",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 12.974,
"top": 27.328,
"width": 1.13,
"height": 1.065,
"words": [
{
"text": "9: ",
"font": "serif",
"width": 1.13,
"textWidth": 1.13
}
]
},
{
"left": 15.02,
"top": 27.141,
"width": 6.059,
"height": 1.296,
"words": [
{
"text": "end ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "for ",
"font": "serif-bold",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 11.905,
"top": 31.396,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Moreover, ",
"font": "serif",
"width": 8.516,
"textWidth": 8.094
},
{
"text": "even ",
"font": "serif",
"width": 4.192,
"textWidth": 3.78
},
{
"text": "when ",
"font": "serif",
"width": 4.862,
"textWidth": 4.449
},
{
"text": "compared ",
"font": "serif",
"width": 8.387,
"textWidth": 7.976
},
{
"text": "with ",
"font": "serif",
"width": 4.064,
"textWidth": 3.651
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.405,
"textWidth": 11.992
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 11.911,
"textWidth": 11.498
},
{
"text": "2025) ",
"font": "serif",
"width": 6.81,
"textWidth": 4.19
},
{
"text": "already ",
"font": "serif",
"width": 6.365,
"textWidth": 5.952
},
{
"text": "an ",
"font": "serif",
"width": 2.355,
"textWidth": 1.943
},
{
"text": "efficient ",
"font": "serif",
"width": 6.324,
"textWidth": 6.324
}
]
},
{
"left": 11.905,
"top": 33.006,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "baseline ",
"font": "serif",
"width": 9.258,
"textWidth": 6.53
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.21,
"textWidth": 10.753
},
{
"text": "series ",
"font": "serif",
"width": 4.978,
"textWidth": 4.521
},
{
"text": "still ",
"font": "serif",
"width": 3.402,
"textWidth": 2.945
},
{
"text": "exhibits ",
"font": "serif",
"width": 6.738,
"textWidth": 6.281
},
{
"text": "substantial ",
"font": "serif",
"width": 9.202,
"textWidth": 8.745
},
{
"text": "advantages ",
"font": "serif",
"width": 9.607,
"textWidth": 9.149
},
{
"text": "in ",
"font": "serif",
"width": 2.041,
"textWidth": 1.584
},
{
"text": "efficiency. ",
"font": "serif",
"width": 8.429,
"textWidth": 7.861
},
{
"text": "A ",
"font": "serif",
"width": 1.869,
"textWidth": 1.412
},
{
"text": "comparison ",
"font": "serif",
"width": 9.456,
"textWidth": 9.456
}
]
},
{
"left": 11.905,
"top": 34.615,
"width": 67.407,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "their ",
"font": "serif",
"width": 4.257,
"textWidth": 3.799
},
{
"text": "inference ",
"font": "serif",
"width": 7.873,
"textWidth": 7.415
},
{
"text": "FLOPs ",
"font": "serif",
"width": 5.921,
"textWidth": 5.463
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "cache ",
"font": "serif",
"width": 4.946,
"textWidth": 4.488
},
{
"text": "size ",
"font": "serif",
"width": 3.563,
"textWidth": 3.104
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "provided ",
"font": "serif",
"width": 7.937,
"textWidth": 7.479
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "right ",
"font": "serif",
"width": 4.398,
"textWidth": 3.94
},
{
"text": "part ",
"font": "serif",
"width": 3.797,
"textWidth": 3.339
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "Figure ",
"font": "serif",
"width": 5.703,
"textWidth": 5.245
},
{
"text": "1. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 38.528,
"width": 17.866,
"height": 1.296,
"words": [
{
"text": "2.4. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Muon ",
"font": "serif-bold",
"width": 5.549,
"textWidth": 5.091
},
{
"text": "Optimizer ",
"font": "serif-bold",
"width": 8.652,
"textWidth": 8.652
}
]
},
{
"left": 11.813,
"top": 41.199,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.971,
"textWidth": 2.512
},
{
"text": "employ ",
"font": "serif",
"width": 6.541,
"textWidth": 6.083
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "Muon ",
"font": "serif",
"width": 5.31,
"textWidth": 4.852
},
{
"text": "(Jordan ",
"font": "serif",
"width": 6.405,
"textWidth": 5.947
},
{
"text": "et ",
"font": "serif",
"width": 1.918,
"textWidth": 1.459
},
{
"text": "al., ",
"font": "serif",
"width": 2.798,
"textWidth": 2.34
},
{
"text": "2024; ",
"font": "serif",
"width": 4.537,
"textWidth": 4.078
},
{
"text": "Liu ",
"font": "serif",
"width": 3.186,
"textWidth": 2.728
},
{
"text": "et ",
"font": "serif",
"width": 1.918,
"textWidth": 1.459
},
{
"text": "al., ",
"font": "serif",
"width": 2.798,
"textWidth": 2.34
},
{
"text": "2025) ",
"font": "serif",
"width": 4.687,
"textWidth": 4.228
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.274,
"textWidth": 7.815
},
{
"text": "for ",
"font": "serif",
"width": 2.768,
"textWidth": 2.309
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "majority ",
"font": "serif",
"width": 7.221,
"textWidth": 6.762
},
{
"text": "of ",
"font": "serif",
"width": 2.052,
"textWidth": 1.593
},
{
"text": "modules ",
"font": "serif",
"width": 6.954,
"textWidth": 6.954
}
]
},
{
"left": 11.905,
"top": 42.809,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.11,
"textWidth": 1.632
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.558,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 5.137,
"textWidth": 4.658
},
{
"text": "due ",
"font": "serif",
"width": 3.645,
"textWidth": 3.165
},
{
"text": "to ",
"font": "serif",
"width": 2.109,
"textWidth": 1.63
},
{
"text": "its ",
"font": "serif",
"width": 2.424,
"textWidth": 1.946
},
{
"text": "faster ",
"font": "serif",
"width": 5.071,
"textWidth": 4.593
},
{
"text": "convergence ",
"font": "serif",
"width": 10.821,
"textWidth": 10.343
},
{
"text": "and ",
"font": "serif",
"width": 3.645,
"textWidth": 3.165
},
{
"text": "improved ",
"font": "serif",
"width": 8.615,
"textWidth": 8.137
},
{
"text": "training ",
"font": "serif",
"width": 7.064,
"textWidth": 6.585
},
{
"text": "stability. ",
"font": "serif",
"width": 7.546,
"textWidth": 6.914
},
{
"text": "The ",
"font": "serif",
"width": 3.608,
"textWidth": 3.127
},
{
"text": "full ",
"font": "serif",
"width": 2.838,
"textWidth": 2.838
}
]
},
{
"left": 11.905,
"top": 44.418,
"width": 54.901,
"height": 1.296,
"words": [
{
"text": "algorithm ",
"font": "serif",
"width": 8.467,
"textWidth": 8.009
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "Muon ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "optimization ",
"font": "serif",
"width": 10.873,
"textWidth": 10.415
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "summarized ",
"font": "serif",
"width": 10.664,
"textWidth": 10.206
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Algorithm ",
"font": "serif",
"width": 8.976,
"textWidth": 8.518
},
{
"text": "1. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 48.624,
"width": 17.852,
"height": 1.296,
"words": [
{
"text": "Basic ",
"font": "serif-bold",
"width": 4.846,
"textWidth": 4.385
},
{
"text": "Configurations. ",
"font": "serif-bold",
"width": 13.006,
"textWidth": 13.006
}
]
},
{
"left": 31.579,
"top": 48.645,
"width": 56.554,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.008,
"textWidth": 2.547
},
{
"text": "maintain ",
"font": "serif",
"width": 7.723,
"textWidth": 7.262
},
{
"text": "the ",
"font": "serif",
"width": 3.008,
"textWidth": 2.547
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.387,
"textWidth": 6.926
},
{
"text": "(Loshchilov ",
"font": "serif",
"width": 10.037,
"textWidth": 9.576
},
{
"text": "and ",
"font": "serif",
"width": 3.57,
"textWidth": 3.109
},
{
"text": "Hutter, ",
"font": "serif",
"width": 6.357,
"textWidth": 5.896
},
{
"text": "2017) ",
"font": "serif",
"width": 4.745,
"textWidth": 4.284
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.379,
"textWidth": 7.918
},
{
"text": "for ",
"font": "serif",
"width": 2.339,
"textWidth": 2.339
}
]
},
{
"left": 11.905,
"top": 50.254,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "embedding ",
"font": "serif",
"width": 10.027,
"textWidth": 9.43
},
{
"text": "module, ",
"font": "serif",
"width": 7.475,
"textWidth": 6.847
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "prediction ",
"font": "serif",
"width": 9.098,
"textWidth": 8.503
},
{
"text": "head ",
"font": "serif",
"width": 4.654,
"textWidth": 4.06
},
{
"text": "module, ",
"font": "serif",
"width": 7.477,
"textWidth": 6.847
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "static ",
"font": "serif",
"width": 4.914,
"textWidth": 4.32
},
{
"text": "biases ",
"font": "serif",
"width": 5.589,
"textWidth": 4.993
},
{
"text": "and ",
"font": "serif",
"width": 3.759,
"textWidth": 3.165
},
{
"text": "gating ",
"font": "serif",
"width": 5.849,
"textWidth": 5.255
},
{
"text": "factors ",
"font": "serif",
"width": 6.144,
"textWidth": 5.548
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 51.836,
"width": 1.409,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.409,
"textWidth": 1.409
}
]
},
{
"left": 13.313,
"top": 51.864,
"width": 74.782,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.25,
"textWidth": 2.79
},
{
"text": "modules, ",
"font": "serif",
"width": 7.86,
"textWidth": 7.4
},
{
"text": "and ",
"font": "serif",
"width": 3.523,
"textWidth": 3.065
},
{
"text": "the ",
"font": "serif",
"width": 2.971,
"textWidth": 2.511
},
{
"text": "weights ",
"font": "serif",
"width": 6.783,
"textWidth": 6.323
},
{
"text": "of ",
"font": "serif",
"width": 2.051,
"textWidth": 1.592
},
{
"text": "all ",
"font": "serif",
"width": 2.419,
"textWidth": 1.959
},
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.138,
"textWidth": 8.68
},
{
"text": "modules. ",
"font": "serif",
"width": 7.972,
"textWidth": 7.4
},
{
"text": "All ",
"font": "serif",
"width": 2.922,
"textWidth": 2.462
},
{
"text": "other ",
"font": "serif",
"width": 4.675,
"textWidth": 4.215
},
{
"text": "modules ",
"font": "serif",
"width": 7.407,
"textWidth": 6.947
},
{
"text": "are ",
"font": "serif",
"width": 2.913,
"textWidth": 2.453
},
{
"text": "updated ",
"font": "serif",
"width": 7.215,
"textWidth": 6.755
},
{
"text": "with ",
"font": "serif",
"width": 3.681,
"textWidth": 3.681
}
]
},
{
"left": 11.905,
"top": 53.473,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Muon. ",
"font": "serif",
"width": 6.163,
"textWidth": 5.471
},
{
"text": "Following ",
"font": "serif",
"width": 8.896,
"textWidth": 8.397
},
{
"text": "Liu ",
"font": "serif",
"width": 3.312,
"textWidth": 2.813
},
{
"text": "et ",
"font": "serif",
"width": 2.004,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.445,
"textWidth": 1.946
},
{
"text": "(2025), ",
"font": "serif",
"width": 5.961,
"textWidth": 5.451
},
{
"text": "we ",
"font": "serif",
"width": 2.953,
"textWidth": 2.454
},
{
"text": "also ",
"font": "serif",
"width": 3.791,
"textWidth": 3.292
},
{
"text": "apply ",
"font": "serif",
"width": 5.264,
"textWidth": 4.765
},
{
"text": "weight ",
"font": "serif",
"width": 6.232,
"textWidth": 5.735
},
{
"text": "decay ",
"font": "serif",
"width": 5.34,
"textWidth": 4.841
},
{
"text": "to ",
"font": "serif",
"width": 2.129,
"textWidth": 1.63
},
{
"text": "Muon ",
"font": "serif",
"width": 5.503,
"textWidth": 5.004
},
{
"text": "parameters, ",
"font": "serif",
"width": 10.29,
"textWidth": 9.78
},
{
"text": "use ",
"font": "serif",
"width": 3.314,
"textWidth": 2.815
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 55.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Nesterov ",
"font": "serif",
"width": 7.818,
"textWidth": 7.358
},
{
"text": "(Jordan ",
"font": "serif",
"width": 6.457,
"textWidth": 5.997
},
{
"text": "et ",
"font": "serif",
"width": 1.929,
"textWidth": 1.471
},
{
"text": "al., ",
"font": "serif",
"width": 2.819,
"textWidth": 2.359
},
{
"text": "2024; ",
"font": "serif",
"width": 4.571,
"textWidth": 4.111
},
{
"text": "Nesterov, ",
"font": "serif",
"width": 8.275,
"textWidth": 7.815
},
{
"text": "1983) ",
"font": "serif",
"width": 4.723,
"textWidth": 4.263
},
{
"text": "trick, ",
"font": "serif",
"width": 4.593,
"textWidth": 4.133
},
{
"text": "and ",
"font": "serif",
"width": 3.554,
"textWidth": 3.093
},
{
"text": "rescale ",
"font": "serif",
"width": 5.931,
"textWidth": 5.47
},
{
"text": "the ",
"font": "serif",
"width": 2.995,
"textWidth": 2.534
},
{
"text": "Root ",
"font": "serif",
"width": 4.27,
"textWidth": 3.81
},
{
"text": "Mean ",
"font": "serif",
"width": 5.041,
"textWidth": 4.581
},
{
"text": "Square ",
"font": "serif",
"width": 6.022,
"textWidth": 5.562
},
{
"text": "(RMS) ",
"font": "serif",
"width": 5.585,
"textWidth": 5.125
},
{
"text": "of ",
"font": "serif",
"width": 1.606,
"textWidth": 1.606
}
]
},
{
"left": 11.905,
"top": 56.692,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.008,
"textWidth": 2.552
},
{
"text": "update ",
"font": "serif",
"width": 6.195,
"textWidth": 5.739
},
{
"text": "matrix ",
"font": "serif",
"width": 5.811,
"textWidth": 5.356
},
{
"text": "for ",
"font": "serif",
"width": 2.8,
"textWidth": 2.344
},
{
"text": "reutilization ",
"font": "serif",
"width": 10.396,
"textWidth": 9.941
},
{
"text": "of ",
"font": "serif",
"width": 2.074,
"textWidth": 1.617
},
{
"text": "our ",
"font": "serif",
"width": 3.297,
"textWidth": 2.841
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.395,
"textWidth": 6.938
},
{
"text": "hyper-parameters. ",
"font": "serif",
"width": 15.581,
"textWidth": 15.014
},
{
"text": "Different ",
"font": "serif",
"width": 7.735,
"textWidth": 7.279
},
{
"text": "from ",
"font": "serif",
"width": 4.39,
"textWidth": 3.936
},
{
"text": "them, ",
"font": "serif",
"width": 5.093,
"textWidth": 4.637
},
{
"text": "we ",
"font": "serif",
"width": 2.416,
"textWidth": 2.416
}
]
},
{
"left": 11.905,
"top": 58.301,
"width": 48.033,
"height": 1.296,
"words": [
{
"text": "use ",
"font": "serif",
"width": 3.218,
"textWidth": 2.76
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.934,
"textWidth": 5.476
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 13.059,
"textWidth": 12.601
},
{
"text": "iterations ",
"font": "serif",
"width": 8.082,
"textWidth": 7.624
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "orthogonalization. ",
"font": "serif",
"width": 14.947,
"textWidth": 14.947
}
]
},
{
"left": 11.905,
"top": 62.507,
"width": 27.963,
"height": 1.296,
"words": [
{
"text": "Hybrid ",
"font": "serif-bold",
"width": 6.426,
"textWidth": 5.986
},
{
"text": "Newton-Schulz ",
"font": "serif-bold",
"width": 13.207,
"textWidth": 12.767
},
{
"text": "Iterations. ",
"font": "serif-bold",
"width": 8.33,
"textWidth": 8.33
}
]
},
{
"left": 41.691,
"top": 62.528,
"width": 14.576,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.129,
"textWidth": 2.689
},
{
"text": "a ",
"font": "serif",
"width": 1.338,
"textWidth": 0.898
},
{
"text": "given ",
"font": "serif",
"width": 4.881,
"textWidth": 4.441
},
{
"text": "matrix ",
"font": "serif",
"width": 5.228,
"textWidth": 5.228
}
]
},
{
"left": 59.19,
"top": 62.528,
"width": 28.904,
"height": 1.296,
"words": [
{
"text": "let ",
"font": "serif",
"width": 2.408,
"textWidth": 1.968
},
{
"text": "its ",
"font": "serif",
"width": 2.31,
"textWidth": 1.87
},
{
"text": "Singular ",
"font": "serif",
"width": 7.162,
"textWidth": 6.722
},
{
"text": "Value ",
"font": "serif",
"width": 4.934,
"textWidth": 4.492
},
{
"text": "Decomposition ",
"font": "serif",
"width": 12.09,
"textWidth": 12.09
}
]
},
{
"left": 11.844,
"top": 64.137,
"width": 7.205,
"height": 1.296,
"words": [
{
"text": "(SVD) ",
"font": "serif",
"width": 5.332,
"textWidth": 4.875
},
{
"text": "be ",
"font": "serif",
"width": 1.872,
"textWidth": 1.872
}
]
},
{
"left": 28.382,
"top": 64.137,
"width": 53.296,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.494,
"textWidth": 3.037
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 12.932,
"textWidth": 12.475
},
{
"text": "iterations ",
"font": "serif",
"width": 8.005,
"textWidth": 7.547
},
{
"text": "aim ",
"font": "serif",
"width": 3.496,
"textWidth": 3.037
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.582
},
{
"text": "approximately ",
"font": "serif",
"width": 12.19,
"textWidth": 11.733
},
{
"text": "orthogonalize ",
"font": "serif",
"width": 11.14,
"textWidth": 11.14
}
]
},
{
"left": 84.183,
"top": 64.137,
"width": 3.912,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.582
},
{
"text": "be ",
"font": "serif",
"width": 1.872,
"textWidth": 1.872
}
]
},
{
"left": 16.021,
"top": 65.747,
"width": 6.449,
"height": 1.296,
"words": [
{
"text": "Usually, ",
"font": "serif",
"width": 6.449,
"textWidth": 6.449
}
]
},
{
"left": 24.981,
"top": 65.747,
"width": 20.738,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.534,
"textWidth": 3.075
},
{
"text": "be ",
"font": "serif",
"width": 2.318,
"textWidth": 1.859
},
{
"text": "first ",
"font": "serif",
"width": 3.614,
"textWidth": 3.153
},
{
"text": "normalized ",
"font": "serif",
"width": 9.607,
"textWidth": 9.146
},
{
"text": "as ",
"font": "serif",
"width": 1.665,
"textWidth": 1.665
}
]
},
{
"left": 47.667,
"top": 66.192,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "0 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 57.882,
"top": 65.747,
"width": 30.214,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.03,
"textWidth": 1.571
},
{
"text": "ensure ",
"font": "serif",
"width": 5.763,
"textWidth": 5.303
},
{
"text": "its ",
"font": "serif",
"width": 2.335,
"textWidth": 1.875
},
{
"text": "maximum ",
"font": "serif",
"width": 8.672,
"textWidth": 8.213
},
{
"text": "singular ",
"font": "serif",
"width": 7.022,
"textWidth": 6.561
},
{
"text": "value ",
"font": "serif",
"width": 4.392,
"textWidth": 4.392
}
]
},
{
"left": 11.905,
"top": 67.356,
"width": 72.267,
"height": 1.296,
"words": [
{
"text": "does ",
"font": "serif",
"width": 4.233,
"textWidth": 3.775
},
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "exceed ",
"font": "serif",
"width": 5.971,
"textWidth": 5.512
},
{
"text": "1. ",
"font": "serif",
"width": 1.943,
"textWidth": 1.374
},
{
"text": "Then, ",
"font": "serif",
"width": 5.051,
"textWidth": 4.593
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 13.059,
"textWidth": 12.601
},
{
"text": "iteration ",
"font": "serif",
"width": 7.305,
"textWidth": 6.847
},
{
"text": "performs ",
"font": "serif",
"width": 7.891,
"textWidth": 7.433
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "following ",
"font": "serif",
"width": 8.283,
"textWidth": 7.825
},
{
"text": "operation: ",
"font": "serif",
"width": 8.276,
"textWidth": 8.276
}
]
},
{
"left": 65.872,
"top": 69.983,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 85.225,
"top": 70.267,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(28) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 37.433,
"top": 70.721,
"width": 8.069,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 7.399,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 48.706,
"top": 70.721,
"width": 12.507,
"height": 1.159,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 4.575,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 7.263,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 64.417,
"top": 70.721,
"width": 5.998,
"height": 1.159,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 5.328,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 73.178,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.782,
"textWidth": 3.322
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.023,
"textWidth": 5.563
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 13.263,
"textWidth": 12.803
},
{
"text": "performs ",
"font": "serif",
"width": 8.012,
"textWidth": 7.552
},
{
"text": "10 ",
"font": "serif",
"width": 2.322,
"textWidth": 1.862
},
{
"text": "iterations ",
"font": "serif",
"width": 8.206,
"textWidth": 7.746
},
{
"text": "over ",
"font": "serif",
"width": 4.156,
"textWidth": 3.696
},
{
"text": "two ",
"font": "serif",
"width": 3.638,
"textWidth": 3.176
},
{
"text": "distinct ",
"font": "serif",
"width": 6.595,
"textWidth": 6.135
},
{
"text": "stages. ",
"font": "serif",
"width": 6.083,
"textWidth": 5.509
},
{
"text": "During ",
"font": "serif",
"width": 6.42,
"textWidth": 5.96
},
{
"text": "the ",
"font": "serif",
"width": 3.042,
"textWidth": 2.583
},
{
"text": "first ",
"font": "serif",
"width": 3.718,
"textWidth": 3.258
},
{
"text": "8 ",
"font": "serif",
"width": 0.931,
"textWidth": 0.931
}
]
},
{
"left": 11.905,
"top": 74.788,
"width": 19.72,
"height": 1.296,
"words": [
{
"text": "steps, ",
"font": "serif",
"width": 4.934,
"textWidth": 4.497
},
{
"text": "we ",
"font": "serif",
"width": 2.787,
"textWidth": 2.358
},
{
"text": "use ",
"font": "serif",
"width": 3.136,
"textWidth": 2.705
},
{
"text": "coefficients ",
"font": "serif",
"width": 8.863,
"textWidth": 8.863
}
]
},
{
"left": 40.448,
"top": 74.788,
"width": 47.648,
"height": 1.296,
"words": [
{
"text": "3.4445, ",
"font": "serif",
"width": 6.859,
"textWidth": 5.388
},
{
"text": "4.7750, ",
"font": "serif",
"width": 5.693,
"textWidth": 5.388
},
{
"text": "2.0315 ",
"font": "serif",
"width": 6.071,
"textWidth": 4.939
},
{
"text": "to ",
"font": "serif",
"width": 1.997,
"textWidth": 1.566
},
{
"text": "drive ",
"font": "serif",
"width": 4.634,
"textWidth": 4.204
},
{
"text": "rapid ",
"font": "serif",
"width": 4.738,
"textWidth": 4.307
},
{
"text": "convergence, ",
"font": "serif",
"width": 10.821,
"textWidth": 10.384
},
{
"text": "bringing ",
"font": "serif",
"width": 6.835,
"textWidth": 6.835
}
]
},
{
"left": 11.905,
"top": 76.397,
"width": 58.372,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.931,
"textWidth": 2.491
},
{
"text": "singular ",
"font": "serif",
"width": 6.979,
"textWidth": 6.541
},
{
"text": "values ",
"font": "serif",
"width": 5.58,
"textWidth": 5.14
},
{
"text": "close ",
"font": "serif",
"width": 4.362,
"textWidth": 3.922
},
{
"text": "to ",
"font": "serif",
"width": 2.006,
"textWidth": 1.566
},
{
"text": "1. ",
"font": "serif",
"width": 1.907,
"textWidth": 1.347
},
{
"text": "In ",
"font": "serif",
"width": 2.09,
"textWidth": 1.65
},
{
"text": "the ",
"font": "serif",
"width": 2.931,
"textWidth": 2.491
},
{
"text": "final ",
"font": "serif",
"width": 3.992,
"textWidth": 3.552
},
{
"text": "2 ",
"font": "serif",
"width": 1.336,
"textWidth": 0.898
},
{
"text": "steps, ",
"font": "serif",
"width": 4.941,
"textWidth": 4.497
},
{
"text": "we ",
"font": "serif",
"width": 2.798,
"textWidth": 2.358
},
{
"text": "switch ",
"font": "serif",
"width": 5.65,
"textWidth": 5.21
},
{
"text": "to ",
"font": "serif",
"width": 2.004,
"textWidth": 1.566
},
{
"text": "coefficients ",
"font": "serif",
"width": 8.863,
"textWidth": 8.863
}
]
},
{
"left": 79.111,
"top": 76.397,
"width": 8.062,
"height": 1.296,
"words": [
{
"text": "2, ",
"font": "serif",
"width": 2.818,
"textWidth": 1.347
},
{
"text": "1.5, ",
"font": "serif",
"width": 2.999,
"textWidth": 2.694
},
{
"text": "0.5 ",
"font": "serif",
"width": 2.245,
"textWidth": 2.245
}
]
},
{
"left": 11.828,
"top": 78.006,
"width": 39.487,
"height": 1.296,
"words": [
{
"text": "which ",
"font": "serif",
"width": 5.467,
"textWidth": 5.009
},
{
"text": "stabilize ",
"font": "serif",
"width": 7.156,
"textWidth": 6.698
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "singular ",
"font": "serif",
"width": 7.133,
"textWidth": 6.674
},
{
"text": "values ",
"font": "serif",
"width": 5.703,
"textWidth": 5.245
},
{
"text": "precisely ",
"font": "serif",
"width": 7.682,
"textWidth": 7.224
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "1. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 82.212,
"width": 32.14,
"height": 1.296,
"words": [
{
"text": "Avoiding ",
"font": "serif-bold",
"width": 8.432,
"textWidth": 7.972
},
{
"text": "Exploding ",
"font": "serif-bold",
"width": 9.285,
"textWidth": 8.827
},
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.66,
"textWidth": 8.202
},
{
"text": "Logits. ",
"font": "serif-bold",
"width": 5.763,
"textWidth": 5.763
}
]
},
{
"left": 45.867,
"top": 82.233,
"width": 42.531,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.587,
"textWidth": 3.129
},
{
"text": "attention ",
"font": "serif",
"width": 7.857,
"textWidth": 7.399
},
{
"text": "architecture ",
"font": "serif",
"width": 10.232,
"textWidth": 9.774
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.537,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 5.116,
"textWidth": 4.658
},
{
"text": "al- ",
"font": "serif",
"width": 2.101,
"textWidth": 2.101
}
]
},
{
"left": 11.905,
"top": 83.842,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "lows ",
"font": "serif",
"width": 4.302,
"textWidth": 3.843
},
{
"text": "us ",
"font": "serif",
"width": 2.343,
"textWidth": 1.884
},
{
"text": "to ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "directly ",
"font": "serif",
"width": 6.65,
"textWidth": 6.191
},
{
"text": "apply ",
"font": "serif",
"width": 5.133,
"textWidth": 4.676
},
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.253,
"textWidth": 8.794
},
{
"text": "on ",
"font": "serif",
"width": 2.528,
"textWidth": 2.069
},
{
"text": "the ",
"font": "serif",
"width": 3.003,
"textWidth": 2.544
},
{
"text": "attention ",
"font": "serif",
"width": 7.719,
"textWidth": 7.261
},
{
"text": "queries ",
"font": "serif",
"width": 6.386,
"textWidth": 5.927
},
{
"text": "and ",
"font": "serif",
"width": 3.564,
"textWidth": 3.106
},
{
"text": "KV ",
"font": "serif",
"width": 3.115,
"textWidth": 2.656
},
{
"text": "entries, ",
"font": "serif",
"width": 6.375,
"textWidth": 5.918
},
{
"text": "which ",
"font": "serif",
"width": 5.472,
"textWidth": 5.014
},
{
"text": "effectively ",
"font": "serif",
"width": 8.361,
"textWidth": 8.361
}
]
},
{
"left": 11.85,
"top": 85.452,
"width": 76.55,
"height": 1.296,
"words": [
{
"text": "prevents ",
"font": "serif",
"width": 7.627,
"textWidth": 7.165
},
{
"text": "attention ",
"font": "serif",
"width": 7.858,
"textWidth": 7.399
},
{
"text": "logits ",
"font": "serif",
"width": 5.01,
"textWidth": 4.55
},
{
"text": "from ",
"font": "serif",
"width": 4.46,
"textWidth": 4.0
},
{
"text": "exploding. ",
"font": "serif",
"width": 9.404,
"textWidth": 8.829
},
{
"text": "Consequently, ",
"font": "serif",
"width": 12.197,
"textWidth": 11.735
},
{
"text": "we ",
"font": "serif",
"width": 2.914,
"textWidth": 2.454
},
{
"text": "do ",
"font": "serif",
"width": 2.623,
"textWidth": 2.163
},
{
"text": "not ",
"font": "serif",
"width": 3.18,
"textWidth": 2.718
},
{
"text": "employ ",
"font": "serif",
"width": 6.733,
"textWidth": 6.273
},
{
"text": "the ",
"font": "serif",
"width": 3.053,
"textWidth": 2.593
},
{
"text": "QK-Clip ",
"font": "serif",
"width": 7.447,
"textWidth": 6.985
},
{
"text": "tech- ",
"font": "serif",
"width": 4.045,
"textWidth": 4.045
}
]
},
{
"left": 11.905,
"top": 87.061,
"width": 37.319,
"height": 1.296,
"words": [
{
"text": "nique ",
"font": "serif",
"width": 5.067,
"textWidth": 4.609
},
{
"text": "(Liu ",
"font": "serif",
"width": 3.826,
"textWidth": 3.368
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025) ",
"font": "serif",
"width": 4.734,
"textWidth": 4.275
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "Muon ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "optimizer. ",
"font": "serif",
"width": 8.225,
"textWidth": 8.225
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "14 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"15": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.274,
"width": 25.982,
"height": 1.538,
"words": [
{
"text": "3. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "General ",
"font": "serif-bold",
"width": 8.52,
"textWidth": 7.976
},
{
"text": "Infrastructures ",
"font": "serif-bold",
"width": 14.743,
"textWidth": 14.743
}
]
},
{
"left": 11.905,
"top": 13.59,
"width": 65.811,
"height": 1.296,
"words": [
{
"text": "3.1. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Fine-Grained ",
"font": "serif-bold",
"width": 11.655,
"textWidth": 11.197
},
{
"text": "Communication-Computation ",
"font": "serif-bold",
"width": 25.704,
"textWidth": 25.246
},
{
"text": "Overlap ",
"font": "serif-bold",
"width": 7.279,
"textWidth": 6.821
},
{
"text": "in ",
"font": "serif-bold",
"width": 2.188,
"textWidth": 1.73
},
{
"text": "Expert ",
"font": "serif-bold",
"width": 5.853,
"textWidth": 5.395
},
{
"text": "Parallelism ",
"font": "serif-bold",
"width": 9.465,
"textWidth": 9.465
}
]
},
{
"left": 11.905,
"top": 16.261,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "Mixture-of-Experts ",
"font": "serif",
"width": 16.464,
"textWidth": 15.767
},
{
"text": "(MoE) ",
"font": "serif",
"width": 5.873,
"textWidth": 5.176
},
{
"text": "can ",
"font": "serif",
"width": 3.552,
"textWidth": 2.852
},
{
"text": "be ",
"font": "serif",
"width": 2.626,
"textWidth": 1.929
},
{
"text": "accelerated ",
"font": "serif",
"width": 9.946,
"textWidth": 9.249
},
{
"text": "via ",
"font": "serif",
"width": 3.232,
"textWidth": 2.535
},
{
"text": "Expert ",
"font": "serif",
"width": 6.17,
"textWidth": 5.473
},
{
"text": "Parallelism ",
"font": "serif",
"width": 9.948,
"textWidth": 9.251
},
{
"text": "(EP). ",
"font": "serif",
"width": 4.681,
"textWidth": 3.983
},
{
"text": "However, ",
"font": "serif",
"width": 8.81,
"textWidth": 8.053
},
{
"text": "EP ",
"font": "serif",
"width": 2.968,
"textWidth": 2.271
},
{
"text": "re- ",
"font": "serif",
"width": 2.223,
"textWidth": 2.223
}
]
},
{
"left": 11.853,
"top": 17.871,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "quires ",
"font": "serif",
"width": 5.532,
"textWidth": 5.075
},
{
"text": "complex ",
"font": "serif",
"width": 7.435,
"textWidth": 6.98
},
{
"text": "inter-node ",
"font": "serif",
"width": 9.007,
"textWidth": 8.553
},
{
"text": "communication ",
"font": "serif",
"width": 13.305,
"textWidth": 12.848
},
{
"text": "and ",
"font": "serif",
"width": 3.598,
"textWidth": 3.143
},
{
"text": "imposes ",
"font": "serif",
"width": 7.229,
"textWidth": 6.772
},
{
"text": "substantial ",
"font": "serif",
"width": 9.403,
"textWidth": 8.948
},
{
"text": "demands ",
"font": "serif",
"width": 8.05,
"textWidth": 7.593
},
{
"text": "on ",
"font": "serif",
"width": 2.551,
"textWidth": 2.094
},
{
"text": "interconnect ",
"font": "serif",
"width": 10.132,
"textWidth": 10.132
}
]
},
{
"left": 11.905,
"top": 19.48,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "bandwidth ",
"font": "serif",
"width": 9.625,
"textWidth": 9.141
},
{
"text": "and ",
"font": "serif",
"width": 3.647,
"textWidth": 3.165
},
{
"text": "latency. ",
"font": "serif",
"width": 6.849,
"textWidth": 6.206
},
{
"text": "To ",
"font": "serif",
"width": 2.482,
"textWidth": 1.998
},
{
"text": "alleviate ",
"font": "serif",
"width": 7.442,
"textWidth": 6.957
},
{
"text": "the ",
"font": "serif",
"width": 3.075,
"textWidth": 2.591
},
{
"text": "communication ",
"font": "serif",
"width": 13.421,
"textWidth": 12.937
},
{
"text": "bottleneck ",
"font": "serif",
"width": 9.047,
"textWidth": 8.565
},
{
"text": "in ",
"font": "serif",
"width": 2.116,
"textWidth": 1.632
},
{
"text": "EP ",
"font": "serif",
"width": 2.755,
"textWidth": 2.271
},
{
"text": "and ",
"font": "serif",
"width": 3.649,
"textWidth": 3.165
},
{
"text": "achieve ",
"font": "serif",
"width": 6.726,
"textWidth": 6.243
},
{
"text": "higher ",
"font": "serif",
"width": 5.393,
"textWidth": 5.393
}
]
},
{
"left": 11.905,
"top": 21.089,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "end-to-end ",
"font": "serif",
"width": 9.651,
"textWidth": 9.126
},
{
"text": "performance ",
"font": "serif",
"width": 11.064,
"textWidth": 10.537
},
{
"text": "under ",
"font": "serif",
"width": 5.516,
"textWidth": 4.991
},
{
"text": "lower ",
"font": "serif",
"width": 5.284,
"textWidth": 4.757
},
{
"text": "interconnection ",
"font": "serif",
"width": 13.38,
"textWidth": 12.855
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.668,
"textWidth": 9.141
},
{
"text": "requirements, ",
"font": "serif",
"width": 11.965,
"textWidth": 11.421
},
{
"text": "we ",
"font": "serif",
"width": 2.98,
"textWidth": 2.454
},
{
"text": "propose ",
"font": "serif",
"width": 6.683,
"textWidth": 6.683
}
]
},
{
"left": 11.905,
"top": 22.699,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.4,
"textWidth": 0.935
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.584,
"textWidth": 10.118
},
{
"text": "EP ",
"font": "serif",
"width": 2.737,
"textWidth": 2.271
},
{
"text": "scheme ",
"font": "serif",
"width": 6.617,
"textWidth": 6.152
},
{
"text": "that ",
"font": "serif",
"width": 3.707,
"textWidth": 3.241
},
{
"text": "fuses ",
"font": "serif",
"width": 4.696,
"textWidth": 4.23
},
{
"text": "communication ",
"font": "serif",
"width": 13.403,
"textWidth": 12.937
},
{
"text": "and ",
"font": "serif",
"width": 3.63,
"textWidth": 3.165
},
{
"text": "computation ",
"font": "serif",
"width": 11.023,
"textWidth": 10.558
},
{
"text": "into ",
"font": "serif",
"width": 3.727,
"textWidth": 3.262
},
{
"text": "a ",
"font": "serif",
"width": 1.4,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.369,
"textWidth": 4.903
},
{
"text": "pipelined ",
"font": "serif",
"width": 7.9,
"textWidth": 7.9
}
]
},
{
"left": 11.905,
"top": 24.308,
"width": 42.819,
"height": 1.296,
"words": [
{
"text": "kernel ",
"font": "serif",
"width": 5.556,
"textWidth": 5.098
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "communication-computation ",
"font": "serif",
"width": 24.103,
"textWidth": 23.644
},
{
"text": "overlapping. ",
"font": "serif",
"width": 10.367,
"textWidth": 10.367
}
]
},
{
"left": 11.905,
"top": 28.501,
"width": 35.953,
"height": 1.296,
"words": [
{
"text": "Communication ",
"font": "serif-bold",
"width": 14.53,
"textWidth": 13.81
},
{
"text": "Latency ",
"font": "serif-bold",
"width": 7.367,
"textWidth": 6.645
},
{
"text": "Can ",
"font": "serif-bold",
"width": 4.146,
"textWidth": 3.426
},
{
"text": "Be ",
"font": "serif-bold",
"width": 2.903,
"textWidth": 2.181
},
{
"text": "Hidden. ",
"font": "serif-bold",
"width": 7.008,
"textWidth": 7.008
}
]
},
{
"left": 49.681,
"top": 28.522,
"width": 38.415,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.849,
"textWidth": 3.129
},
{
"text": "key ",
"font": "serif",
"width": 3.696,
"textWidth": 2.974
},
{
"text": "insight ",
"font": "serif",
"width": 6.425,
"textWidth": 5.705
},
{
"text": "of ",
"font": "serif",
"width": 2.363,
"textWidth": 1.643
},
{
"text": "our ",
"font": "serif",
"width": 3.608,
"textWidth": 2.886
},
{
"text": "EP ",
"font": "serif",
"width": 2.991,
"textWidth": 2.271
},
{
"text": "scheme ",
"font": "serif",
"width": 6.873,
"textWidth": 6.152
},
{
"text": "is ",
"font": "serif",
"width": 2.056,
"textWidth": 1.337
},
{
"text": "that ",
"font": "serif",
"width": 3.963,
"textWidth": 3.241
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 30.132,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "communication ",
"font": "serif",
"width": 12.847,
"textWidth": 12.43
},
{
"text": "latency ",
"font": "serif",
"width": 6.124,
"textWidth": 5.708
},
{
"text": "can ",
"font": "serif",
"width": 3.157,
"textWidth": 2.741
},
{
"text": "be ",
"font": "serif",
"width": 2.272,
"textWidth": 1.853
},
{
"text": "effectively ",
"font": "serif",
"width": 8.603,
"textWidth": 8.186
},
{
"text": "hidden ",
"font": "serif",
"width": 6.085,
"textWidth": 5.668
},
{
"text": "beneath ",
"font": "serif",
"width": 6.704,
"textWidth": 6.288
},
{
"text": "computation ",
"font": "serif",
"width": 10.56,
"textWidth": 10.144
},
{
"text": "in ",
"font": "serif",
"width": 1.985,
"textWidth": 1.568
},
{
"text": "MoE ",
"font": "serif",
"width": 4.194,
"textWidth": 3.777
},
{
"text": "layers. ",
"font": "serif",
"width": 5.754,
"textWidth": 5.199
},
{
"text": "As ",
"font": "serif",
"width": 2.575,
"textWidth": 2.159
},
{
"text": "shown ",
"font": "serif",
"width": 5.33,
"textWidth": 5.33
}
]
},
{
"left": 11.905,
"top": 31.741,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.045,
"textWidth": 1.589
},
{
"text": "Figure ",
"font": "serif",
"width": 5.667,
"textWidth": 5.208
},
{
"text": "5, ",
"font": "serif",
"width": 1.822,
"textWidth": 1.365
},
{
"text": "in ",
"font": "serif",
"width": 2.047,
"textWidth": 1.589
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.243,
"textWidth": 10.786
},
{
"text": "series, ",
"font": "serif",
"width": 5.448,
"textWidth": 4.99
},
{
"text": "each ",
"font": "serif",
"width": 4.105,
"textWidth": 3.649
},
{
"text": "MoE ",
"font": "serif",
"width": 4.286,
"textWidth": 3.827
},
{
"text": "layer ",
"font": "serif",
"width": 4.499,
"textWidth": 4.042
},
{
"text": "can ",
"font": "serif",
"width": 3.236,
"textWidth": 2.777
},
{
"text": "be ",
"font": "serif",
"width": 2.335,
"textWidth": 1.878
},
{
"text": "decomposed ",
"font": "serif",
"width": 10.691,
"textWidth": 10.234
},
{
"text": "mainly ",
"font": "serif",
"width": 6.105,
"textWidth": 5.647
},
{
"text": "into ",
"font": "serif",
"width": 3.632,
"textWidth": 3.176
},
{
"text": "four ",
"font": "serif",
"width": 3.874,
"textWidth": 3.416
},
{
"text": "stages: ",
"font": "serif",
"width": 5.385,
"textWidth": 5.385
}
]
},
{
"left": 11.905,
"top": 33.35,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "two ",
"font": "serif",
"width": 3.531,
"textWidth": 3.076
},
{
"text": "communication-bound ",
"font": "serif",
"width": 18.758,
"textWidth": 18.302
},
{
"text": "stages, ",
"font": "serif",
"width": 5.791,
"textWidth": 5.336
},
{
"text": "Dispatch ",
"font": "serif",
"width": 7.679,
"textWidth": 7.224
},
{
"text": "and ",
"font": "serif",
"width": 3.508,
"textWidth": 3.053
},
{
"text": "Combine, ",
"font": "serif",
"width": 8.316,
"textWidth": 7.86
},
{
"text": "and ",
"font": "serif",
"width": 3.507,
"textWidth": 3.053
},
{
"text": "two ",
"font": "serif",
"width": 3.533,
"textWidth": 3.076
},
{
"text": "computation-bound ",
"font": "serif",
"width": 16.46,
"textWidth": 16.004
},
{
"text": "stages, ",
"font": "serif",
"width": 5.336,
"textWidth": 5.336
}
]
},
{
"left": 11.905,
"top": 34.96,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Linear-1 ",
"font": "serif",
"width": 7.258,
"textWidth": 6.731
},
{
"text": "and ",
"font": "serif",
"width": 3.691,
"textWidth": 3.165
},
{
"text": "Linear-2. ",
"font": "serif",
"width": 7.972,
"textWidth": 7.198
},
{
"text": "Our ",
"font": "serif",
"width": 3.862,
"textWidth": 3.335
},
{
"text": "profiling ",
"font": "serif",
"width": 7.722,
"textWidth": 7.195
},
{
"text": "reveals ",
"font": "serif",
"width": 6.35,
"textWidth": 5.823
},
{
"text": "that ",
"font": "serif",
"width": 3.768,
"textWidth": 3.241
},
{
"text": "within ",
"font": "serif",
"width": 5.957,
"textWidth": 5.432
},
{
"text": "a ",
"font": "serif",
"width": 1.462,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.43,
"textWidth": 4.903
},
{
"text": "MoE ",
"font": "serif",
"width": 4.458,
"textWidth": 3.931
},
{
"text": "layer, ",
"font": "serif",
"width": 5.026,
"textWidth": 4.482
},
{
"text": "the ",
"font": "serif",
"width": 3.12,
"textWidth": 2.593
},
{
"text": "total ",
"font": "serif",
"width": 4.243,
"textWidth": 3.718
},
{
"text": "time ",
"font": "serif",
"width": 4.226,
"textWidth": 3.699
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 36.569,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "communication ",
"font": "serif",
"width": 12.952,
"textWidth": 12.493
},
{
"text": "is ",
"font": "serif",
"width": 1.751,
"textWidth": 1.291
},
{
"text": "less ",
"font": "serif",
"width": 3.379,
"textWidth": 2.921
},
{
"text": "than ",
"font": "serif",
"width": 4.053,
"textWidth": 3.592
},
{
"text": "that ",
"font": "serif",
"width": 3.589,
"textWidth": 3.13
},
{
"text": "of ",
"font": "serif",
"width": 2.047,
"textWidth": 1.587
},
{
"text": "the ",
"font": "serif",
"width": 2.962,
"textWidth": 2.504
},
{
"text": "computation. ",
"font": "serif",
"width": 11.219,
"textWidth": 10.647
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.609,
"textWidth": 8.148
},
{
"text": "after ",
"font": "serif",
"width": 4.128,
"textWidth": 3.67
},
{
"text": "fusing ",
"font": "serif",
"width": 5.495,
"textWidth": 5.034
},
{
"text": "communication ",
"font": "serif",
"width": 12.952,
"textWidth": 12.491
},
{
"text": "and ",
"font": "serif",
"width": 3.056,
"textWidth": 3.056
}
]
},
{
"left": 11.905,
"top": 38.178,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "computation ",
"font": "serif",
"width": 10.909,
"textWidth": 10.454
},
{
"text": "into ",
"font": "serif",
"width": 3.685,
"textWidth": 3.23
},
{
"text": "a ",
"font": "serif",
"width": 1.381,
"textWidth": 0.925
},
{
"text": "unified ",
"font": "serif",
"width": 6.323,
"textWidth": 5.869
},
{
"text": "pipeline, ",
"font": "serif",
"width": 7.611,
"textWidth": 7.154
},
{
"text": "computation ",
"font": "serif",
"width": 10.908,
"textWidth": 10.452
},
{
"text": "remains ",
"font": "serif",
"width": 7.0,
"textWidth": 6.547
},
{
"text": "the ",
"font": "serif",
"width": 3.023,
"textWidth": 2.567
},
{
"text": "dominant ",
"font": "serif",
"width": 8.453,
"textWidth": 7.998
},
{
"text": "bottleneck, ",
"font": "serif",
"width": 9.399,
"textWidth": 8.944
},
{
"text": "implying ",
"font": "serif",
"width": 7.498,
"textWidth": 7.498
}
]
},
{
"left": 11.905,
"top": 39.788,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.953,
"textWidth": 3.241
},
{
"text": "the ",
"font": "serif",
"width": 3.307,
"textWidth": 2.593
},
{
"text": "system ",
"font": "serif",
"width": 6.492,
"textWidth": 5.78
},
{
"text": "can ",
"font": "serif",
"width": 3.567,
"textWidth": 2.852
},
{
"text": "tolerate ",
"font": "serif",
"width": 6.959,
"textWidth": 6.247
},
{
"text": "lower ",
"font": "serif",
"width": 5.471,
"textWidth": 4.757
},
{
"text": "interconnect ",
"font": "serif",
"width": 10.915,
"textWidth": 10.202
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.855,
"textWidth": 9.141
},
{
"text": "without ",
"font": "serif",
"width": 7.27,
"textWidth": 6.557
},
{
"text": "degrading ",
"font": "serif",
"width": 9.277,
"textWidth": 8.563
},
{
"text": "end-to-end ",
"font": "serif",
"width": 9.126,
"textWidth": 9.126
}
]
},
{
"left": 11.85,
"top": 41.397,
"width": 10.789,
"height": 1.296,
"words": [
{
"text": "performance. ",
"font": "serif",
"width": 10.789,
"textWidth": 10.789
}
]
},
{
"left": 19.894,
"top": 44.515,
"width": 9.863,
"height": 0.687,
"words": [
{
"text": "(a) ",
"font": "sans-bold",
"width": 1.882,
"textWidth": 1.544
},
{
"text": "Naive ",
"font": "sans-bold",
"width": 3.433,
"textWidth": 3.094
},
{
"text": "Solution ",
"font": "sans-bold",
"width": 4.549,
"textWidth": 4.549
}
]
},
{
"left": 40.654,
"top": 46.899,
"width": 18.883,
"height": 0.601,
"words": [
{
"text": "L1 ",
"font": "sans-bold",
"width": 11.097,
"textWidth": 1.133
},
{
"text": "Act ",
"font": "sans-bold",
"width": 6.653,
"textWidth": 1.568
},
{
"text": "L2 ",
"font": "sans-bold",
"width": 1.133,
"textWidth": 1.133
}
]
},
{
"left": 19.894,
"top": 49.904,
"width": 5.438,
"height": 0.687,
"words": [
{
"text": "(b) ",
"font": "sans-bold",
"width": 1.922,
"textWidth": 1.584
},
{
"text": "Comet ",
"font": "sans-bold",
"width": 3.516,
"textWidth": 3.516
}
]
},
{
"left": 12.342,
"top": 52.252,
"width": 6.701,
"height": 0.601,
"words": [
{
"text": "Communication ",
"font": "sans",
"width": 6.701,
"textWidth": 6.701
}
]
},
{
"left": 68.5,
"top": 52.993,
"width": 15.132,
"height": 0.687,
"words": [
{
"text": "Theoretical ",
"font": "sans-bold",
"width": 6.519,
"textWidth": 6.181
},
{
"text": "speedup: ",
"font": "sans-bold",
"width": 5.401,
"textWidth": 5.063
},
{
"text": "1.42× ",
"font": "sans-bold",
"width": 3.212,
"textWidth": 3.212
}
]
},
{
"left": 13.539,
"top": 54.159,
"width": 5.504,
"height": 0.601,
"words": [
{
"text": "Computation ",
"font": "sans",
"width": 5.504,
"textWidth": 5.504
}
]
},
{
"left": 29.855,
"top": 54.068,
"width": 18.883,
"height": 0.601,
"words": [
{
"text": "L1 ",
"font": "sans-bold",
"width": 11.097,
"textWidth": 1.133
},
{
"text": "Act ",
"font": "sans-bold",
"width": 6.653,
"textWidth": 1.568
},
{
"text": "L2 ",
"font": "sans-bold",
"width": 1.133,
"textWidth": 1.133
}
]
},
{
"left": 19.894,
"top": 56.946,
"width": 4.377,
"height": 0.687,
"words": [
{
"text": "(c) ",
"font": "sans-bold",
"width": 1.802,
"textWidth": 1.464
},
{
"text": "Ours ",
"font": "sans-bold",
"width": 2.575,
"textWidth": 2.575
}
]
},
{
"left": 15.31,
"top": 59.237,
"width": 69.95,
"height": 1.005,
"words": [
{
"text": "Dispatch ",
"font": "sans",
"width": 61.29,
"textWidth": 3.735
},
{
"text": "Dispatch ",
"font": "sans",
"width": 4.577,
"textWidth": 4.268
},
{
"text": "All-to-All ",
"font": "sans",
"width": 4.083,
"textWidth": 4.083
}
]
},
{
"left": 13.539,
"top": 61.073,
"width": 5.504,
"height": 0.601,
"words": [
{
"text": "Computation ",
"font": "sans",
"width": 5.504,
"textWidth": 5.504
}
]
},
{
"left": 23.35,
"top": 60.864,
"width": 47.748,
"height": 0.72,
"words": [
{
"text": "L1 ",
"font": "sans-bold",
"width": 4.878,
"textWidth": 1.133
},
{
"text": "L2 ",
"font": "sans-bold",
"width": 4.878,
"textWidth": 1.133
},
{
"text": "L1 ",
"font": "sans-bold",
"width": 4.878,
"textWidth": 1.133
},
{
"text": "L2 ",
"font": "sans-bold",
"width": 4.878,
"textWidth": 1.133
},
{
"text": "L1 ",
"font": "sans-bold",
"width": 4.878,
"textWidth": 1.133
},
{
"text": "L2 ",
"font": "sans-bold",
"width": 8.224,
"textWidth": 1.133
},
{
"text": "Theoretical ",
"font": "sans-bold",
"width": 6.519,
"textWidth": 6.181
},
{
"text": "speedup: ",
"font": "sans-bold",
"width": 5.401,
"textWidth": 5.063
},
{
"text": "1.92× ",
"font": "sans-bold",
"width": 3.212,
"textWidth": 3.212
}
]
},
{
"left": 76.6,
"top": 60.564,
"width": 7.299,
"height": 0.687,
"words": [
{
"text": "Linear ",
"font": "sans",
"width": 3.329,
"textWidth": 3.02
},
{
"text": "1 ",
"font": "sans",
"width": 0.927,
"textWidth": 0.618
},
{
"text": "GEMM ",
"font": "sans",
"width": 3.044,
"textWidth": 3.044
}
]
},
{
"left": 76.6,
"top": 61.573,
"width": 9.304,
"height": 0.687,
"words": [
{
"text": "SwiGLU ",
"font": "sans",
"width": 5.072,
"textWidth": 3.64
},
{
"text": "FP8 ",
"font": "sans",
"width": 2.071,
"textWidth": 1.762
},
{
"text": "Cast ",
"font": "sans",
"width": 2.161,
"textWidth": 2.161
}
]
},
{
"left": 14.784,
"top": 62.62,
"width": 4.259,
"height": 0.601,
"words": [
{
"text": "Activation ",
"font": "sans",
"width": 4.259,
"textWidth": 4.259
}
]
},
{
"left": 23.799,
"top": 62.819,
"width": 23.166,
"height": 0.601,
"words": [
{
"text": "Act ",
"font": "sans-bold",
"width": 11.84,
"textWidth": 1.568
},
{
"text": "Act ",
"font": "sans-bold",
"width": 9.757,
"textWidth": 1.568
},
{
"text": "Act ",
"font": "sans-bold",
"width": 1.568,
"textWidth": 1.568
}
]
},
{
"left": 76.6,
"top": 62.582,
"width": 8.711,
"height": 0.687,
"words": [
{
"text": "Combine ",
"font": "sans",
"width": 4.628,
"textWidth": 4.32
},
{
"text": "All-to-All ",
"font": "sans",
"width": 4.083,
"textWidth": 4.083
}
]
},
{
"left": 15.266,
"top": 63.292,
"width": 68.634,
"height": 0.986,
"words": [
{
"text": "Combine ",
"font": "sans",
"width": 61.334,
"textWidth": 3.78
},
{
"text": "Linear ",
"font": "sans",
"width": 3.329,
"textWidth": 3.02
},
{
"text": "2 ",
"font": "sans",
"width": 0.927,
"textWidth": 0.618
},
{
"text": "GEMM ",
"font": "sans",
"width": 3.044,
"textWidth": 3.044
}
]
},
{
"left": 25.469,
"top": 64.25,
"width": 27.542,
"height": 0.515,
"words": [
{
"text": "Expert ",
"font": "sans-bold",
"width": 2.945,
"textWidth": 2.691
},
{
"text": "Wave ",
"font": "sans-bold",
"width": 2.494,
"textWidth": 2.24
},
{
"text": "1 ",
"font": "sans-bold",
"width": 6.402,
"textWidth": 0.507
},
{
"text": "Expert ",
"font": "sans-bold",
"width": 2.945,
"textWidth": 2.691
},
{
"text": "Wave ",
"font": "sans-bold",
"width": 2.494,
"textWidth": 2.24
},
{
"text": "2 ",
"font": "sans-bold",
"width": 4.319,
"textWidth": 0.507
},
{
"text": "Expert ",
"font": "sans-bold",
"width": 2.945,
"textWidth": 2.691
},
{
"text": "Wave ",
"font": "sans-bold",
"width": 2.494,
"textWidth": 2.24
},
{
"text": "3 ",
"font": "sans-bold",
"width": 0.507,
"textWidth": 0.507
}
]
},
{
"left": 11.905,
"top": 66.346,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.567,
"textWidth": 5.14
},
{
"text": "5 ",
"font": "serif",
"width": 2.268,
"textWidth": 0.898
},
{
"text": "Illustration ",
"font": "serif",
"width": 9.249,
"textWidth": 8.822
},
{
"text": "of ",
"font": "serif",
"width": 2.008,
"textWidth": 1.579
},
{
"text": "our ",
"font": "serif",
"width": 3.2,
"textWidth": 2.773
},
{
"text": "EP ",
"font": "serif",
"width": 2.611,
"textWidth": 2.182
},
{
"text": "scheme ",
"font": "serif",
"width": 6.338,
"textWidth": 5.911
},
{
"text": "with ",
"font": "serif",
"width": 4.08,
"textWidth": 3.651
},
{
"text": "related ",
"font": "serif",
"width": 5.928,
"textWidth": 5.501
},
{
"text": "works. ",
"font": "serif",
"width": 5.955,
"textWidth": 5.397
},
{
"text": "Comet ",
"font": "serif",
"width": 5.713,
"textWidth": 5.286
},
{
"text": "(Zhang ",
"font": "serif",
"width": 6.212,
"textWidth": 5.783
},
{
"text": "et ",
"font": "serif",
"width": 1.873,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.748,
"textWidth": 2.319
},
{
"text": "2025b) ",
"font": "serif",
"width": 5.611,
"textWidth": 5.183
},
{
"text": "overlaps ",
"font": "serif",
"width": 6.826,
"textWidth": 6.826
}
]
},
{
"left": 11.905,
"top": 67.956,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "Dispatch ",
"font": "serif",
"width": 7.539,
"textWidth": 7.08
},
{
"text": "with ",
"font": "serif",
"width": 4.109,
"textWidth": 3.651
},
{
"text": "Linear-1, ",
"font": "serif",
"width": 7.505,
"textWidth": 7.046
},
{
"text": "and ",
"font": "serif",
"width": 3.499,
"textWidth": 3.041
},
{
"text": "Linear-2 ",
"font": "serif",
"width": 7.056,
"textWidth": 6.597
},
{
"text": "with ",
"font": "serif",
"width": 4.109,
"textWidth": 3.651
},
{
"text": "Combine, ",
"font": "serif",
"width": 8.17,
"textWidth": 7.71
},
{
"text": "separately. ",
"font": "serif",
"width": 8.991,
"textWidth": 8.419
},
{
"text": "Our ",
"font": "serif",
"width": 3.662,
"textWidth": 3.204
},
{
"text": "EP ",
"font": "serif",
"width": 2.642,
"textWidth": 2.182
},
{
"text": "scheme ",
"font": "serif",
"width": 6.37,
"textWidth": 5.911
},
{
"text": "achieves ",
"font": "serif",
"width": 7.218,
"textWidth": 6.76
},
{
"text": "a ",
"font": "serif",
"width": 1.358,
"textWidth": 0.898
},
{
"text": "finer- ",
"font": "serif",
"width": 4.267,
"textWidth": 4.267
}
]
},
{
"left": 11.905,
"top": 69.565,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "grained ",
"font": "serif",
"width": 6.635,
"textWidth": 6.175
},
{
"text": "overlapping ",
"font": "serif",
"width": 10.238,
"textWidth": 9.778
},
{
"text": "by ",
"font": "serif",
"width": 2.465,
"textWidth": 2.006
},
{
"text": "splitting ",
"font": "serif",
"width": 7.128,
"textWidth": 6.671
},
{
"text": "and ",
"font": "serif",
"width": 3.522,
"textWidth": 3.062
},
{
"text": "scheduling ",
"font": "serif",
"width": 9.254,
"textWidth": 8.796
},
{
"text": "experts ",
"font": "serif",
"width": 6.284,
"textWidth": 5.824
},
{
"text": "into ",
"font": "serif",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "waves. ",
"font": "serif",
"width": 6.09,
"textWidth": 5.52
},
{
"text": "The ",
"font": "serif",
"width": 3.487,
"textWidth": 3.028
},
{
"text": "theoretical ",
"font": "serif",
"width": 8.852,
"textWidth": 8.393
},
{
"text": "speedup ",
"font": "serif",
"width": 7.327,
"textWidth": 6.87
},
{
"text": "is ",
"font": "serif",
"width": 1.293,
"textWidth": 1.293
}
]
},
{
"left": 11.905,
"top": 71.175,
"width": 56.256,
"height": 1.296,
"words": [
{
"text": "evaluated ",
"font": "serif",
"width": 8.437,
"textWidth": 7.979
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "configuration ",
"font": "serif",
"width": 11.41,
"textWidth": 10.952
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.242,
"textWidth": 15.784
},
{
"text": "architecture. ",
"font": "serif",
"width": 10.039,
"textWidth": 10.039
}
]
},
{
"left": 11.905,
"top": 76.073,
"width": 22.087,
"height": 1.296,
"words": [
{
"text": "Fine-Grained ",
"font": "serif-bold",
"width": 12.057,
"textWidth": 11.421
},
{
"text": "EP ",
"font": "serif-bold",
"width": 2.918,
"textWidth": 2.284
},
{
"text": "Scheme. ",
"font": "serif-bold",
"width": 7.113,
"textWidth": 7.113
}
]
},
{
"left": 35.814,
"top": 76.094,
"width": 52.281,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.632,
"textWidth": 1.998
},
{
"text": "further ",
"font": "serif",
"width": 6.455,
"textWidth": 5.819
},
{
"text": "lower ",
"font": "serif",
"width": 5.391,
"textWidth": 4.757
},
{
"text": "the ",
"font": "serif",
"width": 3.228,
"textWidth": 2.593
},
{
"text": "interconnect ",
"font": "serif",
"width": 10.838,
"textWidth": 10.202
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.774,
"textWidth": 9.141
},
{
"text": "requirement ",
"font": "serif",
"width": 10.799,
"textWidth": 10.163
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 77.703,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "amplify ",
"font": "serif",
"width": 6.903,
"textWidth": 6.446
},
{
"text": "the ",
"font": "serif",
"width": 3.047,
"textWidth": 2.588
},
{
"text": "benefits ",
"font": "serif",
"width": 6.89,
"textWidth": 6.433
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.64
},
{
"text": "overlapping, ",
"font": "serif",
"width": 11.011,
"textWidth": 10.552
},
{
"text": "we ",
"font": "serif",
"width": 2.907,
"textWidth": 2.45
},
{
"text": "introduce ",
"font": "serif",
"width": 8.405,
"textWidth": 7.947
},
{
"text": "a ",
"font": "serif",
"width": 1.39,
"textWidth": 0.933
},
{
"text": "finer-grained ",
"font": "serif",
"width": 11.261,
"textWidth": 10.804
},
{
"text": "expert ",
"font": "serif",
"width": 5.673,
"textWidth": 5.216
},
{
"text": "partitioning ",
"font": "serif",
"width": 10.322,
"textWidth": 9.863
},
{
"text": "scheme. ",
"font": "serif",
"width": 6.606,
"textWidth": 6.606
}
]
},
{
"left": 11.905,
"top": 79.312,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Inspired ",
"font": "serif",
"width": 7.092,
"textWidth": 6.649
},
{
"text": "by ",
"font": "serif",
"width": 2.437,
"textWidth": 1.992
},
{
"text": "many ",
"font": "serif",
"width": 4.973,
"textWidth": 4.528
},
{
"text": "related ",
"font": "serif",
"width": 5.946,
"textWidth": 5.501
},
{
"text": "works ",
"font": "serif",
"width": 5.393,
"textWidth": 4.948
},
{
"text": "(Aimuyo ",
"font": "serif",
"width": 7.609,
"textWidth": 7.164
},
{
"text": "et ",
"font": "serif",
"width": 1.891,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.764,
"textWidth": 2.319
},
{
"text": "2025; ",
"font": "serif",
"width": 4.486,
"textWidth": 4.041
},
{
"text": "Zhang ",
"font": "serif",
"width": 5.63,
"textWidth": 5.185
},
{
"text": "et ",
"font": "serif",
"width": 1.891,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.762,
"textWidth": 2.319
},
{
"text": "2025b), ",
"font": "serif",
"width": 6.081,
"textWidth": 5.632
},
{
"text": "we ",
"font": "serif",
"width": 2.803,
"textWidth": 2.358
},
{
"text": "split ",
"font": "serif",
"width": 3.915,
"textWidth": 3.472
},
{
"text": "and ",
"font": "serif",
"width": 3.486,
"textWidth": 3.041
},
{
"text": "schedule ",
"font": "serif",
"width": 7.028,
"textWidth": 7.028
}
]
},
{
"left": 11.905,
"top": 80.922,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.993,
"textWidth": 2.534
},
{
"text": "experts ",
"font": "serif",
"width": 6.34,
"textWidth": 5.883
},
{
"text": "into ",
"font": "serif",
"width": 3.647,
"textWidth": 3.188
},
{
"text": "waves. ",
"font": "serif",
"width": 6.16,
"textWidth": 5.592
},
{
"text": "Each ",
"font": "serif",
"width": 4.363,
"textWidth": 3.905
},
{
"text": "wave ",
"font": "serif",
"width": 4.802,
"textWidth": 4.345
},
{
"text": "consists ",
"font": "serif",
"width": 6.782,
"textWidth": 6.324
},
{
"text": "of ",
"font": "serif",
"width": 2.065,
"textWidth": 1.606
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.914
},
{
"text": "small ",
"font": "serif",
"width": 4.824,
"textWidth": 4.365
},
{
"text": "portion ",
"font": "serif",
"width": 6.463,
"textWidth": 6.006
},
{
"text": "of ",
"font": "serif",
"width": 2.065,
"textWidth": 1.606
},
{
"text": "experts. ",
"font": "serif",
"width": 6.908,
"textWidth": 6.34
},
{
"text": "As ",
"font": "serif",
"width": 2.655,
"textWidth": 2.196
},
{
"text": "soon ",
"font": "serif",
"width": 4.29,
"textWidth": 3.833
},
{
"text": "as ",
"font": "serif",
"width": 2.147,
"textWidth": 1.688
},
{
"text": "all ",
"font": "serif",
"width": 2.436,
"textWidth": 1.977
},
{
"text": "experts ",
"font": "serif",
"width": 5.883,
"textWidth": 5.883
}
]
},
{
"left": 11.828,
"top": 82.531,
"width": 76.339,
"height": 1.296,
"words": [
{
"text": "within ",
"font": "serif",
"width": 5.632,
"textWidth": 5.219
},
{
"text": "the ",
"font": "serif",
"width": 2.902,
"textWidth": 2.491
},
{
"text": "wave ",
"font": "serif",
"width": 4.684,
"textWidth": 4.271
},
{
"text": "have ",
"font": "serif",
"width": 4.229,
"textWidth": 3.818
},
{
"text": "completed ",
"font": "serif",
"width": 8.782,
"textWidth": 8.369
},
{
"text": "their ",
"font": "serif",
"width": 4.136,
"textWidth": 3.723
},
{
"text": "communication, ",
"font": "serif",
"width": 13.299,
"textWidth": 12.879
},
{
"text": "computation ",
"font": "serif",
"width": 10.557,
"textWidth": 10.144
},
{
"text": "can ",
"font": "serif",
"width": 3.152,
"textWidth": 2.741
},
{
"text": "commence ",
"font": "serif",
"width": 8.926,
"textWidth": 8.513
},
{
"text": "immediately ",
"font": "serif",
"width": 10.039,
"textWidth": 10.039
}
]
},
{
"left": 11.828,
"top": 84.14,
"width": 76.305,
"height": 1.296,
"words": [
{
"text": "without ",
"font": "serif",
"width": 6.649,
"textWidth": 6.3
},
{
"text": "waiting ",
"font": "serif",
"width": 6.421,
"textWidth": 6.07
},
{
"text": "for ",
"font": "serif",
"width": 2.638,
"textWidth": 2.288
},
{
"text": "other ",
"font": "serif",
"width": 4.529,
"textWidth": 4.179
},
{
"text": "experts. ",
"font": "serif",
"width": 6.764,
"textWidth": 6.232
},
{
"text": "In ",
"font": "serif",
"width": 2.001,
"textWidth": 1.65
},
{
"text": "steady ",
"font": "serif",
"width": 5.55,
"textWidth": 5.201
},
{
"text": "state, ",
"font": "serif",
"width": 4.511,
"textWidth": 4.14
},
{
"text": "computation ",
"font": "serif",
"width": 10.492,
"textWidth": 10.144
},
{
"text": "of ",
"font": "serif",
"width": 1.929,
"textWidth": 1.579
},
{
"text": "current ",
"font": "serif",
"width": 6.106,
"textWidth": 5.756
},
{
"text": "wave, ",
"font": "serif",
"width": 5.092,
"textWidth": 4.72
},
{
"text": "token ",
"font": "serif",
"width": 4.819,
"textWidth": 4.468
},
{
"text": "transfer ",
"font": "serif",
"width": 6.518,
"textWidth": 6.167
},
{
"text": "for ",
"font": "serif",
"width": 2.288,
"textWidth": 2.288
}
]
},
{
"left": 11.905,
"top": 85.75,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.841,
"textWidth": 2.491
},
{
"text": "next ",
"font": "serif",
"width": 3.77,
"textWidth": 3.418
},
{
"text": "wave, ",
"font": "serif",
"width": 5.092,
"textWidth": 4.72
},
{
"text": "and ",
"font": "serif",
"width": 3.391,
"textWidth": 3.041
},
{
"text": "result ",
"font": "serif",
"width": 4.84,
"textWidth": 4.49
},
{
"text": "sending ",
"font": "serif",
"width": 6.681,
"textWidth": 6.331
},
{
"text": "of ",
"font": "serif",
"width": 1.931,
"textWidth": 1.579
},
{
"text": "completed ",
"font": "serif",
"width": 8.719,
"textWidth": 8.369
},
{
"text": "experts ",
"font": "serif",
"width": 6.133,
"textWidth": 5.783
},
{
"text": "all ",
"font": "serif",
"width": 2.295,
"textWidth": 1.943
},
{
"text": "proceed ",
"font": "serif",
"width": 6.701,
"textWidth": 6.351
},
{
"text": "concurrently, ",
"font": "serif",
"width": 10.72,
"textWidth": 10.348
},
{
"text": "as ",
"font": "serif",
"width": 2.01,
"textWidth": 1.659
},
{
"text": "demonstrated ",
"font": "serif",
"width": 11.067,
"textWidth": 11.067
}
]
},
{
"left": 11.905,
"top": 87.359,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.071,
"textWidth": 1.614
},
{
"text": "Figure ",
"font": "serif",
"width": 5.749,
"textWidth": 5.292
},
{
"text": "5. ",
"font": "serif",
"width": 1.955,
"textWidth": 1.387
},
{
"text": "This ",
"font": "serif",
"width": 3.989,
"textWidth": 3.532
},
{
"text": "forms ",
"font": "serif",
"width": 5.229,
"textWidth": 4.773
},
{
"text": "a ",
"font": "serif",
"width": 1.381,
"textWidth": 0.925
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.466,
"textWidth": 10.009
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.141,
"textWidth": 6.685
},
{
"text": "among ",
"font": "serif",
"width": 6.128,
"textWidth": 5.671
},
{
"text": "experts, ",
"font": "serif",
"width": 6.873,
"textWidth": 6.416
},
{
"text": "keeping ",
"font": "serif",
"width": 7.01,
"textWidth": 6.553
},
{
"text": "both ",
"font": "serif",
"width": 4.168,
"textWidth": 3.711
},
{
"text": "computation ",
"font": "serif",
"width": 10.9,
"textWidth": 10.444
},
{
"text": "and ",
"font": "serif",
"width": 3.131,
"textWidth": 3.131
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "communication ",
"font": "serif",
"width": 13.358,
"textWidth": 12.899
},
{
"text": "continuous ",
"font": "serif",
"width": 9.68,
"textWidth": 9.22
},
{
"text": "throughout ",
"font": "serif",
"width": 9.867,
"textWidth": 9.406
},
{
"text": "the ",
"font": "serif",
"width": 3.044,
"textWidth": 2.585
},
{
"text": "wave. ",
"font": "serif",
"width": 5.47,
"textWidth": 4.898
},
{
"text": "The ",
"font": "serif",
"width": 3.58,
"textWidth": 3.12
},
{
"text": "wave-based ",
"font": "serif",
"width": 10.295,
"textWidth": 9.837
},
{
"text": "scheduling ",
"font": "serif",
"width": 9.524,
"textWidth": 9.063
},
{
"text": "speeds ",
"font": "serif",
"width": 6.083,
"textWidth": 5.625
},
{
"text": "up ",
"font": "serif",
"width": 2.704,
"textWidth": 2.244
},
{
"text": "the ",
"font": "serif",
"width": 2.585,
"textWidth": 2.585
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "15 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"16": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.85,
"top": 10.472,
"width": 76.316,
"height": 1.296,
"words": [
{
"text": "performance ",
"font": "serif",
"width": 11.15,
"textWidth": 10.537
},
{
"text": "on ",
"font": "serif",
"width": 2.724,
"textWidth": 2.109
},
{
"text": "extreme ",
"font": "serif",
"width": 7.23,
"textWidth": 6.615
},
{
"text": "cases ",
"font": "serif",
"width": 4.858,
"textWidth": 4.245
},
{
"text": "such ",
"font": "serif",
"width": 4.451,
"textWidth": 3.838
},
{
"text": "as ",
"font": "serif",
"width": 2.342,
"textWidth": 1.727
},
{
"text": "Reinforcement ",
"font": "serif",
"width": 12.707,
"textWidth": 12.092
},
{
"text": "Learning ",
"font": "serif",
"width": 8.083,
"textWidth": 7.47
},
{
"text": "(RL) ",
"font": "serif",
"width": 4.249,
"textWidth": 3.636
},
{
"text": "rollout, ",
"font": "serif",
"width": 6.692,
"textWidth": 6.04
},
{
"text": "which ",
"font": "serif",
"width": 5.722,
"textWidth": 5.109
},
{
"text": "usually ",
"font": "serif",
"width": 6.109,
"textWidth": 6.109
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 27.989,
"height": 1.296,
"words": [
{
"text": "encounters ",
"font": "serif",
"width": 9.365,
"textWidth": 8.906
},
{
"text": "long-tail ",
"font": "serif",
"width": 7.268,
"textWidth": 6.81
},
{
"text": "small ",
"font": "serif",
"width": 4.836,
"textWidth": 4.378
},
{
"text": "batches. ",
"font": "serif",
"width": 6.52,
"textWidth": 6.52
}
]
},
{
"left": 11.905,
"top": 16.287,
"width": 39.851,
"height": 1.296,
"words": [
{
"text": "Performance ",
"font": "serif-bold",
"width": 11.397,
"textWidth": 10.801
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.817,
"textWidth": 3.219
},
{
"text": "Open-Sourced ",
"font": "serif-bold",
"width": 12.954,
"textWidth": 12.356
},
{
"text": "Mega-Kernel. ",
"font": "serif-bold",
"width": 11.683,
"textWidth": 11.683
}
]
},
{
"left": 53.576,
"top": 16.308,
"width": 34.52,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.195,
"textWidth": 2.596
},
{
"text": "validated ",
"font": "serif",
"width": 8.399,
"textWidth": 7.802
},
{
"text": "the ",
"font": "serif",
"width": 3.191,
"textWidth": 2.593
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.715,
"textWidth": 10.118
},
{
"text": "EP ",
"font": "serif",
"width": 2.869,
"textWidth": 2.271
},
{
"text": "scheme ",
"font": "serif",
"width": 6.152,
"textWidth": 6.152
}
]
},
{
"left": 11.905,
"top": 17.918,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.763,
"textWidth": 2.109
},
{
"text": "both ",
"font": "serif",
"width": 4.406,
"textWidth": 3.752
},
{
"text": "NVIDIA ",
"font": "serif",
"width": 7.718,
"textWidth": 7.064
},
{
"text": "GPUs ",
"font": "serif",
"width": 5.456,
"textWidth": 4.802
},
{
"text": "and ",
"font": "serif",
"width": 3.819,
"textWidth": 3.165
},
{
"text": "HUAWEI ",
"font": "serif",
"width": 8.625,
"textWidth": 7.971
},
{
"text": "Ascend ",
"font": "serif",
"width": 6.856,
"textWidth": 6.202
},
{
"text": "NPUs ",
"font": "serif",
"width": 5.583,
"textWidth": 4.929
},
{
"text": "platforms. ",
"font": "serif",
"width": 9.66,
"textWidth": 8.503
},
{
"text": "Compared ",
"font": "serif",
"width": 9.451,
"textWidth": 8.797
},
{
"text": "against ",
"font": "serif",
"width": 6.597,
"textWidth": 5.942
},
{
"text": "strong ",
"font": "serif",
"width": 5.256,
"textWidth": 5.256
}
]
},
{
"left": 11.905,
"top": 19.527,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "non-fused ",
"font": "serif",
"width": 8.965,
"textWidth": 8.399
},
{
"text": "baselines, ",
"font": "serif",
"width": 8.582,
"textWidth": 7.987
},
{
"text": "it ",
"font": "serif",
"width": 1.72,
"textWidth": 1.153
},
{
"text": "achieves ",
"font": "serif",
"width": 7.602,
"textWidth": 7.036
},
{
"text": "1.50 ",
"font": "serif",
"width": 5.856,
"textWidth": 3.271
},
{
"text": "1.73 ",
"font": "serif",
"width": 5.003,
"textWidth": 3.271
},
{
"text": "speedup ",
"font": "serif",
"width": 7.666,
"textWidth": 7.099
},
{
"text": "for ",
"font": "serif",
"width": 2.948,
"textWidth": 2.381
},
{
"text": "general ",
"font": "serif",
"width": 6.701,
"textWidth": 6.135
},
{
"text": "inference ",
"font": "serif",
"width": 8.131,
"textWidth": 7.563
},
{
"text": "workloads, ",
"font": "serif",
"width": 9.851,
"textWidth": 9.258
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 21.136,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "up ",
"font": "serif",
"width": 2.75,
"textWidth": 2.251
},
{
"text": "to ",
"font": "serif",
"width": 2.131,
"textWidth": 1.63
},
{
"text": "1.96 ",
"font": "serif",
"width": 4.936,
"textWidth": 3.271
},
{
"text": "for ",
"font": "serif",
"width": 2.881,
"textWidth": 2.381
},
{
"text": "latency-sensitive ",
"font": "serif",
"width": 14.279,
"textWidth": 13.78
},
{
"text": "scenarios ",
"font": "serif",
"width": 8.137,
"textWidth": 7.636
},
{
"text": "such ",
"font": "serif",
"width": 4.337,
"textWidth": 3.838
},
{
"text": "as ",
"font": "serif",
"width": 2.226,
"textWidth": 1.727
},
{
"text": "RL ",
"font": "serif",
"width": 2.89,
"textWidth": 2.391
},
{
"text": "rollouts ",
"font": "serif",
"width": 6.864,
"textWidth": 6.365
},
{
"text": "and ",
"font": "serif",
"width": 3.664,
"textWidth": 3.165
},
{
"text": "high-speed ",
"font": "serif",
"width": 9.731,
"textWidth": 9.23
},
{
"text": "agent ",
"font": "serif",
"width": 5.066,
"textWidth": 4.567
},
{
"text": "serving. ",
"font": "serif",
"width": 6.621,
"textWidth": 6.621
}
]
},
{
"left": 11.813,
"top": 22.746,
"width": 62.868,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.005,
"textWidth": 2.544
},
{
"text": "have ",
"font": "serif",
"width": 4.362,
"textWidth": 3.9
},
{
"text": "open-sourced ",
"font": "serif",
"width": 11.513,
"textWidth": 11.053
},
{
"text": "the ",
"font": "serif",
"width": 3.007,
"textWidth": 2.544
},
{
"text": "CUDA-based ",
"font": "serif",
"width": 11.355,
"textWidth": 10.893
},
{
"text": "mega-kernel ",
"font": "serif",
"width": 10.61,
"textWidth": 10.15
},
{
"text": "implementation ",
"font": "serif",
"width": 13.412,
"textWidth": 12.951
},
{
"text": "named ",
"font": "serif",
"width": 5.604,
"textWidth": 5.604
}
]
},
{
"left": 75.144,
"top": 22.725,
"width": 8.664,
"height": 1.296,
"words": [
{
"text": "MegaMoE ",
"font": "serif-bold",
"width": 8.664,
"textWidth": 8.664
}
]
},
{
"left": 83.808,
"top": 22.526,
"width": 4.287,
"height": 1.516,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 1.214,
"textWidth": 0.669
},
{
"text": "as ",
"font": "serif",
"width": 2.155,
"textWidth": 1.695
},
{
"text": "a ",
"font": "serif",
"width": 0.917,
"textWidth": 0.917
}
]
},
{
"left": 11.905,
"top": 24.355,
"width": 22.389,
"height": 1.296,
"words": [
{
"text": "component ",
"font": "serif",
"width": 9.601,
"textWidth": 9.143
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepGEMM. ",
"font": "serif",
"width": 10.719,
"textWidth": 10.719
}
]
},
{
"left": 11.905,
"top": 28.561,
"width": 24.349,
"height": 1.296,
"words": [
{
"text": "Observations ",
"font": "serif-bold",
"width": 11.889,
"textWidth": 11.421
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.686,
"textWidth": 3.219
},
{
"text": "Proposals. ",
"font": "serif-bold",
"width": 8.774,
"textWidth": 8.774
}
]
},
{
"left": 38.076,
"top": 28.582,
"width": 50.02,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.064,
"textWidth": 2.596
},
{
"text": "share ",
"font": "serif",
"width": 4.883,
"textWidth": 4.415
},
{
"text": "observations ",
"font": "serif",
"width": 10.993,
"textWidth": 10.526
},
{
"text": "and ",
"font": "serif",
"width": 3.632,
"textWidth": 3.165
},
{
"text": "lessons ",
"font": "serif",
"width": 6.393,
"textWidth": 5.926
},
{
"text": "from ",
"font": "serif",
"width": 4.468,
"textWidth": 4.0
},
{
"text": "kernel ",
"font": "serif",
"width": 5.668,
"textWidth": 5.2
},
{
"text": "development ",
"font": "serif",
"width": 10.92,
"textWidth": 10.92
}
]
},
{
"left": 11.905,
"top": 30.191,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.084
},
{
"text": "offer ",
"font": "serif",
"width": 4.226,
"textWidth": 3.767
},
{
"text": "some ",
"font": "serif",
"width": 4.709,
"textWidth": 4.248
},
{
"text": "proposals ",
"font": "serif",
"width": 8.31,
"textWidth": 7.851
},
{
"text": "to ",
"font": "serif",
"width": 2.049,
"textWidth": 1.588
},
{
"text": "hardware ",
"font": "serif",
"width": 8.221,
"textWidth": 7.76
},
{
"text": "vendors, ",
"font": "serif",
"width": 7.478,
"textWidth": 7.017
},
{
"text": "in ",
"font": "serif",
"width": 2.049,
"textWidth": 1.588
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.527
},
{
"text": "hope ",
"font": "serif",
"width": 4.481,
"textWidth": 4.022
},
{
"text": "of ",
"font": "serif",
"width": 2.062,
"textWidth": 1.601
},
{
"text": "aiding ",
"font": "serif",
"width": 5.618,
"textWidth": 5.157
},
{
"text": "efficient ",
"font": "serif",
"width": 6.873,
"textWidth": 6.414
},
{
"text": "hardware ",
"font": "serif",
"width": 8.221,
"textWidth": 7.76
},
{
"text": "design ",
"font": "serif",
"width": 5.361,
"textWidth": 5.361
}
]
},
{
"left": 11.905,
"top": 31.8,
"width": 41.177,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "achieving ",
"font": "serif",
"width": 8.32,
"textWidth": 7.862
},
{
"text": "better ",
"font": "serif",
"width": 5.146,
"textWidth": 4.688
},
{
"text": "software-hardware ",
"font": "serif",
"width": 15.874,
"textWidth": 15.416
},
{
"text": "co-design: ",
"font": "serif",
"width": 8.276,
"textWidth": 8.276
}
]
},
{
"left": 16.486,
"top": 34.548,
"width": 30.937,
"height": 1.296,
"words": [
{
"text": "Computation-Communication ",
"font": "serif-bold",
"width": 25.95,
"textWidth": 25.499
},
{
"text": "Ratio. ",
"font": "serif-bold",
"width": 4.986,
"textWidth": 4.986
}
]
},
{
"left": 47.989,
"top": 34.569,
"width": 40.106,
"height": 1.296,
"words": [
{
"text": "Full ",
"font": "serif",
"width": 3.676,
"textWidth": 3.222
},
{
"text": "communication-computation ",
"font": "serif",
"width": 24.332,
"textWidth": 23.881
},
{
"text": "overlap ",
"font": "serif",
"width": 6.704,
"textWidth": 6.251
},
{
"text": "hinges ",
"font": "serif",
"width": 5.394,
"textWidth": 5.394
}
]
},
{
"left": 16.486,
"top": 36.179,
"width": 71.661,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.41,
"textWidth": 2.026
},
{
"text": "the ",
"font": "serif",
"width": 2.875,
"textWidth": 2.491
},
{
"text": "computation-communication ",
"font": "serif",
"width": 23.556,
"textWidth": 23.171
},
{
"text": "ratio, ",
"font": "serif",
"width": 4.544,
"textWidth": 4.145
},
{
"text": "rather ",
"font": "serif",
"width": 5.192,
"textWidth": 4.808
},
{
"text": "than ",
"font": "serif",
"width": 3.958,
"textWidth": 3.574
},
{
"text": "the ",
"font": "serif",
"width": 2.875,
"textWidth": 2.491
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.167,
"textWidth": 8.782
},
{
"text": "solely. ",
"font": "serif",
"width": 5.435,
"textWidth": 4.89
},
{
"text": "Denoting ",
"font": "serif",
"width": 7.812,
"textWidth": 7.428
},
{
"text": "peak ",
"font": "serif",
"width": 3.836,
"textWidth": 3.836
}
]
},
{
"left": 16.486,
"top": 37.788,
"width": 19.202,
"height": 1.296,
"words": [
{
"text": "compute ",
"font": "serif",
"width": 7.622,
"textWidth": 7.164
},
{
"text": "throughput ",
"font": "serif",
"width": 9.875,
"textWidth": 9.415
},
{
"text": "as ",
"font": "serif",
"width": 1.705,
"textWidth": 1.705
}
]
},
{
"left": 37.692,
"top": 37.788,
"width": 25.301,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.582,
"textWidth": 3.124
},
{
"text": "interconnect ",
"font": "serif",
"width": 10.532,
"textWidth": 10.072
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.482,
"textWidth": 9.024
},
{
"text": "as ",
"font": "serif",
"width": 1.705,
"textWidth": 1.705
}
]
},
{
"left": 65.471,
"top": 37.788,
"width": 22.695,
"height": 1.296,
"words": [
{
"text": "communication ",
"font": "serif",
"width": 13.232,
"textWidth": 12.772
},
{
"text": "can ",
"font": "serif",
"width": 3.274,
"textWidth": 2.816
},
{
"text": "be ",
"font": "serif",
"width": 2.362,
"textWidth": 1.904
},
{
"text": "fully ",
"font": "serif",
"width": 3.827,
"textWidth": 3.827
}
]
},
{
"left": 16.486,
"top": 39.397,
"width": 10.53,
"height": 1.296,
"words": [
{
"text": "hidden ",
"font": "serif",
"width": 6.081,
"textWidth": 5.668
},
{
"text": "when ",
"font": "serif",
"width": 4.449,
"textWidth": 4.449
}
]
},
{
"left": 43.409,
"top": 39.397,
"width": 4.941,
"height": 1.296,
"words": [
{
"text": "where ",
"font": "serif",
"width": 4.941,
"textWidth": 4.941
}
]
},
{
"left": 53.457,
"top": 39.397,
"width": 29.565,
"height": 1.296,
"words": [
{
"text": "denotes ",
"font": "serif",
"width": 6.604,
"textWidth": 6.191
},
{
"text": "the ",
"font": "serif",
"width": 2.904,
"textWidth": 2.491
},
{
"text": "computation ",
"font": "serif",
"width": 10.557,
"textWidth": 10.144
},
{
"text": "volume ",
"font": "serif",
"width": 6.46,
"textWidth": 6.047
},
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 33.64,
"top": 39.842,
"width": 54.371,
"height": 0.947,
"words": [
{
"text": "comp ",
"font": "serif",
"width": 5.124,
"textWidth": 3.312
},
{
"text": "comm ",
"font": "serif",
"width": 10.883,
"textWidth": 3.69
},
{
"text": "comp ",
"font": "serif",
"width": 34.674,
"textWidth": 3.312
},
{
"text": "comm ",
"font": "serif",
"width": 3.69,
"textWidth": 3.69
}
]
},
{
"left": 16.486,
"top": 41.007,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "refers ",
"font": "serif",
"width": 5.249,
"textWidth": 4.649
},
{
"text": "to ",
"font": "serif",
"width": 2.23,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.193,
"textWidth": 2.593
},
{
"text": "communication ",
"font": "serif",
"width": 13.535,
"textWidth": 12.935
},
{
"text": "volume. ",
"font": "serif",
"width": 7.754,
"textWidth": 6.761
},
{
"text": "For ",
"font": "serif",
"width": 3.398,
"textWidth": 2.798
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.659,
"textWidth": 15.023
},
{
"text": "where ",
"font": "serif",
"width": 5.742,
"textWidth": 5.142
},
{
"text": "each ",
"font": "serif",
"width": 4.348,
"textWidth": 3.748
},
{
"text": "token-expert ",
"font": "serif",
"width": 10.502,
"textWidth": 10.502
}
]
},
{
"left": 16.431,
"top": 42.616,
"width": 11.95,
"height": 1.296,
"words": [
{
"text": "pair ",
"font": "serif",
"width": 3.823,
"textWidth": 3.34
},
{
"text": "requires ",
"font": "serif",
"width": 7.193,
"textWidth": 6.711
},
{
"text": "6 ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 30.801,
"top": 42.616,
"width": 49.371,
"height": 1.296,
"words": [
{
"text": "FLOPs ",
"font": "serif",
"width": 6.055,
"textWidth": 5.572
},
{
"text": "(SwiGLU ",
"font": "serif",
"width": 8.21,
"textWidth": 7.729
},
{
"text": "gate, ",
"font": "serif",
"width": 4.434,
"textWidth": 3.946
},
{
"text": "up, ",
"font": "serif",
"width": 3.206,
"textWidth": 2.718
},
{
"text": "and ",
"font": "serif",
"width": 3.645,
"textWidth": 3.165
},
{
"text": "down ",
"font": "serif",
"width": 5.292,
"textWidth": 4.81
},
{
"text": "projections) ",
"font": "serif",
"width": 10.171,
"textWidth": 9.688
},
{
"text": "but ",
"font": "serif",
"width": 3.251,
"textWidth": 2.77
},
{
"text": "only ",
"font": "serif",
"width": 4.174,
"textWidth": 3.692
},
{
"text": "3 ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 81.6,
"top": 42.616,
"width": 6.496,
"height": 1.296,
"words": [
{
"text": "bytes ",
"font": "serif",
"width": 4.853,
"textWidth": 4.37
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 16.486,
"top": 44.225,
"width": 53.675,
"height": 1.296,
"words": [
{
"text": "communication ",
"font": "serif",
"width": 13.142,
"textWidth": 12.684
},
{
"text": "(FP8 ",
"font": "serif",
"width": 4.111,
"textWidth": 3.652
},
{
"text": "Dispatch ",
"font": "serif",
"width": 9.251,
"textWidth": 7.224
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.429,
"textWidth": 3.971
},
{
"text": "Combine), ",
"font": "serif",
"width": 8.936,
"textWidth": 8.478
},
{
"text": "this ",
"font": "serif",
"width": 3.432,
"textWidth": 2.974
},
{
"text": "simplifies ",
"font": "serif",
"width": 8.318,
"textWidth": 7.86
},
{
"text": "to: ",
"font": "serif",
"width": 2.056,
"textWidth": 2.056
}
]
},
{
"left": 44.908,
"top": 47.696,
"width": 0.916,
"height": 1.296,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.916,
"textWidth": 0.916
}
]
},
{
"left": 48.919,
"top": 47.696,
"width": 14.551,
"height": 1.296,
"words": [
{
"text": "6144 ",
"font": "serif",
"width": 4.173,
"textWidth": 3.665
},
{
"text": "FLOPs ",
"font": "serif",
"width": 6.306,
"textWidth": 5.463
},
{
"text": "Byte. ",
"font": "serif",
"width": 4.072,
"textWidth": 4.072
}
]
},
{
"left": 16.43,
"top": 50.94,
"width": 71.758,
"height": 1.296,
"words": [
{
"text": "That ",
"font": "serif",
"width": 4.196,
"textWidth": 3.737
},
{
"text": "is, ",
"font": "serif",
"width": 2.245,
"textWidth": 1.784
},
{
"text": "each ",
"font": "serif",
"width": 4.166,
"textWidth": 3.707
},
{
"text": "GBps ",
"font": "serif",
"width": 4.895,
"textWidth": 4.436
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.625
},
{
"text": "interconnect ",
"font": "serif",
"width": 10.551,
"textWidth": 10.092
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.503,
"textWidth": 9.042
},
{
"text": "suffices ",
"font": "serif",
"width": 6.55,
"textWidth": 6.091
},
{
"text": "to ",
"font": "serif",
"width": 2.071,
"textWidth": 1.612
},
{
"text": "hide ",
"font": "serif",
"width": 4.09,
"textWidth": 3.63
},
{
"text": "the ",
"font": "serif",
"width": 3.023,
"textWidth": 2.565
},
{
"text": "communication ",
"font": "serif",
"width": 13.256,
"textWidth": 12.798
},
{
"text": "for ",
"font": "serif",
"width": 2.816,
"textWidth": 2.356
},
{
"text": "6.1 ",
"font": "serif",
"width": 2.311,
"textWidth": 2.311
}
]
},
{
"left": 16.43,
"top": 52.55,
"width": 71.895,
"height": 1.296,
"words": [
{
"text": "TFLOP/s ",
"font": "serif",
"width": 8.019,
"textWidth": 7.558
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.582
},
{
"text": "compute. ",
"font": "serif",
"width": 8.01,
"textWidth": 7.436
},
{
"text": "Once ",
"font": "serif",
"width": 4.584,
"textWidth": 4.123
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.259,
"textWidth": 8.8
},
{
"text": "meets ",
"font": "serif",
"width": 5.124,
"textWidth": 4.663
},
{
"text": "this ",
"font": "serif",
"width": 3.38,
"textWidth": 2.921
},
{
"text": "threshold, ",
"font": "serif",
"width": 8.501,
"textWidth": 8.041
},
{
"text": "it ",
"font": "serif",
"width": 1.571,
"textWidth": 1.11
},
{
"text": "ceases ",
"font": "serif",
"width": 5.408,
"textWidth": 4.947
},
{
"text": "to ",
"font": "serif",
"width": 2.03,
"textWidth": 1.569
},
{
"text": "be ",
"font": "serif",
"width": 2.316,
"textWidth": 1.857
},
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.496
},
{
"text": "bottleneck, ",
"font": "serif",
"width": 8.696,
"textWidth": 8.696
}
]
},
{
"left": 16.486,
"top": 54.159,
"width": 71.929,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.737,
"textWidth": 3.165
},
{
"text": "devoting ",
"font": "serif",
"width": 7.967,
"textWidth": 7.395
},
{
"text": "additional ",
"font": "serif",
"width": 9.075,
"textWidth": 8.503
},
{
"text": "silicon ",
"font": "serif",
"width": 5.935,
"textWidth": 5.363
},
{
"text": "area ",
"font": "serif",
"width": 4.043,
"textWidth": 3.471
},
{
"text": "to ",
"font": "serif",
"width": 2.202,
"textWidth": 1.63
},
{
"text": "further ",
"font": "serif",
"width": 6.391,
"textWidth": 5.819
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.713,
"textWidth": 9.141
},
{
"text": "brings ",
"font": "serif",
"width": 5.808,
"textWidth": 5.236
},
{
"text": "diminishing ",
"font": "serif",
"width": 10.636,
"textWidth": 10.064
},
{
"text": "returns. ",
"font": "serif",
"width": 6.423,
"textWidth": 6.423
}
]
},
{
"left": 16.395,
"top": 55.769,
"width": 71.701,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.161,
"textWidth": 2.596
},
{
"text": "encourage ",
"font": "serif",
"width": 9.133,
"textWidth": 8.569
},
{
"text": "future ",
"font": "serif",
"width": 5.651,
"textWidth": 5.086
},
{
"text": "hardware ",
"font": "serif",
"width": 8.528,
"textWidth": 7.965
},
{
"text": "designs ",
"font": "serif",
"width": 6.858,
"textWidth": 6.294
},
{
"text": "to ",
"font": "serif",
"width": 2.195,
"textWidth": 1.63
},
{
"text": "target ",
"font": "serif",
"width": 5.357,
"textWidth": 4.793
},
{
"text": "such ",
"font": "serif",
"width": 4.402,
"textWidth": 3.838
},
{
"text": "balance ",
"font": "serif",
"width": 6.825,
"textWidth": 6.26
},
{
"text": "points ",
"font": "serif",
"width": 5.742,
"textWidth": 5.178
},
{
"text": "rather ",
"font": "serif",
"width": 5.569,
"textWidth": 5.004
},
{
"text": "than ",
"font": "serif",
"width": 4.284,
"textWidth": 3.72
},
{
"text": "scale ",
"font": "serif",
"width": 3.996,
"textWidth": 3.996
}
]
},
{
"left": 16.486,
"top": 57.378,
"width": 22.58,
"height": 1.296,
"words": [
{
"text": "bandwidth ",
"font": "serif",
"width": 9.42,
"textWidth": 8.961
},
{
"text": "unconditionally. ",
"font": "serif",
"width": 13.16,
"textWidth": 13.16
}
]
},
{
"left": 16.486,
"top": 58.967,
"width": 12.569,
"height": 1.296,
"words": [
{
"text": "Power ",
"font": "serif-bold",
"width": 5.974,
"textWidth": 5.4
},
{
"text": "Budget. ",
"font": "serif-bold",
"width": 6.595,
"textWidth": 6.595
}
]
},
{
"left": 29.967,
"top": 58.987,
"width": 58.129,
"height": 1.296,
"words": [
{
"text": "Extreme ",
"font": "serif",
"width": 7.436,
"textWidth": 6.862
},
{
"text": "kernel ",
"font": "serif",
"width": 5.774,
"textWidth": 5.2
},
{
"text": "fusion ",
"font": "serif",
"width": 5.767,
"textWidth": 5.195
},
{
"text": "drives ",
"font": "serif",
"width": 5.742,
"textWidth": 5.169
},
{
"text": "compute, ",
"font": "serif",
"width": 8.326,
"textWidth": 7.724
},
{
"text": "memory, ",
"font": "serif",
"width": 7.86,
"textWidth": 7.258
},
{
"text": "and ",
"font": "serif",
"width": 3.737,
"textWidth": 3.165
},
{
"text": "network ",
"font": "serif",
"width": 7.524,
"textWidth": 6.95
},
{
"text": "to ",
"font": "serif",
"width": 2.204,
"textWidth": 1.63
},
{
"text": "high ",
"font": "serif",
"width": 3.759,
"textWidth": 3.759
}
]
},
{
"left": 16.486,
"top": 60.597,
"width": 71.608,
"height": 1.296,
"words": [
{
"text": "load ",
"font": "serif",
"width": 3.991,
"textWidth": 3.531
},
{
"text": "simultaneously, ",
"font": "serif",
"width": 13.032,
"textWidth": 12.571
},
{
"text": "making ",
"font": "serif",
"width": 6.565,
"textWidth": 6.104
},
{
"text": "power ",
"font": "serif",
"width": 5.633,
"textWidth": 5.175
},
{
"text": "throttling ",
"font": "serif",
"width": 8.078,
"textWidth": 7.618
},
{
"text": "a ",
"font": "serif",
"width": 1.365,
"textWidth": 0.906
},
{
"text": "key ",
"font": "serif",
"width": 3.344,
"textWidth": 2.884
},
{
"text": "performance ",
"font": "serif",
"width": 10.675,
"textWidth": 10.217
},
{
"text": "limiter. ",
"font": "serif",
"width": 6.248,
"textWidth": 5.675
},
{
"text": "We ",
"font": "serif",
"width": 2.972,
"textWidth": 2.512
},
{
"text": "suggest ",
"font": "serif",
"width": 6.563,
"textWidth": 6.104
},
{
"text": "that ",
"font": "serif",
"width": 3.143,
"textWidth": 3.143
}
]
},
{
"left": 16.486,
"top": 62.206,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "future ",
"font": "serif",
"width": 5.621,
"textWidth": 5.086
},
{
"text": "hardware ",
"font": "serif",
"width": 8.5,
"textWidth": 7.965
},
{
"text": "designs ",
"font": "serif",
"width": 6.83,
"textWidth": 6.294
},
{
"text": "provide ",
"font": "serif",
"width": 7.021,
"textWidth": 6.486
},
{
"text": "sufficient ",
"font": "serif",
"width": 8.141,
"textWidth": 7.606
},
{
"text": "power ",
"font": "serif",
"width": 5.871,
"textWidth": 5.337
},
{
"text": "headroom ",
"font": "serif",
"width": 8.993,
"textWidth": 8.458
},
{
"text": "for ",
"font": "serif",
"width": 2.916,
"textWidth": 2.381
},
{
"text": "such ",
"font": "serif",
"width": 4.372,
"textWidth": 3.838
},
{
"text": "fully ",
"font": "serif",
"width": 4.411,
"textWidth": 3.877
},
{
"text": "concurrent ",
"font": "serif",
"width": 8.933,
"textWidth": 8.933
}
]
},
{
"left": 16.409,
"top": 63.815,
"width": 9.077,
"height": 1.296,
"words": [
{
"text": "workloads. ",
"font": "serif",
"width": 9.077,
"textWidth": 9.077
}
]
},
{
"left": 16.486,
"top": 65.404,
"width": 23.445,
"height": 1.296,
"words": [
{
"text": "Communication ",
"font": "serif-bold",
"width": 14.198,
"textWidth": 13.742
},
{
"text": "Primitives. ",
"font": "serif-bold",
"width": 9.247,
"textWidth": 9.247
}
]
},
{
"left": 40.498,
"top": 65.425,
"width": 47.669,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.039,
"textWidth": 2.584
},
{
"text": "adopt ",
"font": "serif",
"width": 5.264,
"textWidth": 4.807
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.93
},
{
"text": "pull-based ",
"font": "serif",
"width": 9.174,
"textWidth": 8.716
},
{
"text": "approach ",
"font": "serif",
"width": 8.177,
"textWidth": 7.721
},
{
"text": "where ",
"font": "serif",
"width": 5.575,
"textWidth": 5.119
},
{
"text": "each ",
"font": "serif",
"width": 4.185,
"textWidth": 3.73
},
{
"text": "GPU ",
"font": "serif",
"width": 4.448,
"textWidth": 3.99
},
{
"text": "actively ",
"font": "serif",
"width": 6.421,
"textWidth": 6.421
}
]
},
{
"left": 16.486,
"top": 67.034,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "reads ",
"font": "serif",
"width": 5.017,
"textWidth": 4.469
},
{
"text": "data ",
"font": "serif",
"width": 4.167,
"textWidth": 3.621
},
{
"text": "from ",
"font": "serif",
"width": 4.546,
"textWidth": 3.998
},
{
"text": "remote ",
"font": "serif",
"width": 6.322,
"textWidth": 5.776
},
{
"text": "GPUs, ",
"font": "serif",
"width": 5.84,
"textWidth": 5.269
},
{
"text": "avoiding ",
"font": "serif",
"width": 7.914,
"textWidth": 7.369
},
{
"text": "the ",
"font": "serif",
"width": 3.138,
"textWidth": 2.593
},
{
"text": "high ",
"font": "serif",
"width": 4.307,
"textWidth": 3.759
},
{
"text": "notification ",
"font": "serif",
"width": 9.965,
"textWidth": 9.419
},
{
"text": "latency ",
"font": "serif",
"width": 6.486,
"textWidth": 5.941
},
{
"text": "that ",
"font": "serif",
"width": 3.789,
"textWidth": 3.241
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.118,
"textWidth": 10.118
}
]
},
{
"left": 16.431,
"top": 68.644,
"width": 71.664,
"height": 1.296,
"words": [
{
"text": "push ",
"font": "serif",
"width": 4.469,
"textWidth": 4.01
},
{
"text": "entails. ",
"font": "serif",
"width": 6.274,
"textWidth": 5.702
},
{
"text": "Future ",
"font": "serif",
"width": 5.8,
"textWidth": 5.341
},
{
"text": "hardware ",
"font": "serif",
"width": 8.188,
"textWidth": 7.729
},
{
"text": "with ",
"font": "serif",
"width": 4.147,
"textWidth": 3.688
},
{
"text": "lower-latency ",
"font": "serif",
"width": 11.414,
"textWidth": 10.955
},
{
"text": "cross-GPU ",
"font": "serif",
"width": 8.973,
"textWidth": 8.514
},
{
"text": "signaling ",
"font": "serif",
"width": 7.849,
"textWidth": 7.39
},
{
"text": "would ",
"font": "serif",
"width": 5.695,
"textWidth": 5.234
},
{
"text": "make ",
"font": "serif",
"width": 4.846,
"textWidth": 4.387
},
{
"text": "push ",
"font": "serif",
"width": 4.01,
"textWidth": 4.01
}
]
},
{
"left": 16.435,
"top": 70.253,
"width": 45.892,
"height": 1.296,
"words": [
{
"text": "viable ",
"font": "serif",
"width": 5.368,
"textWidth": 4.91
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "enable ",
"font": "serif",
"width": 5.743,
"textWidth": 5.285
},
{
"text": "more ",
"font": "serif",
"width": 4.646,
"textWidth": 4.188
},
{
"text": "natural ",
"font": "serif",
"width": 6.317,
"textWidth": 5.859
},
{
"text": "communication ",
"font": "serif",
"width": 13.142,
"textWidth": 12.684
},
{
"text": "patterns. ",
"font": "serif",
"width": 7.116,
"textWidth": 7.116
}
]
},
{
"left": 16.415,
"top": 71.842,
"width": 16.936,
"height": 1.296,
"words": [
{
"text": "Activation ",
"font": "serif-bold",
"width": 9.126,
"textWidth": 8.667
},
{
"text": "Function. ",
"font": "serif-bold",
"width": 7.811,
"textWidth": 7.811
}
]
},
{
"left": 33.924,
"top": 71.862,
"width": 54.476,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.975,
"textWidth": 2.515
},
{
"text": "propose ",
"font": "serif",
"width": 6.943,
"textWidth": 6.482
},
{
"text": "replacing ",
"font": "serif",
"width": 7.936,
"textWidth": 7.475
},
{
"text": "SwiGLU ",
"font": "serif",
"width": 7.357,
"textWidth": 6.898
},
{
"text": "with ",
"font": "serif",
"width": 4.149,
"textWidth": 3.688
},
{
"text": "a ",
"font": "serif",
"width": 1.366,
"textWidth": 0.907
},
{
"text": "low-cost ",
"font": "serif",
"width": 7.252,
"textWidth": 6.793
},
{
"text": "element-wise ",
"font": "serif",
"width": 11.129,
"textWidth": 10.668
},
{
"text": "activa- ",
"font": "serif",
"width": 5.368,
"textWidth": 5.368
}
]
},
{
"left": 16.486,
"top": 73.472,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "tion ",
"font": "serif",
"width": 3.75,
"textWidth": 3.262
},
{
"text": "that ",
"font": "serif",
"width": 3.729,
"textWidth": 3.241
},
{
"text": "involves ",
"font": "serif",
"width": 7.485,
"textWidth": 6.997
},
{
"text": "no ",
"font": "serif",
"width": 2.595,
"textWidth": 2.109
},
{
"text": "exponential ",
"font": "serif",
"width": 10.195,
"textWidth": 9.707
},
{
"text": "or ",
"font": "serif",
"width": 2.247,
"textWidth": 1.759
},
{
"text": "division ",
"font": "serif",
"width": 7.219,
"textWidth": 6.731
},
{
"text": "operations. ",
"font": "serif",
"width": 9.89,
"textWidth": 9.234
},
{
"text": "This ",
"font": "serif",
"width": 4.058,
"textWidth": 3.57
},
{
"text": "lightens ",
"font": "serif",
"width": 7.088,
"textWidth": 6.6
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.593
},
{
"text": "post-GEMM ",
"font": "serif",
"width": 10.273,
"textWidth": 10.273
}
]
},
{
"left": 16.431,
"top": 75.081,
"width": 71.663,
"height": 1.296,
"words": [
{
"text": "processing ",
"font": "serif",
"width": 9.161,
"textWidth": 8.701
},
{
"text": "directly, ",
"font": "serif",
"width": 6.932,
"textWidth": 6.472
},
{
"text": "and ",
"font": "serif",
"width": 3.579,
"textWidth": 3.118
},
{
"text": "under ",
"font": "serif",
"width": 5.376,
"textWidth": 4.918
},
{
"text": "the ",
"font": "serif",
"width": 3.015,
"textWidth": 2.555
},
{
"text": "same ",
"font": "serif",
"width": 4.671,
"textWidth": 4.21
},
{
"text": "parameter ",
"font": "serif",
"width": 8.853,
"textWidth": 8.395
},
{
"text": "budget, ",
"font": "serif",
"width": 6.682,
"textWidth": 6.222
},
{
"text": "removing ",
"font": "serif",
"width": 8.341,
"textWidth": 7.881
},
{
"text": "the ",
"font": "serif",
"width": 3.015,
"textWidth": 2.555
},
{
"text": "gate ",
"font": "serif",
"width": 3.886,
"textWidth": 3.428
},
{
"text": "projection ",
"font": "serif",
"width": 8.152,
"textWidth": 8.152
}
]
},
{
"left": 16.486,
"top": 76.69,
"width": 29.608,
"height": 1.296,
"words": [
{
"text": "enlarges ",
"font": "serif",
"width": 7.217,
"textWidth": 6.759
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.798,
"textWidth": 10.34
},
{
"text": "dimension ",
"font": "serif",
"width": 8.593,
"textWidth": 8.593
}
]
},
{
"left": 48.459,
"top": 76.69,
"width": 36.042,
"height": 1.296,
"words": [
{
"text": "further ",
"font": "serif",
"width": 6.163,
"textWidth": 5.705
},
{
"text": "relaxing ",
"font": "serif",
"width": 7.041,
"textWidth": 6.583
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "bandwidth ",
"font": "serif",
"width": 9.42,
"textWidth": 8.961
},
{
"text": "requirement. ",
"font": "serif",
"width": 10.418,
"textWidth": 10.418
}
]
},
{
"left": 11.905,
"top": 80.602,
"width": 51.681,
"height": 1.296,
"words": [
{
"text": "3.2. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Flexible ",
"font": "serif-bold",
"width": 7.177,
"textWidth": 6.718
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "Efficient ",
"font": "serif-bold",
"width": 7.448,
"textWidth": 6.99
},
{
"text": "Kernel ",
"font": "serif-bold",
"width": 6.159,
"textWidth": 5.701
},
{
"text": "Development ",
"font": "serif-bold",
"width": 11.861,
"textWidth": 11.403
},
{
"text": "with ",
"font": "serif-bold",
"width": 4.325,
"textWidth": 3.867
},
{
"text": "TileLang ",
"font": "serif-bold",
"width": 7.433,
"textWidth": 7.433
}
]
},
{
"left": 11.905,
"top": 83.274,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.153,
"textWidth": 1.694
},
{
"text": "practice, ",
"font": "serif",
"width": 7.338,
"textWidth": 6.877
},
{
"text": "our ",
"font": "serif",
"width": 3.306,
"textWidth": 2.847
},
{
"text": "elaborate ",
"font": "serif",
"width": 7.961,
"textWidth": 7.502
},
{
"text": "model ",
"font": "serif",
"width": 5.641,
"textWidth": 5.181
},
{
"text": "architecture ",
"font": "serif",
"width": 10.097,
"textWidth": 9.638
},
{
"text": "would ",
"font": "serif",
"width": 5.778,
"textWidth": 5.319
},
{
"text": "have ",
"font": "serif",
"width": 4.38,
"textWidth": 3.92
},
{
"text": "resulted ",
"font": "serif",
"width": 7.078,
"textWidth": 6.619
},
{
"text": "in ",
"font": "serif",
"width": 2.069,
"textWidth": 1.609
},
{
"text": "hundreds ",
"font": "serif",
"width": 8.331,
"textWidth": 7.87
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.621
},
{
"text": "fine-grained ",
"font": "serif",
"width": 9.979,
"textWidth": 9.979
}
]
},
{
"left": 11.848,
"top": 84.883,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "Torch ",
"font": "serif",
"width": 5.044,
"textWidth": 4.587
},
{
"text": "ATen ",
"font": "serif",
"width": 4.704,
"textWidth": 4.248
},
{
"text": "operators. ",
"font": "serif",
"width": 8.851,
"textWidth": 8.283
},
{
"text": "We ",
"font": "serif",
"width": 3.033,
"textWidth": 2.577
},
{
"text": "adopt ",
"font": "serif",
"width": 5.252,
"textWidth": 4.797
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.639,
"textWidth": 7.183
},
{
"text": "(Wang ",
"font": "serif",
"width": 5.803,
"textWidth": 5.347
},
{
"text": "et ",
"font": "serif",
"width": 1.951,
"textWidth": 1.494
},
{
"text": "al., ",
"font": "serif",
"width": 2.851,
"textWidth": 2.397
},
{
"text": "2026) ",
"font": "serif",
"width": 4.788,
"textWidth": 4.331
},
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "develop ",
"font": "serif",
"width": 7.088,
"textWidth": 6.631
},
{
"text": "a ",
"font": "serif",
"width": 1.385,
"textWidth": 0.928
},
{
"text": "set ",
"font": "serif",
"width": 2.736,
"textWidth": 2.282
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.632
},
{
"text": "fused ",
"font": "serif",
"width": 5.005,
"textWidth": 4.548
},
{
"text": "kernels ",
"font": "serif",
"width": 5.952,
"textWidth": 5.952
}
]
},
{
"left": 11.905,
"top": 86.493,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.144,
"textWidth": 1.63
},
{
"text": "replace ",
"font": "serif",
"width": 6.443,
"textWidth": 5.929
},
{
"text": "the ",
"font": "serif",
"width": 3.109,
"textWidth": 2.593
},
{
"text": "vast ",
"font": "serif",
"width": 3.907,
"textWidth": 3.393
},
{
"text": "majority ",
"font": "serif",
"width": 7.49,
"textWidth": 6.974
},
{
"text": "of ",
"font": "serif",
"width": 2.157,
"textWidth": 1.643
},
{
"text": "them, ",
"font": "serif",
"width": 5.24,
"textWidth": 4.711
},
{
"text": "delivering ",
"font": "serif",
"width": 9.002,
"textWidth": 8.486
},
{
"text": "optimal ",
"font": "serif",
"width": 6.941,
"textWidth": 6.427
},
{
"text": "performance ",
"font": "serif",
"width": 11.053,
"textWidth": 10.537
},
{
"text": "with ",
"font": "serif",
"width": 4.314,
"textWidth": 3.8
},
{
"text": "minimal ",
"font": "serif",
"width": 7.471,
"textWidth": 6.956
},
{
"text": "effort. ",
"font": "serif",
"width": 5.681,
"textWidth": 4.94
},
{
"text": "It ",
"font": "serif",
"width": 1.239,
"textWidth": 1.239
}
]
},
{
"left": 14.549,
"top": 88.952,
"width": 0.552,
"height": 0.781,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.552,
"textWidth": 0.552
}
]
},
{
"left": 15.185,
"top": 88.988,
"width": 41.837,
"height": 1.172,
"words": [
{
"text": "https://github.com/deepseek-ai/DeepGEMM/pull/304 ",
"font": "mono",
"width": 41.837,
"textWidth": 41.837
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "16 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"17": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "also ",
"font": "serif",
"width": 3.735,
"textWidth": 3.276
},
{
"text": "allows ",
"font": "serif",
"width": 5.826,
"textWidth": 5.366
},
{
"text": "us ",
"font": "serif",
"width": 2.368,
"textWidth": 1.91
},
{
"text": "to ",
"font": "serif",
"width": 2.081,
"textWidth": 1.622
},
{
"text": "quickly ",
"font": "serif",
"width": 6.598,
"textWidth": 6.14
},
{
"text": "prototype ",
"font": "serif",
"width": 8.566,
"textWidth": 8.108
},
{
"text": "operators ",
"font": "serif",
"width": 8.294,
"textWidth": 7.835
},
{
"text": "like ",
"font": "serif",
"width": 3.465,
"textWidth": 3.008
},
{
"text": "attention ",
"font": "serif",
"width": 7.822,
"textWidth": 7.362
},
{
"text": "variants ",
"font": "serif",
"width": 7.122,
"textWidth": 6.663
},
{
"text": "during ",
"font": "serif",
"width": 6.109,
"textWidth": 5.651
},
{
"text": "validation. ",
"font": "serif",
"width": 9.41,
"textWidth": 8.841
},
{
"text": "These ",
"font": "serif",
"width": 4.793,
"textWidth": 4.793
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.263,
"height": 1.296,
"words": [
{
"text": "kernels ",
"font": "serif",
"width": 6.167,
"textWidth": 5.758
},
{
"text": "play ",
"font": "serif",
"width": 3.906,
"textWidth": 3.499
},
{
"text": "critical ",
"font": "serif",
"width": 5.765,
"textWidth": 5.356
},
{
"text": "roles ",
"font": "serif",
"width": 4.212,
"textWidth": 3.802
},
{
"text": "in ",
"font": "serif",
"width": 1.976,
"textWidth": 1.568
},
{
"text": "model ",
"font": "serif",
"width": 5.456,
"textWidth": 5.047
},
{
"text": "architecture ",
"font": "serif",
"width": 9.797,
"textWidth": 9.387
},
{
"text": "development, ",
"font": "serif",
"width": 11.359,
"textWidth": 10.941
},
{
"text": "large-scale ",
"font": "serif",
"width": 8.815,
"textWidth": 8.406
},
{
"text": "training, ",
"font": "serif",
"width": 7.195,
"textWidth": 6.776
},
{
"text": "and ",
"font": "serif",
"width": 3.45,
"textWidth": 3.041
},
{
"text": "ultimately ",
"font": "serif",
"width": 8.164,
"textWidth": 8.164
}
]
},
{
"left": 11.85,
"top": 13.691,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "production ",
"font": "serif",
"width": 9.489,
"textWidth": 9.029
},
{
"text": "deployment ",
"font": "serif",
"width": 10.27,
"textWidth": 9.81
},
{
"text": "of ",
"font": "serif",
"width": 2.071,
"textWidth": 1.611
},
{
"text": "inference ",
"font": "serif",
"width": 7.873,
"textWidth": 7.415
},
{
"text": "services. ",
"font": "serif",
"width": 7.446,
"textWidth": 6.874
},
{
"text": "As ",
"font": "serif",
"width": 2.663,
"textWidth": 2.203
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "Domain-Specific ",
"font": "serif",
"width": 13.834,
"textWidth": 13.374
},
{
"text": "Language ",
"font": "serif",
"width": 8.498,
"textWidth": 8.04
},
{
"text": "(DSL), ",
"font": "serif",
"width": 5.639,
"textWidth": 5.179
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.089,
"textWidth": 7.089
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "balances ",
"font": "serif",
"width": 7.321,
"textWidth": 6.866
},
{
"text": "development ",
"font": "serif",
"width": 11.084,
"textWidth": 10.631
},
{
"text": "productivity ",
"font": "serif",
"width": 10.531,
"textWidth": 10.076
},
{
"text": "with ",
"font": "serif",
"width": 4.155,
"textWidth": 3.7
},
{
"text": "runtime ",
"font": "serif",
"width": 6.915,
"textWidth": 6.462
},
{
"text": "efficiency, ",
"font": "serif",
"width": 8.342,
"textWidth": 7.887
},
{
"text": "enabling ",
"font": "serif",
"width": 7.43,
"textWidth": 6.977
},
{
"text": "rapid ",
"font": "serif",
"width": 4.819,
"textWidth": 4.364
},
{
"text": "development ",
"font": "serif",
"width": 11.086,
"textWidth": 10.631
},
{
"text": "while ",
"font": "serif",
"width": 4.508,
"textWidth": 4.508
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "supporting ",
"font": "serif",
"width": 9.718,
"textWidth": 9.206
},
{
"text": "deep, ",
"font": "serif",
"width": 5.049,
"textWidth": 4.524
},
{
"text": "iterative ",
"font": "serif",
"width": 7.337,
"textWidth": 6.825
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.928,
"textWidth": 11.416
},
{
"text": "within ",
"font": "serif",
"width": 5.944,
"textWidth": 5.432
},
{
"text": "the ",
"font": "serif",
"width": 3.103,
"textWidth": 2.591
},
{
"text": "same ",
"font": "serif",
"width": 4.785,
"textWidth": 4.273
},
{
"text": "codebase. ",
"font": "serif",
"width": 8.741,
"textWidth": 8.012
},
{
"text": "Additionally, ",
"font": "serif",
"width": 11.395,
"textWidth": 10.87
},
{
"text": "we ",
"font": "serif",
"width": 2.965,
"textWidth": 2.454
},
{
"text": "collab- ",
"font": "serif",
"width": 5.529,
"textWidth": 5.529
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "orate ",
"font": "serif",
"width": 4.696,
"textWidth": 4.198
},
{
"text": "closely ",
"font": "serif",
"width": 6.163,
"textWidth": 5.666
},
{
"text": "with ",
"font": "serif",
"width": 4.297,
"textWidth": 3.8
},
{
"text": "the ",
"font": "serif",
"width": 3.09,
"textWidth": 2.593
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.729,
"textWidth": 7.232
},
{
"text": "community ",
"font": "serif",
"width": 10.057,
"textWidth": 9.559
},
{
"text": "to ",
"font": "serif",
"width": 2.125,
"textWidth": 1.63
},
{
"text": "foster ",
"font": "serif",
"width": 5.176,
"textWidth": 4.679
},
{
"text": "a ",
"font": "serif",
"width": 1.432,
"textWidth": 0.935
},
{
"text": "more ",
"font": "serif",
"width": 4.77,
"textWidth": 4.273
},
{
"text": "agile, ",
"font": "serif",
"width": 4.931,
"textWidth": 4.425
},
{
"text": "efficient, ",
"font": "serif",
"width": 7.556,
"textWidth": 7.049
},
{
"text": "and ",
"font": "serif",
"width": 3.662,
"textWidth": 3.165
},
{
"text": "stable ",
"font": "serif",
"width": 5.307,
"textWidth": 4.81
},
{
"text": "kernel ",
"font": "serif",
"width": 5.2,
"textWidth": 5.2
}
]
},
{
"left": 11.905,
"top": 20.129,
"width": 19.369,
"height": 1.296,
"words": [
{
"text": "development ",
"font": "serif",
"width": 11.164,
"textWidth": 10.706
},
{
"text": "workflow. ",
"font": "serif",
"width": 8.205,
"textWidth": 8.205
}
]
},
{
"left": 11.905,
"top": 24.335,
"width": 44.683,
"height": 1.296,
"words": [
{
"text": "Reducing ",
"font": "serif-bold",
"width": 8.78,
"textWidth": 8.202
},
{
"text": "Invocation ",
"font": "serif-bold",
"width": 9.716,
"textWidth": 9.139
},
{
"text": "Overhead ",
"font": "serif-bold",
"width": 8.989,
"textWidth": 8.412
},
{
"text": "with ",
"font": "serif-bold",
"width": 4.522,
"textWidth": 3.944
},
{
"text": "Host ",
"font": "serif-bold",
"width": 4.626,
"textWidth": 4.049
},
{
"text": "Codegen. ",
"font": "serif-bold",
"width": 8.049,
"textWidth": 8.049
}
]
},
{
"left": 58.41,
"top": 24.355,
"width": 29.686,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.824,
"textWidth": 2.247
},
{
"text": "accelerators ",
"font": "serif",
"width": 10.339,
"textWidth": 9.761
},
{
"text": "continue ",
"font": "serif",
"width": 7.78,
"textWidth": 7.202
},
{
"text": "to ",
"font": "serif",
"width": 2.208,
"textWidth": 1.63
},
{
"text": "grow ",
"font": "serif",
"width": 4.903,
"textWidth": 4.325
},
{
"text": "in ",
"font": "serif",
"width": 1.632,
"textWidth": 1.632
}
]
},
{
"left": 11.85,
"top": 25.965,
"width": 76.475,
"height": 1.296,
"words": [
{
"text": "performance, ",
"font": "serif",
"width": 11.595,
"textWidth": 11.004
},
{
"text": "CPU-side ",
"font": "serif",
"width": 8.47,
"textWidth": 7.905
},
{
"text": "orchestration ",
"font": "serif",
"width": 11.442,
"textWidth": 10.877
},
{
"text": "overhead ",
"font": "serif",
"width": 8.301,
"textWidth": 7.737
},
{
"text": "becomes ",
"font": "serif",
"width": 7.683,
"textWidth": 7.118
},
{
"text": "increasingly ",
"font": "serif",
"width": 10.608,
"textWidth": 10.044
},
{
"text": "prominent. ",
"font": "serif",
"width": 10.081,
"textWidth": 9.193
},
{
"text": "For ",
"font": "serif",
"width": 3.363,
"textWidth": 2.798
},
{
"text": "small, ",
"font": "serif",
"width": 4.933,
"textWidth": 4.933
}
]
},
{
"left": 11.905,
"top": 27.574,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "highly ",
"font": "serif",
"width": 5.753,
"textWidth": 5.295
},
{
"text": "optimized ",
"font": "serif",
"width": 8.849,
"textWidth": 8.389
},
{
"text": "kernels, ",
"font": "serif",
"width": 6.861,
"textWidth": 6.403
},
{
"text": "such ",
"font": "serif",
"width": 4.261,
"textWidth": 3.804
},
{
"text": "fixed ",
"font": "serif",
"width": 4.556,
"textWidth": 4.096
},
{
"text": "host ",
"font": "serif",
"width": 3.937,
"textWidth": 3.48
},
{
"text": "overhead ",
"font": "serif",
"width": 8.128,
"textWidth": 7.669
},
{
"text": "can ",
"font": "serif",
"width": 3.285,
"textWidth": 2.827
},
{
"text": "easily ",
"font": "serif",
"width": 5.166,
"textWidth": 4.708
},
{
"text": "cap ",
"font": "serif",
"width": 3.322,
"textWidth": 2.863
},
{
"text": "utilization ",
"font": "serif",
"width": 8.882,
"textWidth": 8.425
},
{
"text": "and ",
"font": "serif",
"width": 3.594,
"textWidth": 3.137
},
{
"text": "throughput. ",
"font": "serif",
"width": 9.918,
"textWidth": 9.918
}
]
},
{
"left": 11.833,
"top": 29.184,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "A ",
"font": "serif",
"width": 1.927,
"textWidth": 1.454
},
{
"text": "common ",
"font": "serif",
"width": 7.731,
"textWidth": 7.26
},
{
"text": "source ",
"font": "serif",
"width": 5.843,
"textWidth": 5.372
},
{
"text": "of ",
"font": "serif",
"width": 2.116,
"textWidth": 1.643
},
{
"text": "this ",
"font": "serif",
"width": 3.505,
"textWidth": 3.034
},
{
"text": "overhead ",
"font": "serif",
"width": 8.21,
"textWidth": 7.739
},
{
"text": "is ",
"font": "serif",
"width": 1.809,
"textWidth": 1.337
},
{
"text": "that ",
"font": "serif",
"width": 3.714,
"textWidth": 3.241
},
{
"text": "host-side ",
"font": "serif",
"width": 7.978,
"textWidth": 7.507
},
{
"text": "logic, ",
"font": "serif",
"width": 4.922,
"textWidth": 4.445
},
{
"text": "such ",
"font": "serif",
"width": 4.309,
"textWidth": 3.838
},
{
"text": "as ",
"font": "serif",
"width": 2.2,
"textWidth": 1.727
},
{
"text": "runtime ",
"font": "serif",
"width": 7.111,
"textWidth": 6.638
},
{
"text": "contract ",
"font": "serif",
"width": 7.131,
"textWidth": 6.66
},
{
"text": "checks, ",
"font": "serif",
"width": 6.419,
"textWidth": 5.942
},
{
"text": "is ",
"font": "serif",
"width": 1.337,
"textWidth": 1.337
}
]
},
{
"left": 11.905,
"top": 30.793,
"width": 68.109,
"height": 1.296,
"words": [
{
"text": "typically ",
"font": "serif",
"width": 7.525,
"textWidth": 7.067
},
{
"text": "written ",
"font": "serif",
"width": 6.383,
"textWidth": 5.925
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Python ",
"font": "serif",
"width": 6.315,
"textWidth": 5.857
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "flexibility ",
"font": "serif",
"width": 8.159,
"textWidth": 7.701
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "thus ",
"font": "serif",
"width": 4.004,
"textWidth": 3.546
},
{
"text": "incurs ",
"font": "serif",
"width": 5.478,
"textWidth": 5.02
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "fixed ",
"font": "serif",
"width": 4.51,
"textWidth": 4.052
},
{
"text": "per-invocation ",
"font": "serif",
"width": 12.302,
"textWidth": 11.844
},
{
"text": "cost. ",
"font": "serif",
"width": 3.647,
"textWidth": 3.647
}
]
},
{
"left": 14.75,
"top": 33.207,
"width": 25.878,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.067,
"textWidth": 2.596
},
{
"text": "mitigate ",
"font": "serif",
"width": 7.298,
"textWidth": 6.827
},
{
"text": "this ",
"font": "serif",
"width": 3.505,
"textWidth": 3.034
},
{
"text": "overhead ",
"font": "serif",
"width": 8.208,
"textWidth": 7.737
},
{
"text": "with ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 41.099,
"top": 33.18,
"width": 10.545,
"height": 1.296,
"words": [
{
"text": "Host ",
"font": "serif-italic",
"width": 4.105,
"textWidth": 3.634
},
{
"text": "Codegen ",
"font": "serif-italic",
"width": 6.44,
"textWidth": 6.44
}
]
},
{
"left": 52.586,
"top": 33.207,
"width": 35.813,
"height": 1.296,
"words": [
{
"text": "which ",
"font": "serif",
"width": 5.58,
"textWidth": 5.109
},
{
"text": "moves ",
"font": "serif",
"width": 5.884,
"textWidth": 5.413
},
{
"text": "most ",
"font": "serif",
"width": 4.544,
"textWidth": 4.073
},
{
"text": "host-side ",
"font": "serif",
"width": 7.978,
"textWidth": 7.507
},
{
"text": "logic ",
"font": "serif",
"width": 4.449,
"textWidth": 3.978
},
{
"text": "into ",
"font": "serif",
"width": 3.733,
"textWidth": 3.262
},
{
"text": "gen- ",
"font": "serif",
"width": 3.645,
"textWidth": 3.645
}
]
},
{
"left": 11.905,
"top": 34.816,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "erated ",
"font": "serif",
"width": 5.789,
"textWidth": 5.215
},
{
"text": "host ",
"font": "serif",
"width": 4.084,
"textWidth": 3.51
},
{
"text": "code. ",
"font": "serif",
"width": 5.271,
"textWidth": 4.355
},
{
"text": "Specifically, ",
"font": "serif",
"width": 10.262,
"textWidth": 9.66
},
{
"text": "we ",
"font": "serif",
"width": 3.028,
"textWidth": 2.454
},
{
"text": "first ",
"font": "serif",
"width": 3.845,
"textWidth": 3.271
},
{
"text": "co-generate ",
"font": "serif",
"width": 10.143,
"textWidth": 9.569
},
{
"text": "the ",
"font": "serif",
"width": 3.167,
"textWidth": 2.593
},
{
"text": "device ",
"font": "serif",
"width": 5.937,
"textWidth": 5.363
},
{
"text": "kernel ",
"font": "serif",
"width": 5.774,
"textWidth": 5.2
},
{
"text": "and ",
"font": "serif",
"width": 3.739,
"textWidth": 3.165
},
{
"text": "a ",
"font": "serif",
"width": 1.508,
"textWidth": 0.935
},
{
"text": "lightweight ",
"font": "serif",
"width": 10.133,
"textWidth": 9.559
},
{
"text": "host ",
"font": "serif",
"width": 3.51,
"textWidth": 3.51
}
]
},
{
"left": 11.905,
"top": 36.426,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "launcher ",
"font": "serif",
"width": 7.331,
"textWidth": 6.961
},
{
"text": "at ",
"font": "serif",
"width": 1.853,
"textWidth": 1.483
},
{
"text": "the ",
"font": "serif",
"width": 2.859,
"textWidth": 2.491
},
{
"text": "IR ",
"font": "serif",
"width": 2.175,
"textWidth": 1.805
},
{
"text": "(Intermediate ",
"font": "serif",
"width": 11.183,
"textWidth": 10.813
},
{
"text": "Representation) ",
"font": "serif",
"width": 12.927,
"textWidth": 12.557
},
{
"text": "level, ",
"font": "serif",
"width": 4.617,
"textWidth": 4.229
},
{
"text": "embedding ",
"font": "serif",
"width": 9.431,
"textWidth": 9.061
},
{
"text": "the ",
"font": "serif",
"width": 2.861,
"textWidth": 2.491
},
{
"text": "necessary ",
"font": "serif",
"width": 8.06,
"textWidth": 7.692
},
{
"text": "metadata-such ",
"font": "serif",
"width": 12.891,
"textWidth": 12.891
}
]
},
{
"left": 11.905,
"top": 38.035,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "as ",
"font": "serif",
"width": 2.215,
"textWidth": 1.727
},
{
"text": "data ",
"font": "serif",
"width": 4.109,
"textWidth": 3.621
},
{
"text": "types, ",
"font": "serif",
"width": 5.423,
"textWidth": 4.927
},
{
"text": "rank/shape ",
"font": "serif",
"width": 10.255,
"textWidth": 9.767
},
{
"text": "constraints, ",
"font": "serif",
"width": 10.01,
"textWidth": 9.515
},
{
"text": "and ",
"font": "serif",
"width": 3.651,
"textWidth": 3.165
},
{
"text": "stride/layout ",
"font": "serif",
"width": 11.617,
"textWidth": 11.13
},
{
"text": "assumptions-parsed ",
"font": "serif",
"width": 18.459,
"textWidth": 17.971
},
{
"text": "from ",
"font": "serif",
"width": 4.486,
"textWidth": 4.0
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.593
},
{
"text": "lan- ",
"font": "serif",
"width": 3.189,
"textWidth": 3.189
}
]
},
{
"left": 11.905,
"top": 39.645,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "guage ",
"font": "serif",
"width": 5.714,
"textWidth": 5.036
},
{
"text": "frontend. ",
"font": "serif",
"width": 8.87,
"textWidth": 7.64
},
{
"text": "The ",
"font": "serif",
"width": 3.808,
"textWidth": 3.129
},
{
"text": "launcher ",
"font": "serif",
"width": 7.924,
"textWidth": 7.245
},
{
"text": "is ",
"font": "serif",
"width": 2.017,
"textWidth": 1.337
},
{
"text": "then ",
"font": "serif",
"width": 4.359,
"textWidth": 3.681
},
{
"text": "lowered ",
"font": "serif",
"width": 7.44,
"textWidth": 6.761
},
{
"text": "to ",
"font": "serif",
"width": 2.31,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.271,
"textWidth": 2.593
},
{
"text": "host ",
"font": "serif",
"width": 4.189,
"textWidth": 3.51
},
{
"text": "source ",
"font": "serif",
"width": 6.051,
"textWidth": 5.37
},
{
"text": "code ",
"font": "serif",
"width": 4.567,
"textWidth": 3.888
},
{
"text": "built ",
"font": "serif",
"width": 4.537,
"textWidth": 3.858
},
{
"text": "on ",
"font": "serif",
"width": 2.787,
"textWidth": 2.109
},
{
"text": "top ",
"font": "serif",
"width": 3.432,
"textWidth": 2.753
},
{
"text": "of ",
"font": "serif",
"width": 2.323,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.848,
"top": 41.254,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "TVM-FFI ",
"font": "serif",
"width": 7.714,
"textWidth": 7.297
},
{
"text": "(Chen ",
"font": "serif",
"width": 5.241,
"textWidth": 4.822
},
{
"text": "et ",
"font": "serif",
"width": 1.862,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.737,
"textWidth": 2.319
},
{
"text": "2018) ",
"font": "serif",
"width": 4.607,
"textWidth": 4.19
},
{
"text": "framework, ",
"font": "serif",
"width": 9.713,
"textWidth": 9.287
},
{
"text": "whose ",
"font": "serif",
"width": 5.564,
"textWidth": 5.145
},
{
"text": "compact ",
"font": "serif",
"width": 7.141,
"textWidth": 6.724
},
{
"text": "calling ",
"font": "serif",
"width": 5.724,
"textWidth": 5.307
},
{
"text": "convention ",
"font": "serif",
"width": 9.296,
"textWidth": 8.877
},
{
"text": "and ",
"font": "serif",
"width": 3.457,
"textWidth": 3.041
},
{
"text": "zero-copy ",
"font": "serif",
"width": 8.287,
"textWidth": 7.87
},
{
"text": "tensor ",
"font": "serif",
"width": 4.942,
"textWidth": 4.942
}
]
},
{
"left": 11.905,
"top": 42.863,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "interop ",
"font": "serif",
"width": 6.375,
"textWidth": 5.915
},
{
"text": "together ",
"font": "serif",
"width": 7.275,
"textWidth": 6.815
},
{
"text": "minimize ",
"font": "serif",
"width": 8.219,
"textWidth": 7.759
},
{
"text": "host-side ",
"font": "serif",
"width": 7.879,
"textWidth": 7.419
},
{
"text": "overhead. ",
"font": "serif",
"width": 8.68,
"textWidth": 8.108
},
{
"text": "At ",
"font": "serif",
"width": 2.499,
"textWidth": 2.039
},
{
"text": "runtime, ",
"font": "serif",
"width": 7.481,
"textWidth": 7.021
},
{
"text": "this ",
"font": "serif",
"width": 3.458,
"textWidth": 2.998
},
{
"text": "generated ",
"font": "serif",
"width": 8.601,
"textWidth": 8.141
},
{
"text": "host ",
"font": "serif",
"width": 3.929,
"textWidth": 3.469
},
{
"text": "code ",
"font": "serif",
"width": 4.302,
"textWidth": 3.842
},
{
"text": "performs ",
"font": "serif",
"width": 7.493,
"textWidth": 7.493
}
]
},
{
"left": 11.853,
"top": 44.473,
"width": 76.547,
"height": 1.296,
"words": [
{
"text": "validation ",
"font": "serif",
"width": 8.794,
"textWidth": 8.335
},
{
"text": "and ",
"font": "serif",
"width": 3.595,
"textWidth": 3.134
},
{
"text": "argument ",
"font": "serif",
"width": 8.429,
"textWidth": 7.97
},
{
"text": "marshaling, ",
"font": "serif",
"width": 10.186,
"textWidth": 9.725
},
{
"text": "shifting ",
"font": "serif",
"width": 6.726,
"textWidth": 6.265
},
{
"text": "all ",
"font": "serif",
"width": 2.462,
"textWidth": 2.003
},
{
"text": "per-invocation ",
"font": "serif",
"width": 12.449,
"textWidth": 11.99
},
{
"text": "checks ",
"font": "serif",
"width": 5.882,
"textWidth": 5.421
},
{
"text": "out ",
"font": "serif",
"width": 3.189,
"textWidth": 2.73
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.627
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.567
},
{
"text": "Python ",
"font": "serif",
"width": 6.376,
"textWidth": 5.916
},
{
"text": "exe- ",
"font": "serif",
"width": 3.345,
"textWidth": 3.345
}
]
},
{
"left": 11.905,
"top": 46.082,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "cution ",
"font": "serif",
"width": 5.686,
"textWidth": 5.219
},
{
"text": "path. ",
"font": "serif",
"width": 4.815,
"textWidth": 4.223
},
{
"text": "Our ",
"font": "serif",
"width": 3.802,
"textWidth": 3.335
},
{
"text": "measurements ",
"font": "serif",
"width": 12.504,
"textWidth": 12.036
},
{
"text": "show ",
"font": "serif",
"width": 4.926,
"textWidth": 4.46
},
{
"text": "that ",
"font": "serif",
"width": 3.709,
"textWidth": 3.241
},
{
"text": "CPU-side ",
"font": "serif",
"width": 8.371,
"textWidth": 7.905
},
{
"text": "validation ",
"font": "serif",
"width": 8.885,
"textWidth": 8.417
},
{
"text": "overhead ",
"font": "serif",
"width": 8.204,
"textWidth": 7.737
},
{
"text": "drops ",
"font": "serif",
"width": 5.251,
"textWidth": 4.783
},
{
"text": "from ",
"font": "serif",
"width": 4.466,
"textWidth": 3.998
},
{
"text": "tens ",
"font": "serif",
"width": 3.851,
"textWidth": 3.385
},
{
"text": "or ",
"font": "serif",
"width": 1.759,
"textWidth": 1.759
}
]
},
{
"left": 11.905,
"top": 47.691,
"width": 57.839,
"height": 1.296,
"words": [
{
"text": "hundreds ",
"font": "serif",
"width": 8.282,
"textWidth": 7.823
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "microseconds ",
"font": "serif",
"width": 11.547,
"textWidth": 11.089
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "less ",
"font": "serif",
"width": 3.423,
"textWidth": 2.965
},
{
"text": "than ",
"font": "serif",
"width": 4.105,
"textWidth": 3.647
},
{
"text": "one ",
"font": "serif",
"width": 3.403,
"textWidth": 2.945
},
{
"text": "microsecond ",
"font": "serif",
"width": 10.77,
"textWidth": 10.312
},
{
"text": "per ",
"font": "serif",
"width": 3.161,
"textWidth": 2.703
},
{
"text": "invocation. ",
"font": "serif",
"width": 9.022,
"textWidth": 9.022
}
]
},
{
"left": 11.905,
"top": 51.897,
"width": 40.154,
"height": 1.296,
"words": [
{
"text": "SMT-Solver-Assisted ",
"font": "serif-bold",
"width": 18.734,
"textWidth": 18.072
},
{
"text": "Formal ",
"font": "serif-bold",
"width": 6.688,
"textWidth": 6.025
},
{
"text": "Integer ",
"font": "serif-bold",
"width": 6.789,
"textWidth": 6.127
},
{
"text": "Analysis. ",
"font": "serif-bold",
"width": 7.943,
"textWidth": 7.943
}
]
},
{
"left": 53.881,
"top": 51.918,
"width": 34.251,
"height": 1.296,
"words": [
{
"text": "TileLang ",
"font": "serif",
"width": 7.894,
"textWidth": 7.232
},
{
"text": "kernels ",
"font": "serif",
"width": 6.656,
"textWidth": 5.993
},
{
"text": "involve ",
"font": "serif",
"width": 6.866,
"textWidth": 6.204
},
{
"text": "complex ",
"font": "serif",
"width": 7.69,
"textWidth": 7.028
},
{
"text": "tensor ",
"font": "serif",
"width": 5.144,
"textWidth": 5.144
}
]
},
{
"left": 11.905,
"top": 53.528,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "index ",
"font": "serif",
"width": 5.043,
"textWidth": 4.584
},
{
"text": "arithmetic ",
"font": "serif",
"width": 8.813,
"textWidth": 8.352
},
{
"text": "that ",
"font": "serif",
"width": 3.665,
"textWidth": 3.206
},
{
"text": "requires ",
"font": "serif",
"width": 7.097,
"textWidth": 6.638
},
{
"text": "strong ",
"font": "serif",
"width": 5.658,
"textWidth": 5.2
},
{
"text": "formal ",
"font": "serif",
"width": 5.91,
"textWidth": 5.451
},
{
"text": "integer ",
"font": "serif",
"width": 6.206,
"textWidth": 5.747
},
{
"text": "analysis. ",
"font": "serif",
"width": 7.631,
"textWidth": 7.06
},
{
"text": "During ",
"font": "serif",
"width": 6.378,
"textWidth": 5.919
},
{
"text": "compilation ",
"font": "serif",
"width": 10.263,
"textWidth": 9.802
},
{
"text": "passes ",
"font": "serif",
"width": 5.732,
"textWidth": 5.274
},
{
"text": "such ",
"font": "serif",
"width": 3.796,
"textWidth": 3.796
}
]
},
{
"left": 11.905,
"top": 55.137,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "as ",
"font": "serif",
"width": 2.198,
"textWidth": 1.727
},
{
"text": "layout ",
"font": "serif",
"width": 5.746,
"textWidth": 5.275
},
{
"text": "inference, ",
"font": "serif",
"width": 8.507,
"textWidth": 8.032
},
{
"text": "memory ",
"font": "serif",
"width": 7.466,
"textWidth": 6.995
},
{
"text": "hazard ",
"font": "serif",
"width": 6.21,
"textWidth": 5.739
},
{
"text": "detection, ",
"font": "serif",
"width": 8.576,
"textWidth": 8.101
},
{
"text": "and ",
"font": "serif",
"width": 3.636,
"textWidth": 3.165
},
{
"text": "bound ",
"font": "serif",
"width": 5.884,
"textWidth": 5.412
},
{
"text": "analysis, ",
"font": "serif",
"width": 7.61,
"textWidth": 7.135
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "compiler ",
"font": "serif",
"width": 7.817,
"textWidth": 7.346
},
{
"text": "must ",
"font": "serif",
"width": 4.651,
"textWidth": 4.18
},
{
"text": "verify ",
"font": "serif",
"width": 4.896,
"textWidth": 4.896
}
]
},
{
"left": 11.828,
"top": 56.746,
"width": 76.573,
"height": 1.296,
"words": [
{
"text": "whether ",
"font": "serif",
"width": 7.346,
"textWidth": 6.873
},
{
"text": "integer ",
"font": "serif",
"width": 6.281,
"textWidth": 5.808
},
{
"text": "expressions ",
"font": "serif",
"width": 10.087,
"textWidth": 9.614
},
{
"text": "satisfy ",
"font": "serif",
"width": 5.808,
"textWidth": 5.335
},
{
"text": "specific ",
"font": "serif",
"width": 6.617,
"textWidth": 6.146
},
{
"text": "properties ",
"font": "serif",
"width": 8.92,
"textWidth": 8.447
},
{
"text": "to ",
"font": "serif",
"width": 2.103,
"textWidth": 1.63
},
{
"text": "enable ",
"font": "serif",
"width": 5.862,
"textWidth": 5.391
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.5,
"textWidth": 12.027
},
{
"text": "optimiza- ",
"font": "serif",
"width": 7.984,
"textWidth": 7.984
}
]
},
{
"left": 11.905,
"top": 58.356,
"width": 76.239,
"height": 1.296,
"words": [
{
"text": "tions. ",
"font": "serif",
"width": 5.015,
"textWidth": 4.442
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.75,
"textWidth": 8.291
},
{
"text": "stronger ",
"font": "serif",
"width": 7.226,
"textWidth": 6.767
},
{
"text": "formal ",
"font": "serif",
"width": 5.872,
"textWidth": 5.413
},
{
"text": "analysis ",
"font": "serif",
"width": 7.013,
"textWidth": 6.552
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.624,
"textWidth": 9.165
},
{
"text": "can ",
"font": "serif",
"width": 3.261,
"textWidth": 2.802
},
{
"text": "unlock ",
"font": "serif",
"width": 6.008,
"textWidth": 5.549
},
{
"text": "more ",
"font": "serif",
"width": 4.655,
"textWidth": 4.196
},
{
"text": "advanced ",
"font": "serif",
"width": 8.342,
"textWidth": 7.881
},
{
"text": "and ",
"font": "serif",
"width": 3.568,
"textWidth": 3.109
},
{
"text": "complex ",
"font": "serif",
"width": 6.904,
"textWidth": 6.904
}
]
},
{
"left": 11.905,
"top": 59.965,
"width": 22.347,
"height": 1.296,
"words": [
{
"text": "optimization ",
"font": "serif",
"width": 10.873,
"textWidth": 10.415
},
{
"text": "opportunities. ",
"font": "serif",
"width": 11.474,
"textWidth": 11.474
}
]
},
{
"left": 14.75,
"top": 62.379,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.453,
"textWidth": 1.994
},
{
"text": "this ",
"font": "serif",
"width": 3.487,
"textWidth": 3.028
},
{
"text": "end, ",
"font": "serif",
"width": 4.046,
"textWidth": 3.586
},
{
"text": "we ",
"font": "serif",
"width": 2.908,
"textWidth": 2.45
},
{
"text": "integrate ",
"font": "serif",
"width": 7.8,
"textWidth": 7.339
},
{
"text": "the ",
"font": "serif",
"width": 3.047,
"textWidth": 2.588
},
{
"text": "Z3 ",
"font": "serif",
"width": 2.638,
"textWidth": 2.177
},
{
"text": "SMT ",
"font": "serif",
"width": 4.347,
"textWidth": 3.888
},
{
"text": "solver ",
"font": "serif",
"width": 5.496,
"textWidth": 5.037
},
{
"text": "(De ",
"font": "serif",
"width": 3.42,
"textWidth": 2.959
},
{
"text": "Moura ",
"font": "serif",
"width": 6.037,
"textWidth": 5.578
},
{
"text": "and ",
"font": "serif",
"width": 3.619,
"textWidth": 3.158
},
{
"text": "Bjørner, ",
"font": "serif",
"width": 6.992,
"textWidth": 6.531
},
{
"text": "2008) ",
"font": "serif",
"width": 4.811,
"textWidth": 4.352
},
{
"text": "into ",
"font": "serif",
"width": 3.716,
"textWidth": 3.255
},
{
"text": "TileLang’s ",
"font": "serif",
"width": 8.528,
"textWidth": 8.528
}
]
},
{
"left": 11.905,
"top": 63.989,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "algebraic ",
"font": "serif",
"width": 7.971,
"textWidth": 7.494
},
{
"text": "system, ",
"font": "serif",
"width": 6.729,
"textWidth": 6.247
},
{
"text": "providing ",
"font": "serif",
"width": 8.739,
"textWidth": 8.262
},
{
"text": "formal ",
"font": "serif",
"width": 5.989,
"textWidth": 5.511
},
{
"text": "analysis ",
"font": "serif",
"width": 7.146,
"textWidth": 6.67
},
{
"text": "capability ",
"font": "serif",
"width": 8.614,
"textWidth": 8.137
},
{
"text": "for ",
"font": "serif",
"width": 2.858,
"textWidth": 2.381
},
{
"text": "most ",
"font": "serif",
"width": 4.55,
"textWidth": 4.073
},
{
"text": "integer ",
"font": "serif",
"width": 6.288,
"textWidth": 5.81
},
{
"text": "expressions ",
"font": "serif",
"width": 10.09,
"textWidth": 9.614
},
{
"text": "in ",
"font": "serif",
"width": 2.109,
"textWidth": 1.632
},
{
"text": "tensor ",
"font": "serif",
"width": 5.144,
"textWidth": 5.144
}
]
},
{
"left": 11.85,
"top": 65.598,
"width": 76.317,
"height": 1.296,
"words": [
{
"text": "programs. ",
"font": "serif",
"width": 8.874,
"textWidth": 8.305
},
{
"text": "We ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "strike ",
"font": "serif",
"width": 4.985,
"textWidth": 4.528
},
{
"text": "a ",
"font": "serif",
"width": 1.373,
"textWidth": 0.916
},
{
"text": "balance ",
"font": "serif",
"width": 6.594,
"textWidth": 6.137
},
{
"text": "between ",
"font": "serif",
"width": 7.296,
"textWidth": 6.839
},
{
"text": "computational ",
"font": "serif",
"width": 12.257,
"textWidth": 11.8
},
{
"text": "overhead ",
"font": "serif",
"width": 8.043,
"textWidth": 7.585
},
{
"text": "and ",
"font": "serif",
"width": 3.559,
"textWidth": 3.103
},
{
"text": "formal ",
"font": "serif",
"width": 5.859,
"textWidth": 5.403
},
{
"text": "expressiveness ",
"font": "serif",
"width": 12.449,
"textWidth": 11.993
},
{
"text": "by ",
"font": "serif",
"width": 2.032,
"textWidth": 2.032
}
]
},
{
"left": 11.905,
"top": 67.207,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "translating ",
"font": "serif",
"width": 9.115,
"textWidth": 8.66
},
{
"text": "TileLang’s ",
"font": "serif",
"width": 8.745,
"textWidth": 8.289
},
{
"text": "integer ",
"font": "serif",
"width": 6.094,
"textWidth": 5.639
},
{
"text": "expressions ",
"font": "serif",
"width": 9.786,
"textWidth": 9.331
},
{
"text": "into ",
"font": "serif",
"width": 3.621,
"textWidth": 3.166
},
{
"text": "Z3’s ",
"font": "serif",
"width": 3.846,
"textWidth": 3.391
},
{
"text": "quantifier-free ",
"font": "serif",
"width": 11.927,
"textWidth": 11.472
},
{
"text": "non-linear ",
"font": "serif",
"width": 8.767,
"textWidth": 8.311
},
{
"text": "integer ",
"font": "serif",
"width": 6.094,
"textWidth": 5.639
},
{
"text": "arithmetic ",
"font": "serif",
"width": 8.195,
"textWidth": 8.195
}
]
},
{
"left": 11.844,
"top": 68.817,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "(QF_NIA). ",
"font": "serif",
"width": 9.247,
"textWidth": 8.793
},
{
"text": "Based ",
"font": "serif",
"width": 5.363,
"textWidth": 4.907
},
{
"text": "on ",
"font": "serif",
"width": 2.563,
"textWidth": 2.109
},
{
"text": "Integer ",
"font": "serif",
"width": 6.35,
"textWidth": 5.896
},
{
"text": "Linear ",
"font": "serif",
"width": 5.798,
"textWidth": 5.342
},
{
"text": "Programming ",
"font": "serif",
"width": 11.993,
"textWidth": 11.539
},
{
"text": "(ILP) ",
"font": "serif",
"width": 4.6,
"textWidth": 4.146
},
{
"text": "solvers, ",
"font": "serif",
"width": 6.763,
"textWidth": 6.307
},
{
"text": "QF_NIA ",
"font": "serif",
"width": 7.535,
"textWidth": 7.081
},
{
"text": "seamlessly ",
"font": "serif",
"width": 9.337,
"textWidth": 8.881
},
{
"text": "resolves ",
"font": "serif",
"width": 6.701,
"textWidth": 6.701
}
]
},
{
"left": 11.905,
"top": 70.426,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "standard ",
"font": "serif",
"width": 7.828,
"textWidth": 7.348
},
{
"text": "linear ",
"font": "serif",
"width": 5.225,
"textWidth": 4.744
},
{
"text": "integer ",
"font": "serif",
"width": 6.29,
"textWidth": 5.81
},
{
"text": "expressions ",
"font": "serif",
"width": 10.094,
"textWidth": 9.614
},
{
"text": "common ",
"font": "serif",
"width": 7.741,
"textWidth": 7.26
},
{
"text": "in ",
"font": "serif",
"width": 2.112,
"textWidth": 1.632
},
{
"text": "kernels. ",
"font": "serif",
"width": 7.094,
"textWidth": 6.46
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.46,
"textWidth": 10.974
},
{
"text": "its ",
"font": "serif",
"width": 2.426,
"textWidth": 1.946
},
{
"text": "inherent ",
"font": "serif",
"width": 7.393,
"textWidth": 6.913
},
{
"text": "non-linear ",
"font": "serif",
"width": 8.563,
"textWidth": 8.563
}
]
},
{
"left": 11.905,
"top": 72.035,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "reasoning ",
"font": "serif",
"width": 8.52,
"textWidth": 8.059
},
{
"text": "capacity ",
"font": "serif",
"width": 7.264,
"textWidth": 6.805
},
{
"text": "effectively ",
"font": "serif",
"width": 8.931,
"textWidth": 8.47
},
{
"text": "addresses ",
"font": "serif",
"width": 8.503,
"textWidth": 8.044
},
{
"text": "advanced ",
"font": "serif",
"width": 8.437,
"textWidth": 7.976
},
{
"text": "challenges ",
"font": "serif",
"width": 9.059,
"textWidth": 8.6
},
{
"text": "like ",
"font": "serif",
"width": 3.466,
"textWidth": 3.005
},
{
"text": "vectorization ",
"font": "serif",
"width": 11.22,
"textWidth": 10.761
},
{
"text": "over ",
"font": "serif",
"width": 4.15,
"textWidth": 3.689
},
{
"text": "variable ",
"font": "serif",
"width": 6.641,
"textWidth": 6.641
}
]
},
{
"left": 11.905,
"top": 73.645,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tensor ",
"font": "serif",
"width": 5.481,
"textWidth": 5.023
},
{
"text": "shapes. ",
"font": "serif",
"width": 6.52,
"textWidth": 5.95
},
{
"text": "Under ",
"font": "serif",
"width": 5.651,
"textWidth": 5.193
},
{
"text": "reasonable ",
"font": "serif",
"width": 9.094,
"textWidth": 8.635
},
{
"text": "resource ",
"font": "serif",
"width": 7.265,
"textWidth": 6.806
},
{
"text": "limits, ",
"font": "serif",
"width": 5.489,
"textWidth": 5.03
},
{
"text": "Z3 ",
"font": "serif",
"width": 2.588,
"textWidth": 2.13
},
{
"text": "elevates ",
"font": "serif",
"width": 6.927,
"textWidth": 6.467
},
{
"text": "overall ",
"font": "serif",
"width": 6.056,
"textWidth": 5.598
},
{
"text": "optimization ",
"font": "serif",
"width": 10.831,
"textWidth": 10.373
},
{
"text": "performance ",
"font": "serif",
"width": 10.289,
"textWidth": 10.289
}
]
},
{
"left": 11.828,
"top": 75.254,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "while ",
"font": "serif",
"width": 5.157,
"textWidth": 4.63
},
{
"text": "restricting ",
"font": "serif",
"width": 8.922,
"textWidth": 8.395
},
{
"text": "compilation ",
"font": "serif",
"width": 10.434,
"textWidth": 9.909
},
{
"text": "time ",
"font": "serif",
"width": 4.226,
"textWidth": 3.699
},
{
"text": "overhead ",
"font": "serif",
"width": 8.264,
"textWidth": 7.737
},
{
"text": "to ",
"font": "serif",
"width": 2.157,
"textWidth": 1.63
},
{
"text": "just ",
"font": "serif",
"width": 3.494,
"textWidth": 2.967
},
{
"text": "a ",
"font": "serif",
"width": 1.46,
"textWidth": 0.935
},
{
"text": "few ",
"font": "serif",
"width": 3.604,
"textWidth": 3.077
},
{
"text": "seconds. ",
"font": "serif",
"width": 7.802,
"textWidth": 7.028
},
{
"text": "The ",
"font": "serif",
"width": 3.654,
"textWidth": 3.129
},
{
"text": "impact ",
"font": "serif",
"width": 6.219,
"textWidth": 5.692
},
{
"text": "is ",
"font": "serif",
"width": 1.864,
"textWidth": 1.337
},
{
"text": "substantial ",
"font": "serif",
"width": 9.01,
"textWidth": 9.01
}
]
},
{
"left": 11.905,
"top": 76.864,
"width": 72.198,
"height": 1.296,
"words": [
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "multiple ",
"font": "serif",
"width": 7.358,
"textWidth": 6.9
},
{
"text": "passes, ",
"font": "serif",
"width": 6.143,
"textWidth": 5.685
},
{
"text": "including ",
"font": "serif",
"width": 8.249,
"textWidth": 7.79
},
{
"text": "vectorization, ",
"font": "serif",
"width": 11.529,
"textWidth": 11.071
},
{
"text": "barrier ",
"font": "serif",
"width": 5.971,
"textWidth": 5.512
},
{
"text": "insertion, ",
"font": "serif",
"width": 8.093,
"textWidth": 7.635
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "code ",
"font": "serif",
"width": 4.27,
"textWidth": 3.812
},
{
"text": "simplification. ",
"font": "serif",
"width": 11.591,
"textWidth": 11.591
}
]
},
{
"left": 11.905,
"top": 81.07,
"width": 41.285,
"height": 1.296,
"words": [
{
"text": "Numerical ",
"font": "serif-bold",
"width": 9.263,
"textWidth": 8.802
},
{
"text": "Precision ",
"font": "serif-bold",
"width": 8.15,
"textWidth": 7.689
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.598,
"textWidth": 3.137
},
{
"text": "Bitwise ",
"font": "serif-bold",
"width": 6.735,
"textWidth": 6.272
},
{
"text": "Reproducibility. ",
"font": "serif-bold",
"width": 13.54,
"textWidth": 13.54
}
]
},
{
"left": 55.011,
"top": 81.09,
"width": 33.388,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.135,
"textWidth": 1.674
},
{
"text": "production ",
"font": "serif",
"width": 9.436,
"textWidth": 8.975
},
{
"text": "settings, ",
"font": "serif",
"width": 7.126,
"textWidth": 6.663
},
{
"text": "numerical ",
"font": "serif",
"width": 8.6,
"textWidth": 8.139
},
{
"text": "correct- ",
"font": "serif",
"width": 6.091,
"textWidth": 6.091
}
]
},
{
"left": 11.905,
"top": 82.7,
"width": 76.263,
"height": 1.296,
"words": [
{
"text": "ness ",
"font": "serif",
"width": 3.985,
"textWidth": 3.53
},
{
"text": "and ",
"font": "serif",
"width": 3.585,
"textWidth": 3.131
},
{
"text": "reproducibility ",
"font": "serif",
"width": 12.729,
"textWidth": 12.273
},
{
"text": "are ",
"font": "serif",
"width": 2.962,
"textWidth": 2.507
},
{
"text": "as ",
"font": "serif",
"width": 2.163,
"textWidth": 1.709
},
{
"text": "critical ",
"font": "serif",
"width": 5.969,
"textWidth": 5.514
},
{
"text": "as ",
"font": "serif",
"width": 2.163,
"textWidth": 1.709
},
{
"text": "raw ",
"font": "serif",
"width": 3.652,
"textWidth": 3.197
},
{
"text": "throughput. ",
"font": "serif",
"width": 10.464,
"textWidth": 9.896
},
{
"text": "We ",
"font": "serif",
"width": 3.021,
"textWidth": 2.567
},
{
"text": "therefore ",
"font": "serif",
"width": 7.812,
"textWidth": 7.356
},
{
"text": "prioritize ",
"font": "serif",
"width": 8.064,
"textWidth": 7.607
},
{
"text": "accuracy ",
"font": "serif",
"width": 7.641,
"textWidth": 7.186
},
{
"text": "by ",
"font": "serif",
"width": 2.051,
"textWidth": 2.051
}
]
},
{
"left": 11.905,
"top": 84.309,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "default: ",
"font": "serif",
"width": 6.835,
"textWidth": 6.268
},
{
"text": "fast-math ",
"font": "serif",
"width": 8.222,
"textWidth": 7.766
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.736,
"textWidth": 11.279
},
{
"text": "are ",
"font": "serif",
"width": 2.961,
"textWidth": 2.505
},
{
"text": "disabled ",
"font": "serif",
"width": 7.4,
"textWidth": 6.946
},
{
"text": "at ",
"font": "serif",
"width": 1.982,
"textWidth": 1.526
},
{
"text": "the ",
"font": "serif",
"width": 3.017,
"textWidth": 2.562
},
{
"text": "compiler ",
"font": "serif",
"width": 7.716,
"textWidth": 7.26
},
{
"text": "level, ",
"font": "serif",
"width": 4.807,
"textWidth": 4.35
},
{
"text": "and ",
"font": "serif",
"width": 3.582,
"textWidth": 3.127
},
{
"text": "precision-affecting ",
"font": "serif",
"width": 15.589,
"textWidth": 15.133
},
{
"text": "ap- ",
"font": "serif",
"width": 2.647,
"textWidth": 2.647
}
]
},
{
"left": 11.85,
"top": 85.919,
"width": 59.831,
"height": 1.296,
"words": [
{
"text": "proximations ",
"font": "serif",
"width": 11.185,
"textWidth": 10.727
},
{
"text": "are ",
"font": "serif",
"width": 2.93,
"textWidth": 2.473
},
{
"text": "provided ",
"font": "serif",
"width": 7.899,
"textWidth": 7.441
},
{
"text": "only ",
"font": "serif",
"width": 4.059,
"textWidth": 3.601
},
{
"text": "as ",
"font": "serif",
"width": 2.143,
"textWidth": 1.685
},
{
"text": "explicit, ",
"font": "serif",
"width": 6.82,
"textWidth": 6.362
},
{
"text": "opt-in ",
"font": "serif",
"width": 5.343,
"textWidth": 4.885
},
{
"text": "frontend ",
"font": "serif",
"width": 7.452,
"textWidth": 6.995
},
{
"text": "operators ",
"font": "serif",
"width": 8.138,
"textWidth": 7.68
},
{
"text": "(e.g., ",
"font": "serif",
"width": 3.862,
"textWidth": 3.862
}
]
},
{
"left": 72.138,
"top": 85.74,
"width": 15.73,
"height": 1.425,
"words": [
{
"text": "T.__exp ",
"font": "mono",
"width": 8.322,
"textWidth": 7.408
},
{
"text": "T.__log ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 11.905,
"top": 87.528,
"width": 3.165,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 15.626,
"top": 87.349,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": "T.__sin ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 24.988,
"top": 87.528,
"width": 63.108,
"height": 1.296,
"words": [
{
"text": "Conversely, ",
"font": "serif",
"width": 10.24,
"textWidth": 9.658
},
{
"text": "when ",
"font": "serif",
"width": 5.185,
"textWidth": 4.63
},
{
"text": "strict ",
"font": "serif",
"width": 4.681,
"textWidth": 4.124
},
{
"text": "IEEE-754 ",
"font": "serif",
"width": 8.04,
"textWidth": 7.483
},
{
"text": "semantics ",
"font": "serif",
"width": 8.692,
"textWidth": 8.135
},
{
"text": "are ",
"font": "serif",
"width": 3.092,
"textWidth": 2.537
},
{
"text": "required, ",
"font": "serif",
"width": 8.111,
"textWidth": 7.529
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.787,
"textWidth": 7.232
},
{
"text": "provides ",
"font": "serif",
"width": 7.281,
"textWidth": 7.281
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "17 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"18": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 50.229,
"height": 1.296,
"words": [
{
"text": "IEEE-compliant ",
"font": "serif",
"width": 13.43,
"textWidth": 12.972
},
{
"text": "intrinsics ",
"font": "serif",
"width": 8.001,
"textWidth": 7.541
},
{
"text": "with ",
"font": "serif",
"width": 4.243,
"textWidth": 3.785
},
{
"text": "explicit ",
"font": "serif",
"width": 6.491,
"textWidth": 6.031
},
{
"text": "rounding ",
"font": "serif",
"width": 8.181,
"textWidth": 7.723
},
{
"text": "modes ",
"font": "serif",
"width": 5.94,
"textWidth": 5.48
},
{
"text": "(e.g., ",
"font": "serif",
"width": 3.944,
"textWidth": 3.944
}
]
},
{
"left": 62.592,
"top": 10.294,
"width": 25.266,
"height": 1.425,
"words": [
{
"text": "T.ieee_fsqrt ",
"font": "mono",
"width": 13.625,
"textWidth": 12.7
},
{
"text": "T.ieee_fdiv ",
"font": "mono",
"width": 11.642,
"textWidth": 11.642
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 3.103,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 15.465,
"top": 11.903,
"width": 10.583,
"height": 1.425,
"words": [
{
"text": "T.ieee_add ",
"font": "mono",
"width": 10.583,
"textWidth": 10.583
}
]
},
{
"left": 27.575,
"top": 12.082,
"width": 48.933,
"height": 1.296,
"words": [
{
"text": "enabling ",
"font": "serif",
"width": 7.484,
"textWidth": 7.026
},
{
"text": "developers ",
"font": "serif",
"width": 9.383,
"textWidth": 8.925
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "precisely ",
"font": "serif",
"width": 7.682,
"textWidth": 7.224
},
{
"text": "specify ",
"font": "serif",
"width": 6.191,
"textWidth": 5.732
},
{
"text": "numerical ",
"font": "serif",
"width": 8.646,
"textWidth": 8.188
},
{
"text": "behavior. ",
"font": "serif",
"width": 7.49,
"textWidth": 7.49
}
]
},
{
"left": 14.75,
"top": 14.496,
"width": 73.417,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.097,
"textWidth": 2.596
},
{
"text": "also ",
"font": "serif",
"width": 3.793,
"textWidth": 3.292
},
{
"text": "target ",
"font": "serif",
"width": 5.294,
"textWidth": 4.793
},
{
"text": "bitwise ",
"font": "serif",
"width": 6.479,
"textWidth": 5.978
},
{
"text": "reproducibility ",
"font": "serif",
"width": 12.909,
"textWidth": 12.408
},
{
"text": "for ",
"font": "serif",
"width": 2.882,
"textWidth": 2.381
},
{
"text": "validating ",
"font": "serif",
"width": 8.937,
"textWidth": 8.436
},
{
"text": "kernels ",
"font": "serif",
"width": 6.494,
"textWidth": 5.993
},
{
"text": "against ",
"font": "serif",
"width": 6.443,
"textWidth": 5.942
},
{
"text": "hand-written ",
"font": "serif",
"width": 11.407,
"textWidth": 10.907
},
{
"text": "CUDA ",
"font": "serif",
"width": 5.681,
"textWidth": 5.681
}
]
},
{
"left": 11.905,
"top": 16.105,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "baselines. ",
"font": "serif",
"width": 8.829,
"textWidth": 7.987
},
{
"text": "We ",
"font": "serif",
"width": 3.144,
"textWidth": 2.596
},
{
"text": "align ",
"font": "serif",
"width": 4.699,
"textWidth": 4.15
},
{
"text": "TileLang’s ",
"font": "serif",
"width": 9.094,
"textWidth": 8.544
},
{
"text": "algebraic ",
"font": "serif",
"width": 8.043,
"textWidth": 7.494
},
{
"text": "simplification ",
"font": "serif",
"width": 11.903,
"textWidth": 11.356
},
{
"text": "and ",
"font": "serif",
"width": 3.714,
"textWidth": 3.165
},
{
"text": "lowering ",
"font": "serif",
"width": 7.978,
"textWidth": 7.428
},
{
"text": "rules ",
"font": "serif",
"width": 4.632,
"textWidth": 4.082
},
{
"text": "with ",
"font": "serif",
"width": 4.348,
"textWidth": 3.8
},
{
"text": "mainstream ",
"font": "serif",
"width": 9.806,
"textWidth": 9.806
}
]
},
{
"left": 11.905,
"top": 17.715,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "CUDA ",
"font": "serif",
"width": 6.163,
"textWidth": 5.681
},
{
"text": "toolchains ",
"font": "serif",
"width": 8.956,
"textWidth": 8.472
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.449,
"textWidth": 3.959
},
{
"text": "NVCC) ",
"font": "serif",
"width": 6.658,
"textWidth": 6.176
},
{
"text": "to ",
"font": "serif",
"width": 2.114,
"textWidth": 1.63
},
{
"text": "avoid ",
"font": "serif",
"width": 5.18,
"textWidth": 4.697
},
{
"text": "transformations ",
"font": "serif",
"width": 13.668,
"textWidth": 13.184
},
{
"text": "that ",
"font": "serif",
"width": 3.724,
"textWidth": 3.241
},
{
"text": "introduce ",
"font": "serif",
"width": 8.445,
"textWidth": 7.961
},
{
"text": "unintended ",
"font": "serif",
"width": 10.102,
"textWidth": 9.619
},
{
"text": "bit-level ",
"font": "serif",
"width": 6.732,
"textWidth": 6.732
}
]
},
{
"left": 11.905,
"top": 19.324,
"width": 30.456,
"height": 1.296,
"words": [
{
"text": "differences. ",
"font": "serif",
"width": 10.016,
"textWidth": 9.447
},
{
"text": "Layout ",
"font": "serif",
"width": 6.319,
"textWidth": 5.862
},
{
"text": "annotations ",
"font": "serif",
"width": 10.169,
"textWidth": 9.71
},
{
"text": "(e.g., ",
"font": "serif",
"width": 3.951,
"textWidth": 3.951
}
]
},
{
"left": 42.818,
"top": 19.145,
"width": 17.992,
"height": 1.425,
"words": [
{
"text": "T.annotate_layout ",
"font": "mono",
"width": 17.992,
"textWidth": 17.992
}
]
},
{
"left": 61.89,
"top": 19.324,
"width": 26.204,
"height": 1.296,
"words": [
{
"text": "further ",
"font": "serif",
"width": 6.265,
"textWidth": 5.806
},
{
"text": "allow ",
"font": "serif",
"width": 5.052,
"textWidth": 4.593
},
{
"text": "users ",
"font": "serif",
"width": 4.795,
"textWidth": 4.338
},
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "pin ",
"font": "serif",
"width": 3.207,
"textWidth": 2.75
},
{
"text": "down ",
"font": "serif",
"width": 4.8,
"textWidth": 4.8
}
]
},
{
"left": 11.905,
"top": 20.933,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "layout-dependent ",
"font": "serif",
"width": 15.164,
"textWidth": 14.704
},
{
"text": "lowering ",
"font": "serif",
"width": 7.85,
"textWidth": 7.392
},
{
"text": "decisions, ",
"font": "serif",
"width": 8.536,
"textWidth": 8.077
},
{
"text": "keeping ",
"font": "serif",
"width": 7.052,
"textWidth": 6.592
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.17,
"textWidth": 8.711
},
{
"text": "and ",
"font": "serif",
"width": 3.609,
"textWidth": 3.149
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.642,
"textWidth": 11.185
},
{
"text": "order ",
"font": "serif",
"width": 4.939,
"textWidth": 4.481
},
{
"text": "consistent ",
"font": "serif",
"width": 8.229,
"textWidth": 8.229
}
]
},
{
"left": 11.828,
"top": 22.543,
"width": 76.583,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.118,
"textWidth": 3.659
},
{
"text": "the ",
"font": "serif",
"width": 2.953,
"textWidth": 2.496
},
{
"text": "reference ",
"font": "serif",
"width": 7.708,
"textWidth": 7.249
},
{
"text": "CUDA ",
"font": "serif",
"width": 5.928,
"textWidth": 5.469
},
{
"text": "implementation ",
"font": "serif",
"width": 13.162,
"textWidth": 12.704
},
{
"text": "and ",
"font": "serif",
"width": 3.506,
"textWidth": 3.047
},
{
"text": "thus ",
"font": "serif",
"width": 3.939,
"textWidth": 3.482
},
{
"text": "enabling ",
"font": "serif",
"width": 7.359,
"textWidth": 6.9
},
{
"text": "bit-identical ",
"font": "serif",
"width": 10.028,
"textWidth": 9.57
},
{
"text": "outputs ",
"font": "serif",
"width": 6.63,
"textWidth": 6.171
},
{
"text": "when ",
"font": "serif",
"width": 4.915,
"textWidth": 4.458
},
{
"text": "desired. ",
"font": "serif",
"width": 6.338,
"textWidth": 6.338
}
]
},
{
"left": 14.75,
"top": 24.957,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.754,
"textWidth": 3.299
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.116,
"textWidth": 8.659
},
{
"text": "shows ",
"font": "serif",
"width": 5.651,
"textWidth": 5.196
},
{
"text": "that ",
"font": "serif",
"width": 3.661,
"textWidth": 3.206
},
{
"text": "these ",
"font": "serif",
"width": 4.691,
"textWidth": 4.234
},
{
"text": "accuracy- ",
"font": "serif",
"width": 8.256,
"textWidth": 7.8
},
{
"text": "and ",
"font": "serif",
"width": 3.585,
"textWidth": 3.131
},
{
"text": "reproducibility-oriented ",
"font": "serif",
"width": 20.203,
"textWidth": 19.747
},
{
"text": "design ",
"font": "serif",
"width": 5.897,
"textWidth": 5.442
},
{
"text": "choices ",
"font": "serif",
"width": 6.391,
"textWidth": 5.936
},
{
"text": "do ",
"font": "serif",
"width": 2.139,
"textWidth": 2.139
}
]
},
{
"left": 11.905,
"top": 26.566,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "not ",
"font": "serif",
"width": 3.169,
"textWidth": 2.715
},
{
"text": "sacrifice ",
"font": "serif",
"width": 7.143,
"textWidth": 6.689
},
{
"text": "performance: ",
"font": "serif",
"width": 11.559,
"textWidth": 10.994
},
{
"text": "under ",
"font": "serif",
"width": 5.44,
"textWidth": 4.986
},
{
"text": "conservative ",
"font": "serif",
"width": 10.904,
"textWidth": 10.45
},
{
"text": "defaults, ",
"font": "serif",
"width": 7.584,
"textWidth": 7.128
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.679,
"textWidth": 7.225
},
{
"text": "kernels ",
"font": "serif",
"width": 6.441,
"textWidth": 5.987
},
{
"text": "remain ",
"font": "serif",
"width": 6.265,
"textWidth": 5.811
},
{
"text": "competitive, ",
"font": "serif",
"width": 10.235,
"textWidth": 10.235
}
]
},
{
"left": 11.828,
"top": 28.176,
"width": 65.248,
"height": 1.296,
"words": [
{
"text": "while ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "exposing ",
"font": "serif",
"width": 7.779,
"textWidth": 7.321
},
{
"text": "knobs ",
"font": "serif",
"width": 5.335,
"textWidth": 4.877
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "selectively ",
"font": "serif",
"width": 8.934,
"textWidth": 8.476
},
{
"text": "relax ",
"font": "serif",
"width": 4.422,
"textWidth": 3.964
},
{
"text": "numerical ",
"font": "serif",
"width": 8.646,
"textWidth": 8.188
},
{
"text": "constraints ",
"font": "serif",
"width": 9.328,
"textWidth": 8.87
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "higher ",
"font": "serif",
"width": 5.745,
"textWidth": 5.287
},
{
"text": "speed. ",
"font": "serif",
"width": 5.212,
"textWidth": 5.212
}
]
},
{
"left": 11.905,
"top": 32.088,
"width": 62.349,
"height": 1.296,
"words": [
{
"text": "3.3. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "High-Performance ",
"font": "serif-bold",
"width": 15.933,
"textWidth": 15.475
},
{
"text": "Batch-Invariant ",
"font": "serif-bold",
"width": 13.488,
"textWidth": 13.03
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "Deterministic ",
"font": "serif-bold",
"width": 11.958,
"textWidth": 11.5
},
{
"text": "Kernel ",
"font": "serif-bold",
"width": 6.159,
"textWidth": 5.701
},
{
"text": "Libraries ",
"font": "serif-bold",
"width": 7.532,
"textWidth": 7.532
}
]
},
{
"left": 11.848,
"top": 34.76,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.383,
"textWidth": 1.924
},
{
"text": "enable ",
"font": "serif",
"width": 5.664,
"textWidth": 5.206
},
{
"text": "efficient ",
"font": "serif",
"width": 6.814,
"textWidth": 6.356
},
{
"text": "training ",
"font": "serif",
"width": 6.82,
"textWidth": 6.359
},
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "inference, ",
"font": "serif",
"width": 8.213,
"textWidth": 7.755
},
{
"text": "we ",
"font": "serif",
"width": 2.829,
"textWidth": 2.37
},
{
"text": "develop ",
"font": "serif",
"width": 6.908,
"textWidth": 6.448
},
{
"text": "a ",
"font": "serif",
"width": 1.361,
"textWidth": 0.903
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.611,
"textWidth": 12.152
},
{
"text": "set ",
"font": "serif",
"width": 2.677,
"textWidth": 2.218
},
{
"text": "of ",
"font": "serif",
"width": 2.045,
"textWidth": 1.587
},
{
"text": "high-performance ",
"font": "serif",
"width": 14.407,
"textWidth": 14.407
}
]
},
{
"left": 11.905,
"top": 36.369,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "computational ",
"font": "serif",
"width": 12.685,
"textWidth": 12.036
},
{
"text": "kernels. ",
"font": "serif",
"width": 7.599,
"textWidth": 6.46
},
{
"text": "Beyond ",
"font": "serif",
"width": 6.976,
"textWidth": 6.327
},
{
"text": "basic ",
"font": "serif",
"width": 4.783,
"textWidth": 4.135
},
{
"text": "functionalities ",
"font": "serif",
"width": 12.442,
"textWidth": 11.793
},
{
"text": "and ",
"font": "serif",
"width": 3.813,
"textWidth": 3.165
},
{
"text": "maximizing ",
"font": "serif",
"width": 10.543,
"textWidth": 9.894
},
{
"text": "hardware ",
"font": "serif",
"width": 8.612,
"textWidth": 7.963
},
{
"text": "utilization, ",
"font": "serif",
"width": 8.967,
"textWidth": 8.967
}
]
},
{
"left": 11.905,
"top": 37.978,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "another ",
"font": "serif",
"width": 6.719,
"textWidth": 6.262
},
{
"text": "pivotal ",
"font": "serif",
"width": 6.186,
"textWidth": 5.729
},
{
"text": "design ",
"font": "serif",
"width": 5.861,
"textWidth": 5.404
},
{
"text": "goal ",
"font": "serif",
"width": 3.933,
"textWidth": 3.476
},
{
"text": "is ",
"font": "serif",
"width": 1.77,
"textWidth": 1.313
},
{
"text": "to ",
"font": "serif",
"width": 2.057,
"textWidth": 1.601
},
{
"text": "ensure ",
"font": "serif",
"width": 5.863,
"textWidth": 5.406
},
{
"text": "training ",
"font": "serif",
"width": 6.926,
"textWidth": 6.469
},
{
"text": "reproducibility ",
"font": "serif",
"width": 12.645,
"textWidth": 12.187
},
{
"text": "and ",
"font": "serif",
"width": 3.566,
"textWidth": 3.109
},
{
"text": "bitwise ",
"font": "serif",
"width": 6.33,
"textWidth": 5.872
},
{
"text": "alignment ",
"font": "serif",
"width": 8.702,
"textWidth": 8.245
},
{
"text": "among ",
"font": "serif",
"width": 5.632,
"textWidth": 5.632
}
]
},
{
"left": 11.85,
"top": 39.588,
"width": 76.475,
"height": 1.296,
"words": [
{
"text": "pre-training, ",
"font": "serif",
"width": 11.188,
"textWidth": 10.399
},
{
"text": "post-training, ",
"font": "serif",
"width": 12.01,
"textWidth": 11.221
},
{
"text": "and ",
"font": "serif",
"width": 3.888,
"textWidth": 3.165
},
{
"text": "inference ",
"font": "serif",
"width": 8.286,
"textWidth": 7.563
},
{
"text": "pipelines. ",
"font": "serif",
"width": 9.38,
"textWidth": 8.017
},
{
"text": "Therefore, ",
"font": "serif",
"width": 9.229,
"textWidth": 8.44
},
{
"text": "we ",
"font": "serif",
"width": 3.178,
"textWidth": 2.454
},
{
"text": "implement ",
"font": "serif",
"width": 9.724,
"textWidth": 9.001
},
{
"text": "end-to-end, ",
"font": "serif",
"width": 9.593,
"textWidth": 9.593
}
]
},
{
"left": 11.905,
"top": 41.197,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "bitwise ",
"font": "serif",
"width": 6.314,
"textWidth": 5.855
},
{
"text": "batch-invariant, ",
"font": "serif",
"width": 13.312,
"textWidth": 12.852
},
{
"text": "and ",
"font": "serif",
"width": 3.559,
"textWidth": 3.1
},
{
"text": "deterministic ",
"font": "serif",
"width": 11.118,
"textWidth": 10.659
},
{
"text": "kernels ",
"font": "serif",
"width": 6.329,
"textWidth": 5.869
},
{
"text": "with ",
"font": "serif",
"width": 4.182,
"textWidth": 3.722
},
{
"text": "minimal ",
"font": "serif",
"width": 7.272,
"textWidth": 6.812
},
{
"text": "performance ",
"font": "serif",
"width": 10.78,
"textWidth": 10.32
},
{
"text": "overhead. ",
"font": "serif",
"width": 8.606,
"textWidth": 8.035
},
{
"text": "These ",
"font": "serif",
"width": 4.718,
"textWidth": 4.718
}
]
},
{
"left": 11.905,
"top": 42.807,
"width": 73.096,
"height": 1.296,
"words": [
{
"text": "kernels ",
"font": "serif",
"width": 6.334,
"textWidth": 5.875
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "helpful ",
"font": "serif",
"width": 6.286,
"textWidth": 5.828
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "debugging, ",
"font": "serif",
"width": 9.689,
"textWidth": 9.231
},
{
"text": "stability ",
"font": "serif",
"width": 6.979,
"textWidth": 6.52
},
{
"text": "analysis, ",
"font": "serif",
"width": 7.455,
"textWidth": 6.997
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "consistent ",
"font": "serif",
"width": 8.566,
"textWidth": 8.107
},
{
"text": "post-training ",
"font": "serif",
"width": 11.001,
"textWidth": 10.543
},
{
"text": "behavior. ",
"font": "serif",
"width": 7.49,
"textWidth": 7.49
}
]
},
{
"left": 11.905,
"top": 47.013,
"width": 14.163,
"height": 1.296,
"words": [
{
"text": "Batch ",
"font": "serif-bold",
"width": 5.034,
"textWidth": 4.589
},
{
"text": "Invariance. ",
"font": "serif-bold",
"width": 9.129,
"textWidth": 9.129
}
]
},
{
"left": 27.889,
"top": 47.033,
"width": 60.206,
"height": 1.296,
"words": [
{
"text": "Batch ",
"font": "serif",
"width": 4.869,
"textWidth": 4.423
},
{
"text": "invariance ",
"font": "serif",
"width": 8.759,
"textWidth": 8.313
},
{
"text": "ensures ",
"font": "serif",
"width": 6.492,
"textWidth": 6.047
},
{
"text": "that ",
"font": "serif",
"width": 3.56,
"textWidth": 3.114
},
{
"text": "the ",
"font": "serif",
"width": 2.935,
"textWidth": 2.491
},
{
"text": "output ",
"font": "serif",
"width": 5.842,
"textWidth": 5.397
},
{
"text": "of ",
"font": "serif",
"width": 2.024,
"textWidth": 1.579
},
{
"text": "any ",
"font": "serif",
"width": 3.387,
"textWidth": 2.942
},
{
"text": "given ",
"font": "serif",
"width": 4.885,
"textWidth": 4.441
},
{
"text": "token ",
"font": "serif",
"width": 4.916,
"textWidth": 4.47
},
{
"text": "remains ",
"font": "serif",
"width": 6.794,
"textWidth": 6.351
},
{
"text": "bitwise ",
"font": "serif",
"width": 5.743,
"textWidth": 5.743
}
]
},
{
"left": 11.905,
"top": 48.643,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "identical, ",
"font": "serif",
"width": 7.9,
"textWidth": 7.442
},
{
"text": "regardless ",
"font": "serif",
"width": 8.729,
"textWidth": 8.271
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.609
},
{
"text": "its ",
"font": "serif",
"width": 2.364,
"textWidth": 1.906
},
{
"text": "position ",
"font": "serif",
"width": 7.061,
"textWidth": 6.604
},
{
"text": "within ",
"font": "serif",
"width": 5.778,
"textWidth": 5.32
},
{
"text": "a ",
"font": "serif",
"width": 1.373,
"textWidth": 0.915
},
{
"text": "batch. ",
"font": "serif",
"width": 5.428,
"textWidth": 4.861
},
{
"text": "To ",
"font": "serif",
"width": 2.411,
"textWidth": 1.953
},
{
"text": "implement ",
"font": "serif",
"width": 9.273,
"textWidth": 8.815
},
{
"text": "batch ",
"font": "serif",
"width": 4.861,
"textWidth": 4.403
},
{
"text": "invariance, ",
"font": "serif",
"width": 9.39,
"textWidth": 8.932
},
{
"text": "the ",
"font": "serif",
"width": 2.999,
"textWidth": 2.539
},
{
"text": "primary ",
"font": "serif",
"width": 6.627,
"textWidth": 6.627
}
]
},
{
"left": 11.905,
"top": 50.252,
"width": 25.373,
"height": 1.296,
"words": [
{
"text": "challenges ",
"font": "serif",
"width": 8.939,
"textWidth": 8.481
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "listed ",
"font": "serif",
"width": 4.897,
"textWidth": 4.439
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "follows: ",
"font": "serif",
"width": 6.442,
"textWidth": 6.442
}
]
},
{
"left": 16.415,
"top": 52.645,
"width": 8.67,
"height": 1.296,
"words": [
{
"text": "Attention. ",
"font": "serif-bold",
"width": 8.67,
"textWidth": 8.67
}
]
},
{
"left": 25.769,
"top": 52.666,
"width": 62.555,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.495,
"textWidth": 1.998
},
{
"text": "achieve ",
"font": "serif",
"width": 6.741,
"textWidth": 6.243
},
{
"text": "batch ",
"font": "serif",
"width": 4.993,
"textWidth": 4.496
},
{
"text": "invariance, ",
"font": "serif",
"width": 9.627,
"textWidth": 9.12
},
{
"text": "we ",
"font": "serif",
"width": 2.952,
"textWidth": 2.454
},
{
"text": "cannot ",
"font": "serif",
"width": 6.068,
"textWidth": 5.57
},
{
"text": "use ",
"font": "serif",
"width": 3.312,
"textWidth": 2.815
},
{
"text": "the ",
"font": "serif",
"width": 3.09,
"textWidth": 2.593
},
{
"text": "split-KV ",
"font": "serif",
"width": 7.44,
"textWidth": 6.942
},
{
"text": "method ",
"font": "serif",
"width": 6.903,
"textWidth": 6.406
},
{
"text": "(Dao ",
"font": "serif",
"width": 4.522,
"textWidth": 4.025
},
{
"text": "et ",
"font": "serif",
"width": 2.0,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.413,
"textWidth": 2.413
}
]
},
{
"left": 16.486,
"top": 54.276,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "2023), ",
"font": "serif",
"width": 5.24,
"textWidth": 4.781
},
{
"text": "which ",
"font": "serif",
"width": 5.518,
"textWidth": 5.059
},
{
"text": "distributes ",
"font": "serif",
"width": 9.201,
"textWidth": 8.742
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.567
},
{
"text": "attention ",
"font": "serif",
"width": 7.785,
"textWidth": 7.326
},
{
"text": "computation ",
"font": "serif",
"width": 10.913,
"textWidth": 10.454
},
{
"text": "for ",
"font": "serif",
"width": 2.819,
"textWidth": 2.358
},
{
"text": "a ",
"font": "serif",
"width": 1.385,
"textWidth": 0.925
},
{
"text": "single ",
"font": "serif",
"width": 5.314,
"textWidth": 4.855
},
{
"text": "sequence ",
"font": "serif",
"width": 7.955,
"textWidth": 7.496
},
{
"text": "across ",
"font": "serif",
"width": 5.484,
"textWidth": 5.025
},
{
"text": "multiple ",
"font": "serif",
"width": 6.969,
"textWidth": 6.969
}
]
},
{
"left": 16.486,
"top": 55.885,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "Stream ",
"font": "serif",
"width": 6.372,
"textWidth": 5.776
},
{
"text": "Multiprocessors ",
"font": "serif",
"width": 13.898,
"textWidth": 13.304
},
{
"text": "(SMs) ",
"font": "serif",
"width": 5.383,
"textWidth": 4.787
},
{
"text": "to ",
"font": "serif",
"width": 2.224,
"textWidth": 1.63
},
{
"text": "balance ",
"font": "serif",
"width": 6.856,
"textWidth": 6.26
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "load ",
"font": "serif",
"width": 4.238,
"textWidth": 3.641
},
{
"text": "of ",
"font": "serif",
"width": 2.238,
"textWidth": 1.643
},
{
"text": "SMs. ",
"font": "serif",
"width": 4.989,
"textWidth": 4.01
},
{
"text": "However, ",
"font": "serif",
"width": 8.681,
"textWidth": 8.051
},
{
"text": "abandoning ",
"font": "serif",
"width": 10.509,
"textWidth": 9.913
},
{
"text": "this ",
"font": "serif",
"width": 3.034,
"textWidth": 3.034
}
]
},
{
"left": 16.486,
"top": 57.275,
"width": 71.609,
"height": 1.516,
"words": [
{
"text": "technique ",
"font": "serif",
"width": 8.612,
"textWidth": 8.124
},
{
"text": "will ",
"font": "serif",
"width": 3.681,
"textWidth": 3.191
},
{
"text": "lead ",
"font": "serif",
"width": 4.004,
"textWidth": 3.516
},
{
"text": "to ",
"font": "serif",
"width": 2.12,
"textWidth": 1.63
},
{
"text": "severe ",
"font": "serif",
"width": 5.727,
"textWidth": 5.24
},
{
"text": "wave-quantization ",
"font": "serif",
"width": 16.038,
"textWidth": 15.549
},
{
"text": "problems3, ",
"font": "serif",
"width": 9.483,
"textWidth": 8.985
},
{
"text": "which ",
"font": "serif",
"width": 5.597,
"textWidth": 5.107
},
{
"text": "can ",
"font": "serif",
"width": 3.34,
"textWidth": 2.852
},
{
"text": "adversely ",
"font": "serif",
"width": 8.528,
"textWidth": 8.038
},
{
"text": "affect ",
"font": "serif",
"width": 4.481,
"textWidth": 4.481
}
]
},
{
"left": 16.486,
"top": 59.104,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "GPU ",
"font": "serif",
"width": 4.486,
"textWidth": 4.01
},
{
"text": "utilization. ",
"font": "serif",
"width": 9.591,
"textWidth": 8.967
},
{
"text": "To ",
"font": "serif",
"width": 2.475,
"textWidth": 1.998
},
{
"text": "address ",
"font": "serif",
"width": 6.881,
"textWidth": 6.404
},
{
"text": "this, ",
"font": "serif",
"width": 3.983,
"textWidth": 3.501
},
{
"text": "we ",
"font": "serif",
"width": 2.931,
"textWidth": 2.454
},
{
"text": "develop ",
"font": "serif",
"width": 7.154,
"textWidth": 6.677
},
{
"text": "a ",
"font": "serif",
"width": 1.411,
"textWidth": 0.935
},
{
"text": "dual-kernel ",
"font": "serif",
"width": 10.049,
"textWidth": 9.571
},
{
"text": "strategy ",
"font": "serif",
"width": 7.135,
"textWidth": 6.656
},
{
"text": "for ",
"font": "serif",
"width": 2.858,
"textWidth": 2.381
},
{
"text": "batch-invariant ",
"font": "serif",
"width": 12.655,
"textWidth": 12.655
}
]
},
{
"left": 16.486,
"top": 60.713,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "decoding. ",
"font": "serif",
"width": 8.829,
"textWidth": 8.169
},
{
"text": "The ",
"font": "serif",
"width": 3.619,
"textWidth": 3.129
},
{
"text": "first ",
"font": "serif",
"width": 3.759,
"textWidth": 3.271
},
{
"text": "kernel ",
"font": "serif",
"width": 5.69,
"textWidth": 5.2
},
{
"text": "computes ",
"font": "serif",
"width": 8.539,
"textWidth": 8.049
},
{
"text": "the ",
"font": "serif",
"width": 3.081,
"textWidth": 2.591
},
{
"text": "attention ",
"font": "serif",
"width": 7.888,
"textWidth": 7.399
},
{
"text": "output ",
"font": "serif",
"width": 6.105,
"textWidth": 5.617
},
{
"text": "for ",
"font": "serif",
"width": 2.871,
"textWidth": 2.381
},
{
"text": "an ",
"font": "serif",
"width": 2.51,
"textWidth": 2.023
},
{
"text": "entire ",
"font": "serif",
"width": 5.226,
"textWidth": 4.739
},
{
"text": "sequence ",
"font": "serif",
"width": 8.06,
"textWidth": 7.571
},
{
"text": "within ",
"font": "serif",
"width": 5.432,
"textWidth": 5.432
}
]
},
{
"left": 16.486,
"top": 62.322,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.406,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.376,
"textWidth": 4.903
},
{
"text": "SM, ",
"font": "serif",
"width": 3.688,
"textWidth": 3.217
},
{
"text": "ensuring ",
"font": "serif",
"width": 7.785,
"textWidth": 7.313
},
{
"text": "high ",
"font": "serif",
"width": 4.23,
"textWidth": 3.759
},
{
"text": "throughput ",
"font": "serif",
"width": 10.01,
"textWidth": 9.537
},
{
"text": "for ",
"font": "serif",
"width": 2.852,
"textWidth": 2.381
},
{
"text": "fully ",
"font": "serif",
"width": 4.348,
"textWidth": 3.877
},
{
"text": "occupied ",
"font": "serif",
"width": 7.985,
"textWidth": 7.513
},
{
"text": "waves. ",
"font": "serif",
"width": 6.314,
"textWidth": 5.705
},
{
"text": "The ",
"font": "serif",
"width": 3.6,
"textWidth": 3.129
},
{
"text": "second ",
"font": "serif",
"width": 6.24,
"textWidth": 5.769
},
{
"text": "kernel, ",
"font": "serif",
"width": 6.144,
"textWidth": 5.668
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 16.486,
"top": 63.932,
"width": 71.838,
"height": 1.296,
"words": [
{
"text": "minimize ",
"font": "serif",
"width": 7.924,
"textWidth": 7.543
},
{
"text": "the ",
"font": "serif",
"width": 2.872,
"textWidth": 2.491
},
{
"text": "latency ",
"font": "serif",
"width": 6.088,
"textWidth": 5.708
},
{
"text": "of ",
"font": "serif",
"width": 1.961,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.872,
"textWidth": 2.491
},
{
"text": "final ",
"font": "serif",
"width": 3.933,
"textWidth": 3.552
},
{
"text": "partially-filled ",
"font": "serif",
"width": 11.805,
"textWidth": 11.424
},
{
"text": "wave ",
"font": "serif",
"width": 4.652,
"textWidth": 4.271
},
{
"text": "and ",
"font": "serif",
"width": 3.423,
"textWidth": 3.041
},
{
"text": "thus ",
"font": "serif",
"width": 3.856,
"textWidth": 3.475
},
{
"text": "alleviate ",
"font": "serif",
"width": 7.065,
"textWidth": 6.685
},
{
"text": "wave-quantization, ",
"font": "serif",
"width": 15.388,
"textWidth": 15.388
}
]
},
{
"left": 16.486,
"top": 65.541,
"width": 71.838,
"height": 1.296,
"words": [
{
"text": "uses ",
"font": "serif",
"width": 4.157,
"textWidth": 3.608
},
{
"text": "multiple ",
"font": "serif",
"width": 7.587,
"textWidth": 7.038
},
{
"text": "SMs ",
"font": "serif",
"width": 4.09,
"textWidth": 3.542
},
{
"text": "for ",
"font": "serif",
"width": 2.931,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 1.484,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.453,
"textWidth": 4.903
},
{
"text": "sequence. ",
"font": "serif",
"width": 8.879,
"textWidth": 8.038
},
{
"text": "For ",
"font": "serif",
"width": 3.348,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.14,
"textWidth": 2.593
},
{
"text": "bitwise ",
"font": "serif",
"width": 6.527,
"textWidth": 5.978
},
{
"text": "identity ",
"font": "serif",
"width": 7.021,
"textWidth": 6.471
},
{
"text": "of ",
"font": "serif",
"width": 2.193,
"textWidth": 1.643
},
{
"text": "these ",
"font": "serif",
"width": 4.828,
"textWidth": 4.281
},
{
"text": "two ",
"font": "serif",
"width": 3.739,
"textWidth": 3.189
},
{
"text": "kernels, ",
"font": "serif",
"width": 6.46,
"textWidth": 6.46
}
]
},
{
"left": 16.409,
"top": 67.151,
"width": 71.686,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.898,
"textWidth": 2.442
},
{
"text": "carefully ",
"font": "serif",
"width": 7.664,
"textWidth": 7.208
},
{
"text": "design ",
"font": "serif",
"width": 5.93,
"textWidth": 5.474
},
{
"text": "the ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "calculation ",
"font": "serif",
"width": 9.418,
"textWidth": 8.962
},
{
"text": "path ",
"font": "serif",
"width": 4.195,
"textWidth": 3.737
},
{
"text": "of ",
"font": "serif",
"width": 2.091,
"textWidth": 1.635
},
{
"text": "the ",
"font": "serif",
"width": 3.036,
"textWidth": 2.58
},
{
"text": "second ",
"font": "serif",
"width": 6.198,
"textWidth": 5.74
},
{
"text": "kernel ",
"font": "serif",
"width": 5.631,
"textWidth": 5.175
},
{
"text": "to ",
"font": "serif",
"width": 2.08,
"textWidth": 1.622
},
{
"text": "ensure ",
"font": "serif",
"width": 5.932,
"textWidth": 5.476
},
{
"text": "its ",
"font": "serif",
"width": 2.394,
"textWidth": 1.936
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.185,
"textWidth": 11.185
}
]
},
{
"left": 16.486,
"top": 68.76,
"width": 71.912,
"height": 1.296,
"words": [
{
"text": "order ",
"font": "serif",
"width": 4.993,
"textWidth": 4.501
},
{
"text": "is ",
"font": "serif",
"width": 1.826,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.593
},
{
"text": "same ",
"font": "serif",
"width": 4.763,
"textWidth": 4.273
},
{
"text": "as ",
"font": "serif",
"width": 2.219,
"textWidth": 1.727
},
{
"text": "that ",
"font": "serif",
"width": 3.731,
"textWidth": 3.241
},
{
"text": "of ",
"font": "serif",
"width": 2.135,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.082,
"textWidth": 2.593
},
{
"text": "first ",
"font": "serif",
"width": 3.763,
"textWidth": 3.271
},
{
"text": "kernel. ",
"font": "serif",
"width": 6.333,
"textWidth": 5.668
},
{
"text": "Additionally, ",
"font": "serif",
"width": 11.369,
"textWidth": 10.87
},
{
"text": "the ",
"font": "serif",
"width": 3.082,
"textWidth": 2.593
},
{
"text": "second ",
"font": "serif",
"width": 6.26,
"textWidth": 5.769
},
{
"text": "kernel ",
"font": "serif",
"width": 5.69,
"textWidth": 5.198
},
{
"text": "utilizes ",
"font": "serif",
"width": 6.481,
"textWidth": 5.991
},
{
"text": "dis- ",
"font": "serif",
"width": 3.101,
"textWidth": 3.101
}
]
},
{
"left": 16.486,
"top": 70.15,
"width": 71.61,
"height": 1.516,
"words": [
{
"text": "tributed ",
"font": "serif",
"width": 6.87,
"textWidth": 6.437
},
{
"text": "shared ",
"font": "serif",
"width": 5.77,
"textWidth": 5.338
},
{
"text": "memory4 ",
"font": "serif",
"width": 7.905,
"textWidth": 7.389
},
{
"text": "within ",
"font": "serif",
"width": 5.65,
"textWidth": 5.219
},
{
"text": "thread-block ",
"font": "serif",
"width": 10.487,
"textWidth": 10.054
},
{
"text": "clusters, ",
"font": "serif",
"width": 6.967,
"textWidth": 6.53
},
{
"text": "enabling ",
"font": "serif",
"width": 7.319,
"textWidth": 6.886
},
{
"text": "high-speed ",
"font": "serif",
"width": 9.299,
"textWidth": 8.868
},
{
"text": "data ",
"font": "serif",
"width": 3.912,
"textWidth": 3.479
},
{
"text": "exchange ",
"font": "serif",
"width": 7.432,
"textWidth": 7.432
}
]
},
{
"left": 16.486,
"top": 71.979,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "across ",
"font": "serif",
"width": 5.407,
"textWidth": 4.951
},
{
"text": "SMs. ",
"font": "serif",
"width": 4.478,
"textWidth": 3.911
},
{
"text": "This ",
"font": "serif",
"width": 3.939,
"textWidth": 3.483
},
{
"text": "dual-kernel ",
"font": "serif",
"width": 9.79,
"textWidth": 9.336
},
{
"text": "method ",
"font": "serif",
"width": 6.705,
"textWidth": 6.249
},
{
"text": "effectively ",
"font": "serif",
"width": 8.767,
"textWidth": 8.311
},
{
"text": "confines ",
"font": "serif",
"width": 7.133,
"textWidth": 6.677
},
{
"text": "the ",
"font": "serif",
"width": 2.985,
"textWidth": 2.529
},
{
"text": "overhead ",
"font": "serif",
"width": 8.001,
"textWidth": 7.547
},
{
"text": "of ",
"font": "serif",
"width": 2.059,
"textWidth": 1.603
},
{
"text": "batch-invariant ",
"font": "serif",
"width": 12.345,
"textWidth": 12.345
}
]
},
{
"left": 16.486,
"top": 73.588,
"width": 20.879,
"height": 1.296,
"words": [
{
"text": "decoding ",
"font": "serif",
"width": 8.009,
"textWidth": 7.55
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "be ",
"font": "serif",
"width": 2.349,
"textWidth": 1.891
},
{
"text": "negligible. ",
"font": "serif",
"width": 8.465,
"textWidth": 8.465
}
]
},
{
"left": 16.486,
"top": 75.177,
"width": 18.986,
"height": 1.296,
"words": [
{
"text": "Matrix ",
"font": "serif-bold",
"width": 6.138,
"textWidth": 5.677
},
{
"text": "Multiplication. ",
"font": "serif-bold",
"width": 12.848,
"textWidth": 12.848
}
]
},
{
"left": 36.046,
"top": 75.198,
"width": 52.048,
"height": 1.296,
"words": [
{
"text": "Traditional ",
"font": "serif",
"width": 9.486,
"textWidth": 9.027
},
{
"text": "cuBLAS ",
"font": "serif",
"width": 7.099,
"textWidth": 6.638
},
{
"text": "library ",
"font": "serif",
"width": 6.0,
"textWidth": 5.539
},
{
"text": "(NVIDIA ",
"font": "serif",
"width": 8.102,
"textWidth": 7.641
},
{
"text": "Corporation, ",
"font": "serif",
"width": 11.027,
"textWidth": 10.568
},
{
"text": "2024) ",
"font": "serif",
"width": 4.796,
"textWidth": 4.335
},
{
"text": "cannot ",
"font": "serif",
"width": 5.538,
"textWidth": 5.538
}
]
},
{
"left": 16.486,
"top": 76.807,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "achieve ",
"font": "serif",
"width": 6.765,
"textWidth": 6.243
},
{
"text": "batch ",
"font": "serif",
"width": 5.017,
"textWidth": 4.496
},
{
"text": "invariance. ",
"font": "serif",
"width": 9.879,
"textWidth": 9.12
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.978,
"textWidth": 8.44
},
{
"text": "we ",
"font": "serif",
"width": 2.976,
"textWidth": 2.454
},
{
"text": "replace ",
"font": "serif",
"width": 6.451,
"textWidth": 5.927
},
{
"text": "it ",
"font": "serif",
"width": 1.675,
"textWidth": 1.151
},
{
"text": "end-to-end ",
"font": "serif",
"width": 9.647,
"textWidth": 9.126
},
{
"text": "with ",
"font": "serif",
"width": 4.322,
"textWidth": 3.8
},
{
"text": "DeepGEMM ",
"font": "serif",
"width": 10.988,
"textWidth": 10.466
},
{
"text": "(Zhao ",
"font": "serif",
"width": 4.912,
"textWidth": 4.912
}
]
},
{
"left": 16.486,
"top": 78.416,
"width": 71.68,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.904,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.778,
"textWidth": 2.319
},
{
"text": "2025). ",
"font": "serif",
"width": 5.206,
"textWidth": 4.639
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.002,
"textWidth": 10.544
},
{
"text": "for ",
"font": "serif",
"width": 2.748,
"textWidth": 2.288
},
{
"text": "very ",
"font": "serif",
"width": 4.041,
"textWidth": 3.583
},
{
"text": "small ",
"font": "serif",
"width": 4.749,
"textWidth": 4.291
},
{
"text": "batch ",
"font": "serif",
"width": 4.777,
"textWidth": 4.319
},
{
"text": "sizes, ",
"font": "serif",
"width": 4.713,
"textWidth": 4.253
},
{
"text": "conventional ",
"font": "serif",
"width": 10.756,
"textWidth": 10.298
},
{
"text": "implementation ",
"font": "serif",
"width": 13.137,
"textWidth": 12.679
},
{
"text": "usually ",
"font": "serif",
"width": 5.869,
"textWidth": 5.869
}
]
},
{
"left": 16.486,
"top": 80.026,
"width": 71.839,
"height": 1.296,
"words": [
{
"text": "employs ",
"font": "serif",
"width": 7.476,
"textWidth": 7.017
},
{
"text": "split-k ",
"font": "serif",
"width": 5.697,
"textWidth": 5.239
},
{
"text": "(Osama ",
"font": "serif",
"width": 6.819,
"textWidth": 6.36
},
{
"text": "et ",
"font": "serif",
"width": 1.953,
"textWidth": 1.494
},
{
"text": "al., ",
"font": "serif",
"width": 2.857,
"textWidth": 2.397
},
{
"text": "2023) ",
"font": "serif",
"width": 4.79,
"textWidth": 4.331
},
{
"text": "techniques ",
"font": "serif",
"width": 9.314,
"textWidth": 8.855
},
{
"text": "to ",
"font": "serif",
"width": 2.077,
"textWidth": 1.619
},
{
"text": "improve ",
"font": "serif",
"width": 7.405,
"textWidth": 6.947
},
{
"text": "performance. ",
"font": "serif",
"width": 11.499,
"textWidth": 10.929
},
{
"text": "Unfortunately, ",
"font": "serif",
"width": 11.952,
"textWidth": 11.952
}
]
},
{
"left": 16.486,
"top": 81.635,
"width": 71.929,
"height": 1.296,
"words": [
{
"text": "split-k ",
"font": "serif",
"width": 5.731,
"textWidth": 5.275
},
{
"text": "techniques ",
"font": "serif",
"width": 9.371,
"textWidth": 8.916
},
{
"text": "cannot ",
"font": "serif",
"width": 6.027,
"textWidth": 5.57
},
{
"text": "guarantee ",
"font": "serif",
"width": 8.718,
"textWidth": 8.262
},
{
"text": "batch ",
"font": "serif",
"width": 4.95,
"textWidth": 4.496
},
{
"text": "invariance, ",
"font": "serif",
"width": 9.576,
"textWidth": 9.12
},
{
"text": "a ",
"font": "serif",
"width": 1.391,
"textWidth": 0.935
},
{
"text": "pivotal ",
"font": "serif",
"width": 6.288,
"textWidth": 5.832
},
{
"text": "feature ",
"font": "serif",
"width": 6.245,
"textWidth": 5.789
},
{
"text": "in ",
"font": "serif",
"width": 2.086,
"textWidth": 1.632
},
{
"text": "DeepSeek-V4. ",
"font": "serif",
"width": 11.546,
"textWidth": 11.546
}
]
},
{
"left": 14.549,
"top": 85.03,
"width": 0.552,
"height": 0.781,
"words": [
{
"text": "3 ",
"font": "serif",
"width": 0.552,
"textWidth": 0.552
}
]
},
{
"left": 15.185,
"top": 85.066,
"width": 72.91,
"height": 1.172,
"words": [
{
"text": "https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplicat ",
"font": "mono",
"width": 72.91,
"textWidth": 72.91
}
]
},
{
"left": 11.905,
"top": 86.367,
"width": 21.83,
"height": 1.172,
"words": [
{
"text": "ion/index.html#wave-quant ",
"font": "mono",
"width": 21.83,
"textWidth": 21.83
}
]
},
{
"left": 14.549,
"top": 87.65,
"width": 0.552,
"height": 0.781,
"words": [
{
"text": "4 ",
"font": "serif",
"width": 0.552,
"textWidth": 0.552
}
]
},
{
"left": 15.185,
"top": 87.686,
"width": 72.91,
"height": 1.172,
"words": [
{
"text": "https://docs.nvidia.com/cuda/cuda-programming-guide/02-basics/writing-cuda-kernels ",
"font": "mono",
"width": 72.91,
"textWidth": 72.91
}
]
},
{
"left": 11.905,
"top": 88.987,
"width": 27.133,
"height": 1.172,
"words": [
{
"text": ".html#distributed-shared-memory ",
"font": "mono",
"width": 27.133,
"textWidth": 27.133
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "18 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"19": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 16.43,
"top": 10.472,
"width": 71.666,
"height": 1.296,
"words": [
{
"text": "Therefore, ",
"font": "serif",
"width": 8.593,
"textWidth": 8.132
},
{
"text": "we ",
"font": "serif",
"width": 2.825,
"textWidth": 2.365
},
{
"text": "abandon ",
"font": "serif",
"width": 7.438,
"textWidth": 6.979
},
{
"text": "split-k ",
"font": "serif",
"width": 5.543,
"textWidth": 5.084
},
{
"text": "in ",
"font": "serif",
"width": 2.034,
"textWidth": 1.573
},
{
"text": "most ",
"font": "serif",
"width": 4.385,
"textWidth": 3.925
},
{
"text": "scenarios, ",
"font": "serif",
"width": 8.269,
"textWidth": 7.809
},
{
"text": "which, ",
"font": "serif",
"width": 5.835,
"textWidth": 5.374
},
{
"text": "however, ",
"font": "serif",
"width": 7.764,
"textWidth": 7.303
},
{
"text": "may ",
"font": "serif",
"width": 3.952,
"textWidth": 3.493
},
{
"text": "cause ",
"font": "serif",
"width": 4.873,
"textWidth": 4.414
},
{
"text": "performance ",
"font": "serif",
"width": 10.155,
"textWidth": 10.155
}
]
},
{
"left": 16.486,
"top": 12.082,
"width": 71.913,
"height": 1.296,
"words": [
{
"text": "degradation. ",
"font": "serif",
"width": 11.091,
"textWidth": 10.525
},
{
"text": "To ",
"font": "serif",
"width": 2.449,
"textWidth": 1.992
},
{
"text": "address ",
"font": "serif",
"width": 6.842,
"textWidth": 6.385
},
{
"text": "this, ",
"font": "serif",
"width": 3.947,
"textWidth": 3.491
},
{
"text": "we ",
"font": "serif",
"width": 2.904,
"textWidth": 2.447
},
{
"text": "introduce ",
"font": "serif",
"width": 8.394,
"textWidth": 7.938
},
{
"text": "a ",
"font": "serif",
"width": 1.389,
"textWidth": 0.932
},
{
"text": "set ",
"font": "serif",
"width": 2.747,
"textWidth": 2.291
},
{
"text": "of ",
"font": "serif",
"width": 2.095,
"textWidth": 1.638
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.837,
"textWidth": 11.38
},
{
"text": "that ",
"font": "serif",
"width": 3.688,
"textWidth": 3.232
},
{
"text": "enable ",
"font": "serif",
"width": 5.832,
"textWidth": 5.375
},
{
"text": "our ",
"font": "serif",
"width": 3.334,
"textWidth": 2.878
},
{
"text": "imple- ",
"font": "serif",
"width": 5.364,
"textWidth": 5.364
}
]
},
{
"left": 16.486,
"top": 13.691,
"width": 71.608,
"height": 1.296,
"words": [
{
"text": "mentation ",
"font": "serif",
"width": 8.651,
"textWidth": 8.192
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.595
},
{
"text": "matrix ",
"font": "serif",
"width": 5.74,
"textWidth": 5.281
},
{
"text": "multiplication ",
"font": "serif",
"width": 11.827,
"textWidth": 11.368
},
{
"text": "to ",
"font": "serif",
"width": 2.043,
"textWidth": 1.582
},
{
"text": "match ",
"font": "serif",
"width": 5.421,
"textWidth": 4.962
},
{
"text": "or ",
"font": "serif",
"width": 2.168,
"textWidth": 1.707
},
{
"text": "even ",
"font": "serif",
"width": 4.278,
"textWidth": 3.819
},
{
"text": "surpass ",
"font": "serif",
"width": 6.577,
"textWidth": 6.116
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.515
},
{
"text": "performance ",
"font": "serif",
"width": 10.686,
"textWidth": 10.227
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.595
},
{
"text": "standard ",
"font": "serif",
"width": 7.13,
"textWidth": 7.13
}
]
},
{
"left": 16.486,
"top": 15.3,
"width": 25.23,
"height": 1.296,
"words": [
{
"text": "split-k ",
"font": "serif",
"width": 5.63,
"textWidth": 5.172
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "most ",
"font": "serif",
"width": 4.451,
"textWidth": 3.993
},
{
"text": "major ",
"font": "serif",
"width": 5.146,
"textWidth": 4.688
},
{
"text": "scenarios. ",
"font": "serif",
"width": 7.944,
"textWidth": 7.944
}
]
},
{
"left": 11.905,
"top": 19.507,
"width": 11.449,
"height": 1.296,
"words": [
{
"text": "Determinism. ",
"font": "serif-bold",
"width": 11.449,
"textWidth": 11.449
}
]
},
{
"left": 25.175,
"top": 19.527,
"width": 62.919,
"height": 1.296,
"words": [
{
"text": "Deterministic ",
"font": "serif",
"width": 11.325,
"textWidth": 10.869
},
{
"text": "training ",
"font": "serif",
"width": 6.854,
"textWidth": 6.398
},
{
"text": "is ",
"font": "serif",
"width": 1.754,
"textWidth": 1.299
},
{
"text": "highly ",
"font": "serif",
"width": 5.648,
"textWidth": 5.19
},
{
"text": "beneficial ",
"font": "serif",
"width": 8.127,
"textWidth": 7.669
},
{
"text": "for ",
"font": "serif",
"width": 2.77,
"textWidth": 2.314
},
{
"text": "debugging ",
"font": "serif",
"width": 9.15,
"textWidth": 8.694
},
{
"text": "hardware ",
"font": "serif",
"width": 8.191,
"textWidth": 7.735
},
{
"text": "or ",
"font": "serif",
"width": 2.167,
"textWidth": 1.709
},
{
"text": "software ",
"font": "serif",
"width": 6.934,
"textWidth": 6.934
}
]
},
{
"left": 11.905,
"top": 21.137,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "issues. ",
"font": "serif",
"width": 5.98,
"textWidth": 5.412
},
{
"text": "Moreover, ",
"font": "serif",
"width": 8.892,
"textWidth": 8.432
},
{
"text": "when ",
"font": "serif",
"width": 5.088,
"textWidth": 4.628
},
{
"text": "training ",
"font": "serif",
"width": 7.043,
"textWidth": 6.585
},
{
"text": "exhibits ",
"font": "serif",
"width": 6.929,
"textWidth": 6.471
},
{
"text": "anomalies ",
"font": "serif",
"width": 8.862,
"textWidth": 8.404
},
{
"text": "such ",
"font": "serif",
"width": 4.297,
"textWidth": 3.838
},
{
"text": "as ",
"font": "serif",
"width": 2.185,
"textWidth": 1.727
},
{
"text": "loss ",
"font": "serif",
"width": 3.608,
"textWidth": 3.15
},
{
"text": "spikes, ",
"font": "serif",
"width": 6.112,
"textWidth": 5.655
},
{
"text": "determinism ",
"font": "serif",
"width": 11.01,
"textWidth": 10.55
},
{
"text": "enables ",
"font": "serif",
"width": 6.184,
"textWidth": 6.184
}
]
},
{
"left": 11.905,
"top": 22.746,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "researchers ",
"font": "serif",
"width": 9.454,
"textWidth": 8.999
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.582
},
{
"text": "more ",
"font": "serif",
"width": 4.603,
"textWidth": 4.146
},
{
"text": "easily ",
"font": "serif",
"width": 5.065,
"textWidth": 4.61
},
{
"text": "pinpoint ",
"font": "serif",
"width": 7.388,
"textWidth": 6.931
},
{
"text": "numerical ",
"font": "serif",
"width": 8.563,
"textWidth": 8.106
},
{
"text": "causes ",
"font": "serif",
"width": 5.67,
"textWidth": 5.214
},
{
"text": "and ",
"font": "serif",
"width": 3.529,
"textWidth": 3.072
},
{
"text": "further ",
"font": "serif",
"width": 6.105,
"textWidth": 5.648
},
{
"text": "refine ",
"font": "serif",
"width": 5.031,
"textWidth": 4.574
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.516
},
{
"text": "model ",
"font": "serif",
"width": 5.555,
"textWidth": 5.098
},
{
"text": "design. ",
"font": "serif",
"width": 6.359,
"textWidth": 5.793
},
{
"text": "Non- ",
"font": "serif",
"width": 4.158,
"textWidth": 4.158
}
]
},
{
"left": 11.905,
"top": 24.355,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "determinism ",
"font": "serif",
"width": 10.823,
"textWidth": 10.364
},
{
"text": "in ",
"font": "serif",
"width": 2.062,
"textWidth": 1.603
},
{
"text": "training ",
"font": "serif",
"width": 6.928,
"textWidth": 6.469
},
{
"text": "typically ",
"font": "serif",
"width": 7.54,
"textWidth": 7.081
},
{
"text": "stems ",
"font": "serif",
"width": 5.116,
"textWidth": 4.657
},
{
"text": "from ",
"font": "serif",
"width": 4.387,
"textWidth": 3.928
},
{
"text": "non-deterministic ",
"font": "serif",
"width": 14.901,
"textWidth": 14.442
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.501,
"textWidth": 11.042
},
{
"text": "order, ",
"font": "serif",
"width": 5.204,
"textWidth": 4.745
},
{
"text": "often ",
"font": "serif",
"width": 4.62,
"textWidth": 4.161
},
{
"text": "due ",
"font": "serif",
"width": 3.109,
"textWidth": 3.109
}
]
},
{
"left": 11.905,
"top": 25.965,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.006,
"textWidth": 1.566
},
{
"text": "the ",
"font": "serif",
"width": 2.931,
"textWidth": 2.491
},
{
"text": "use ",
"font": "serif",
"width": 3.143,
"textWidth": 2.703
},
{
"text": "of ",
"font": "serif",
"width": 2.019,
"textWidth": 1.579
},
{
"text": "atomic ",
"font": "serif",
"width": 5.81,
"textWidth": 5.37
},
{
"text": "addition ",
"font": "serif",
"width": 7.187,
"textWidth": 6.749
},
{
"text": "instructions. ",
"font": "serif",
"width": 10.397,
"textWidth": 9.835
},
{
"text": "This ",
"font": "serif",
"width": 3.87,
"textWidth": 3.43
},
{
"text": "issue ",
"font": "serif",
"width": 4.429,
"textWidth": 3.989
},
{
"text": "primarily ",
"font": "serif",
"width": 7.987,
"textWidth": 7.548
},
{
"text": "occurs ",
"font": "serif",
"width": 5.569,
"textWidth": 5.129
},
{
"text": "during ",
"font": "serif",
"width": 5.896,
"textWidth": 5.456
},
{
"text": "the ",
"font": "serif",
"width": 2.929,
"textWidth": 2.491
},
{
"text": "backward ",
"font": "serif",
"width": 8.297,
"textWidth": 7.857
},
{
"text": "pass, ",
"font": "serif",
"width": 3.949,
"textWidth": 3.949
}
]
},
{
"left": 11.905,
"top": 27.574,
"width": 24.434,
"height": 1.296,
"words": [
{
"text": "notably ",
"font": "serif",
"width": 6.605,
"textWidth": 6.147
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "following ",
"font": "serif",
"width": 8.283,
"textWidth": 7.825
},
{
"text": "parts: ",
"font": "serif",
"width": 4.574,
"textWidth": 4.574
}
]
},
{
"left": 16.415,
"top": 29.968,
"width": 17.84,
"height": 1.296,
"words": [
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.858,
"textWidth": 8.202
},
{
"text": "Backward. ",
"font": "serif-bold",
"width": 8.982,
"textWidth": 8.982
}
]
},
{
"left": 35.42,
"top": 29.988,
"width": 52.713,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.374,
"textWidth": 1.718
},
{
"text": "conventional ",
"font": "serif",
"width": 11.376,
"textWidth": 10.718
},
{
"text": "implementations ",
"font": "serif",
"width": 14.646,
"textWidth": 13.99
},
{
"text": "of ",
"font": "serif",
"width": 2.299,
"textWidth": 1.643
},
{
"text": "backward ",
"font": "serif",
"width": 8.836,
"textWidth": 8.18
},
{
"text": "propagation ",
"font": "serif",
"width": 10.801,
"textWidth": 10.143
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 16.486,
"top": 31.598,
"width": 20.244,
"height": 1.296,
"words": [
{
"text": "sparse ",
"font": "serif",
"width": 5.875,
"textWidth": 5.277
},
{
"text": "attention, ",
"font": "serif",
"width": 8.5,
"textWidth": 7.866
},
{
"text": "we ",
"font": "serif",
"width": 3.054,
"textWidth": 2.454
},
{
"text": "use ",
"font": "serif",
"width": 2.815,
"textWidth": 2.815
}
]
},
{
"left": 37.329,
"top": 31.419,
"width": 9.525,
"height": 1.425,
"words": [
{
"text": "atomicAdd ",
"font": "mono",
"width": 9.525,
"textWidth": 9.525
}
]
},
{
"left": 47.453,
"top": 31.598,
"width": 40.643,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.228,
"textWidth": 1.63
},
{
"text": "accumulate ",
"font": "serif",
"width": 10.083,
"textWidth": 9.483
},
{
"text": "gradients ",
"font": "serif",
"width": 8.382,
"textWidth": 7.784
},
{
"text": "for ",
"font": "serif",
"width": 2.98,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.193,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.305,
"textWidth": 2.707
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.903,
"textWidth": 5.912
},
{
"text": "This ",
"font": "serif",
"width": 3.57,
"textWidth": 3.57
}
]
},
{
"left": 16.486,
"top": 33.207,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "introduces ",
"font": "serif",
"width": 9.238,
"textWidth": 8.754
},
{
"text": "non-determinism ",
"font": "serif",
"width": 14.853,
"textWidth": 14.369
},
{
"text": "due ",
"font": "serif",
"width": 3.649,
"textWidth": 3.165
},
{
"text": "to ",
"font": "serif",
"width": 2.114,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.075,
"textWidth": 2.593
},
{
"text": "non-associativity ",
"font": "serif",
"width": 14.554,
"textWidth": 14.07
},
{
"text": "of ",
"font": "serif",
"width": 2.127,
"textWidth": 1.643
},
{
"text": "floating-point ",
"font": "serif",
"width": 11.864,
"textWidth": 11.38
},
{
"text": "addition. ",
"font": "serif",
"width": 8.137,
"textWidth": 7.492
},
{
"text": "To ",
"font": "serif",
"width": 1.998,
"textWidth": 1.998
}
]
},
{
"left": 16.486,
"top": 34.816,
"width": 71.68,
"height": 1.296,
"words": [
{
"text": "address ",
"font": "serif",
"width": 6.656,
"textWidth": 6.197
},
{
"text": "this ",
"font": "serif",
"width": 3.395,
"textWidth": 2.936
},
{
"text": "problem, ",
"font": "serif",
"width": 7.66,
"textWidth": 7.199
},
{
"text": "we ",
"font": "serif",
"width": 2.834,
"textWidth": 2.375
},
{
"text": "allocate ",
"font": "serif",
"width": 6.568,
"textWidth": 6.108
},
{
"text": "separate ",
"font": "serif",
"width": 7.159,
"textWidth": 6.7
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.337,
"textWidth": 10.876
},
{
"text": "buffers ",
"font": "serif",
"width": 6.07,
"textWidth": 5.611
},
{
"text": "for ",
"font": "serif",
"width": 2.764,
"textWidth": 2.304
},
{
"text": "each ",
"font": "serif",
"width": 4.086,
"textWidth": 3.627
},
{
"text": "SM, ",
"font": "serif",
"width": 3.574,
"textWidth": 3.113
},
{
"text": "followed ",
"font": "serif",
"width": 7.57,
"textWidth": 7.11
},
{
"text": "by ",
"font": "serif",
"width": 2.006,
"textWidth": 2.006
}
]
},
{
"left": 16.486,
"top": 36.426,
"width": 41.685,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "global ",
"font": "serif",
"width": 5.474,
"textWidth": 5.016
},
{
"text": "deterministic ",
"font": "serif",
"width": 11.128,
"textWidth": 10.669
},
{
"text": "summation ",
"font": "serif",
"width": 9.691,
"textWidth": 9.233
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "all ",
"font": "serif",
"width": 2.441,
"textWidth": 1.983
},
{
"text": "buffers. ",
"font": "serif",
"width": 6.143,
"textWidth": 6.143
}
]
},
{
"left": 16.486,
"top": 38.014,
"width": 13.653,
"height": 1.296,
"words": [
{
"text": "MoE ",
"font": "serif-bold",
"width": 4.671,
"textWidth": 4.051
},
{
"text": "Backward. ",
"font": "serif-bold",
"width": 8.982,
"textWidth": 8.982
}
]
},
{
"left": 31.196,
"top": 38.035,
"width": 56.9,
"height": 1.296,
"words": [
{
"text": "When ",
"font": "serif",
"width": 5.561,
"textWidth": 4.94
},
{
"text": "multiple ",
"font": "serif",
"width": 7.658,
"textWidth": 7.038
},
{
"text": "SMs ",
"font": "serif",
"width": 4.163,
"textWidth": 3.542
},
{
"text": "from ",
"font": "serif",
"width": 4.619,
"textWidth": 3.998
},
{
"text": "different ",
"font": "serif",
"width": 7.711,
"textWidth": 7.09
},
{
"text": "ranks ",
"font": "serif",
"width": 5.213,
"textWidth": 4.593
},
{
"text": "concurrently ",
"font": "serif",
"width": 11.137,
"textWidth": 10.516
},
{
"text": "write ",
"font": "serif",
"width": 4.967,
"textWidth": 4.346
},
{
"text": "data ",
"font": "serif",
"width": 4.241,
"textWidth": 3.621
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 16.486,
"top": 39.645,
"width": 71.912,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.109,
"textWidth": 2.593
},
{
"text": "same ",
"font": "serif",
"width": 4.789,
"textWidth": 4.273
},
{
"text": "buffer ",
"font": "serif",
"width": 5.52,
"textWidth": 5.006
},
{
"text": "on ",
"font": "serif",
"width": 2.624,
"textWidth": 2.109
},
{
"text": "a ",
"font": "serif",
"width": 1.451,
"textWidth": 0.935
},
{
"text": "receiving ",
"font": "serif",
"width": 8.113,
"textWidth": 7.597
},
{
"text": "rank, ",
"font": "serif",
"width": 4.797,
"textWidth": 4.268
},
{
"text": "negotiating ",
"font": "serif",
"width": 9.928,
"textWidth": 9.412
},
{
"text": "writing ",
"font": "serif",
"width": 6.638,
"textWidth": 6.122
},
{
"text": "positions ",
"font": "serif",
"width": 8.051,
"textWidth": 7.535
},
{
"text": "also ",
"font": "serif",
"width": 3.806,
"textWidth": 3.292
},
{
"text": "introduces ",
"font": "serif",
"width": 9.27,
"textWidth": 8.756
},
{
"text": "non- ",
"font": "serif",
"width": 3.819,
"textWidth": 3.819
}
]
},
{
"left": 16.486,
"top": 41.254,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "determinism. ",
"font": "serif",
"width": 11.411,
"textWidth": 10.845
},
{
"text": "To ",
"font": "serif",
"width": 2.42,
"textWidth": 1.965
},
{
"text": "resolve ",
"font": "serif",
"width": 6.271,
"textWidth": 5.816
},
{
"text": "this, ",
"font": "serif",
"width": 3.903,
"textWidth": 3.446
},
{
"text": "we ",
"font": "serif",
"width": 2.872,
"textWidth": 2.416
},
{
"text": "design ",
"font": "serif",
"width": 5.869,
"textWidth": 5.415
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.92
},
{
"text": "token ",
"font": "serif",
"width": 5.036,
"textWidth": 4.58
},
{
"text": "order ",
"font": "serif",
"width": 4.885,
"textWidth": 4.431
},
{
"text": "pre-processing ",
"font": "serif",
"width": 12.442,
"textWidth": 11.985
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.779,
"textWidth": 9.325
},
{
"text": "within ",
"font": "serif",
"width": 5.347,
"textWidth": 5.347
}
]
},
{
"left": 16.486,
"top": 42.863,
"width": 71.681,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.365,
"textWidth": 3.748
},
{
"text": "single ",
"font": "serif",
"width": 5.52,
"textWidth": 4.903
},
{
"text": "rank, ",
"font": "serif",
"width": 4.924,
"textWidth": 4.268
},
{
"text": "combined ",
"font": "serif",
"width": 8.821,
"textWidth": 8.204
},
{
"text": "with ",
"font": "serif",
"width": 4.417,
"textWidth": 3.8
},
{
"text": "buffer ",
"font": "serif",
"width": 5.623,
"textWidth": 5.006
},
{
"text": "isolation ",
"font": "serif",
"width": 7.714,
"textWidth": 7.098
},
{
"text": "across ",
"font": "serif",
"width": 5.692,
"textWidth": 5.075
},
{
"text": "multiple ",
"font": "serif",
"width": 7.655,
"textWidth": 7.038
},
{
"text": "ranks. ",
"font": "serif",
"width": 6.105,
"textWidth": 5.06
},
{
"text": "This ",
"font": "serif",
"width": 4.187,
"textWidth": 3.57
},
{
"text": "strategy ",
"font": "serif",
"width": 6.658,
"textWidth": 6.658
}
]
},
{
"left": 16.486,
"top": 44.473,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "ensures ",
"font": "serif",
"width": 6.64,
"textWidth": 6.185
},
{
"text": "determinism ",
"font": "serif",
"width": 10.819,
"textWidth": 10.364
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.614
},
{
"text": "both ",
"font": "serif",
"width": 4.143,
"textWidth": 3.685
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.547
},
{
"text": "send ",
"font": "serif",
"width": 4.304,
"textWidth": 3.849
},
{
"text": "results ",
"font": "serif",
"width": 5.825,
"textWidth": 5.369
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.614
},
{
"text": "expert ",
"font": "serif",
"width": 5.59,
"textWidth": 5.134
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.539,
"textWidth": 9.082
},
{
"text": "and ",
"font": "serif",
"width": 3.564,
"textWidth": 3.109
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.547
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.042,
"textWidth": 11.042
}
]
},
{
"left": 16.486,
"top": 46.082,
"width": 26.747,
"height": 1.296,
"words": [
{
"text": "order ",
"font": "serif",
"width": 4.871,
"textWidth": 4.413
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "MoE ",
"font": "serif",
"width": 4.312,
"textWidth": 3.854
},
{
"text": "backward ",
"font": "serif",
"width": 8.476,
"textWidth": 8.018
},
{
"text": "pass. ",
"font": "serif",
"width": 4.03,
"textWidth": 4.03
}
]
},
{
"left": 16.486,
"top": 47.671,
"width": 20.377,
"height": 1.296,
"words": [
{
"text": "Matrix ",
"font": "serif-bold",
"width": 6.033,
"textWidth": 5.576
},
{
"text": "Multiplication ",
"font": "serif-bold",
"width": 12.622,
"textWidth": 12.164
},
{
"text": "in ",
"font": "serif-bold",
"width": 1.723,
"textWidth": 1.723
}
]
},
{
"left": 37.32,
"top": 47.658,
"width": 1.52,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-bold-italic",
"width": 1.52,
"textWidth": 1.52
}
]
},
{
"left": 38.841,
"top": 47.671,
"width": 3.295,
"height": 1.296,
"words": [
{
"text": "HC. ",
"font": "serif-bold",
"width": 3.295,
"textWidth": 3.295
}
]
},
{
"left": 42.591,
"top": 47.664,
"width": 1.42,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.42,
"textWidth": 1.42
}
]
},
{
"left": 44.012,
"top": 47.691,
"width": 44.387,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.269,
"textWidth": 2.813
},
{
"text": "involves ",
"font": "serif",
"width": 7.29,
"textWidth": 6.832
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.913
},
{
"text": "matrix ",
"font": "serif",
"width": 5.77,
"textWidth": 5.313
},
{
"text": "multiplication ",
"font": "serif",
"width": 11.895,
"textWidth": 11.437
},
{
"text": "with ",
"font": "serif",
"width": 4.167,
"textWidth": 3.711
},
{
"text": "an ",
"font": "serif",
"width": 2.431,
"textWidth": 1.975
},
{
"text": "output ",
"font": "serif",
"width": 5.941,
"textWidth": 5.485
},
{
"text": "di- ",
"font": "serif",
"width": 2.254,
"textWidth": 2.254
}
]
},
{
"left": 16.486,
"top": 49.301,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "mension ",
"font": "serif",
"width": 7.245,
"textWidth": 6.801
},
{
"text": "of ",
"font": "serif",
"width": 2.022,
"textWidth": 1.579
},
{
"text": "only ",
"font": "serif",
"width": 3.991,
"textWidth": 3.547
},
{
"text": "24. ",
"font": "serif",
"width": 2.809,
"textWidth": 2.245
},
{
"text": "For ",
"font": "serif",
"width": 3.132,
"textWidth": 2.689
},
{
"text": "very ",
"font": "serif",
"width": 4.027,
"textWidth": 3.583
},
{
"text": "small ",
"font": "serif",
"width": 4.734,
"textWidth": 4.291
},
{
"text": "batch ",
"font": "serif",
"width": 4.763,
"textWidth": 4.319
},
{
"text": "sizes, ",
"font": "serif",
"width": 4.698,
"textWidth": 4.253
},
{
"text": "we ",
"font": "serif",
"width": 2.802,
"textWidth": 2.358
},
{
"text": "are ",
"font": "serif",
"width": 2.879,
"textWidth": 2.435
},
{
"text": "compelled ",
"font": "serif",
"width": 8.75,
"textWidth": 8.306
},
{
"text": "to ",
"font": "serif",
"width": 2.01,
"textWidth": 1.566
},
{
"text": "use ",
"font": "serif",
"width": 3.148,
"textWidth": 2.705
},
{
"text": "the ",
"font": "serif",
"width": 2.935,
"textWidth": 2.491
},
{
"text": "split-k ",
"font": "serif",
"width": 5.512,
"textWidth": 5.068
},
{
"text": "(Osama ",
"font": "serif",
"width": 6.153,
"textWidth": 6.153
}
]
},
{
"left": 16.486,
"top": 50.91,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 2.153,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.06,
"textWidth": 2.413
},
{
"text": "2023) ",
"font": "serif",
"width": 5.01,
"textWidth": 4.361
},
{
"text": "algorithm, ",
"font": "serif",
"width": 9.331,
"textWidth": 8.636
},
{
"text": "whose ",
"font": "serif",
"width": 6.004,
"textWidth": 5.355
},
{
"text": "naive ",
"font": "serif",
"width": 5.167,
"textWidth": 4.518
},
{
"text": "implementation ",
"font": "serif",
"width": 13.846,
"textWidth": 13.197
},
{
"text": "will ",
"font": "serif",
"width": 3.838,
"textWidth": 3.189
},
{
"text": "cause ",
"font": "serif",
"width": 5.228,
"textWidth": 4.58
},
{
"text": "non-determinism. ",
"font": "serif",
"width": 15.975,
"textWidth": 14.836
},
{
"text": "To ",
"font": "serif",
"width": 1.998,
"textWidth": 1.998
}
]
},
{
"left": 16.486,
"top": 52.52,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "overcome ",
"font": "serif",
"width": 8.231,
"textWidth": 7.773
},
{
"text": "this, ",
"font": "serif",
"width": 3.831,
"textWidth": 3.371
},
{
"text": "we ",
"font": "serif",
"width": 2.822,
"textWidth": 2.363
},
{
"text": "output ",
"font": "serif",
"width": 5.867,
"textWidth": 5.408
},
{
"text": "each ",
"font": "serif",
"width": 4.069,
"textWidth": 3.608
},
{
"text": "split ",
"font": "serif",
"width": 3.938,
"textWidth": 3.479
},
{
"text": "part ",
"font": "serif",
"width": 3.74,
"textWidth": 3.279
},
{
"text": "separately ",
"font": "serif",
"width": 8.649,
"textWidth": 8.188
},
{
"text": "and ",
"font": "serif",
"width": 3.506,
"textWidth": 3.047
},
{
"text": "perform ",
"font": "serif",
"width": 6.997,
"textWidth": 6.536
},
{
"text": "a ",
"font": "serif",
"width": 1.359,
"textWidth": 0.9
},
{
"text": "deterministic ",
"font": "serif",
"width": 10.936,
"textWidth": 10.477
},
{
"text": "reduction ",
"font": "serif",
"width": 7.665,
"textWidth": 7.665
}
]
},
{
"left": 16.486,
"top": 54.129,
"width": 64.178,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "subsequent ",
"font": "serif",
"width": 9.682,
"textWidth": 9.224
},
{
"text": "kernel, ",
"font": "serif",
"width": 6.015,
"textWidth": 5.556
},
{
"text": "thereby ",
"font": "serif",
"width": 6.601,
"textWidth": 6.143
},
{
"text": "preserving ",
"font": "serif",
"width": 9.161,
"textWidth": 8.703
},
{
"text": "both ",
"font": "serif",
"width": 4.136,
"textWidth": 3.678
},
{
"text": "performance ",
"font": "serif",
"width": 10.789,
"textWidth": 10.33
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "determinism. ",
"font": "serif",
"width": 10.801,
"textWidth": 10.801
}
]
},
{
"left": 11.905,
"top": 58.042,
"width": 31.838,
"height": 1.296,
"words": [
{
"text": "3.4. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "FP4 ",
"font": "serif-bold",
"width": 3.513,
"textWidth": 3.055
},
{
"text": "Quantization-Aware ",
"font": "serif-bold",
"width": 17.533,
"textWidth": 17.074
},
{
"text": "Training ",
"font": "serif-bold",
"width": 7.127,
"textWidth": 7.127
}
]
},
{
"left": 11.848,
"top": 60.713,
"width": 76.898,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.261,
"textWidth": 1.913
},
{
"text": "achieve ",
"font": "serif",
"width": 6.347,
"textWidth": 5.999
},
{
"text": "inference ",
"font": "serif",
"width": 7.613,
"textWidth": 7.265
},
{
"text": "acceleration ",
"font": "serif",
"width": 9.826,
"textWidth": 9.477
},
{
"text": "and ",
"font": "serif",
"width": 3.389,
"textWidth": 3.041
},
{
"text": "memory ",
"font": "serif",
"width": 7.069,
"textWidth": 6.72
},
{
"text": "savings ",
"font": "serif",
"width": 6.351,
"textWidth": 6.002
},
{
"text": "at ",
"font": "serif",
"width": 1.83,
"textWidth": 1.483
},
{
"text": "deployment, ",
"font": "serif",
"width": 10.436,
"textWidth": 10.065
},
{
"text": "we ",
"font": "serif",
"width": 2.705,
"textWidth": 2.358
},
{
"text": "introduce ",
"font": "serif",
"width": 7.997,
"textWidth": 7.649
},
{
"text": "Quantization- ",
"font": "serif",
"width": 11.074,
"textWidth": 11.074
}
]
},
{
"left": 11.833,
"top": 62.322,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Aware ",
"font": "serif",
"width": 5.92,
"textWidth": 5.413
},
{
"text": "Training ",
"font": "serif",
"width": 7.462,
"textWidth": 6.956
},
{
"text": "(QAT) ",
"font": "serif",
"width": 5.686,
"textWidth": 5.18
},
{
"text": "(Jacob ",
"font": "serif",
"width": 5.57,
"textWidth": 5.064
},
{
"text": "et ",
"font": "serif",
"width": 2.009,
"textWidth": 1.503
},
{
"text": "al., ",
"font": "serif",
"width": 2.92,
"textWidth": 2.413
},
{
"text": "2018) ",
"font": "serif",
"width": 4.868,
"textWidth": 4.361
},
{
"text": "during ",
"font": "serif",
"width": 6.185,
"textWidth": 5.679
},
{
"text": "the ",
"font": "serif",
"width": 3.099,
"textWidth": 2.593
},
{
"text": "post-training ",
"font": "serif",
"width": 11.26,
"textWidth": 10.754
},
{
"text": "stage, ",
"font": "serif",
"width": 5.256,
"textWidth": 4.739
},
{
"text": "enabling ",
"font": "serif",
"width": 7.673,
"textWidth": 7.167
},
{
"text": "the ",
"font": "serif",
"width": 3.099,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.253,
"textWidth": 5.253
}
]
},
{
"left": 11.905,
"top": 63.932,
"width": 76.374,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.273,
"textWidth": 1.63
},
{
"text": "adapt ",
"font": "serif",
"width": 5.387,
"textWidth": 4.744
},
{
"text": "to ",
"font": "serif",
"width": 2.273,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.236,
"textWidth": 2.593
},
{
"text": "precision ",
"font": "serif",
"width": 8.186,
"textWidth": 7.542
},
{
"text": "degradation ",
"font": "serif",
"width": 10.731,
"textWidth": 10.088
},
{
"text": "introduced ",
"font": "serif",
"width": 9.746,
"textWidth": 9.103
},
{
"text": "by ",
"font": "serif",
"width": 2.716,
"textWidth": 2.073
},
{
"text": "quantization. ",
"font": "serif",
"width": 12.07,
"textWidth": 10.948
},
{
"text": "We ",
"font": "serif",
"width": 3.239,
"textWidth": 2.596
},
{
"text": "apply ",
"font": "serif",
"width": 5.408,
"textWidth": 4.765
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.746,
"textWidth": 3.103
},
{
"text": "(MXFP4) ",
"font": "serif",
"width": 7.363,
"textWidth": 7.363
}
]
},
{
"left": 11.853,
"top": 65.541,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "quantization ",
"font": "serif",
"width": 11.002,
"textWidth": 10.481
},
{
"text": "(Rouhani ",
"font": "serif",
"width": 8.195,
"textWidth": 7.673
},
{
"text": "et ",
"font": "serif",
"width": 2.026,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.935,
"textWidth": 2.413
},
{
"text": "2023) ",
"font": "serif",
"width": 4.883,
"textWidth": 4.361
},
{
"text": "to ",
"font": "serif",
"width": 2.153,
"textWidth": 1.63
},
{
"text": "two ",
"font": "serif",
"width": 3.71,
"textWidth": 3.189
},
{
"text": "components: ",
"font": "serif",
"width": 11.281,
"textWidth": 10.586
},
{
"text": "(1) ",
"font": "serif",
"width": 2.701,
"textWidth": 2.18
},
{
"text": "MoE ",
"font": "serif",
"width": 4.453,
"textWidth": 3.931
},
{
"text": "expert ",
"font": "serif",
"width": 5.748,
"textWidth": 5.226
},
{
"text": "weights, ",
"font": "serif",
"width": 7.531,
"textWidth": 6.995
},
{
"text": "which ",
"font": "serif",
"width": 5.632,
"textWidth": 5.109
},
{
"text": "are ",
"font": "serif",
"width": 3.056,
"textWidth": 2.535
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 67.151,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "major ",
"font": "serif",
"width": 5.322,
"textWidth": 4.782
},
{
"text": "source ",
"font": "serif",
"width": 5.911,
"textWidth": 5.37
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "GPU ",
"font": "serif",
"width": 4.55,
"textWidth": 4.01
},
{
"text": "memory ",
"font": "serif",
"width": 7.535,
"textWidth": 6.995
},
{
"text": "occupancy ",
"font": "serif",
"width": 9.363,
"textWidth": 8.823
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 8.29,
"textWidth": 7.75
},
{
"text": "2025), ",
"font": "serif",
"width": 5.389,
"textWidth": 4.828
},
{
"text": "and ",
"font": "serif",
"width": 3.705,
"textWidth": 3.165
},
{
"text": "(2) ",
"font": "serif",
"width": 2.72,
"textWidth": 2.18
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "Query-Key ",
"font": "serif",
"width": 9.724,
"textWidth": 9.184
},
{
"text": "(QK) ",
"font": "serif",
"width": 4.611,
"textWidth": 4.071
},
{
"text": "path ",
"font": "serif",
"width": 3.755,
"textWidth": 3.755
}
]
},
{
"left": 11.905,
"top": 68.76,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.211,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.174,
"textWidth": 2.593
},
{
"text": "indexer ",
"font": "serif",
"width": 6.847,
"textWidth": 6.268
},
{
"text": "of ",
"font": "serif",
"width": 2.224,
"textWidth": 1.643
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.808,
"textWidth": 4.228
},
{
"text": "where ",
"font": "serif",
"width": 5.724,
"textWidth": 5.144
},
{
"text": "QK ",
"font": "serif",
"width": 3.406,
"textWidth": 2.826
},
{
"text": "activations ",
"font": "serif",
"width": 9.544,
"textWidth": 8.963
},
{
"text": "are ",
"font": "serif",
"width": 3.116,
"textWidth": 2.535
},
{
"text": "cached, ",
"font": "serif",
"width": 6.797,
"textWidth": 6.187
},
{
"text": "loaded, ",
"font": "serif",
"width": 6.757,
"textWidth": 6.146
},
{
"text": "and ",
"font": "serif",
"width": 3.746,
"textWidth": 3.165
},
{
"text": "multiplied ",
"font": "serif",
"width": 9.303,
"textWidth": 8.722
},
{
"text": "entirely ",
"font": "serif",
"width": 6.901,
"textWidth": 6.32
},
{
"text": "in ",
"font": "serif",
"width": 1.632,
"textWidth": 1.632
}
]
},
{
"left": 11.905,
"top": 70.369,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "FP4, ",
"font": "serif",
"width": 3.926,
"textWidth": 3.465
},
{
"text": "accelerating ",
"font": "serif",
"width": 10.053,
"textWidth": 9.592
},
{
"text": "attention ",
"font": "serif",
"width": 7.64,
"textWidth": 7.181
},
{
"text": "score ",
"font": "serif",
"width": 4.579,
"textWidth": 4.118
},
{
"text": "computation ",
"font": "serif",
"width": 10.708,
"textWidth": 10.247
},
{
"text": "in ",
"font": "serif",
"width": 2.043,
"textWidth": 1.584
},
{
"text": "long-context ",
"font": "serif",
"width": 10.488,
"textWidth": 10.028
},
{
"text": "scenarios. ",
"font": "serif",
"width": 8.44,
"textWidth": 7.865
},
{
"text": "In ",
"font": "serif",
"width": 2.126,
"textWidth": 1.667
},
{
"text": "addition, ",
"font": "serif",
"width": 7.732,
"textWidth": 7.272
},
{
"text": "we ",
"font": "serif",
"width": 2.843,
"textWidth": 2.382
},
{
"text": "further ",
"font": "serif",
"width": 5.648,
"textWidth": 5.648
}
]
},
{
"left": 11.853,
"top": 71.979,
"width": 21.061,
"height": 1.296,
"words": [
{
"text": "quantize ",
"font": "serif",
"width": 7.72,
"textWidth": 7.18
},
{
"text": "the ",
"font": "serif",
"width": 3.131,
"textWidth": 2.591
},
{
"text": "index ",
"font": "serif",
"width": 5.174,
"textWidth": 4.634
},
{
"text": "scores ",
"font": "serif",
"width": 5.036,
"textWidth": 5.036
}
]
},
{
"left": 35.784,
"top": 71.979,
"width": 52.311,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.539,
"textWidth": 3.998
},
{
"text": "FP32 ",
"font": "serif",
"width": 4.576,
"textWidth": 4.038
},
{
"text": "to ",
"font": "serif",
"width": 2.17,
"textWidth": 1.63
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.591,
"textWidth": 4.051
},
{
"text": "during ",
"font": "serif",
"width": 6.217,
"textWidth": 5.679
},
{
"text": "this ",
"font": "serif",
"width": 3.574,
"textWidth": 3.034
},
{
"text": "QAT ",
"font": "serif",
"width": 4.473,
"textWidth": 3.933
},
{
"text": "process. ",
"font": "serif",
"width": 7.438,
"textWidth": 6.627
},
{
"text": "This ",
"font": "serif",
"width": 4.111,
"textWidth": 3.57
},
{
"text": "optimization ",
"font": "serif",
"width": 10.623,
"textWidth": 10.623
}
]
},
{
"left": 11.905,
"top": 73.588,
"width": 76.479,
"height": 1.296,
"words": [
{
"text": "achieves ",
"font": "serif",
"width": 7.356,
"textWidth": 6.898
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "2 ",
"font": "serif",
"width": 2.54,
"textWidth": 0.916
},
{
"text": "speedup ",
"font": "serif",
"width": 7.418,
"textWidth": 6.96
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "top-k ",
"font": "serif",
"width": 4.787,
"textWidth": 4.329
},
{
"text": "selector, ",
"font": "serif",
"width": 6.982,
"textWidth": 6.524
},
{
"text": "while ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "preserving ",
"font": "serif",
"width": 9.161,
"textWidth": 8.703
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "99.7% ",
"font": "serif",
"width": 5.205,
"textWidth": 4.746
},
{
"text": "recall ",
"font": "serif",
"width": 4.823,
"textWidth": 4.365
},
{
"text": "rate ",
"font": "serif",
"width": 3.574,
"textWidth": 3.115
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries. ",
"font": "serif",
"width": 5.912,
"textWidth": 5.912
}
]
},
{
"left": 14.75,
"top": 76.002,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.233,
"textWidth": 2.774
},
{
"text": "MoE ",
"font": "serif",
"width": 4.356,
"textWidth": 3.896
},
{
"text": "expert ",
"font": "serif",
"width": 5.64,
"textWidth": 5.18
},
{
"text": "weights, ",
"font": "serif",
"width": 7.393,
"textWidth": 6.931
},
{
"text": "following ",
"font": "serif",
"width": 8.369,
"textWidth": 7.909
},
{
"text": "the ",
"font": "serif",
"width": 3.029,
"textWidth": 2.57
},
{
"text": "common ",
"font": "serif",
"width": 7.656,
"textWidth": 7.196
},
{
"text": "practice ",
"font": "serif",
"width": 6.907,
"textWidth": 6.448
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.629
},
{
"text": "QAT, ",
"font": "serif",
"width": 4.684,
"textWidth": 4.224
},
{
"text": "the ",
"font": "serif",
"width": 3.029,
"textWidth": 2.57
},
{
"text": "FP32 ",
"font": "serif",
"width": 4.461,
"textWidth": 4.002
},
{
"text": "master ",
"font": "serif",
"width": 6.031,
"textWidth": 5.571
},
{
"text": "weights ",
"font": "serif",
"width": 6.47,
"textWidth": 6.47
}
]
},
{
"left": 11.905,
"top": 77.611,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "maintained ",
"font": "serif",
"width": 10.122,
"textWidth": 9.43
},
{
"text": "by ",
"font": "serif",
"width": 2.767,
"textWidth": 2.073
},
{
"text": "the ",
"font": "serif",
"width": 3.284,
"textWidth": 2.593
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.752,
"textWidth": 8.06
},
{
"text": "are ",
"font": "serif",
"width": 3.228,
"textWidth": 2.537
},
{
"text": "first ",
"font": "serif",
"width": 3.963,
"textWidth": 3.271
},
{
"text": "quantized ",
"font": "serif",
"width": 9.015,
"textWidth": 8.322
},
{
"text": "to ",
"font": "serif",
"width": 2.322,
"textWidth": 1.63
},
{
"text": "FP4, ",
"font": "serif",
"width": 4.322,
"textWidth": 3.57
},
{
"text": "then ",
"font": "serif",
"width": 4.372,
"textWidth": 3.681
},
{
"text": "dequantized ",
"font": "serif",
"width": 11.051,
"textWidth": 10.359
},
{
"text": "back ",
"font": "serif",
"width": 4.531,
"textWidth": 3.838
},
{
"text": "to ",
"font": "serif",
"width": 2.322,
"textWidth": 1.63
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.795,
"textWidth": 3.103
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 11.905,
"top": 79.221,
"width": 76.374,
"height": 1.296,
"words": [
{
"text": "computation. ",
"font": "serif",
"width": 11.61,
"textWidth": 11.025
},
{
"text": "Notably, ",
"font": "serif",
"width": 7.464,
"textWidth": 6.999
},
{
"text": "our ",
"font": "serif",
"width": 3.35,
"textWidth": 2.886
},
{
"text": "FP4-to-FP8 ",
"font": "serif",
"width": 9.544,
"textWidth": 9.081
},
{
"text": "dequantization ",
"font": "serif",
"width": 12.982,
"textWidth": 12.518
},
{
"text": "is ",
"font": "serif",
"width": 1.8,
"textWidth": 1.337
},
{
"text": "lossless. ",
"font": "serif",
"width": 7.227,
"textWidth": 6.641
},
{
"text": "This ",
"font": "serif",
"width": 4.034,
"textWidth": 3.57
},
{
"text": "is ",
"font": "serif",
"width": 1.8,
"textWidth": 1.337
},
{
"text": "because ",
"font": "serif",
"width": 6.972,
"textWidth": 6.509
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.567,
"textWidth": 3.103
},
{
"text": "(E4M3) ",
"font": "serif",
"width": 6.025,
"textWidth": 6.025
}
]
},
{
"left": 11.905,
"top": 80.83,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "has ",
"font": "serif",
"width": 3.365,
"textWidth": 2.815
},
{
"text": "2 ",
"font": "serif",
"width": 1.486,
"textWidth": 0.935
},
{
"text": "additional ",
"font": "serif",
"width": 9.053,
"textWidth": 8.503
},
{
"text": "exponent ",
"font": "serif",
"width": 8.236,
"textWidth": 7.685
},
{
"text": "bits ",
"font": "serif",
"width": 3.529,
"textWidth": 2.98
},
{
"text": "compared ",
"font": "serif",
"width": 8.853,
"textWidth": 8.301
},
{
"text": "with ",
"font": "serif",
"width": 4.35,
"textWidth": 3.8
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.654,
"textWidth": 3.103
},
{
"text": "(E2M1), ",
"font": "serif",
"width": 7.064,
"textWidth": 6.492
},
{
"text": "offering ",
"font": "serif",
"width": 7.088,
"textWidth": 6.537
},
{
"text": "a ",
"font": "serif",
"width": 1.484,
"textWidth": 0.935
},
{
"text": "larger ",
"font": "serif",
"width": 5.408,
"textWidth": 4.856
},
{
"text": "dynamic ",
"font": "serif",
"width": 7.778,
"textWidth": 7.228
},
{
"text": "range. ",
"font": "serif",
"width": 5.163,
"textWidth": 5.163
}
]
},
{
"left": 11.905,
"top": 82.44,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Consequently, ",
"font": "serif",
"width": 11.796,
"textWidth": 11.337
},
{
"text": "as ",
"font": "serif",
"width": 2.129,
"textWidth": 1.67
},
{
"text": "long ",
"font": "serif",
"width": 4.026,
"textWidth": 3.569
},
{
"text": "as ",
"font": "serif",
"width": 2.129,
"textWidth": 1.67
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.506
},
{
"text": "ratio ",
"font": "serif",
"width": 4.178,
"textWidth": 3.719
},
{
"text": "between ",
"font": "serif",
"width": 7.201,
"textWidth": 6.744
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "maximum ",
"font": "serif",
"width": 8.697,
"textWidth": 8.238
},
{
"text": "and ",
"font": "serif",
"width": 3.516,
"textWidth": 3.059
},
{
"text": "minimum ",
"font": "serif",
"width": 8.438,
"textWidth": 7.98
},
{
"text": "scale ",
"font": "serif",
"width": 4.32,
"textWidth": 3.863
},
{
"text": "factors ",
"font": "serif",
"width": 5.822,
"textWidth": 5.363
},
{
"text": "of ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.506
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.0,
"textWidth": 3.0
}
]
},
{
"left": 11.905,
"top": 84.049,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sub-blocks ",
"font": "serif",
"width": 9.369,
"textWidth": 8.836
},
{
"text": "(1 ",
"font": "serif",
"width": 3.49,
"textWidth": 1.557
},
{
"text": "32 ",
"font": "serif",
"width": 2.402,
"textWidth": 1.869
},
{
"text": "tiles) ",
"font": "serif",
"width": 4.54,
"textWidth": 4.008
},
{
"text": "within ",
"font": "serif",
"width": 5.965,
"textWidth": 5.432
},
{
"text": "each ",
"font": "serif",
"width": 4.281,
"textWidth": 3.748
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.636,
"textWidth": 3.103
},
{
"text": "quantization ",
"font": "serif",
"width": 11.014,
"textWidth": 10.481
},
{
"text": "block ",
"font": "serif",
"width": 5.0,
"textWidth": 4.468
},
{
"text": "(128 ",
"font": "serif",
"width": 5.36,
"textWidth": 3.426
},
{
"text": "128 ",
"font": "serif",
"width": 3.337,
"textWidth": 2.804
},
{
"text": "tiles) ",
"font": "serif",
"width": 4.54,
"textWidth": 4.008
},
{
"text": "does ",
"font": "serif",
"width": 4.383,
"textWidth": 3.851
},
{
"text": "not ",
"font": "serif",
"width": 3.251,
"textWidth": 2.718
},
{
"text": "exceed ",
"font": "serif",
"width": 5.623,
"textWidth": 5.623
}
]
},
{
"left": 11.905,
"top": 85.658,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.408,
"textWidth": 0.935
},
{
"text": "certain ",
"font": "serif",
"width": 6.112,
"textWidth": 5.64
},
{
"text": "threshold, ",
"font": "serif",
"width": 8.829,
"textWidth": 8.352
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.591,
"textWidth": 10.118
},
{
"text": "scale ",
"font": "serif",
"width": 4.469,
"textWidth": 3.996
},
{
"text": "information ",
"font": "serif",
"width": 10.331,
"textWidth": 9.859
},
{
"text": "can ",
"font": "serif",
"width": 3.325,
"textWidth": 2.852
},
{
"text": "be ",
"font": "serif",
"width": 2.402,
"textWidth": 1.929
},
{
"text": "fully ",
"font": "serif",
"width": 4.35,
"textWidth": 3.877
},
{
"text": "absorbed ",
"font": "serif",
"width": 8.064,
"textWidth": 7.591
},
{
"text": "by ",
"font": "serif",
"width": 2.546,
"textWidth": 2.073
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "extended ",
"font": "serif",
"width": 7.632,
"textWidth": 7.632
}
]
},
{
"left": 11.905,
"top": 87.268,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "dynamic ",
"font": "serif",
"width": 7.681,
"textWidth": 7.221
},
{
"text": "range ",
"font": "serif",
"width": 5.149,
"textWidth": 4.691
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.641
},
{
"text": "FP8. ",
"font": "serif",
"width": 4.138,
"textWidth": 3.567
},
{
"text": "We ",
"font": "serif",
"width": 3.051,
"textWidth": 2.592
},
{
"text": "empirically ",
"font": "serif",
"width": 9.838,
"textWidth": 9.378
},
{
"text": "verify ",
"font": "serif",
"width": 5.348,
"textWidth": 4.891
},
{
"text": "that ",
"font": "serif",
"width": 3.698,
"textWidth": 3.238
},
{
"text": "current ",
"font": "serif",
"width": 6.446,
"textWidth": 5.987
},
{
"text": "weights ",
"font": "serif",
"width": 6.98,
"textWidth": 6.521
},
{
"text": "satisfy ",
"font": "serif",
"width": 5.789,
"textWidth": 5.33
},
{
"text": "this ",
"font": "serif",
"width": 3.488,
"textWidth": 3.031
},
{
"text": "condition. ",
"font": "serif",
"width": 8.917,
"textWidth": 8.346
},
{
"text": "This ",
"font": "serif",
"width": 3.567,
"textWidth": 3.567
}
]
},
{
"left": 11.905,
"top": 88.877,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "allows ",
"font": "serif",
"width": 6.036,
"textWidth": 5.395
},
{
"text": "the ",
"font": "serif",
"width": 3.234,
"textWidth": 2.593
},
{
"text": "entire ",
"font": "serif",
"width": 5.38,
"textWidth": 4.739
},
{
"text": "QAT ",
"font": "serif",
"width": 4.574,
"textWidth": 3.933
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.399,
"textWidth": 6.757
},
{
"text": "to ",
"font": "serif",
"width": 2.271,
"textWidth": 1.63
},
{
"text": "fully ",
"font": "serif",
"width": 4.52,
"textWidth": 3.877
},
{
"text": "reuse ",
"font": "serif",
"width": 5.056,
"textWidth": 4.415
},
{
"text": "the ",
"font": "serif",
"width": 3.234,
"textWidth": 2.593
},
{
"text": "existing ",
"font": "serif",
"width": 7.118,
"textWidth": 6.477
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.744,
"textWidth": 3.103
},
{
"text": "training ",
"font": "serif",
"width": 7.228,
"textWidth": 6.585
},
{
"text": "framework ",
"font": "serif",
"width": 9.84,
"textWidth": 9.199
},
{
"text": "without ",
"font": "serif",
"width": 6.557,
"textWidth": 6.557
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "19 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"20": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "any ",
"font": "serif",
"width": 3.479,
"textWidth": 3.02
},
{
"text": "modification. ",
"font": "serif",
"width": 11.405,
"textWidth": 10.831
},
{
"text": "In ",
"font": "serif",
"width": 2.153,
"textWidth": 1.694
},
{
"text": "the ",
"font": "serif",
"width": 3.018,
"textWidth": 2.557
},
{
"text": "backward ",
"font": "serif",
"width": 8.525,
"textWidth": 8.066
},
{
"text": "pass, ",
"font": "serif",
"width": 4.515,
"textWidth": 4.054
},
{
"text": "gradients ",
"font": "serif",
"width": 8.136,
"textWidth": 7.677
},
{
"text": "are ",
"font": "serif",
"width": 2.961,
"textWidth": 2.5
},
{
"text": "computed ",
"font": "serif",
"width": 8.742,
"textWidth": 8.283
},
{
"text": "with ",
"font": "serif",
"width": 4.207,
"textWidth": 3.748
},
{
"text": "respect ",
"font": "serif",
"width": 6.231,
"textWidth": 5.77
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "the ",
"font": "serif",
"width": 3.018,
"textWidth": 2.557
},
{
"text": "same ",
"font": "serif",
"width": 4.674,
"textWidth": 4.213
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.06,
"textWidth": 3.06
}
]
},
{
"left": 11.828,
"top": 12.082,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "weights ",
"font": "serif",
"width": 6.67,
"textWidth": 6.271
},
{
"text": "in ",
"font": "serif",
"width": 1.965,
"textWidth": 1.568
},
{
"text": "the ",
"font": "serif",
"width": 2.89,
"textWidth": 2.491
},
{
"text": "forward ",
"font": "serif",
"width": 6.855,
"textWidth": 6.456
},
{
"text": "pass ",
"font": "serif",
"width": 3.897,
"textWidth": 3.5
},
{
"text": "and ",
"font": "serif",
"width": 3.439,
"textWidth": 3.041
},
{
"text": "directly ",
"font": "serif",
"width": 6.458,
"textWidth": 6.061
},
{
"text": "propagated ",
"font": "serif",
"width": 9.551,
"textWidth": 9.154
},
{
"text": "back ",
"font": "serif",
"width": 4.086,
"textWidth": 3.687
},
{
"text": "to ",
"font": "serif",
"width": 1.963,
"textWidth": 1.566
},
{
"text": "the ",
"font": "serif",
"width": 2.89,
"textWidth": 2.491
},
{
"text": "FP32 ",
"font": "serif",
"width": 4.276,
"textWidth": 3.879
},
{
"text": "master ",
"font": "serif",
"width": 5.799,
"textWidth": 5.4
},
{
"text": "weights, ",
"font": "serif",
"width": 7.13,
"textWidth": 6.72
},
{
"text": "equivalent ",
"font": "serif",
"width": 8.398,
"textWidth": 8.398
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.031,
"textWidth": 1.572
},
{
"text": "applying ",
"font": "serif",
"width": 7.63,
"textWidth": 7.173
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "Straight-Through ",
"font": "serif",
"width": 14.329,
"textWidth": 13.873
},
{
"text": "Estimator ",
"font": "serif",
"width": 8.216,
"textWidth": 7.758
},
{
"text": "(STE) ",
"font": "serif",
"width": 4.813,
"textWidth": 4.355
},
{
"text": "through ",
"font": "serif",
"width": 6.898,
"textWidth": 6.44
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "quantization ",
"font": "serif",
"width": 10.567,
"textWidth": 10.111
},
{
"text": "operation. ",
"font": "serif",
"width": 8.712,
"textWidth": 8.144
},
{
"text": "This ",
"font": "serif",
"width": 3.902,
"textWidth": 3.444
},
{
"text": "also ",
"font": "serif",
"width": 3.176,
"textWidth": 3.176
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 41.247,
"height": 1.296,
"words": [
{
"text": "avoids ",
"font": "serif",
"width": 5.841,
"textWidth": 5.382
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "need ",
"font": "serif",
"width": 4.4,
"textWidth": 3.942
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "re-quantize ",
"font": "serif",
"width": 9.676,
"textWidth": 9.218
},
{
"text": "transposed ",
"font": "serif",
"width": 9.416,
"textWidth": 8.958
},
{
"text": "weights. ",
"font": "serif",
"width": 6.858,
"textWidth": 6.858
}
]
},
{
"left": 14.75,
"top": 17.715,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "During ",
"font": "serif",
"width": 6.55,
"textWidth": 5.984
},
{
"text": "the ",
"font": "serif",
"width": 3.159,
"textWidth": 2.593
},
{
"text": "inference ",
"font": "serif",
"width": 8.129,
"textWidth": 7.563
},
{
"text": "and ",
"font": "serif",
"width": 3.729,
"textWidth": 3.165
},
{
"text": "rollout ",
"font": "serif",
"width": 6.139,
"textWidth": 5.572
},
{
"text": "phases ",
"font": "serif",
"width": 6.191,
"textWidth": 5.626
},
{
"text": "of ",
"font": "serif",
"width": 2.209,
"textWidth": 1.643
},
{
"text": "RL ",
"font": "serif",
"width": 2.957,
"textWidth": 2.391
},
{
"text": "training, ",
"font": "serif",
"width": 7.645,
"textWidth": 7.053
},
{
"text": "which ",
"font": "serif",
"width": 5.675,
"textWidth": 5.109
},
{
"text": "do ",
"font": "serif",
"width": 2.729,
"textWidth": 2.163
},
{
"text": "not ",
"font": "serif",
"width": 3.282,
"textWidth": 2.718
},
{
"text": "involve ",
"font": "serif",
"width": 6.77,
"textWidth": 6.204
},
{
"text": "backward ",
"font": "serif",
"width": 8.18,
"textWidth": 8.18
}
]
},
{
"left": 11.85,
"top": 19.324,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "passes, ",
"font": "serif",
"width": 6.417,
"textWidth": 5.798
},
{
"text": "we ",
"font": "serif",
"width": 3.039,
"textWidth": 2.454
},
{
"text": "directly ",
"font": "serif",
"width": 6.896,
"textWidth": 6.309
},
{
"text": "use ",
"font": "serif",
"width": 3.4,
"textWidth": 2.815
},
{
"text": "real ",
"font": "serif",
"width": 3.666,
"textWidth": 3.081
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.69,
"textWidth": 3.103
},
{
"text": "quantized ",
"font": "serif",
"width": 8.907,
"textWidth": 8.322
},
{
"text": "weights ",
"font": "serif",
"width": 7.114,
"textWidth": 6.527
},
{
"text": "instead ",
"font": "serif",
"width": 6.591,
"textWidth": 6.006
},
{
"text": "of ",
"font": "serif",
"width": 2.23,
"textWidth": 1.643
},
{
"text": "simulated ",
"font": "serif",
"width": 8.825,
"textWidth": 8.238
},
{
"text": "quantization. ",
"font": "serif",
"width": 11.9,
"textWidth": 10.948
},
{
"text": "This ",
"font": "serif",
"width": 3.57,
"textWidth": 3.57
}
]
},
{
"left": 11.905,
"top": 20.933,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "ensures ",
"font": "serif",
"width": 6.55,
"textWidth": 6.092
},
{
"text": "that ",
"font": "serif",
"width": 3.594,
"textWidth": 3.136
},
{
"text": "model ",
"font": "serif",
"width": 5.54,
"textWidth": 5.083
},
{
"text": "behavior ",
"font": "serif",
"width": 7.532,
"textWidth": 7.074
},
{
"text": "during ",
"font": "serif",
"width": 5.953,
"textWidth": 5.495
},
{
"text": "sampling ",
"font": "serif",
"width": 7.924,
"textWidth": 7.467
},
{
"text": "is ",
"font": "serif",
"width": 1.751,
"textWidth": 1.293
},
{
"text": "fully ",
"font": "serif",
"width": 4.209,
"textWidth": 3.751
},
{
"text": "consistent ",
"font": "serif",
"width": 8.46,
"textWidth": 8.002
},
{
"text": "with ",
"font": "serif",
"width": 4.135,
"textWidth": 3.675
},
{
"text": "online ",
"font": "serif",
"width": 5.468,
"textWidth": 5.01
},
{
"text": "deployment, ",
"font": "serif",
"width": 10.594,
"textWidth": 10.136
},
{
"text": "while ",
"font": "serif",
"width": 4.48,
"textWidth": 4.48
}
]
},
{
"left": 11.905,
"top": 22.543,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "also ",
"font": "serif",
"width": 3.742,
"textWidth": 3.282
},
{
"text": "reducing ",
"font": "serif",
"width": 7.811,
"textWidth": 7.351
},
{
"text": "kernel ",
"font": "serif",
"width": 5.645,
"textWidth": 5.185
},
{
"text": "memory ",
"font": "serif",
"width": 7.435,
"textWidth": 6.974
},
{
"text": "loading ",
"font": "serif",
"width": 6.756,
"textWidth": 6.294
},
{
"text": "for ",
"font": "serif",
"width": 2.835,
"textWidth": 2.374
},
{
"text": "actual ",
"font": "serif",
"width": 5.425,
"textWidth": 4.965
},
{
"text": "speedup ",
"font": "serif",
"width": 7.539,
"textWidth": 7.079
},
{
"text": "and ",
"font": "serif",
"width": 3.618,
"textWidth": 3.155
},
{
"text": "significantly ",
"font": "serif",
"width": 10.614,
"textWidth": 10.154
},
{
"text": "lowering ",
"font": "serif",
"width": 7.867,
"textWidth": 7.407
},
{
"text": "memory ",
"font": "serif",
"width": 6.974,
"textWidth": 6.974
}
]
},
{
"left": 11.905,
"top": 24.152,
"width": 56.89,
"height": 1.296,
"words": [
{
"text": "consumption. ",
"font": "serif",
"width": 11.707,
"textWidth": 11.139
},
{
"text": "We ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "process ",
"font": "serif",
"width": 6.497,
"textWidth": 6.038
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "QK ",
"font": "serif",
"width": 3.229,
"textWidth": 2.771
},
{
"text": "path ",
"font": "serif",
"width": 4.14,
"textWidth": 3.682
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "indexer ",
"font": "serif",
"width": 6.603,
"textWidth": 6.145
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "CSA ",
"font": "serif",
"width": 4.145,
"textWidth": 3.687
},
{
"text": "similarly. ",
"font": "serif",
"width": 7.442,
"textWidth": 7.442
}
]
},
{
"left": 11.905,
"top": 27.863,
"width": 20.822,
"height": 1.296,
"words": [
{
"text": "3.5. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Training ",
"font": "serif-bold",
"width": 7.585,
"textWidth": 7.127
},
{
"text": "Framework ",
"font": "serif-bold",
"width": 9.572,
"textWidth": 9.572
}
]
},
{
"left": 11.905,
"top": 30.535,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.856,
"textWidth": 3.335
},
{
"text": "training ",
"font": "serif",
"width": 7.107,
"textWidth": 6.585
},
{
"text": "framework ",
"font": "serif",
"width": 9.722,
"textWidth": 9.199
},
{
"text": "is ",
"font": "serif",
"width": 1.858,
"textWidth": 1.337
},
{
"text": "built ",
"font": "serif",
"width": 4.38,
"textWidth": 3.858
},
{
"text": "upon ",
"font": "serif",
"width": 4.881,
"textWidth": 4.359
},
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "scalable ",
"font": "serif",
"width": 7.03,
"textWidth": 6.509
},
{
"text": "and ",
"font": "serif",
"width": 3.686,
"textWidth": 3.165
},
{
"text": "efficient ",
"font": "serif",
"width": 7.103,
"textWidth": 6.582
},
{
"text": "infrastructure ",
"font": "serif",
"width": 11.87,
"textWidth": 11.348
},
{
"text": "developed ",
"font": "serif",
"width": 9.236,
"textWidth": 8.715
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 11.905,
"top": 32.144,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V3 ",
"font": "serif",
"width": 11.278,
"textWidth": 10.818
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.145,
"textWidth": 11.687
},
{
"text": "2024). ",
"font": "serif",
"width": 5.288,
"textWidth": 4.715
},
{
"text": "In ",
"font": "serif",
"width": 2.137,
"textWidth": 1.677
},
{
"text": "training ",
"font": "serif",
"width": 6.889,
"textWidth": 6.429
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 11.735,
"textWidth": 11.275
},
{
"text": "we ",
"font": "serif",
"width": 2.857,
"textWidth": 2.397
},
{
"text": "inherit ",
"font": "serif",
"width": 5.835,
"textWidth": 5.377
},
{
"text": "this ",
"font": "serif",
"width": 3.422,
"textWidth": 2.962
},
{
"text": "robust ",
"font": "serif",
"width": 5.624,
"textWidth": 5.164
},
{
"text": "foundation ",
"font": "serif",
"width": 8.98,
"textWidth": 8.98
}
]
},
{
"left": 11.828,
"top": 33.753,
"width": 74.426,
"height": 1.296,
"words": [
{
"text": "while ",
"font": "serif",
"width": 4.86,
"textWidth": 4.449
},
{
"text": "introducing ",
"font": "serif",
"width": 9.765,
"textWidth": 9.353
},
{
"text": "several ",
"font": "serif",
"width": 6.038,
"textWidth": 5.627
},
{
"text": "key ",
"font": "serif",
"width": 3.269,
"textWidth": 2.857
},
{
"text": "innovations ",
"font": "serif",
"width": 9.813,
"textWidth": 9.402
},
{
"text": "to ",
"font": "serif",
"width": 1.977,
"textWidth": 1.566
},
{
"text": "accommodate ",
"font": "serif",
"width": 11.476,
"textWidth": 11.065
},
{
"text": "its ",
"font": "serif",
"width": 2.281,
"textWidth": 1.87
},
{
"text": "novel ",
"font": "serif",
"width": 4.835,
"textWidth": 4.423
},
{
"text": "architectural ",
"font": "serif",
"width": 10.391,
"textWidth": 9.982
},
{
"text": "components ",
"font": "serif",
"width": 9.722,
"textWidth": 9.722
}
]
},
{
"left": 11.905,
"top": 35.363,
"width": 25.285,
"height": 1.296,
"words": [
{
"text": "specifically ",
"font": "serif",
"width": 9.208,
"textWidth": 8.847
},
{
"text": "the ",
"font": "serif",
"width": 2.852,
"textWidth": 2.491
},
{
"text": "Muon ",
"font": "serif",
"width": 5.169,
"textWidth": 4.808
},
{
"text": "optimizer, ",
"font": "serif",
"width": 8.057,
"textWidth": 8.057
}
]
},
{
"left": 37.571,
"top": 35.336,
"width": 1.397,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.397,
"textWidth": 1.397
}
]
},
{
"left": 38.968,
"top": 35.363,
"width": 49.127,
"height": 1.296,
"words": [
{
"text": "HC, ",
"font": "serif",
"width": 3.578,
"textWidth": 3.217
},
{
"text": "and ",
"font": "serif",
"width": 3.402,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.852,
"textWidth": 2.491
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.727,
"textWidth": 5.366
},
{
"text": "attention ",
"font": "serif",
"width": 7.469,
"textWidth": 7.108
},
{
"text": "mechanism ",
"font": "serif",
"width": 11.62,
"textWidth": 9.102
},
{
"text": "while ",
"font": "serif",
"width": 4.81,
"textWidth": 4.449
},
{
"text": "maintaining ",
"font": "serif",
"width": 9.669,
"textWidth": 9.669
}
]
},
{
"left": 11.905,
"top": 36.972,
"width": 29.54,
"height": 1.296,
"words": [
{
"text": "high ",
"font": "serif",
"width": 4.144,
"textWidth": 3.685
},
{
"text": "training ",
"font": "serif",
"width": 6.914,
"textWidth": 6.456
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.146,
"textWidth": 7.688
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "stability. ",
"font": "serif",
"width": 6.775,
"textWidth": 6.775
}
]
},
{
"left": 11.905,
"top": 40.417,
"width": 32.716,
"height": 1.296,
"words": [
{
"text": "3.5.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Efficient ",
"font": "serif-bold-italic",
"width": 7.209,
"textWidth": 6.751
},
{
"text": "Implementation ",
"font": "serif-bold-italic",
"width": 13.592,
"textWidth": 13.134
},
{
"text": "of ",
"font": "serif-bold-italic",
"width": 2.087,
"textWidth": 1.629
},
{
"text": "Muon ",
"font": "serif-bold-italic",
"width": 4.787,
"textWidth": 4.787
}
]
},
{
"left": 11.848,
"top": 43.101,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.617,
"textWidth": 3.129
},
{
"text": "Muon ",
"font": "serif",
"width": 5.494,
"textWidth": 5.004
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.548,
"textWidth": 8.06
},
{
"text": "requires ",
"font": "serif",
"width": 7.2,
"textWidth": 6.713
},
{
"text": "the ",
"font": "serif",
"width": 3.082,
"textWidth": 2.593
},
{
"text": "full ",
"font": "serif",
"width": 3.325,
"textWidth": 2.838
},
{
"text": "gradient ",
"font": "serif",
"width": 7.481,
"textWidth": 6.991
},
{
"text": "matrix ",
"font": "serif",
"width": 5.929,
"textWidth": 5.441
},
{
"text": "to ",
"font": "serif",
"width": 2.12,
"textWidth": 1.63
},
{
"text": "compute ",
"font": "serif",
"width": 7.744,
"textWidth": 7.256
},
{
"text": "parameter ",
"font": "serif",
"width": 9.01,
"textWidth": 8.52
},
{
"text": "updates, ",
"font": "serif",
"width": 7.587,
"textWidth": 7.09
},
{
"text": "which ",
"font": "serif",
"width": 5.109,
"textWidth": 5.109
}
]
},
{
"left": 11.85,
"top": 44.711,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "presents ",
"font": "serif",
"width": 7.038,
"textWidth": 6.631
},
{
"text": "a ",
"font": "serif",
"width": 1.306,
"textWidth": 0.898
},
{
"text": "challenge ",
"font": "serif",
"width": 7.96,
"textWidth": 7.55
},
{
"text": "when ",
"font": "serif",
"width": 4.856,
"textWidth": 4.449
},
{
"text": "combined ",
"font": "serif",
"width": 8.29,
"textWidth": 7.882
},
{
"text": "with ",
"font": "serif",
"width": 4.061,
"textWidth": 3.651
},
{
"text": "the ",
"font": "serif",
"width": 2.899,
"textWidth": 2.491
},
{
"text": "Zero ",
"font": "serif",
"width": 4.124,
"textWidth": 3.716
},
{
"text": "Redundancy ",
"font": "serif",
"width": 10.53,
"textWidth": 10.122
},
{
"text": "Optimizer ",
"font": "serif",
"width": 8.585,
"textWidth": 8.175
},
{
"text": "(ZeRO) ",
"font": "serif",
"width": 6.273,
"textWidth": 5.866
},
{
"text": "(Rajbhandari ",
"font": "serif",
"width": 10.325,
"textWidth": 10.325
}
]
},
{
"left": 11.905,
"top": 46.32,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.963,
"textWidth": 1.502
},
{
"text": "al., ",
"font": "serif",
"width": 2.867,
"textWidth": 2.407
},
{
"text": "2020). ",
"font": "serif",
"width": 5.392,
"textWidth": 4.819
},
{
"text": "Traditional ",
"font": "serif",
"width": 9.522,
"textWidth": 9.063
},
{
"text": "ZeRO ",
"font": "serif",
"width": 5.311,
"textWidth": 4.851
},
{
"text": "is ",
"font": "serif",
"width": 1.793,
"textWidth": 1.334
},
{
"text": "designed ",
"font": "serif",
"width": 7.985,
"textWidth": 7.524
},
{
"text": "for ",
"font": "serif",
"width": 2.836,
"textWidth": 2.377
},
{
"text": "element-wise ",
"font": "serif",
"width": 11.431,
"textWidth": 10.97
},
{
"text": "optimizers ",
"font": "serif",
"width": 9.294,
"textWidth": 8.835
},
{
"text": "like ",
"font": "serif",
"width": 3.477,
"textWidth": 3.017
},
{
"text": "AdamW, ",
"font": "serif",
"width": 7.794,
"textWidth": 7.334
},
{
"text": "where ",
"font": "serif",
"width": 5.593,
"textWidth": 5.132
},
{
"text": "a ",
"font": "serif",
"width": 0.933,
"textWidth": 0.933
}
]
},
{
"left": 11.905,
"top": 47.929,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "single ",
"font": "serif",
"width": 5.258,
"textWidth": 4.797
},
{
"text": "parameter ",
"font": "serif",
"width": 8.795,
"textWidth": 8.336
},
{
"text": "matrix ",
"font": "serif",
"width": 5.785,
"textWidth": 5.324
},
{
"text": "can ",
"font": "serif",
"width": 3.25,
"textWidth": 2.791
},
{
"text": "be ",
"font": "serif",
"width": 2.348,
"textWidth": 1.887
},
{
"text": "partitioned ",
"font": "serif",
"width": 9.511,
"textWidth": 9.05
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "updated ",
"font": "serif",
"width": 7.285,
"textWidth": 6.824
},
{
"text": "across ",
"font": "serif",
"width": 5.425,
"textWidth": 4.966
},
{
"text": "multiple ",
"font": "serif",
"width": 7.347,
"textWidth": 6.886
},
{
"text": "ranks. ",
"font": "serif",
"width": 5.525,
"textWidth": 4.951
},
{
"text": "To ",
"font": "serif",
"width": 2.412,
"textWidth": 1.951
},
{
"text": "address ",
"font": "serif",
"width": 6.725,
"textWidth": 6.266
},
{
"text": "this ",
"font": "serif",
"width": 2.968,
"textWidth": 2.968
}
]
},
{
"left": 11.905,
"top": 49.539,
"width": 60.907,
"height": 1.296,
"words": [
{
"text": "conflict, ",
"font": "serif",
"width": 6.856,
"textWidth": 6.398
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "design ",
"font": "serif",
"width": 5.852,
"textWidth": 5.393
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.934,
"textWidth": 5.476
},
{
"text": "strategy ",
"font": "serif",
"width": 6.986,
"textWidth": 6.528
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "ZeRO ",
"font": "serif",
"width": 5.223,
"textWidth": 4.765
},
{
"text": "bucket ",
"font": "serif",
"width": 5.885,
"textWidth": 5.426
},
{
"text": "assignment ",
"font": "serif",
"width": 9.707,
"textWidth": 9.249
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Muon. ",
"font": "serif",
"width": 5.364,
"textWidth": 5.364
}
]
},
{
"left": 14.75,
"top": 51.953,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.501,
"textWidth": 2.798
},
{
"text": "dense ",
"font": "serif",
"width": 5.518,
"textWidth": 4.813
},
{
"text": "parameters, ",
"font": "serif",
"width": 10.545,
"textWidth": 9.78
},
{
"text": "we ",
"font": "serif",
"width": 3.157,
"textWidth": 2.454
},
{
"text": "limit ",
"font": "serif",
"width": 4.595,
"textWidth": 3.892
},
{
"text": "the ",
"font": "serif",
"width": 3.297,
"textWidth": 2.593
},
{
"text": "maximum ",
"font": "serif",
"width": 9.225,
"textWidth": 8.522
},
{
"text": "size ",
"font": "serif",
"width": 3.869,
"textWidth": 3.167
},
{
"text": "of ",
"font": "serif",
"width": 2.346,
"textWidth": 1.643
},
{
"text": "ZeRO ",
"font": "serif",
"width": 5.565,
"textWidth": 4.86
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.948,
"textWidth": 9.245
},
{
"text": "and ",
"font": "serif",
"width": 3.868,
"textWidth": 3.165
},
{
"text": "employ ",
"font": "serif",
"width": 6.978,
"textWidth": 6.273
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 53.562,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "knapsack ",
"font": "serif",
"width": 8.01,
"textWidth": 7.553
},
{
"text": "algorithm ",
"font": "serif",
"width": 8.384,
"textWidth": 7.927
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.582
},
{
"text": "assign ",
"font": "serif",
"width": 5.494,
"textWidth": 5.036
},
{
"text": "parameter ",
"font": "serif",
"width": 8.725,
"textWidth": 8.27
},
{
"text": "matrices ",
"font": "serif",
"width": 7.246,
"textWidth": 6.789
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.582
},
{
"text": "these ",
"font": "serif",
"width": 4.61,
"textWidth": 4.153
},
{
"text": "ranks, ",
"font": "serif",
"width": 5.368,
"textWidth": 4.911
},
{
"text": "ensuring ",
"font": "serif",
"width": 7.553,
"textWidth": 7.097
},
{
"text": "each ",
"font": "serif",
"width": 4.095,
"textWidth": 3.638
},
{
"text": "rank ",
"font": "serif",
"width": 4.144,
"textWidth": 3.688
},
{
"text": "manages ",
"font": "serif",
"width": 7.576,
"textWidth": 7.119
},
{
"text": "a ",
"font": "serif",
"width": 0.907,
"textWidth": 0.907
}
]
},
{
"left": 11.905,
"top": 55.172,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "roughly ",
"font": "serif",
"width": 6.715,
"textWidth": 6.306
},
{
"text": "balanced ",
"font": "serif",
"width": 7.521,
"textWidth": 7.112
},
{
"text": "load. ",
"font": "serif",
"width": 4.499,
"textWidth": 3.948
},
{
"text": "The ",
"font": "serif",
"width": 3.416,
"textWidth": 3.006
},
{
"text": "bucket ",
"font": "serif",
"width": 5.729,
"textWidth": 5.318
},
{
"text": "on ",
"font": "serif",
"width": 2.435,
"textWidth": 2.026
},
{
"text": "each ",
"font": "serif",
"width": 4.01,
"textWidth": 3.601
},
{
"text": "rank ",
"font": "serif",
"width": 4.061,
"textWidth": 3.651
},
{
"text": "is ",
"font": "serif",
"width": 1.694,
"textWidth": 1.284
},
{
"text": "padded ",
"font": "serif",
"width": 6.539,
"textWidth": 6.13
},
{
"text": "to ",
"font": "serif",
"width": 1.977,
"textWidth": 1.566
},
{
"text": "match ",
"font": "serif",
"width": 5.321,
"textWidth": 4.912
},
{
"text": "the ",
"font": "serif",
"width": 2.9,
"textWidth": 2.491
},
{
"text": "size ",
"font": "serif",
"width": 3.452,
"textWidth": 3.042
},
{
"text": "of ",
"font": "serif",
"width": 1.988,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.902,
"textWidth": 2.491
},
{
"text": "largest ",
"font": "serif",
"width": 5.711,
"textWidth": 5.302
},
{
"text": "bucket ",
"font": "serif",
"width": 5.318,
"textWidth": 5.318
}
]
},
{
"left": 11.905,
"top": 56.781,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "across ",
"font": "serif",
"width": 5.473,
"textWidth": 5.015
},
{
"text": "ranks, ",
"font": "serif",
"width": 5.457,
"textWidth": 5.001
},
{
"text": "facilitating ",
"font": "serif",
"width": 9.198,
"textWidth": 8.739
},
{
"text": "efficient ",
"font": "serif",
"width": 6.962,
"textWidth": 6.504
},
{
"text": "reduce-scatter ",
"font": "serif",
"width": 11.946,
"textWidth": 11.49
},
{
"text": "operations. ",
"font": "serif",
"width": 9.694,
"textWidth": 9.126
},
{
"text": "This ",
"font": "serif",
"width": 3.985,
"textWidth": 3.528
},
{
"text": "padding ",
"font": "serif",
"width": 7.389,
"textWidth": 6.931
},
{
"text": "typically ",
"font": "serif",
"width": 7.579,
"textWidth": 7.123
},
{
"text": "incurs ",
"font": "serif",
"width": 5.518,
"textWidth": 5.06
},
{
"text": "less ",
"font": "serif",
"width": 2.989,
"textWidth": 2.989
}
]
},
{
"left": 11.905,
"top": 58.39,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "than ",
"font": "serif",
"width": 3.969,
"textWidth": 3.574
},
{
"text": "10% ",
"font": "serif",
"width": 3.701,
"textWidth": 3.305
},
{
"text": "memory ",
"font": "serif",
"width": 7.116,
"textWidth": 6.72
},
{
"text": "overhead ",
"font": "serif",
"width": 7.829,
"textWidth": 7.432
},
{
"text": "in ",
"font": "serif",
"width": 1.963,
"textWidth": 1.568
},
{
"text": "our ",
"font": "serif",
"width": 3.168,
"textWidth": 2.773
},
{
"text": "setup, ",
"font": "serif",
"width": 5.226,
"textWidth": 4.819
},
{
"text": "where ",
"font": "serif",
"width": 5.336,
"textWidth": 4.941
},
{
"text": "each ",
"font": "serif",
"width": 3.998,
"textWidth": 3.601
},
{
"text": "rank ",
"font": "serif",
"width": 4.046,
"textWidth": 3.651
},
{
"text": "manages ",
"font": "serif",
"width": 7.442,
"textWidth": 7.047
},
{
"text": "no ",
"font": "serif",
"width": 2.421,
"textWidth": 2.026
},
{
"text": "more ",
"font": "serif",
"width": 4.499,
"textWidth": 4.104
},
{
"text": "than ",
"font": "serif",
"width": 3.969,
"textWidth": 3.574
},
{
"text": "five ",
"font": "serif",
"width": 3.358,
"textWidth": 2.962
},
{
"text": "parameter ",
"font": "serif",
"width": 8.186,
"textWidth": 8.186
}
]
},
{
"left": 11.905,
"top": 60.0,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "matrices. ",
"font": "serif",
"width": 8.208,
"textWidth": 7.462
},
{
"text": "When ",
"font": "serif",
"width": 5.456,
"textWidth": 4.94
},
{
"text": "the ",
"font": "serif",
"width": 3.11,
"textWidth": 2.593
},
{
"text": "overall ",
"font": "serif",
"width": 6.249,
"textWidth": 5.733
},
{
"text": "size ",
"font": "serif",
"width": 3.684,
"textWidth": 3.167
},
{
"text": "of ",
"font": "serif",
"width": 2.161,
"textWidth": 1.643
},
{
"text": "data ",
"font": "serif",
"width": 4.137,
"textWidth": 3.621
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.763,
"textWidth": 9.245
},
{
"text": "exceeds ",
"font": "serif",
"width": 6.933,
"textWidth": 6.415
},
{
"text": "the ",
"font": "serif",
"width": 3.109,
"textWidth": 2.593
},
{
"text": "limit ",
"font": "serif",
"width": 4.41,
"textWidth": 3.892
},
{
"text": "for ",
"font": "serif",
"width": 2.897,
"textWidth": 2.381
},
{
"text": "ZeRO, ",
"font": "serif",
"width": 5.845,
"textWidth": 5.327
},
{
"text": "we ",
"font": "serif",
"width": 2.972,
"textWidth": 2.454
},
{
"text": "compute ",
"font": "serif",
"width": 7.256,
"textWidth": 7.256
}
]
},
{
"left": 11.905,
"top": 61.609,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.045,
"textWidth": 2.585
},
{
"text": "Muon ",
"font": "serif",
"width": 5.452,
"textWidth": 4.989
},
{
"text": "update ",
"font": "serif",
"width": 6.275,
"textWidth": 5.815
},
{
"text": "redundantly ",
"font": "serif",
"width": 10.746,
"textWidth": 10.284
},
{
"text": "across ",
"font": "serif",
"width": 5.52,
"textWidth": 5.06
},
{
"text": "the ",
"font": "serif",
"width": 3.045,
"textWidth": 2.585
},
{
"text": "extra ",
"font": "serif",
"width": 4.592,
"textWidth": 4.13
},
{
"text": "data-parallel ",
"font": "serif",
"width": 10.931,
"textWidth": 10.471
},
{
"text": "groups, ",
"font": "serif",
"width": 6.719,
"textWidth": 6.257
},
{
"text": "trading ",
"font": "serif",
"width": 6.538,
"textWidth": 6.078
},
{
"text": "computation ",
"font": "serif",
"width": 10.989,
"textWidth": 10.527
},
{
"text": "for ",
"font": "serif",
"width": 2.374,
"textWidth": 2.374
}
]
},
{
"left": 11.905,
"top": 63.219,
"width": 24.163,
"height": 1.296,
"words": [
{
"text": "reduced ",
"font": "serif",
"width": 7.063,
"textWidth": 6.605
},
{
"text": "total ",
"font": "serif",
"width": 4.103,
"textWidth": 3.645
},
{
"text": "bucket ",
"font": "serif",
"width": 5.885,
"textWidth": 5.426
},
{
"text": "memory. ",
"font": "serif",
"width": 7.112,
"textWidth": 7.112
}
]
},
{
"left": 14.75,
"top": 65.633,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.408,
"textWidth": 2.798
},
{
"text": "MoE ",
"font": "serif",
"width": 4.539,
"textWidth": 3.931
},
{
"text": "parameters, ",
"font": "serif",
"width": 10.427,
"textWidth": 9.78
},
{
"text": "we ",
"font": "serif",
"width": 3.064,
"textWidth": 2.454
},
{
"text": "optimize ",
"font": "serif",
"width": 7.931,
"textWidth": 7.322
},
{
"text": "each ",
"font": "serif",
"width": 4.355,
"textWidth": 3.748
},
{
"text": "expert ",
"font": "serif",
"width": 5.836,
"textWidth": 5.226
},
{
"text": "independently. ",
"font": "serif",
"width": 13.378,
"textWidth": 12.358
},
{
"text": "We ",
"font": "serif",
"width": 3.204,
"textWidth": 2.596
},
{
"text": "first ",
"font": "serif",
"width": 3.881,
"textWidth": 3.271
},
{
"text": "flatten ",
"font": "serif",
"width": 5.883,
"textWidth": 5.273
},
{
"text": "all ",
"font": "serif",
"width": 2.632,
"textWidth": 2.023
},
{
"text": "down ",
"font": "serif",
"width": 4.81,
"textWidth": 4.81
}
]
},
{
"left": 11.85,
"top": 67.242,
"width": 76.316,
"height": 1.296,
"words": [
{
"text": "projection ",
"font": "serif",
"width": 8.944,
"textWidth": 8.273
},
{
"text": "matrices ",
"font": "serif",
"width": 7.666,
"textWidth": 6.995
},
{
"text": "in ",
"font": "serif",
"width": 2.303,
"textWidth": 1.632
},
{
"text": "SwiGLU ",
"font": "serif",
"width": 7.778,
"textWidth": 7.107
},
{
"text": "(Shazeer, ",
"font": "serif",
"width": 8.229,
"textWidth": 7.557
},
{
"text": "2020) ",
"font": "serif",
"width": 5.032,
"textWidth": 4.361
},
{
"text": "of ",
"font": "serif",
"width": 2.314,
"textWidth": 1.643
},
{
"text": "all ",
"font": "serif",
"width": 2.694,
"textWidth": 2.023
},
{
"text": "experts ",
"font": "serif",
"width": 6.69,
"textWidth": 6.019
},
{
"text": "across ",
"font": "serif",
"width": 5.746,
"textWidth": 5.075
},
{
"text": "all ",
"font": "serif",
"width": 2.694,
"textWidth": 2.023
},
{
"text": "layers, ",
"font": "serif",
"width": 6.135,
"textWidth": 5.412
},
{
"text": "followed ",
"font": "serif",
"width": 8.019,
"textWidth": 7.348
},
{
"text": "by ",
"font": "serif",
"width": 2.073,
"textWidth": 2.073
}
]
},
{
"left": 11.905,
"top": 68.851,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "flattened ",
"font": "serif",
"width": 7.583,
"textWidth": 7.124
},
{
"text": "up ",
"font": "serif",
"width": 2.654,
"textWidth": 2.193
},
{
"text": "projection ",
"font": "serif",
"width": 8.522,
"textWidth": 8.062
},
{
"text": "matrices ",
"font": "serif",
"width": 7.277,
"textWidth": 6.816
},
{
"text": "and ",
"font": "serif",
"width": 3.543,
"textWidth": 3.084
},
{
"text": "gate ",
"font": "serif",
"width": 3.851,
"textWidth": 3.39
},
{
"text": "matrices. ",
"font": "serif",
"width": 7.844,
"textWidth": 7.272
},
{
"text": "Then, ",
"font": "serif",
"width": 5.026,
"textWidth": 4.565
},
{
"text": "we ",
"font": "serif",
"width": 2.853,
"textWidth": 2.392
},
{
"text": "pad ",
"font": "serif",
"width": 3.578,
"textWidth": 3.119
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.527
},
{
"text": "flattened ",
"font": "serif",
"width": 7.583,
"textWidth": 7.123
},
{
"text": "vector ",
"font": "serif",
"width": 5.478,
"textWidth": 5.019
},
{
"text": "to ",
"font": "serif",
"width": 2.049,
"textWidth": 1.588
},
{
"text": "ensure ",
"font": "serif",
"width": 5.363,
"textWidth": 5.363
}
]
},
{
"left": 11.828,
"top": 70.461,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.829,
"textWidth": 2.37
},
{
"text": "can ",
"font": "serif",
"width": 3.215,
"textWidth": 2.755
},
{
"text": "evenly ",
"font": "serif",
"width": 5.787,
"textWidth": 5.329
},
{
"text": "distribute ",
"font": "serif",
"width": 8.219,
"textWidth": 7.76
},
{
"text": "this ",
"font": "serif",
"width": 3.39,
"textWidth": 2.93
},
{
"text": "vector ",
"font": "serif",
"width": 5.432,
"textWidth": 4.971
},
{
"text": "across ",
"font": "serif",
"width": 5.359,
"textWidth": 4.901
},
{
"text": "all ",
"font": "serif",
"width": 2.412,
"textWidth": 1.953
},
{
"text": "ranks ",
"font": "serif",
"width": 4.894,
"textWidth": 4.435
},
{
"text": "without ",
"font": "serif",
"width": 6.793,
"textWidth": 6.332
},
{
"text": "splitting ",
"font": "serif",
"width": 7.116,
"textWidth": 6.657
},
{
"text": "any ",
"font": "serif",
"width": 3.415,
"textWidth": 2.957
},
{
"text": "logically ",
"font": "serif",
"width": 7.258,
"textWidth": 6.798
},
{
"text": "independent ",
"font": "serif",
"width": 10.15,
"textWidth": 10.15
}
]
},
{
"left": 11.905,
"top": 72.07,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "matrix. ",
"font": "serif",
"width": 6.507,
"textWidth": 5.909
},
{
"text": "Given ",
"font": "serif",
"width": 5.477,
"textWidth": 5.008
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "large ",
"font": "serif",
"width": 4.587,
"textWidth": 4.118
},
{
"text": "number ",
"font": "serif",
"width": 7.0,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.11,
"textWidth": 1.643
},
{
"text": "experts, ",
"font": "serif",
"width": 6.957,
"textWidth": 6.486
},
{
"text": "we ",
"font": "serif",
"width": 2.922,
"textWidth": 2.454
},
{
"text": "do ",
"font": "serif",
"width": 2.63,
"textWidth": 2.163
},
{
"text": "not ",
"font": "serif",
"width": 3.187,
"textWidth": 2.718
},
{
"text": "impose ",
"font": "serif",
"width": 6.494,
"textWidth": 6.027
},
{
"text": "a ",
"font": "serif",
"width": 1.402,
"textWidth": 0.935
},
{
"text": "limit ",
"font": "serif",
"width": 4.359,
"textWidth": 3.892
},
{
"text": "of ",
"font": "serif",
"width": 2.112,
"textWidth": 1.643
},
{
"text": "ZeRO ",
"font": "serif",
"width": 5.327,
"textWidth": 4.86
},
{
"text": "parallelism ",
"font": "serif",
"width": 9.713,
"textWidth": 9.245
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 11.905,
"top": 73.679,
"width": 50.215,
"height": 1.296,
"words": [
{
"text": "MoE ",
"font": "serif",
"width": 4.312,
"textWidth": 3.854
},
{
"text": "parameters, ",
"font": "serif",
"width": 10.046,
"textWidth": 9.588
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "padding ",
"font": "serif",
"width": 7.334,
"textWidth": 6.876
},
{
"text": "overhead ",
"font": "serif",
"width": 8.043,
"textWidth": 7.585
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "also ",
"font": "serif",
"width": 3.685,
"textWidth": 3.227
},
{
"text": "negligible. ",
"font": "serif",
"width": 8.465,
"textWidth": 8.465
}
]
},
{
"left": 14.75,
"top": 76.094,
"width": 73.416,
"height": 1.296,
"words": [
{
"text": "Additionally, ",
"font": "serif",
"width": 11.067,
"textWidth": 10.609
},
{
"text": "on ",
"font": "serif",
"width": 2.515,
"textWidth": 2.059
},
{
"text": "each ",
"font": "serif",
"width": 4.116,
"textWidth": 3.66
},
{
"text": "rank, ",
"font": "serif",
"width": 4.625,
"textWidth": 4.167
},
{
"text": "consecutive ",
"font": "serif",
"width": 9.917,
"textWidth": 9.46
},
{
"text": "parameters ",
"font": "serif",
"width": 9.55,
"textWidth": 9.094
},
{
"text": "of ",
"font": "serif",
"width": 2.061,
"textWidth": 1.604
},
{
"text": "identical ",
"font": "serif",
"width": 7.422,
"textWidth": 6.963
},
{
"text": "shape ",
"font": "serif",
"width": 5.176,
"textWidth": 4.72
},
{
"text": "will ",
"font": "serif",
"width": 3.572,
"textWidth": 3.116
},
{
"text": "be ",
"font": "serif",
"width": 2.34,
"textWidth": 1.884
},
{
"text": "automatically ",
"font": "serif",
"width": 11.056,
"textWidth": 11.056
}
]
},
{
"left": 11.905,
"top": 77.703,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "merged, ",
"font": "serif",
"width": 6.992,
"textWidth": 6.535
},
{
"text": "enabling ",
"font": "serif",
"width": 7.348,
"textWidth": 6.893
},
{
"text": "batched ",
"font": "serif",
"width": 6.74,
"textWidth": 6.283
},
{
"text": "execution ",
"font": "serif",
"width": 8.126,
"textWidth": 7.669
},
{
"text": "of ",
"font": "serif",
"width": 2.037,
"textWidth": 1.58
},
{
"text": "the ",
"font": "serif",
"width": 2.948,
"textWidth": 2.494
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 12.818,
"textWidth": 12.362
},
{
"text": "iterations ",
"font": "serif",
"width": 7.935,
"textWidth": 7.479
},
{
"text": "for ",
"font": "serif",
"width": 2.747,
"textWidth": 2.29
},
{
"text": "better ",
"font": "serif",
"width": 5.054,
"textWidth": 4.597
},
{
"text": "hardware ",
"font": "serif",
"width": 8.113,
"textWidth": 7.659
},
{
"text": "utiliza- ",
"font": "serif",
"width": 5.636,
"textWidth": 5.636
}
]
},
{
"left": 11.905,
"top": 79.312,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tion. ",
"font": "serif",
"width": 4.227,
"textWidth": 3.66
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.227,
"textWidth": 10.77
},
{
"text": "we ",
"font": "serif",
"width": 2.865,
"textWidth": 2.409
},
{
"text": "observe ",
"font": "serif",
"width": 6.767,
"textWidth": 6.312
},
{
"text": "that ",
"font": "serif",
"width": 3.638,
"textWidth": 3.181
},
{
"text": "the ",
"font": "serif",
"width": 3.001,
"textWidth": 2.544
},
{
"text": "Newton-Schulz ",
"font": "serif",
"width": 13.069,
"textWidth": 12.614
},
{
"text": "iterations ",
"font": "serif",
"width": 8.088,
"textWidth": 7.631
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.601
},
{
"text": "Muon ",
"font": "serif",
"width": 5.368,
"textWidth": 4.911
},
{
"text": "remain ",
"font": "serif",
"width": 6.166,
"textWidth": 5.709
},
{
"text": "stable ",
"font": "serif",
"width": 5.175,
"textWidth": 4.72
},
{
"text": "when ",
"font": "serif",
"width": 4.544,
"textWidth": 4.544
}
]
},
{
"left": 11.905,
"top": 80.922,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "computed ",
"font": "serif",
"width": 8.473,
"textWidth": 8.069
},
{
"text": "with ",
"font": "serif",
"width": 4.055,
"textWidth": 3.651
},
{
"text": "BF16 ",
"font": "serif",
"width": 4.298,
"textWidth": 3.892
},
{
"text": "matrix ",
"font": "serif",
"width": 5.632,
"textWidth": 5.228
},
{
"text": "multiplications. ",
"font": "serif",
"width": 13.014,
"textWidth": 12.464
},
{
"text": "Leveraging ",
"font": "serif",
"width": 9.409,
"textWidth": 9.005
},
{
"text": "this, ",
"font": "serif",
"width": 3.779,
"textWidth": 3.364
},
{
"text": "we ",
"font": "serif",
"width": 2.764,
"textWidth": 2.358
},
{
"text": "further ",
"font": "serif",
"width": 5.995,
"textWidth": 5.591
},
{
"text": "quantize, ",
"font": "serif",
"width": 7.762,
"textWidth": 7.347
},
{
"text": "in ",
"font": "serif",
"width": 1.972,
"textWidth": 1.568
},
{
"text": "a ",
"font": "serif",
"width": 1.302,
"textWidth": 0.898
},
{
"text": "stochastic ",
"font": "serif",
"width": 7.735,
"textWidth": 7.735
}
]
},
{
"left": 11.905,
"top": 82.531,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "rounding ",
"font": "serif",
"width": 8.028,
"textWidth": 7.571
},
{
"text": "manner, ",
"font": "serif",
"width": 7.022,
"textWidth": 6.566
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.532
},
{
"text": "MoE ",
"font": "serif",
"width": 4.295,
"textWidth": 3.839
},
{
"text": "gradients ",
"font": "serif",
"width": 8.055,
"textWidth": 7.6
},
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.592
},
{
"text": "be ",
"font": "serif",
"width": 2.34,
"textWidth": 1.884
},
{
"text": "synchronized ",
"font": "serif",
"width": 11.361,
"textWidth": 10.904
},
{
"text": "across ",
"font": "serif",
"width": 5.412,
"textWidth": 4.956
},
{
"text": "data-parallel ",
"font": "serif",
"width": 10.711,
"textWidth": 10.254
},
{
"text": "ranks ",
"font": "serif",
"width": 4.941,
"textWidth": 4.485
},
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.592
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.532
},
{
"text": "BF16 ",
"font": "serif",
"width": 3.955,
"textWidth": 3.955
}
]
},
{
"left": 11.85,
"top": 84.14,
"width": 76.316,
"height": 1.296,
"words": [
{
"text": "precision, ",
"font": "serif",
"width": 8.574,
"textWidth": 8.01
},
{
"text": "halving ",
"font": "serif",
"width": 6.834,
"textWidth": 6.292
},
{
"text": "the ",
"font": "serif",
"width": 3.135,
"textWidth": 2.593
},
{
"text": "communication ",
"font": "serif",
"width": 13.479,
"textWidth": 12.937
},
{
"text": "volume. ",
"font": "serif",
"width": 7.582,
"textWidth": 6.761
},
{
"text": "To ",
"font": "serif",
"width": 2.54,
"textWidth": 1.998
},
{
"text": "avoid ",
"font": "serif",
"width": 5.24,
"textWidth": 4.697
},
{
"text": "accumulation ",
"font": "serif",
"width": 11.782,
"textWidth": 11.24
},
{
"text": "errors ",
"font": "serif",
"width": 5.432,
"textWidth": 4.89
},
{
"text": "introduced ",
"font": "serif",
"width": 9.645,
"textWidth": 9.103
},
{
"text": "by ",
"font": "serif",
"width": 2.073,
"textWidth": 2.073
}
]
},
{
"left": 11.905,
"top": 85.75,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "low-precision ",
"font": "serif",
"width": 11.277,
"textWidth": 10.846
},
{
"text": "adders, ",
"font": "serif",
"width": 6.309,
"textWidth": 5.873
},
{
"text": "we ",
"font": "serif",
"width": 2.789,
"textWidth": 2.358
},
{
"text": "replace ",
"font": "serif",
"width": 6.126,
"textWidth": 5.695
},
{
"text": "conventional ",
"font": "serif",
"width": 10.731,
"textWidth": 10.298
},
{
"text": "tree- ",
"font": "serif",
"width": 4.012,
"textWidth": 3.579
},
{
"text": "or ",
"font": "serif",
"width": 2.121,
"textWidth": 1.69
},
{
"text": "ring-based ",
"font": "serif",
"width": 8.915,
"textWidth": 8.484
},
{
"text": "reduce-scatter ",
"font": "serif",
"width": 11.602,
"textWidth": 11.171
},
{
"text": "collectives ",
"font": "serif",
"width": 8.657,
"textWidth": 8.225
},
{
"text": "with ",
"font": "serif",
"width": 3.651,
"textWidth": 3.651
}
]
},
{
"left": 11.905,
"top": 87.359,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.372,
"textWidth": 0.911
},
{
"text": "two-phase ",
"font": "serif",
"width": 8.884,
"textWidth": 8.425
},
{
"text": "approach. ",
"font": "serif",
"width": 8.593,
"textWidth": 8.017
},
{
"text": "First, ",
"font": "serif",
"width": 4.543,
"textWidth": 4.084
},
{
"text": "an ",
"font": "serif",
"width": 2.432,
"textWidth": 1.971
},
{
"text": "all-to-all ",
"font": "serif",
"width": 7.204,
"textWidth": 6.744
},
{
"text": "operation ",
"font": "serif",
"width": 8.23,
"textWidth": 7.771
},
{
"text": "exchanges ",
"font": "serif",
"width": 8.771,
"textWidth": 8.31
},
{
"text": "local ",
"font": "serif",
"width": 4.235,
"textWidth": 3.774
},
{
"text": "gradients ",
"font": "serif",
"width": 8.044,
"textWidth": 7.585
},
{
"text": "across ",
"font": "serif",
"width": 5.407,
"textWidth": 4.946
},
{
"text": "ranks, ",
"font": "serif",
"width": 5.392,
"textWidth": 4.931
},
{
"text": "and ",
"font": "serif",
"width": 3.084,
"textWidth": 3.084
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 72.986,
"height": 1.296,
"words": [
{
"text": "then ",
"font": "serif",
"width": 4.067,
"textWidth": 3.608
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "rank ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "performs ",
"font": "serif",
"width": 7.891,
"textWidth": 7.433
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "local ",
"font": "serif",
"width": 4.255,
"textWidth": 3.797
},
{
"text": "sum ",
"font": "serif",
"width": 3.958,
"textWidth": 3.5
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "FP32. ",
"font": "serif",
"width": 4.985,
"textWidth": 4.417
},
{
"text": "This ",
"font": "serif",
"width": 3.958,
"textWidth": 3.5
},
{
"text": "design ",
"font": "serif",
"width": 5.852,
"textWidth": 5.393
},
{
"text": "maintains ",
"font": "serif",
"width": 8.483,
"textWidth": 8.025
},
{
"text": "numerical ",
"font": "serif",
"width": 8.646,
"textWidth": 8.188
},
{
"text": "robustness. ",
"font": "serif",
"width": 9.141,
"textWidth": 9.141
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "20 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"21": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.439,
"width": 55.213,
"height": 1.296,
"words": [
{
"text": "3.5.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Cost-Effective ",
"font": "serif-bold-italic",
"width": 12.027,
"textWidth": 11.569
},
{
"text": "and ",
"font": "serif-bold-italic",
"width": 3.515,
"textWidth": 3.057
},
{
"text": "Memory-Efficient ",
"font": "serif-bold-italic",
"width": 14.743,
"textWidth": 14.285
},
{
"text": "Implementation ",
"font": "serif-bold-italic",
"width": 13.592,
"textWidth": 13.134
},
{
"text": "of ",
"font": "serif-bold-italic",
"width": 2.087,
"textWidth": 1.629
},
{
"text": "mHC ",
"font": "serif-bold-italic",
"width": 4.208,
"textWidth": 4.208
}
]
},
{
"left": 11.848,
"top": 13.123,
"width": 15.776,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.536,
"textWidth": 3.08
},
{
"text": "introduction ",
"font": "serif",
"width": 10.622,
"textWidth": 10.166
},
{
"text": "of ",
"font": "serif",
"width": 1.617,
"textWidth": 1.617
}
]
},
{
"left": 28.08,
"top": 13.096,
"width": 1.431,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.431,
"textWidth": 1.431
}
]
},
{
"left": 29.511,
"top": 13.123,
"width": 58.584,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.292,
"textWidth": 2.835
},
{
"text": "increases ",
"font": "serif",
"width": 7.818,
"textWidth": 7.362
},
{
"text": "both ",
"font": "serif",
"width": 4.149,
"textWidth": 3.693
},
{
"text": "activation ",
"font": "serif",
"width": 8.499,
"textWidth": 8.042
},
{
"text": "memory ",
"font": "serif",
"width": 7.341,
"textWidth": 6.885
},
{
"text": "consumption ",
"font": "serif",
"width": 11.179,
"textWidth": 10.723
},
{
"text": "and ",
"font": "serif",
"width": 3.571,
"textWidth": 3.115
},
{
"text": "communication ",
"font": "serif",
"width": 12.734,
"textWidth": 12.734
}
]
},
{
"left": 11.853,
"top": 14.732,
"width": 76.241,
"height": 1.296,
"words": [
{
"text": "volume ",
"font": "serif",
"width": 6.532,
"textWidth": 6.072
},
{
"text": "between ",
"font": "serif",
"width": 7.188,
"textWidth": 6.73
},
{
"text": "pipeline ",
"font": "serif",
"width": 6.979,
"textWidth": 6.519
},
{
"text": "stages, ",
"font": "serif",
"width": 5.796,
"textWidth": 5.336
},
{
"text": "compared ",
"font": "serif",
"width": 8.466,
"textWidth": 8.008
},
{
"text": "with ",
"font": "serif",
"width": 4.126,
"textWidth": 3.666
},
{
"text": "conventional ",
"font": "serif",
"width": 10.8,
"textWidth": 10.34
},
{
"text": "residual ",
"font": "serif",
"width": 6.907,
"textWidth": 6.447
},
{
"text": "connections. ",
"font": "serif",
"width": 10.483,
"textWidth": 9.911
},
{
"text": "To ",
"font": "serif",
"width": 2.38,
"textWidth": 1.922
},
{
"text": "mitigate ",
"font": "serif",
"width": 6.586,
"textWidth": 6.586
}
]
},
{
"left": 11.905,
"top": 16.342,
"width": 46.911,
"height": 1.296,
"words": [
{
"text": "these ",
"font": "serif",
"width": 4.655,
"textWidth": 4.197
},
{
"text": "costs, ",
"font": "serif",
"width": 4.882,
"textWidth": 4.424
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "implement ",
"font": "serif",
"width": 9.282,
"textWidth": 8.824
},
{
"text": "several ",
"font": "serif",
"width": 6.2,
"textWidth": 5.742
},
{
"text": "optimization ",
"font": "serif",
"width": 10.873,
"textWidth": 10.415
},
{
"text": "strategies. ",
"font": "serif",
"width": 8.155,
"textWidth": 8.155
}
]
},
{
"left": 14.75,
"top": 18.756,
"width": 50.074,
"height": 1.296,
"words": [
{
"text": "Firstly, ",
"font": "serif",
"width": 6.219,
"textWidth": 5.57
},
{
"text": "we ",
"font": "serif",
"width": 3.066,
"textWidth": 2.454
},
{
"text": "carefully ",
"font": "serif",
"width": 7.853,
"textWidth": 7.242
},
{
"text": "design ",
"font": "serif",
"width": 6.112,
"textWidth": 5.501
},
{
"text": "and ",
"font": "serif",
"width": 3.776,
"textWidth": 3.165
},
{
"text": "implement ",
"font": "serif",
"width": 9.61,
"textWidth": 9.001
},
{
"text": "fused ",
"font": "serif",
"width": 5.191,
"textWidth": 4.58
},
{
"text": "kernels ",
"font": "serif",
"width": 6.604,
"textWidth": 5.993
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 65.435,
"top": 18.729,
"width": 1.454,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.454,
"textWidth": 1.454
}
]
},
{
"left": 66.889,
"top": 18.756,
"width": 21.207,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.49,
"textWidth": 2.881
},
{
"text": "for ",
"font": "serif",
"width": 2.993,
"textWidth": 2.381
},
{
"text": "both ",
"font": "serif",
"width": 4.363,
"textWidth": 3.752
},
{
"text": "training ",
"font": "serif",
"width": 7.197,
"textWidth": 6.585
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 20.365,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "inference. ",
"font": "serif",
"width": 8.281,
"textWidth": 7.715
},
{
"text": "Secondly, ",
"font": "serif",
"width": 7.945,
"textWidth": 7.491
},
{
"text": "we ",
"font": "serif",
"width": 2.811,
"textWidth": 2.358
},
{
"text": "introduce ",
"font": "serif",
"width": 8.102,
"textWidth": 7.649
},
{
"text": "a ",
"font": "serif",
"width": 1.351,
"textWidth": 0.898
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.134,
"textWidth": 11.681
},
{
"text": "strategy ",
"font": "serif",
"width": 6.852,
"textWidth": 6.397
},
{
"text": "that ",
"font": "serif",
"width": 3.567,
"textWidth": 3.114
},
{
"text": "selectively ",
"font": "serif",
"width": 8.759,
"textWidth": 8.306
},
{
"text": "checkpoints ",
"font": "serif",
"width": 9.928,
"textWidth": 9.474
},
{
"text": "interme- ",
"font": "serif",
"width": 6.767,
"textWidth": 6.767
}
]
},
{
"left": 11.905,
"top": 21.975,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "diate ",
"font": "serif",
"width": 4.463,
"textWidth": 4.004
},
{
"text": "tensors. ",
"font": "serif",
"width": 6.789,
"textWidth": 6.216
},
{
"text": "Specifically, ",
"font": "serif",
"width": 9.83,
"textWidth": 9.371
},
{
"text": "we ",
"font": "serif",
"width": 2.843,
"textWidth": 2.382
},
{
"text": "recompute ",
"font": "serif",
"width": 9.055,
"textWidth": 8.594
},
{
"text": "most ",
"font": "serif",
"width": 4.412,
"textWidth": 3.953
},
{
"text": "hidden ",
"font": "serif",
"width": 6.185,
"textWidth": 5.726
},
{
"text": "states ",
"font": "serif",
"width": 4.958,
"textWidth": 4.498
},
{
"text": "between ",
"font": "serif",
"width": 7.23,
"textWidth": 6.771
},
{
"text": "layers ",
"font": "serif",
"width": 5.258,
"textWidth": 4.799
},
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "all ",
"font": "serif",
"width": 2.424,
"textWidth": 1.963
},
{
"text": "normalized ",
"font": "serif",
"width": 9.213,
"textWidth": 9.213
}
]
},
{
"left": 11.905,
"top": 23.584,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "layer ",
"font": "serif",
"width": 4.587,
"textWidth": 4.131
},
{
"text": "inputs, ",
"font": "serif",
"width": 6.181,
"textWidth": 5.724
},
{
"text": "while ",
"font": "serif",
"width": 5.063,
"textWidth": 4.607
},
{
"text": "avoiding ",
"font": "serif",
"width": 7.788,
"textWidth": 7.333
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.556,
"textWidth": 12.098
},
{
"text": "of ",
"font": "serif",
"width": 2.091,
"textWidth": 1.635
},
{
"text": "compute-intensive ",
"font": "serif",
"width": 15.772,
"textWidth": 15.316
},
{
"text": "operations. ",
"font": "serif",
"width": 9.756,
"textWidth": 9.189
},
{
"text": "This ",
"font": "serif",
"width": 4.009,
"textWidth": 3.553
},
{
"text": "achieves ",
"font": "serif",
"width": 7.457,
"textWidth": 7.001
},
{
"text": "a ",
"font": "serif",
"width": 0.93,
"textWidth": 0.93
}
]
},
{
"left": 11.905,
"top": 25.193,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "balance ",
"font": "serif",
"width": 6.517,
"textWidth": 6.058
},
{
"text": "between ",
"font": "serif",
"width": 7.212,
"textWidth": 6.75
},
{
"text": "memory ",
"font": "serif",
"width": 7.228,
"textWidth": 6.768
},
{
"text": "saving ",
"font": "serif",
"width": 5.737,
"textWidth": 5.278
},
{
"text": "and ",
"font": "serif",
"width": 3.524,
"textWidth": 3.062
},
{
"text": "computational ",
"font": "serif",
"width": 12.106,
"textWidth": 11.647
},
{
"text": "overhead. ",
"font": "serif",
"width": 8.512,
"textWidth": 7.939
},
{
"text": "Thirdly, ",
"font": "serif",
"width": 6.716,
"textWidth": 6.257
},
{
"text": "we ",
"font": "serif",
"width": 2.836,
"textWidth": 2.375
},
{
"text": "adjust ",
"font": "serif",
"width": 5.34,
"textWidth": 4.88
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "DualPipe ",
"font": "serif",
"width": 7.494,
"textWidth": 7.494
}
]
},
{
"left": 11.813,
"top": 26.803,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "1F1B ",
"font": "serif",
"width": 4.484,
"textWidth": 4.027
},
{
"text": "overlapping ",
"font": "serif",
"width": 10.507,
"textWidth": 10.048
},
{
"text": "scheme ",
"font": "serif",
"width": 6.573,
"textWidth": 6.116
},
{
"text": "to ",
"font": "serif",
"width": 2.079,
"textWidth": 1.62
},
{
"text": "accommodate ",
"font": "serif",
"width": 11.908,
"textWidth": 11.451
},
{
"text": "the ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "increased ",
"font": "serif",
"width": 8.24,
"textWidth": 7.782
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.175,
"textWidth": 6.718
},
{
"text": "communication ",
"font": "serif",
"width": 13.32,
"textWidth": 12.861
},
{
"text": "and ",
"font": "serif",
"width": 3.603,
"textWidth": 3.146
},
{
"text": "enable ",
"font": "serif",
"width": 5.359,
"textWidth": 5.359
}
]
},
{
"left": 11.905,
"top": 28.412,
"width": 34.944,
"height": 1.296,
"words": [
{
"text": "concurrent ",
"font": "serif",
"width": 9.214,
"textWidth": 8.756
},
{
"text": "execution ",
"font": "serif",
"width": 8.276,
"textWidth": 7.818
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "some ",
"font": "serif",
"width": 4.732,
"textWidth": 4.274
},
{
"text": "operations ",
"font": "serif",
"width": 9.053,
"textWidth": 8.595
},
{
"text": "in ",
"font": "serif",
"width": 1.6,
"textWidth": 1.6
}
]
},
{
"left": 47.307,
"top": 28.385,
"width": 1.426,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.426,
"textWidth": 1.426
}
]
},
{
"left": 48.733,
"top": 28.412,
"width": 3.282,
"height": 1.296,
"words": [
{
"text": "HC. ",
"font": "serif",
"width": 3.282,
"textWidth": 3.282
}
]
},
{
"left": 14.75,
"top": 30.826,
"width": 56.002,
"height": 1.296,
"words": [
{
"text": "Collectively, ",
"font": "serif",
"width": 10.467,
"textWidth": 10.01
},
{
"text": "these ",
"font": "serif",
"width": 4.696,
"textWidth": 4.239
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.761,
"textWidth": 11.304
},
{
"text": "constrain ",
"font": "serif",
"width": 8.028,
"textWidth": 7.57
},
{
"text": "the ",
"font": "serif",
"width": 3.024,
"textWidth": 2.567
},
{
"text": "wall-time ",
"font": "serif",
"width": 8.281,
"textWidth": 7.824
},
{
"text": "overhead ",
"font": "serif",
"width": 8.118,
"textWidth": 7.663
},
{
"text": "of ",
"font": "serif",
"width": 1.627,
"textWidth": 1.627
}
]
},
{
"left": 71.209,
"top": 30.799,
"width": 1.44,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.44,
"textWidth": 1.44
}
]
},
{
"left": 72.649,
"top": 30.826,
"width": 15.446,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.309,
"textWidth": 2.852
},
{
"text": "to ",
"font": "serif",
"width": 2.071,
"textWidth": 1.614
},
{
"text": "only ",
"font": "serif",
"width": 4.113,
"textWidth": 3.656
},
{
"text": "6.7% ",
"font": "serif",
"width": 4.326,
"textWidth": 3.868
},
{
"text": "of ",
"font": "serif",
"width": 1.627,
"textWidth": 1.627
}
]
},
{
"left": 11.905,
"top": 32.436,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.527
},
{
"text": "overlapped ",
"font": "serif",
"width": 9.689,
"textWidth": 9.23
},
{
"text": "1F1B ",
"font": "serif",
"width": 4.406,
"textWidth": 3.947
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.042,
"textWidth": 6.583
},
{
"text": "stage. ",
"font": "serif",
"width": 5.186,
"textWidth": 4.618
},
{
"text": "More ",
"font": "serif",
"width": 4.734,
"textWidth": 4.277
},
{
"text": "details ",
"font": "serif",
"width": 5.782,
"textWidth": 5.323
},
{
"text": "of ",
"font": "serif",
"width": 2.058,
"textWidth": 1.601
},
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.527
},
{
"text": "engineering ",
"font": "serif",
"width": 10.061,
"textWidth": 9.604
},
{
"text": "optimization ",
"font": "serif",
"width": 10.811,
"textWidth": 10.352
},
{
"text": "can ",
"font": "serif",
"width": 3.237,
"textWidth": 2.78
},
{
"text": "be ",
"font": "serif",
"width": 2.339,
"textWidth": 1.88
},
{
"text": "found ",
"font": "serif",
"width": 4.873,
"textWidth": 4.873
}
]
},
{
"left": 11.905,
"top": 34.045,
"width": 13.034,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "dedicated ",
"font": "serif",
"width": 7.976,
"textWidth": 7.976
}
]
},
{
"left": 25.396,
"top": 34.018,
"width": 1.426,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.426,
"textWidth": 1.426
}
]
},
{
"left": 26.822,
"top": 34.045,
"width": 21.654,
"height": 1.296,
"words": [
{
"text": "HC ",
"font": "serif",
"width": 3.282,
"textWidth": 2.824
},
{
"text": "paper ",
"font": "serif",
"width": 5.179,
"textWidth": 4.721
},
{
"text": "(Xie ",
"font": "serif",
"width": 3.702,
"textWidth": 3.244
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2026). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 11.905,
"top": 37.641,
"width": 47.058,
"height": 1.296,
"words": [
{
"text": "3.5.3. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Contextual ",
"font": "serif-bold-italic",
"width": 9.555,
"textWidth": 9.097
},
{
"text": "Parallelism ",
"font": "serif-bold-italic",
"width": 10.026,
"textWidth": 9.568
},
{
"text": "for ",
"font": "serif-bold-italic",
"width": 2.8,
"textWidth": 2.342
},
{
"text": "Long-Context ",
"font": "serif-bold-italic",
"width": 11.694,
"textWidth": 11.236
},
{
"text": "Attention ",
"font": "serif-bold-italic",
"width": 7.943,
"textWidth": 7.943
}
]
},
{
"left": 11.905,
"top": 40.325,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "Conventional ",
"font": "serif",
"width": 11.89,
"textWidth": 11.214
},
{
"text": "Context ",
"font": "serif",
"width": 7.189,
"textWidth": 6.513
},
{
"text": "Parallelism ",
"font": "serif",
"width": 9.926,
"textWidth": 9.251
},
{
"text": "(CP) ",
"font": "serif",
"width": 4.376,
"textWidth": 3.699
},
{
"text": "partitions ",
"font": "serif",
"width": 8.681,
"textWidth": 8.004
},
{
"text": "the ",
"font": "serif",
"width": 3.269,
"textWidth": 2.593
},
{
"text": "sequence ",
"font": "serif",
"width": 8.245,
"textWidth": 7.571
},
{
"text": "dimension, ",
"font": "serif",
"width": 9.963,
"textWidth": 9.232
},
{
"text": "with ",
"font": "serif",
"width": 4.477,
"textWidth": 3.8
},
{
"text": "each ",
"font": "serif",
"width": 4.425,
"textWidth": 3.748
},
{
"text": "rank ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 11.905,
"top": 41.935,
"width": 19.515,
"height": 1.296,
"words": [
{
"text": "maintaining ",
"font": "serif",
"width": 10.416,
"textWidth": 9.956
},
{
"text": "contiguous ",
"font": "serif",
"width": 9.099,
"textWidth": 9.099
}
]
},
{
"left": 33.018,
"top": 41.935,
"width": 55.077,
"height": 1.296,
"words": [
{
"text": "tokens. ",
"font": "serif",
"width": 6.424,
"textWidth": 5.849
},
{
"text": "This ",
"font": "serif",
"width": 3.992,
"textWidth": 3.532
},
{
"text": "introduces ",
"font": "serif",
"width": 9.12,
"textWidth": 8.659
},
{
"text": "two ",
"font": "serif",
"width": 3.615,
"textWidth": 3.155
},
{
"text": "challenges ",
"font": "serif",
"width": 9.018,
"textWidth": 8.558
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.612
},
{
"text": "our ",
"font": "serif",
"width": 3.315,
"textWidth": 2.855
},
{
"text": "compressed ",
"font": "serif",
"width": 10.202,
"textWidth": 9.741
},
{
"text": "attention ",
"font": "serif",
"width": 7.319,
"textWidth": 7.319
}
]
},
{
"left": 11.905,
"top": 43.544,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "mechanisms ",
"font": "serif",
"width": 10.434,
"textWidth": 9.974
},
{
"text": "(i.e., ",
"font": "serif",
"width": 3.823,
"textWidth": 3.365
},
{
"text": "CSA ",
"font": "serif",
"width": 4.114,
"textWidth": 3.654
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.075
},
{
"text": "HCA). ",
"font": "serif",
"width": 5.73,
"textWidth": 5.27
},
{
"text": "On ",
"font": "serif",
"width": 2.942,
"textWidth": 2.484
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "one ",
"font": "serif",
"width": 3.378,
"textWidth": 2.919
},
{
"text": "hand, ",
"font": "serif",
"width": 5.043,
"textWidth": 4.586
},
{
"text": "training ",
"font": "serif",
"width": 6.858,
"textWidth": 6.398
},
{
"text": "samples ",
"font": "serif",
"width": 7.001,
"textWidth": 6.542
},
{
"text": "are ",
"font": "serif",
"width": 2.92,
"textWidth": 2.463
},
{
"text": "packed ",
"font": "serif",
"width": 6.255,
"textWidth": 5.795
},
{
"text": "from ",
"font": "serif",
"width": 4.342,
"textWidth": 3.885
},
{
"text": "multiple ",
"font": "serif",
"width": 6.838,
"textWidth": 6.838
}
]
},
{
"left": 11.905,
"top": 45.153,
"width": 60.304,
"height": 1.296,
"words": [
{
"text": "sequences, ",
"font": "serif",
"width": 9.245,
"textWidth": 8.787
},
{
"text": "and ",
"font": "serif",
"width": 3.609,
"textWidth": 3.149
},
{
"text": "each ",
"font": "serif",
"width": 4.187,
"textWidth": 3.73
},
{
"text": "sequence ",
"font": "serif",
"width": 7.991,
"textWidth": 7.533
},
{
"text": "is ",
"font": "serif",
"width": 1.788,
"textWidth": 1.33
},
{
"text": "compressed ",
"font": "serif",
"width": 10.258,
"textWidth": 9.801
},
{
"text": "independently ",
"font": "serif",
"width": 12.492,
"textWidth": 12.035
},
{
"text": "by ",
"font": "serif",
"width": 2.522,
"textWidth": 2.063
},
{
"text": "a ",
"font": "serif",
"width": 1.388,
"textWidth": 0.93
},
{
"text": "factor ",
"font": "serif",
"width": 5.19,
"textWidth": 4.732
},
{
"text": "of ",
"font": "serif",
"width": 1.635,
"textWidth": 1.635
}
]
},
{
"left": 74.537,
"top": 45.153,
"width": 2.37,
"height": 1.296,
"words": [
{
"text": "(or ",
"font": "serif",
"width": 2.37,
"textWidth": 2.37
}
]
},
{
"left": 80.88,
"top": 45.153,
"width": 7.288,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.241,
"textWidth": 3.782
},
{
"text": "any ",
"font": "serif",
"width": 3.047,
"textWidth": 3.047
}
]
},
{
"left": 11.905,
"top": 46.763,
"width": 21.414,
"height": 1.296,
"words": [
{
"text": "trailing ",
"font": "serif",
"width": 6.541,
"textWidth": 6.041
},
{
"text": "tokens ",
"font": "serif",
"width": 5.944,
"textWidth": 5.445
},
{
"text": "fewer ",
"font": "serif",
"width": 5.21,
"textWidth": 4.711
},
{
"text": "than ",
"font": "serif",
"width": 3.72,
"textWidth": 3.72
}
]
},
{
"left": 35.729,
"top": 46.763,
"width": 52.367,
"height": 1.296,
"words": [
{
"text": "being ",
"font": "serif",
"width": 5.099,
"textWidth": 4.6
},
{
"text": "discarded. ",
"font": "serif",
"width": 9.287,
"textWidth": 8.595
},
{
"text": "Consequently, ",
"font": "serif",
"width": 12.246,
"textWidth": 11.735
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 10.346,
"textWidth": 9.847
},
{
"text": "KV ",
"font": "serif",
"width": 3.206,
"textWidth": 2.707
},
{
"text": "lengths ",
"font": "serif",
"width": 6.556,
"textWidth": 6.056
},
{
"text": "are ",
"font": "serif",
"width": 2.537,
"textWidth": 2.537
}
]
},
{
"left": 11.905,
"top": 48.372,
"width": 15.025,
"height": 1.296,
"words": [
{
"text": "typically ",
"font": "serif",
"width": 7.744,
"textWidth": 7.208
},
{
"text": "less ",
"font": "serif",
"width": 3.561,
"textWidth": 3.024
},
{
"text": "than ",
"font": "serif",
"width": 3.72,
"textWidth": 3.72
}
]
},
{
"left": 29.436,
"top": 48.372,
"width": 56.712,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.701,
"textWidth": 3.165
},
{
"text": "vary ",
"font": "serif",
"width": 4.305,
"textWidth": 3.768
},
{
"text": "across ",
"font": "serif",
"width": 5.613,
"textWidth": 5.077
},
{
"text": "ranks. ",
"font": "serif",
"width": 5.864,
"textWidth": 5.06
},
{
"text": "On ",
"font": "serif",
"width": 3.094,
"textWidth": 2.557
},
{
"text": "the ",
"font": "serif",
"width": 3.129,
"textWidth": 2.593
},
{
"text": "other ",
"font": "serif",
"width": 4.888,
"textWidth": 4.352
},
{
"text": "hand, ",
"font": "serif",
"width": 5.277,
"textWidth": 4.72
},
{
"text": "the ",
"font": "serif",
"width": 3.129,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 10.999,
"textWidth": 10.462
},
{
"text": "requires ",
"font": "serif",
"width": 6.713,
"textWidth": 6.713
}
]
},
{
"left": 11.905,
"top": 49.982,
"width": 76.475,
"height": 1.296,
"words": [
{
"text": "consecutive ",
"font": "serif",
"width": 9.947,
"textWidth": 9.489
},
{
"text": "KV ",
"font": "serif",
"width": 3.109,
"textWidth": 2.651
},
{
"text": "entries, ",
"font": "serif",
"width": 6.366,
"textWidth": 5.906
},
{
"text": "which ",
"font": "serif",
"width": 5.461,
"textWidth": 5.004
},
{
"text": "may ",
"font": "serif",
"width": 4.008,
"textWidth": 3.55
},
{
"text": "straddle ",
"font": "serif",
"width": 7.116,
"textWidth": 6.659
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.539
},
{
"text": "boundary ",
"font": "serif",
"width": 8.416,
"textWidth": 7.957
},
{
"text": "between ",
"font": "serif",
"width": 7.29,
"textWidth": 6.832
},
{
"text": "two ",
"font": "serif",
"width": 3.581,
"textWidth": 3.123
},
{
"text": "neighboring ",
"font": "serif",
"width": 10.368,
"textWidth": 9.91
},
{
"text": "CP ",
"font": "serif",
"width": 2.863,
"textWidth": 2.404
},
{
"text": "ranks. ",
"font": "serif",
"width": 4.954,
"textWidth": 4.954
}
]
},
{
"left": 14.75,
"top": 52.396,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.471,
"textWidth": 1.998
},
{
"text": "address ",
"font": "serif",
"width": 6.879,
"textWidth": 6.404
},
{
"text": "these ",
"font": "serif",
"width": 4.754,
"textWidth": 4.281
},
{
"text": "challenges, ",
"font": "serif",
"width": 9.595,
"textWidth": 9.118
},
{
"text": "we ",
"font": "serif",
"width": 2.927,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 5.976,
"textWidth": 5.501
},
{
"text": "a ",
"font": "serif",
"width": 1.408,
"textWidth": 0.935
},
{
"text": "two-stage ",
"font": "serif",
"width": 8.556,
"textWidth": 8.083
},
{
"text": "communication ",
"font": "serif",
"width": 13.41,
"textWidth": 12.937
},
{
"text": "approach. ",
"font": "serif",
"width": 8.842,
"textWidth": 8.229
},
{
"text": "In ",
"font": "serif",
"width": 2.191,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "first ",
"font": "serif",
"width": 3.271,
"textWidth": 3.271
}
]
},
{
"left": 11.905,
"top": 54.005,
"width": 13.614,
"height": 1.296,
"words": [
{
"text": "stage, ",
"font": "serif",
"width": 5.425,
"textWidth": 4.739
},
{
"text": "each ",
"font": "serif",
"width": 4.389,
"textWidth": 3.748
},
{
"text": "rank ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 27.339,
"top": 54.005,
"width": 10.819,
"height": 1.296,
"words": [
{
"text": "sends ",
"font": "serif",
"width": 5.352,
"textWidth": 4.711
},
{
"text": "its ",
"font": "serif",
"width": 2.587,
"textWidth": 1.946
},
{
"text": "last ",
"font": "serif",
"width": 2.881,
"textWidth": 2.881
}
]
},
{
"left": 40.851,
"top": 54.005,
"width": 28.327,
"height": 1.296,
"words": [
{
"text": "uncompressed ",
"font": "serif",
"width": 12.704,
"textWidth": 12.062
},
{
"text": "KV ",
"font": "serif",
"width": 3.348,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.204,
"textWidth": 5.563
},
{
"text": "to ",
"font": "serif",
"width": 2.271,
"textWidth": 1.63
},
{
"text": "rank ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 72.37,
"top": 54.005,
"width": 11.69,
"height": 1.296,
"words": [
{
"text": "1. ",
"font": "serif",
"width": 2.518,
"textWidth": 1.402
},
{
"text": "Then, ",
"font": "serif",
"width": 5.372,
"textWidth": 4.684
},
{
"text": "rank ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 87.252,
"top": 54.005,
"width": 0.935,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 55.614,
"width": 53.059,
"height": 1.296,
"words": [
{
"text": "compresses ",
"font": "serif",
"width": 9.969,
"textWidth": 9.498
},
{
"text": "some ",
"font": "serif",
"width": 4.83,
"textWidth": 4.359
},
{
"text": "of ",
"font": "serif",
"width": 2.114,
"textWidth": 1.643
},
{
"text": "these ",
"font": "serif",
"width": 4.752,
"textWidth": 4.281
},
{
"text": "received ",
"font": "serif",
"width": 7.434,
"textWidth": 6.963
},
{
"text": "entries ",
"font": "serif",
"width": 6.034,
"textWidth": 5.563
},
{
"text": "together ",
"font": "serif",
"width": 7.367,
"textWidth": 6.896
},
{
"text": "with ",
"font": "serif",
"width": 4.269,
"textWidth": 3.8
},
{
"text": "its ",
"font": "serif",
"width": 2.417,
"textWidth": 1.946
},
{
"text": "local ",
"font": "serif",
"width": 3.873,
"textWidth": 3.873
}
]
},
{
"left": 66.583,
"top": 55.614,
"width": 21.741,
"height": 1.296,
"words": [
{
"text": "uncompressed ",
"font": "serif",
"width": 12.533,
"textWidth": 12.062
},
{
"text": "KV ",
"font": "serif",
"width": 3.178,
"textWidth": 2.707
},
{
"text": "entries, ",
"font": "serif",
"width": 6.03,
"textWidth": 6.03
}
]
},
{
"left": 11.85,
"top": 57.224,
"width": 22.222,
"height": 1.296,
"words": [
{
"text": "producing ",
"font": "serif",
"width": 8.992,
"textWidth": 8.535
},
{
"text": "a ",
"font": "serif",
"width": 1.385,
"textWidth": 0.925
},
{
"text": "fixed ",
"font": "serif",
"width": 4.55,
"textWidth": 4.092
},
{
"text": "length ",
"font": "serif",
"width": 5.669,
"textWidth": 5.212
},
{
"text": "of ",
"font": "serif",
"width": 1.627,
"textWidth": 1.627
}
]
},
{
"left": 37.841,
"top": 57.224,
"width": 50.255,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 1.383,
"textWidth": 0.925
},
{
"text": "compressed ",
"font": "serif",
"width": 10.21,
"textWidth": 9.751
},
{
"text": "entries, ",
"font": "serif",
"width": 6.428,
"textWidth": 5.971
},
{
"text": "in ",
"font": "serif",
"width": 2.075,
"textWidth": 1.616
},
{
"text": "which ",
"font": "serif",
"width": 5.516,
"textWidth": 5.057
},
{
"text": "exist ",
"font": "serif",
"width": 4.226,
"textWidth": 3.769
},
{
"text": "some ",
"font": "serif",
"width": 4.774,
"textWidth": 4.316
},
{
"text": "padding ",
"font": "serif",
"width": 7.404,
"textWidth": 6.945
},
{
"text": "entries. ",
"font": "serif",
"width": 6.539,
"textWidth": 5.971
},
{
"text": "In ",
"font": "serif",
"width": 1.701,
"textWidth": 1.701
}
]
},
{
"left": 11.905,
"top": 58.833,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "second ",
"font": "serif",
"width": 6.066,
"textWidth": 5.605
},
{
"text": "stage, ",
"font": "serif",
"width": 5.063,
"textWidth": 4.604
},
{
"text": "an ",
"font": "serif",
"width": 2.425,
"textWidth": 1.965
},
{
"text": "all-gather ",
"font": "serif",
"width": 8.185,
"textWidth": 7.724
},
{
"text": "operation ",
"font": "serif",
"width": 8.207,
"textWidth": 7.748
},
{
"text": "across ",
"font": "serif",
"width": 5.39,
"textWidth": 4.931
},
{
"text": "all ",
"font": "serif",
"width": 2.425,
"textWidth": 1.965
},
{
"text": "CP ",
"font": "serif",
"width": 2.846,
"textWidth": 2.385
},
{
"text": "ranks ",
"font": "serif",
"width": 4.922,
"textWidth": 4.462
},
{
"text": "collects ",
"font": "serif",
"width": 6.353,
"textWidth": 5.893
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "locally ",
"font": "serif",
"width": 5.763,
"textWidth": 5.301
},
{
"text": "compressed ",
"font": "serif",
"width": 10.027,
"textWidth": 9.565
},
{
"text": "KV ",
"font": "serif",
"width": 2.63,
"textWidth": 2.63
}
]
},
{
"left": 11.905,
"top": 60.442,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "entries. ",
"font": "serif",
"width": 6.463,
"textWidth": 5.894
},
{
"text": "Then, ",
"font": "serif",
"width": 5.036,
"textWidth": 4.579
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.914
},
{
"text": "fused ",
"font": "serif",
"width": 4.931,
"textWidth": 4.476
},
{
"text": "select-and-pad ",
"font": "serif",
"width": 12.359,
"textWidth": 11.902
},
{
"text": "operator ",
"font": "serif",
"width": 7.378,
"textWidth": 6.921
},
{
"text": "reorganizes ",
"font": "serif",
"width": 9.795,
"textWidth": 9.338
},
{
"text": "them ",
"font": "serif",
"width": 4.604,
"textWidth": 4.148
},
{
"text": "into ",
"font": "serif",
"width": 3.645,
"textWidth": 3.188
},
{
"text": "the ",
"font": "serif",
"width": 2.989,
"textWidth": 2.532
},
{
"text": "full ",
"font": "serif",
"width": 3.23,
"textWidth": 2.774
},
{
"text": "set ",
"font": "serif",
"width": 2.702,
"textWidth": 2.246
},
{
"text": "of ",
"font": "serif",
"width": 2.063,
"textWidth": 1.606
},
{
"text": "compressed ",
"font": "serif",
"width": 9.625,
"textWidth": 9.625
}
]
},
{
"left": 11.905,
"top": 62.052,
"width": 26.474,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.181,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.036,
"textWidth": 5.563
},
{
"text": "with ",
"font": "serif",
"width": 4.275,
"textWidth": 3.8
},
{
"text": "a ",
"font": "serif",
"width": 1.409,
"textWidth": 0.935
},
{
"text": "total ",
"font": "serif",
"width": 4.193,
"textWidth": 3.718
},
{
"text": "length ",
"font": "serif",
"width": 5.737,
"textWidth": 5.264
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 38.854,
"top": 61.873,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": "cp_size ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 49.999,
"top": 62.052,
"width": 38.133,
"height": 1.296,
"words": [
{
"text": "Any ",
"font": "serif",
"width": 4.056,
"textWidth": 3.582
},
{
"text": "padding ",
"font": "serif",
"width": 7.486,
"textWidth": 7.013
},
{
"text": "entries ",
"font": "serif",
"width": 6.038,
"textWidth": 5.563
},
{
"text": "are ",
"font": "serif",
"width": 3.01,
"textWidth": 2.535
},
{
"text": "placed ",
"font": "serif",
"width": 5.944,
"textWidth": 5.469
},
{
"text": "at ",
"font": "serif",
"width": 2.019,
"textWidth": 1.544
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "tail. ",
"font": "serif",
"width": 3.716,
"textWidth": 3.099
},
{
"text": "For ",
"font": "serif",
"width": 2.798,
"textWidth": 2.798
}
]
},
{
"left": 11.905,
"top": 63.661,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.703,
"textWidth": 4.246
},
{
"text": "and ",
"font": "serif",
"width": 3.559,
"textWidth": 3.1
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.539
},
{
"text": "indexer ",
"font": "serif",
"width": 6.596,
"textWidth": 6.139
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.601,
"textWidth": 4.141
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.539
},
{
"text": "visible ",
"font": "serif",
"width": 5.756,
"textWidth": 5.298
},
{
"text": "range ",
"font": "serif",
"width": 5.058,
"textWidth": 4.599
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.609
},
{
"text": "compressed ",
"font": "serif",
"width": 10.102,
"textWidth": 9.645
},
{
"text": "KV ",
"font": "serif",
"width": 3.109,
"textWidth": 2.651
},
{
"text": "entries ",
"font": "serif",
"width": 5.908,
"textWidth": 5.448
},
{
"text": "for ",
"font": "serif",
"width": 2.79,
"textWidth": 2.332
},
{
"text": "each ",
"font": "serif",
"width": 4.128,
"textWidth": 3.671
},
{
"text": "query ",
"font": "serif",
"width": 5.205,
"textWidth": 4.747
},
{
"text": "token ",
"font": "serif",
"width": 4.557,
"textWidth": 4.557
}
]
},
{
"left": 11.905,
"top": 65.271,
"width": 60.157,
"height": 1.296,
"words": [
{
"text": "can ",
"font": "serif",
"width": 3.462,
"textWidth": 2.852
},
{
"text": "be ",
"font": "serif",
"width": 2.54,
"textWidth": 1.929
},
{
"text": "precomputed ",
"font": "serif",
"width": 11.732,
"textWidth": 11.122
},
{
"text": "by ",
"font": "serif",
"width": 2.684,
"textWidth": 2.073
},
{
"text": "rules. ",
"font": "serif",
"width": 5.574,
"textWidth": 4.55
},
{
"text": "For ",
"font": "serif",
"width": 3.408,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.202,
"textWidth": 2.593
},
{
"text": "sparse ",
"font": "serif",
"width": 5.888,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 8.008,
"textWidth": 7.399
},
{
"text": "in ",
"font": "serif",
"width": 2.241,
"textWidth": 1.632
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.84,
"textWidth": 4.228
},
{
"text": "the ",
"font": "serif",
"width": 3.202,
"textWidth": 2.593
},
{
"text": "top- ",
"font": "serif",
"width": 3.376,
"textWidth": 3.376
}
]
},
{
"left": 73.593,
"top": 65.271,
"width": 14.573,
"height": 1.296,
"words": [
{
"text": "selector ",
"font": "serif",
"width": 6.935,
"textWidth": 6.326
},
{
"text": "explicitly ",
"font": "serif",
"width": 7.638,
"textWidth": 7.638
}
]
},
{
"left": 11.905,
"top": 66.88,
"width": 55.404,
"height": 1.296,
"words": [
{
"text": "specifies ",
"font": "serif",
"width": 7.325,
"textWidth": 6.867
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "indices ",
"font": "serif",
"width": 6.18,
"textWidth": 5.721
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "visible ",
"font": "serif",
"width": 5.762,
"textWidth": 5.304
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 5.912,
"textWidth": 5.454
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "query. ",
"font": "serif",
"width": 5.007,
"textWidth": 5.007
}
]
},
{
"left": 11.905,
"top": 70.476,
"width": 65.62,
"height": 1.296,
"words": [
{
"text": "3.5.4. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Extended ",
"font": "serif-bold-italic",
"width": 7.891,
"textWidth": 7.433
},
{
"text": "Automatic ",
"font": "serif-bold-italic",
"width": 9.214,
"textWidth": 8.756
},
{
"text": "Differentiation ",
"font": "serif-bold-italic",
"width": 12.676,
"textWidth": 12.218
},
{
"text": "for ",
"font": "serif-bold-italic",
"width": 2.8,
"textWidth": 2.342
},
{
"text": "Flexible ",
"font": "serif-bold-italic",
"width": 6.836,
"textWidth": 6.377
},
{
"text": "Activation ",
"font": "serif-bold-italic",
"width": 9.317,
"textWidth": 8.859
},
{
"text": "Checkpointing ",
"font": "serif-bold-italic",
"width": 11.846,
"textWidth": 11.846
}
]
},
{
"left": 11.905,
"top": 73.16,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Conventional ",
"font": "serif",
"width": 11.429,
"textWidth": 10.972
},
{
"text": "activation ",
"font": "serif",
"width": 8.45,
"textWidth": 7.992
},
{
"text": "checkpointing ",
"font": "serif",
"width": 11.941,
"textWidth": 11.486
},
{
"text": "implementations ",
"font": "serif",
"width": 14.145,
"textWidth": 13.688
},
{
"text": "operate ",
"font": "serif",
"width": 6.538,
"textWidth": 6.083
},
{
"text": "at ",
"font": "serif",
"width": 1.968,
"textWidth": 1.511
},
{
"text": "the ",
"font": "serif",
"width": 2.994,
"textWidth": 2.537
},
{
"text": "granularity ",
"font": "serif",
"width": 9.591,
"textWidth": 9.136
},
{
"text": "of ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "an ",
"font": "serif",
"width": 2.434,
"textWidth": 1.979
},
{
"text": "entire ",
"font": "serif",
"width": 4.635,
"textWidth": 4.635
}
]
},
{
"left": 11.905,
"top": 74.77,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "module, ",
"font": "serif",
"width": 7.282,
"textWidth": 6.82
},
{
"text": "deciding ",
"font": "serif",
"width": 7.656,
"textWidth": 7.196
},
{
"text": "whether ",
"font": "serif",
"width": 7.306,
"textWidth": 6.846
},
{
"text": "to ",
"font": "serif",
"width": 2.084,
"textWidth": 1.624
},
{
"text": "retain ",
"font": "serif",
"width": 5.219,
"textWidth": 4.759
},
{
"text": "or ",
"font": "serif",
"width": 2.212,
"textWidth": 1.752
},
{
"text": "recompute ",
"font": "serif",
"width": 9.284,
"textWidth": 8.822
},
{
"text": "its ",
"font": "serif",
"width": 2.398,
"textWidth": 1.938
},
{
"text": "output ",
"font": "serif",
"width": 6.055,
"textWidth": 5.595
},
{
"text": "activations ",
"font": "serif",
"width": 9.388,
"textWidth": 8.928
},
{
"text": "during ",
"font": "serif",
"width": 6.118,
"textWidth": 5.657
},
{
"text": "the ",
"font": "serif",
"width": 3.042,
"textWidth": 2.583
},
{
"text": "backward ",
"font": "serif",
"width": 8.146,
"textWidth": 8.146
}
]
},
{
"left": 11.85,
"top": 76.379,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "pass. ",
"font": "serif",
"width": 4.623,
"textWidth": 4.05
},
{
"text": "This ",
"font": "serif",
"width": 3.978,
"textWidth": 3.518
},
{
"text": "coarse ",
"font": "serif",
"width": 5.593,
"textWidth": 5.135
},
{
"text": "granularity ",
"font": "serif",
"width": 9.66,
"textWidth": 9.2
},
{
"text": "often ",
"font": "serif",
"width": 4.632,
"textWidth": 4.173
},
{
"text": "leads ",
"font": "serif",
"width": 4.706,
"textWidth": 4.245
},
{
"text": "to ",
"font": "serif",
"width": 2.066,
"textWidth": 1.606
},
{
"text": "suboptimal ",
"font": "serif",
"width": 9.701,
"textWidth": 9.24
},
{
"text": "trade-offs ",
"font": "serif",
"width": 8.31,
"textWidth": 7.85
},
{
"text": "between ",
"font": "serif",
"width": 7.332,
"textWidth": 6.874
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.439,
"textWidth": 11.979
},
{
"text": "cost ",
"font": "serif",
"width": 3.205,
"textWidth": 3.205
}
]
},
{
"left": 11.905,
"top": 77.988,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.414,
"textWidth": 3.041
},
{
"text": "activation ",
"font": "serif",
"width": 8.224,
"textWidth": 7.85
},
{
"text": "memory ",
"font": "serif",
"width": 7.092,
"textWidth": 6.72
},
{
"text": "footprint. ",
"font": "serif",
"width": 8.076,
"textWidth": 7.536
},
{
"text": "An ",
"font": "serif",
"width": 2.816,
"textWidth": 2.443
},
{
"text": "alternative ",
"font": "serif",
"width": 8.874,
"textWidth": 8.502
},
{
"text": "approach ",
"font": "serif",
"width": 7.829,
"textWidth": 7.455
},
{
"text": "is ",
"font": "serif",
"width": 1.658,
"textWidth": 1.284
},
{
"text": "to ",
"font": "serif",
"width": 1.938,
"textWidth": 1.566
},
{
"text": "manually ",
"font": "serif",
"width": 7.927,
"textWidth": 7.554
},
{
"text": "implement ",
"font": "serif",
"width": 9.021,
"textWidth": 8.648
},
{
"text": "the ",
"font": "serif",
"width": 2.865,
"textWidth": 2.491
},
{
"text": "forward ",
"font": "serif",
"width": 6.456,
"textWidth": 6.456
}
]
},
{
"left": 11.905,
"top": 79.598,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.6,
"textWidth": 3.143
},
{
"text": "backward ",
"font": "serif",
"width": 8.579,
"textWidth": 8.122
},
{
"text": "logic ",
"font": "serif",
"width": 4.407,
"textWidth": 3.95
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.632
},
{
"text": "an ",
"font": "serif",
"width": 2.465,
"textWidth": 2.009
},
{
"text": "entire ",
"font": "serif",
"width": 5.163,
"textWidth": 4.706
},
{
"text": "layer, ",
"font": "serif",
"width": 4.908,
"textWidth": 4.45
},
{
"text": "explicitly ",
"font": "serif",
"width": 8.042,
"textWidth": 7.585
},
{
"text": "managing ",
"font": "serif",
"width": 8.718,
"textWidth": 8.261
},
{
"text": "tensor ",
"font": "serif",
"width": 5.566,
"textWidth": 5.109
},
{
"text": "checkpointing ",
"font": "serif",
"width": 12.115,
"textWidth": 11.658
},
{
"text": "states. ",
"font": "serif",
"width": 5.632,
"textWidth": 5.066
},
{
"text": "While ",
"font": "serif",
"width": 4.907,
"textWidth": 4.907
}
]
},
{
"left": 11.905,
"top": 81.207,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "enabling ",
"font": "serif",
"width": 7.331,
"textWidth": 6.886
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.167,
"textWidth": 9.722
},
{
"text": "control, ",
"font": "serif",
"width": 6.483,
"textWidth": 6.036
},
{
"text": "this ",
"font": "serif",
"width": 3.36,
"textWidth": 2.915
},
{
"text": "method ",
"font": "serif",
"width": 6.6,
"textWidth": 6.155
},
{
"text": "loses ",
"font": "serif",
"width": 4.332,
"textWidth": 3.886
},
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "convenience ",
"font": "serif",
"width": 10.273,
"textWidth": 9.829
},
{
"text": "of ",
"font": "serif",
"width": 2.024,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "automatic ",
"font": "serif",
"width": 8.382,
"textWidth": 7.936
},
{
"text": "differentiation ",
"font": "serif",
"width": 11.365,
"textWidth": 11.365
}
]
},
{
"left": 11.905,
"top": 82.817,
"width": 49.99,
"height": 1.296,
"words": [
{
"text": "framework, ",
"font": "serif",
"width": 9.935,
"textWidth": 9.476
},
{
"text": "substantially ",
"font": "serif",
"width": 10.844,
"textWidth": 10.385
},
{
"text": "increasing ",
"font": "serif",
"width": 8.753,
"textWidth": 8.294
},
{
"text": "development ",
"font": "serif",
"width": 11.164,
"textWidth": 10.706
},
{
"text": "complexity. ",
"font": "serif",
"width": 9.295,
"textWidth": 9.295
}
]
},
{
"left": 14.75,
"top": 85.231,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.381,
"textWidth": 1.924
},
{
"text": "achieve ",
"font": "serif",
"width": 6.486,
"textWidth": 6.029
},
{
"text": "fine-grained ",
"font": "serif",
"width": 10.228,
"textWidth": 9.771
},
{
"text": "control ",
"font": "serif",
"width": 6.074,
"textWidth": 5.618
},
{
"text": "without ",
"font": "serif",
"width": 6.789,
"textWidth": 6.332
},
{
"text": "sacrificing ",
"font": "serif",
"width": 8.638,
"textWidth": 8.181
},
{
"text": "programming ",
"font": "serif",
"width": 11.594,
"textWidth": 11.138
},
{
"text": "efficiency, ",
"font": "serif",
"width": 8.276,
"textWidth": 7.82
},
{
"text": "we ",
"font": "serif",
"width": 2.829,
"textWidth": 2.37
},
{
"text": "implement ",
"font": "serif",
"width": 9.148,
"textWidth": 8.692
},
{
"text": "a ",
"font": "serif",
"width": 0.903,
"textWidth": 0.903
}
]
},
{
"left": 11.905,
"top": 86.84,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tensor-level ",
"font": "serif",
"width": 9.925,
"textWidth": 9.469
},
{
"text": "activation ",
"font": "serif",
"width": 8.458,
"textWidth": 8.002
},
{
"text": "checkpointing ",
"font": "serif",
"width": 11.955,
"textWidth": 11.497
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.734,
"textWidth": 9.278
},
{
"text": "with ",
"font": "serif",
"width": 4.178,
"textWidth": 3.722
},
{
"text": "automatic ",
"font": "serif",
"width": 8.546,
"textWidth": 8.09
},
{
"text": "differentiation ",
"font": "serif",
"width": 12.045,
"textWidth": 11.587
},
{
"text": "support. ",
"font": "serif",
"width": 7.426,
"textWidth": 6.858
},
{
"text": "With ",
"font": "serif",
"width": 3.923,
"textWidth": 3.923
}
]
},
{
"left": 11.905,
"top": 88.449,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "this ",
"font": "serif",
"width": 3.422,
"textWidth": 2.962
},
{
"text": "mechanism, ",
"font": "serif",
"width": 10.169,
"textWidth": 9.707
},
{
"text": "developers ",
"font": "serif",
"width": 9.349,
"textWidth": 8.889
},
{
"text": "only ",
"font": "serif",
"width": 4.065,
"textWidth": 3.605
},
{
"text": "need ",
"font": "serif",
"width": 4.386,
"textWidth": 3.926
},
{
"text": "to ",
"font": "serif",
"width": 2.053,
"textWidth": 1.592
},
{
"text": "implement ",
"font": "serif",
"width": 9.249,
"textWidth": 8.789
},
{
"text": "the ",
"font": "serif",
"width": 2.992,
"textWidth": 2.532
},
{
"text": "forward ",
"font": "serif",
"width": 7.024,
"textWidth": 6.564
},
{
"text": "pass ",
"font": "serif",
"width": 4.017,
"textWidth": 3.557
},
{
"text": "and ",
"font": "serif",
"width": 3.552,
"textWidth": 3.09
},
{
"text": "selectively ",
"font": "serif",
"width": 8.902,
"textWidth": 8.442
},
{
"text": "annotate ",
"font": "serif",
"width": 7.011,
"textWidth": 7.011
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "21 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"22": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "individual ",
"font": "serif",
"width": 8.988,
"textWidth": 8.53
},
{
"text": "tensors ",
"font": "serif",
"width": 6.304,
"textWidth": 5.844
},
{
"text": "for ",
"font": "serif",
"width": 2.802,
"textWidth": 2.344
},
{
"text": "automatic ",
"font": "serif",
"width": 8.589,
"textWidth": 8.131
},
{
"text": "checkpointing ",
"font": "serif",
"width": 12.013,
"textWidth": 11.555
},
{
"text": "and ",
"font": "serif",
"width": 3.575,
"textWidth": 3.115
},
{
"text": "recomputation. ",
"font": "serif",
"width": 12.997,
"textWidth": 12.427
},
{
"text": "Our ",
"font": "serif",
"width": 3.741,
"textWidth": 3.282
},
{
"text": "framework ",
"font": "serif",
"width": 9.513,
"textWidth": 9.054
},
{
"text": "leverages ",
"font": "serif",
"width": 7.669,
"textWidth": 7.669
}
]
},
{
"left": 11.848,
"top": 12.082,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "TorchFX ",
"font": "serif",
"width": 7.41,
"textWidth": 6.907
},
{
"text": "(Reed ",
"font": "serif",
"width": 5.307,
"textWidth": 4.804
},
{
"text": "et ",
"font": "serif",
"width": 2.006,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.916,
"textWidth": 2.413
},
{
"text": "2022) ",
"font": "serif",
"width": 4.864,
"textWidth": 4.361
},
{
"text": "to ",
"font": "serif",
"width": 2.131,
"textWidth": 1.63
},
{
"text": "trace ",
"font": "serif",
"width": 4.511,
"textWidth": 4.008
},
{
"text": "the ",
"font": "serif",
"width": 3.096,
"textWidth": 2.593
},
{
"text": "full ",
"font": "serif",
"width": 3.339,
"textWidth": 2.838
},
{
"text": "computation ",
"font": "serif",
"width": 11.06,
"textWidth": 10.558
},
{
"text": "graph. ",
"font": "serif",
"width": 6.092,
"textWidth": 5.391
},
{
"text": "For ",
"font": "serif",
"width": 3.301,
"textWidth": 2.798
},
{
"text": "each ",
"font": "serif",
"width": 4.249,
"textWidth": 3.748
},
{
"text": "annotated ",
"font": "serif",
"width": 8.825,
"textWidth": 8.322
},
{
"text": "tensor, ",
"font": "serif",
"width": 5.989,
"textWidth": 5.475
},
{
"text": "it ",
"font": "serif",
"width": 1.153,
"textWidth": 1.153
}
]
},
{
"left": 11.85,
"top": 13.691,
"width": 76.566,
"height": 1.296,
"words": [
{
"text": "performs ",
"font": "serif",
"width": 7.79,
"textWidth": 7.329
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.903
},
{
"text": "backward ",
"font": "serif",
"width": 8.366,
"textWidth": 7.905
},
{
"text": "traversal ",
"font": "serif",
"width": 7.461,
"textWidth": 7.0
},
{
"text": "to ",
"font": "serif",
"width": 2.036,
"textWidth": 1.576
},
{
"text": "identify ",
"font": "serif",
"width": 6.729,
"textWidth": 6.268
},
{
"text": "the ",
"font": "serif",
"width": 2.967,
"textWidth": 2.506
},
{
"text": "minimal ",
"font": "serif",
"width": 7.184,
"textWidth": 6.724
},
{
"text": "subgraph ",
"font": "serif",
"width": 8.075,
"textWidth": 7.615
},
{
"text": "required ",
"font": "serif",
"width": 7.284,
"textWidth": 6.825
},
{
"text": "for ",
"font": "serif",
"width": 2.763,
"textWidth": 2.302
},
{
"text": "its ",
"font": "serif",
"width": 2.342,
"textWidth": 1.881
},
{
"text": "recomputation. ",
"font": "serif",
"width": 12.204,
"textWidth": 12.204
}
]
},
{
"left": 11.813,
"top": 15.3,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.935,
"textWidth": 2.487
},
{
"text": "define ",
"font": "serif",
"width": 5.395,
"textWidth": 4.95
},
{
"text": "these ",
"font": "serif",
"width": 4.56,
"textWidth": 4.113
},
{
"text": "minimal ",
"font": "serif",
"width": 7.13,
"textWidth": 6.683
},
{
"text": "subgraphs ",
"font": "serif",
"width": 8.775,
"textWidth": 8.33
},
{
"text": "as ",
"font": "serif",
"width": 2.107,
"textWidth": 1.659
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.126,
"textWidth": 11.679
},
{
"text": "graphs ",
"font": "serif",
"width": 5.939,
"textWidth": 5.492
},
{
"text": "and ",
"font": "serif",
"width": 3.486,
"textWidth": 3.041
},
{
"text": "insert ",
"font": "serif",
"width": 4.932,
"textWidth": 4.485
},
{
"text": "them ",
"font": "serif",
"width": 4.522,
"textWidth": 4.077
},
{
"text": "into ",
"font": "serif",
"width": 3.581,
"textWidth": 3.134
},
{
"text": "the ",
"font": "serif",
"width": 2.938,
"textWidth": 2.491
},
{
"text": "backward ",
"font": "serif",
"width": 7.856,
"textWidth": 7.856
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 46.623,
"height": 1.296,
"words": [
{
"text": "logic ",
"font": "serif",
"width": 4.358,
"textWidth": 3.9
},
{
"text": "just ",
"font": "serif",
"width": 3.367,
"textWidth": 2.908
},
{
"text": "before ",
"font": "serif",
"width": 5.529,
"textWidth": 5.071
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.249,
"textWidth": 11.791
},
{
"text": "gradient ",
"font": "serif",
"width": 7.312,
"textWidth": 6.854
},
{
"text": "computation. ",
"font": "serif",
"width": 10.809,
"textWidth": 10.809
}
]
},
{
"left": 14.75,
"top": 19.324,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "Compared ",
"font": "serif",
"width": 9.004,
"textWidth": 8.547
},
{
"text": "with ",
"font": "serif",
"width": 4.152,
"textWidth": 3.692
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "manual ",
"font": "serif",
"width": 6.558,
"textWidth": 6.1
},
{
"text": "implementation, ",
"font": "serif",
"width": 13.735,
"textWidth": 13.276
},
{
"text": "this ",
"font": "serif",
"width": 3.407,
"textWidth": 2.948
},
{
"text": "design ",
"font": "serif",
"width": 5.802,
"textWidth": 5.345
},
{
"text": "introduces ",
"font": "serif",
"width": 8.964,
"textWidth": 8.505
},
{
"text": "no ",
"font": "serif",
"width": 2.506,
"textWidth": 2.049
},
{
"text": "additional ",
"font": "serif",
"width": 8.721,
"textWidth": 8.262
},
{
"text": "overhead ",
"font": "serif",
"width": 7.517,
"textWidth": 7.517
}
]
},
{
"left": 11.905,
"top": 20.933,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "during ",
"font": "serif",
"width": 6.337,
"textWidth": 5.679
},
{
"text": "training. ",
"font": "serif",
"width": 8.223,
"textWidth": 7.053
},
{
"text": "Recomputation ",
"font": "serif",
"width": 13.36,
"textWidth": 12.702
},
{
"text": "in ",
"font": "serif",
"width": 2.29,
"textWidth": 1.632
},
{
"text": "this ",
"font": "serif",
"width": 3.692,
"textWidth": 3.034
},
{
"text": "framework ",
"font": "serif",
"width": 9.859,
"textWidth": 9.199
},
{
"text": "is ",
"font": "serif",
"width": 1.995,
"textWidth": 1.337
},
{
"text": "implemented ",
"font": "serif",
"width": 11.696,
"textWidth": 11.038
},
{
"text": "by ",
"font": "serif",
"width": 2.731,
"textWidth": 2.073
},
{
"text": "directly ",
"font": "serif",
"width": 6.969,
"textWidth": 6.311
},
{
"text": "freeing ",
"font": "serif",
"width": 6.449,
"textWidth": 5.789
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 22.543,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "GPU ",
"font": "serif",
"width": 4.54,
"textWidth": 4.01
},
{
"text": "memory ",
"font": "serif",
"width": 7.524,
"textWidth": 6.995
},
{
"text": "of ",
"font": "serif",
"width": 2.174,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "annotated ",
"font": "serif",
"width": 8.853,
"textWidth": 8.322
},
{
"text": "tensor ",
"font": "serif",
"width": 5.673,
"textWidth": 5.144
},
{
"text": "and ",
"font": "serif",
"width": 3.696,
"textWidth": 3.165
},
{
"text": "reusing ",
"font": "serif",
"width": 6.722,
"textWidth": 6.193
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "storage ",
"font": "serif",
"width": 6.561,
"textWidth": 6.03
},
{
"text": "pointer ",
"font": "serif",
"width": 6.548,
"textWidth": 6.019
},
{
"text": "from ",
"font": "serif",
"width": 4.531,
"textWidth": 4.0
},
{
"text": "the ",
"font": "serif",
"width": 3.122,
"textWidth": 2.593
},
{
"text": "recomputed ",
"font": "serif",
"width": 10.001,
"textWidth": 10.001
}
]
},
{
"left": 11.905,
"top": 24.152,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tensor, ",
"font": "serif",
"width": 5.896,
"textWidth": 5.438
},
{
"text": "without ",
"font": "serif",
"width": 6.971,
"textWidth": 6.512
},
{
"text": "any ",
"font": "serif",
"width": 3.499,
"textWidth": 3.041
},
{
"text": "GPU ",
"font": "serif",
"width": 4.442,
"textWidth": 3.982
},
{
"text": "memory ",
"font": "serif",
"width": 7.405,
"textWidth": 6.947
},
{
"text": "copy. ",
"font": "serif",
"width": 4.816,
"textWidth": 4.246
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.36,
"textWidth": 10.899
},
{
"text": "since ",
"font": "serif",
"width": 4.58,
"textWidth": 4.121
},
{
"text": "graph ",
"font": "serif",
"width": 5.348,
"textWidth": 4.89
},
{
"text": "tracing ",
"font": "serif",
"width": 6.202,
"textWidth": 5.744
},
{
"text": "executes ",
"font": "serif",
"width": 7.42,
"textWidth": 6.962
},
{
"text": "the ",
"font": "serif",
"width": 3.033,
"textWidth": 2.575
},
{
"text": "model ",
"font": "serif",
"width": 5.217,
"textWidth": 5.217
}
]
},
{
"left": 11.905,
"top": 25.761,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "concretely, ",
"font": "serif",
"width": 8.901,
"textWidth": 8.439
},
{
"text": "we ",
"font": "serif",
"width": 2.839,
"textWidth": 2.377
},
{
"text": "can ",
"font": "serif",
"width": 3.223,
"textWidth": 2.763
},
{
"text": "track ",
"font": "serif",
"width": 4.483,
"textWidth": 4.021
},
{
"text": "the ",
"font": "serif",
"width": 2.971,
"textWidth": 2.511
},
{
"text": "underlying ",
"font": "serif",
"width": 9.415,
"textWidth": 8.955
},
{
"text": "storage ",
"font": "serif",
"width": 6.303,
"textWidth": 5.841
},
{
"text": "pointer ",
"font": "serif",
"width": 6.29,
"textWidth": 5.83
},
{
"text": "of ",
"font": "serif",
"width": 2.053,
"textWidth": 1.592
},
{
"text": "each ",
"font": "serif",
"width": 4.09,
"textWidth": 3.63
},
{
"text": "tensor, ",
"font": "serif",
"width": 5.761,
"textWidth": 5.3
},
{
"text": "which ",
"font": "serif",
"width": 5.408,
"textWidth": 4.948
},
{
"text": "enables ",
"font": "serif",
"width": 6.451,
"textWidth": 5.99
},
{
"text": "automatic ",
"font": "serif",
"width": 8.001,
"textWidth": 8.001
}
]
},
{
"left": 11.905,
"top": 27.371,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "deduplication ",
"font": "serif",
"width": 12.004,
"textWidth": 11.545
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.618,
"textWidth": 12.158
},
{
"text": "for ",
"font": "serif",
"width": 2.841,
"textWidth": 2.381
},
{
"text": "tensors ",
"font": "serif",
"width": 6.397,
"textWidth": 5.937
},
{
"text": "that ",
"font": "serif",
"width": 3.701,
"textWidth": 3.241
},
{
"text": "share ",
"font": "serif",
"width": 4.875,
"textWidth": 4.415
},
{
"text": "storage ",
"font": "serif",
"width": 6.49,
"textWidth": 6.03
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.419,
"textWidth": 3.959
},
{
"text": "the ",
"font": "serif",
"width": 3.053,
"textWidth": 2.593
},
{
"text": "input ",
"font": "serif",
"width": 4.952,
"textWidth": 4.492
},
{
"text": "and ",
"font": "serif",
"width": 3.625,
"textWidth": 3.165
},
{
"text": "output ",
"font": "serif",
"width": 6.077,
"textWidth": 5.617
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 28.98,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "reshape ",
"font": "serif",
"width": 6.896,
"textWidth": 6.434
},
{
"text": "operation). ",
"font": "serif",
"width": 9.64,
"textWidth": 9.064
},
{
"text": "This ",
"font": "serif",
"width": 4.03,
"textWidth": 3.57
},
{
"text": "relieves ",
"font": "serif",
"width": 6.789,
"textWidth": 6.327
},
{
"text": "developers ",
"font": "serif",
"width": 9.563,
"textWidth": 9.103
},
{
"text": "from ",
"font": "serif",
"width": 4.46,
"textWidth": 3.998
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.569,
"textWidth": 8.107
},
{
"text": "about ",
"font": "serif",
"width": 5.185,
"textWidth": 4.726
},
{
"text": "low-level ",
"font": "serif",
"width": 8.141,
"textWidth": 7.681
},
{
"text": "memory ",
"font": "serif",
"width": 7.456,
"textWidth": 6.995
},
{
"text": "details ",
"font": "serif",
"width": 5.462,
"textWidth": 5.462
}
]
},
{
"left": 11.828,
"top": 30.59,
"width": 26.613,
"height": 1.296,
"words": [
{
"text": "when ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "annotating ",
"font": "serif",
"width": 9.238,
"textWidth": 8.78
},
{
"text": "recomputation. ",
"font": "serif",
"width": 12.377,
"textWidth": 12.377
}
]
},
{
"left": 11.905,
"top": 34.502,
"width": 21.636,
"height": 1.296,
"words": [
{
"text": "3.6. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Inference ",
"font": "serif-bold",
"width": 8.399,
"textWidth": 7.941
},
{
"text": "Framework ",
"font": "serif-bold",
"width": 9.572,
"textWidth": 9.572
}
]
},
{
"left": 11.905,
"top": 37.174,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.765,
"textWidth": 3.305
},
{
"text": "inference ",
"font": "serif",
"width": 7.954,
"textWidth": 7.496
},
{
"text": "framework ",
"font": "serif",
"width": 9.577,
"textWidth": 9.117
},
{
"text": "largely ",
"font": "serif",
"width": 6.109,
"textWidth": 5.651
},
{
"text": "inherits ",
"font": "serif",
"width": 6.703,
"textWidth": 6.244
},
{
"text": "from ",
"font": "serif",
"width": 4.421,
"textWidth": 3.963
},
{
"text": "that ",
"font": "serif",
"width": 3.672,
"textWidth": 3.213
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.629
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 11.904,
"textWidth": 11.445
},
{
"text": "with ",
"font": "serif",
"width": 4.224,
"textWidth": 3.767
},
{
"text": "some ",
"font": "serif",
"width": 4.78,
"textWidth": 4.321
},
{
"text": "differences ",
"font": "serif",
"width": 9.377,
"textWidth": 8.919
},
{
"text": "in ",
"font": "serif",
"width": 1.617,
"textWidth": 1.617
}
]
},
{
"left": 11.905,
"top": 38.783,
"width": 19.576,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "Cache ",
"font": "serif",
"width": 5.432,
"textWidth": 4.974
},
{
"text": "management. ",
"font": "serif",
"width": 11.032,
"textWidth": 11.032
}
]
},
{
"left": 11.905,
"top": 42.379,
"width": 35.487,
"height": 1.296,
"words": [
{
"text": "3.6.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "KV ",
"font": "serif-bold-italic",
"width": 3.004,
"textWidth": 2.545
},
{
"text": "Cache ",
"font": "serif-bold-italic",
"width": 5.379,
"textWidth": 4.921
},
{
"text": "Structure ",
"font": "serif-bold-italic",
"width": 7.961,
"textWidth": 7.503
},
{
"text": "and ",
"font": "serif-bold-italic",
"width": 3.515,
"textWidth": 3.057
},
{
"text": "Management ",
"font": "serif-bold-italic",
"width": 10.589,
"textWidth": 10.589
}
]
},
{
"left": 11.848,
"top": 45.063,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.329,
"textWidth": 1.913
},
{
"text": "efficiently ",
"font": "serif",
"width": 8.26,
"textWidth": 7.845
},
{
"text": "manage ",
"font": "serif",
"width": 6.703,
"textWidth": 6.286
},
{
"text": "the ",
"font": "serif",
"width": 2.906,
"textWidth": 2.491
},
{
"text": "heterogeneous ",
"font": "serif",
"width": 12.013,
"textWidth": 11.598
},
{
"text": "KV ",
"font": "serif",
"width": 3.017,
"textWidth": 2.601
},
{
"text": "caches ",
"font": "serif",
"width": 5.575,
"textWidth": 5.158
},
{
"text": "arising ",
"font": "serif",
"width": 5.873,
"textWidth": 5.458
},
{
"text": "from ",
"font": "serif",
"width": 4.258,
"textWidth": 3.842
},
{
"text": "the ",
"font": "serif",
"width": 2.906,
"textWidth": 2.491
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.783,
"textWidth": 5.366
},
{
"text": "attention ",
"font": "serif",
"width": 7.523,
"textWidth": 7.107
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.102,
"textWidth": 9.102
}
]
},
{
"left": 11.905,
"top": 46.673,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.049,
"textWidth": 1.59
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 11.709,
"textWidth": 11.252
},
{
"text": "we ",
"font": "serif",
"width": 2.851,
"textWidth": 2.392
},
{
"text": "design ",
"font": "serif",
"width": 5.82,
"textWidth": 5.361
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.911
},
{
"text": "customized ",
"font": "serif",
"width": 9.76,
"textWidth": 9.303
},
{
"text": "KV ",
"font": "serif",
"width": 3.097,
"textWidth": 2.638
},
{
"text": "cache ",
"font": "serif",
"width": 4.92,
"textWidth": 4.461
},
{
"text": "layout. ",
"font": "serif",
"width": 6.164,
"textWidth": 5.596
},
{
"text": "The ",
"font": "serif",
"width": 3.508,
"textWidth": 3.049
},
{
"text": "layout ",
"font": "serif",
"width": 5.6,
"textWidth": 5.141
},
{
"text": "is ",
"font": "serif",
"width": 1.762,
"textWidth": 1.302
},
{
"text": "illustrated ",
"font": "serif",
"width": 8.722,
"textWidth": 8.263
},
{
"text": "in ",
"font": "serif",
"width": 2.049,
"textWidth": 1.59
},
{
"text": "Figure ",
"font": "serif",
"width": 5.673,
"textWidth": 5.213
},
{
"text": "6, ",
"font": "serif",
"width": 1.366,
"textWidth": 1.366
}
]
},
{
"left": 11.905,
"top": 48.282,
"width": 37.728,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "we ",
"font": "serif",
"width": 2.864,
"textWidth": 2.406
},
{
"text": "will ",
"font": "serif",
"width": 3.586,
"textWidth": 3.128
},
{
"text": "elaborate ",
"font": "serif",
"width": 7.915,
"textWidth": 7.457
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "it ",
"font": "serif",
"width": 1.589,
"textWidth": 1.131
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "detail ",
"font": "serif",
"width": 5.036,
"textWidth": 4.578
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "follows. ",
"font": "serif",
"width": 6.442,
"textWidth": 6.442
}
]
},
{
"left": 11.905,
"top": 52.488,
"width": 36.986,
"height": 1.296,
"words": [
{
"text": "Heterogeneous ",
"font": "serif-bold",
"width": 13.111,
"textWidth": 12.65
},
{
"text": "KV ",
"font": "serif-bold",
"width": 3.32,
"textWidth": 2.857
},
{
"text": "Entries ",
"font": "serif-bold",
"width": 6.376,
"textWidth": 5.915
},
{
"text": "in ",
"font": "serif-bold",
"width": 2.194,
"textWidth": 1.733
},
{
"text": "DeepSeek-V4. ",
"font": "serif-bold",
"width": 11.985,
"textWidth": 11.985
}
]
},
{
"left": 50.714,
"top": 52.509,
"width": 37.686,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.535,
"textWidth": 3.074
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.95,
"textWidth": 5.487
},
{
"text": "attention ",
"font": "serif",
"width": 7.729,
"textWidth": 7.266
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.767,
"textWidth": 9.306
},
{
"text": "in ",
"font": "serif",
"width": 2.066,
"textWidth": 1.603
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.64,
"textWidth": 8.64
}
]
},
{
"left": 11.839,
"top": 54.118,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V4 ",
"font": "serif",
"width": 2.836,
"textWidth": 2.284
},
{
"text": "series ",
"font": "serif",
"width": 5.21,
"textWidth": 4.658
},
{
"text": "introduces ",
"font": "serif",
"width": 9.307,
"textWidth": 8.756
},
{
"text": "multiple ",
"font": "serif",
"width": 7.589,
"textWidth": 7.038
},
{
"text": "types ",
"font": "serif",
"width": 5.011,
"textWidth": 4.46
},
{
"text": "of ",
"font": "serif",
"width": 2.196,
"textWidth": 1.643
},
{
"text": "KV ",
"font": "serif",
"width": 3.258,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.114,
"textWidth": 5.563
},
{
"text": "with ",
"font": "serif",
"width": 4.352,
"textWidth": 3.8
},
{
"text": "different ",
"font": "serif",
"width": 7.643,
"textWidth": 7.09
},
{
"text": "Key-Value ",
"font": "serif",
"width": 9.148,
"textWidth": 8.595
},
{
"text": "(KV) ",
"font": "serif",
"width": 4.503,
"textWidth": 3.952
},
{
"text": "cache ",
"font": "serif",
"width": 5.129,
"textWidth": 4.578
},
{
"text": "sizes ",
"font": "serif",
"width": 3.959,
"textWidth": 3.959
}
]
},
{
"left": 11.905,
"top": 55.728,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.571,
"textWidth": 3.112
},
{
"text": "update ",
"font": "serif",
"width": 6.196,
"textWidth": 5.735
},
{
"text": "rules. ",
"font": "serif",
"width": 5.047,
"textWidth": 4.474
},
{
"text": "The ",
"font": "serif",
"width": 3.537,
"textWidth": 3.077
},
{
"text": "lightning ",
"font": "serif",
"width": 7.919,
"textWidth": 7.457
},
{
"text": "indexer ",
"font": "serif",
"width": 6.623,
"textWidth": 6.163
},
{
"text": "for ",
"font": "serif",
"width": 2.801,
"textWidth": 2.342
},
{
"text": "sparse ",
"font": "serif",
"width": 5.65,
"textWidth": 5.189
},
{
"text": "selection ",
"font": "serif",
"width": 7.558,
"textWidth": 7.099
},
{
"text": "introduces ",
"font": "serif",
"width": 9.067,
"textWidth": 8.608
},
{
"text": "additional ",
"font": "serif",
"width": 8.823,
"textWidth": 8.362
},
{
"text": "dimensions ",
"font": "serif",
"width": 9.396,
"textWidth": 9.396
}
]
},
{
"left": 11.905,
"top": 57.337,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "into ",
"font": "serif",
"width": 3.77,
"textWidth": 3.262
},
{
"text": "the ",
"font": "serif",
"width": 3.099,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.215,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.086,
"textWidth": 4.578
},
{
"text": "that ",
"font": "serif",
"width": 3.748,
"textWidth": 3.241
},
{
"text": "possess ",
"font": "serif",
"width": 6.718,
"textWidth": 6.21
},
{
"text": "embedding ",
"font": "serif",
"width": 9.937,
"textWidth": 9.43
},
{
"text": "sizes ",
"font": "serif",
"width": 4.468,
"textWidth": 3.959
},
{
"text": "distinct ",
"font": "serif",
"width": 6.668,
"textWidth": 6.159
},
{
"text": "from ",
"font": "serif",
"width": 4.507,
"textWidth": 3.998
},
{
"text": "those ",
"font": "serif",
"width": 4.912,
"textWidth": 4.406
},
{
"text": "in ",
"font": "serif",
"width": 2.14,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "primary ",
"font": "serif",
"width": 7.275,
"textWidth": 6.769
},
{
"text": "attention. ",
"font": "serif",
"width": 7.866,
"textWidth": 7.866
}
]
},
{
"left": 11.848,
"top": 58.946,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.498,
"textWidth": 3.04
},
{
"text": "compression ",
"font": "serif",
"width": 10.622,
"textWidth": 10.165
},
{
"text": "techniques ",
"font": "serif",
"width": 9.121,
"textWidth": 8.663
},
{
"text": "employed ",
"font": "serif",
"width": 8.532,
"textWidth": 8.074
},
{
"text": "in ",
"font": "serif",
"width": 2.043,
"textWidth": 1.585
},
{
"text": "CSA ",
"font": "serif",
"width": 4.112,
"textWidth": 3.654
},
{
"text": "and ",
"font": "serif",
"width": 3.532,
"textWidth": 3.075
},
{
"text": "HCA ",
"font": "serif",
"width": 4.669,
"textWidth": 4.212
},
{
"text": "reduce ",
"font": "serif",
"width": 5.893,
"textWidth": 5.436
},
{
"text": "the ",
"font": "serif",
"width": 2.977,
"textWidth": 2.519
},
{
"text": "sequence ",
"font": "serif",
"width": 7.815,
"textWidth": 7.355
},
{
"text": "length ",
"font": "serif",
"width": 5.572,
"textWidth": 5.114
},
{
"text": "by ",
"font": "serif",
"width": 2.472,
"textWidth": 2.014
},
{
"text": "factors ",
"font": "serif",
"width": 5.39,
"textWidth": 5.39
}
]
},
{
"left": 14.386,
"top": 60.296,
"width": 6.405,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 5.735,
"textWidth": 0.669
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 60.556,
"width": 1.643,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 15.895,
"top": 60.556,
"width": 3.165,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 22.322,
"top": 60.556,
"width": 65.772,
"height": 1.296,
"words": [
{
"text": "respectively, ",
"font": "serif",
"width": 10.651,
"textWidth": 10.193
},
{
"text": "thereby ",
"font": "serif",
"width": 6.724,
"textWidth": 6.266
},
{
"text": "decreasing ",
"font": "serif",
"width": 9.322,
"textWidth": 8.866
},
{
"text": "the ",
"font": "serif",
"width": 3.051,
"textWidth": 2.593
},
{
"text": "overall ",
"font": "serif",
"width": 6.189,
"textWidth": 5.733
},
{
"text": "KV ",
"font": "serif",
"width": 3.165,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.034,
"textWidth": 4.578
},
{
"text": "size. ",
"font": "serif",
"width": 4.202,
"textWidth": 3.634
},
{
"text": "As ",
"font": "serif",
"width": 2.705,
"textWidth": 2.247
},
{
"text": "a ",
"font": "serif",
"width": 1.391,
"textWidth": 0.935
},
{
"text": "result, ",
"font": "serif",
"width": 5.598,
"textWidth": 5.14
},
{
"text": "KV ",
"font": "serif",
"width": 3.163,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 4.578,
"textWidth": 4.578
}
]
},
{
"left": 11.905,
"top": 62.165,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sizes ",
"font": "serif",
"width": 4.434,
"textWidth": 3.959
},
{
"text": "vary ",
"font": "serif",
"width": 4.243,
"textWidth": 3.768
},
{
"text": "across ",
"font": "serif",
"width": 5.55,
"textWidth": 5.075
},
{
"text": "different ",
"font": "serif",
"width": 7.567,
"textWidth": 7.092
},
{
"text": "layers. ",
"font": "serif",
"width": 6.028,
"textWidth": 5.412
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.455,
"textWidth": 10.976
},
{
"text": "Sliding ",
"font": "serif",
"width": 6.357,
"textWidth": 5.883
},
{
"text": "Window ",
"font": "serif",
"width": 7.597,
"textWidth": 7.122
},
{
"text": "Attention ",
"font": "serif",
"width": 8.393,
"textWidth": 7.918
},
{
"text": "(SWA) ",
"font": "serif",
"width": 5.856,
"textWidth": 5.382
},
{
"text": "layers ",
"font": "serif",
"width": 5.419,
"textWidth": 4.944
},
{
"text": "also ",
"font": "serif",
"width": 3.292,
"textWidth": 3.292
}
]
},
{
"left": 11.905,
"top": 63.775,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "operate ",
"font": "serif",
"width": 6.812,
"textWidth": 6.217
},
{
"text": "with ",
"font": "serif",
"width": 4.395,
"textWidth": 3.8
},
{
"text": "distinct ",
"font": "serif",
"width": 6.754,
"textWidth": 6.159
},
{
"text": "KV ",
"font": "serif",
"width": 3.301,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.172,
"textWidth": 4.578
},
{
"text": "sizes, ",
"font": "serif",
"width": 5.054,
"textWidth": 4.426
},
{
"text": "as ",
"font": "serif",
"width": 2.322,
"textWidth": 1.727
},
{
"text": "well ",
"font": "serif",
"width": 4.137,
"textWidth": 3.542
},
{
"text": "as ",
"font": "serif",
"width": 2.322,
"textWidth": 1.727
},
{
"text": "separate ",
"font": "serif",
"width": 7.518,
"textWidth": 6.924
},
{
"text": "cache ",
"font": "serif",
"width": 5.172,
"textWidth": 4.578
},
{
"text": "hit ",
"font": "serif",
"width": 2.836,
"textWidth": 2.241
},
{
"text": "and ",
"font": "serif",
"width": 3.759,
"textWidth": 3.165
},
{
"text": "eviction ",
"font": "serif",
"width": 7.182,
"textWidth": 6.587
},
{
"text": "policies. ",
"font": "serif",
"width": 7.739,
"textWidth": 6.761
},
{
"text": "In ",
"font": "serif",
"width": 1.718,
"textWidth": 1.718
}
]
},
{
"left": 11.905,
"top": 65.384,
"width": 51.395,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.2,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 11.07,
"textWidth": 10.462
},
{
"text": "branch, ",
"font": "serif",
"width": 6.823,
"textWidth": 6.18
},
{
"text": "one ",
"font": "serif",
"width": 3.611,
"textWidth": 3.004
},
{
"text": "KV ",
"font": "serif",
"width": 3.312,
"textWidth": 2.707
},
{
"text": "entry ",
"font": "serif",
"width": 4.978,
"textWidth": 4.37
},
{
"text": "is ",
"font": "serif",
"width": 1.944,
"textWidth": 1.337
},
{
"text": "generated ",
"font": "serif",
"width": 8.843,
"textWidth": 8.238
},
{
"text": "for ",
"font": "serif",
"width": 2.989,
"textWidth": 2.381
},
{
"text": "every ",
"font": "serif",
"width": 4.625,
"textWidth": 4.625
}
]
},
{
"left": 65.925,
"top": 65.384,
"width": 22.207,
"height": 1.296,
"words": [
{
"text": "tokens. ",
"font": "serif",
"width": 6.927,
"textWidth": 5.912
},
{
"text": "When ",
"font": "serif",
"width": 5.546,
"textWidth": 4.94
},
{
"text": "the ",
"font": "serif",
"width": 3.2,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 6.533,
"textWidth": 6.533
}
]
},
{
"left": 11.905,
"top": 66.993,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.208,
"textWidth": 1.643
},
{
"text": "remaining ",
"font": "serif",
"width": 9.055,
"textWidth": 8.488
},
{
"text": "tokens ",
"font": "serif",
"width": 6.01,
"textWidth": 5.445
},
{
"text": "is ",
"font": "serif",
"width": 1.901,
"textWidth": 1.337
},
{
"text": "insufficient ",
"font": "serif",
"width": 9.802,
"textWidth": 9.238
},
{
"text": "for ",
"font": "serif",
"width": 2.946,
"textWidth": 2.381
},
{
"text": "compression, ",
"font": "serif",
"width": 11.522,
"textWidth": 10.931
},
{
"text": "all ",
"font": "serif",
"width": 2.587,
"textWidth": 2.023
},
{
"text": "pending ",
"font": "serif",
"width": 7.485,
"textWidth": 6.92
},
{
"text": "tokens ",
"font": "serif",
"width": 6.01,
"textWidth": 5.445
},
{
"text": "and ",
"font": "serif",
"width": 3.731,
"textWidth": 3.165
},
{
"text": "their ",
"font": "serif",
"width": 4.44,
"textWidth": 3.875
},
{
"text": "associated ",
"font": "serif",
"width": 8.496,
"textWidth": 8.496
}
]
},
{
"left": 11.905,
"top": 68.603,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "hidden ",
"font": "serif",
"width": 6.466,
"textWidth": 5.899
},
{
"text": "states ",
"font": "serif",
"width": 5.2,
"textWidth": 4.634
},
{
"text": "must ",
"font": "serif",
"width": 4.746,
"textWidth": 4.18
},
{
"text": "be ",
"font": "serif",
"width": 2.495,
"textWidth": 1.929
},
{
"text": "retained ",
"font": "serif",
"width": 7.382,
"textWidth": 6.815
},
{
"text": "in ",
"font": "serif",
"width": 2.198,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.501,
"textWidth": 0.935
},
{
"text": "buffer ",
"font": "serif",
"width": 5.572,
"textWidth": 5.006
},
{
"text": "until ",
"font": "serif",
"width": 4.479,
"textWidth": 3.912
},
{
"text": "the ",
"font": "serif",
"width": 3.159,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 11.031,
"textWidth": 10.464
},
{
"text": "operation ",
"font": "serif",
"width": 8.541,
"textWidth": 7.974
},
{
"text": "can ",
"font": "serif",
"width": 3.419,
"textWidth": 2.852
},
{
"text": "be ",
"font": "serif",
"width": 2.495,
"textWidth": 1.929
},
{
"text": "executed. ",
"font": "serif",
"width": 7.827,
"textWidth": 7.827
}
]
},
{
"left": 11.848,
"top": 70.212,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "These ",
"font": "serif",
"width": 5.146,
"textWidth": 4.69
},
{
"text": "buffered ",
"font": "serif",
"width": 7.279,
"textWidth": 6.822
},
{
"text": "tokens ",
"font": "serif",
"width": 5.758,
"textWidth": 5.301
},
{
"text": "represent ",
"font": "serif",
"width": 7.96,
"textWidth": 7.505
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.91
},
{
"text": "sequence ",
"font": "serif",
"width": 7.827,
"textWidth": 7.37
},
{
"text": "state ",
"font": "serif",
"width": 4.195,
"textWidth": 3.74
},
{
"text": "determined ",
"font": "serif",
"width": 9.803,
"textWidth": 9.346
},
{
"text": "by ",
"font": "serif",
"width": 2.475,
"textWidth": 2.018
},
{
"text": "positional ",
"font": "serif",
"width": 8.458,
"textWidth": 8.003
},
{
"text": "context ",
"font": "serif",
"width": 6.315,
"textWidth": 5.858
},
{
"text": "and ",
"font": "serif",
"width": 3.538,
"textWidth": 3.081
},
{
"text": "are ",
"font": "serif",
"width": 2.923,
"textWidth": 2.466
},
{
"text": "also ",
"font": "serif",
"width": 3.205,
"textWidth": 3.205
}
]
},
{
"left": 11.905,
"top": 71.821,
"width": 34.31,
"height": 1.296,
"words": [
{
"text": "managed ",
"font": "serif",
"width": 7.992,
"textWidth": 7.534
},
{
"text": "within ",
"font": "serif",
"width": 5.784,
"textWidth": 5.326
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "cache ",
"font": "serif",
"width": 4.946,
"textWidth": 4.488
},
{
"text": "framework. ",
"font": "serif",
"width": 9.476,
"textWidth": 9.476
}
]
},
{
"left": 11.905,
"top": 76.027,
"width": 46.868,
"height": 1.296,
"words": [
{
"text": "Challenges ",
"font": "serif-bold",
"width": 10.189,
"textWidth": 9.552
},
{
"text": "in ",
"font": "serif-bold",
"width": 2.404,
"textWidth": 1.765
},
{
"text": "Managing ",
"font": "serif-bold",
"width": 9.361,
"textWidth": 8.724
},
{
"text": "Hybrid ",
"font": "serif-bold",
"width": 6.868,
"textWidth": 6.23
},
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.842,
"textWidth": 8.202
},
{
"text": "KV ",
"font": "serif-bold",
"width": 3.546,
"textWidth": 2.909
},
{
"text": "Cache. ",
"font": "serif-bold",
"width": 5.658,
"textWidth": 5.658
}
]
},
{
"left": 60.595,
"top": 76.048,
"width": 27.501,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.767,
"textWidth": 3.129
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.223,
"textWidth": 5.585
},
{
"text": "attention ",
"font": "serif",
"width": 8.038,
"textWidth": 7.399
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.473,
"textWidth": 9.473
}
]
},
{
"left": 11.853,
"top": 77.658,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "violates ",
"font": "serif",
"width": 6.89,
"textWidth": 6.397
},
{
"text": "fundamental ",
"font": "serif",
"width": 11.128,
"textWidth": 10.636
},
{
"text": "assumptions ",
"font": "serif",
"width": 10.969,
"textWidth": 10.475
},
{
"text": "behind ",
"font": "serif",
"width": 6.284,
"textWidth": 5.791
},
{
"text": "PagedAttention ",
"font": "serif",
"width": 13.55,
"textWidth": 13.057
},
{
"text": "and ",
"font": "serif",
"width": 3.658,
"textWidth": 3.165
},
{
"text": "its ",
"font": "serif",
"width": 2.438,
"textWidth": 1.946
},
{
"text": "variants. ",
"font": "serif",
"width": 7.838,
"textWidth": 7.165
},
{
"text": "Although ",
"font": "serif",
"width": 8.464,
"textWidth": 7.971
},
{
"text": "recent ",
"font": "serif",
"width": 5.023,
"textWidth": 5.023
}
]
},
{
"left": 11.905,
"top": 79.267,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "hybrid ",
"font": "serif",
"width": 6.062,
"textWidth": 5.585
},
{
"text": "KV ",
"font": "serif",
"width": 3.183,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.054,
"textWidth": 4.578
},
{
"text": "managing ",
"font": "serif",
"width": 8.795,
"textWidth": 8.318
},
{
"text": "algorithms ",
"font": "serif",
"width": 9.438,
"textWidth": 8.961
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.441,
"textWidth": 3.959
},
{
"text": "Jenga ",
"font": "serif",
"width": 5.056,
"textWidth": 4.58
},
{
"text": "(Zhang ",
"font": "serif",
"width": 6.496,
"textWidth": 6.019
},
{
"text": "et ",
"font": "serif",
"width": 1.981,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.89,
"textWidth": 2.413
},
{
"text": "2025a), ",
"font": "serif",
"width": 6.243,
"textWidth": 5.763
},
{
"text": "Hymba ",
"font": "serif",
"width": 6.69,
"textWidth": 6.213
},
{
"text": "(Dong ",
"font": "serif",
"width": 5.694,
"textWidth": 5.217
},
{
"text": "et ",
"font": "serif",
"width": 1.981,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.413,
"textWidth": 2.413
}
]
},
{
"left": 11.905,
"top": 80.876,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2025)) ",
"font": "serif",
"width": 5.576,
"textWidth": 4.983
},
{
"text": "target ",
"font": "serif",
"width": 5.387,
"textWidth": 4.793
},
{
"text": "general ",
"font": "serif",
"width": 6.727,
"textWidth": 6.135
},
{
"text": "hybrid ",
"font": "serif",
"width": 6.178,
"textWidth": 5.585
},
{
"text": "attention ",
"font": "serif",
"width": 7.991,
"textWidth": 7.399
},
{
"text": "models ",
"font": "serif",
"width": 6.638,
"textWidth": 6.045
},
{
"text": "or ",
"font": "serif",
"width": 2.352,
"textWidth": 1.759
},
{
"text": "specific ",
"font": "serif",
"width": 6.739,
"textWidth": 6.146
},
{
"text": "structures, ",
"font": "serif",
"width": 9.307,
"textWidth": 8.679
},
{
"text": "two ",
"font": "serif",
"width": 3.782,
"textWidth": 3.189
},
{
"text": "principal ",
"font": "serif",
"width": 8.062,
"textWidth": 7.47
},
{
"text": "obstacles ",
"font": "serif",
"width": 7.453,
"textWidth": 7.453
}
]
},
{
"left": 11.85,
"top": 82.486,
"width": 71.245,
"height": 1.296,
"words": [
{
"text": "prevent ",
"font": "serif",
"width": 6.706,
"textWidth": 6.247
},
{
"text": "consolidating ",
"font": "serif",
"width": 11.435,
"textWidth": 10.977
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "caches ",
"font": "serif",
"width": 5.723,
"textWidth": 5.265
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "all ",
"font": "serif",
"width": 2.441,
"textWidth": 1.983
},
{
"text": "layers ",
"font": "serif",
"width": 5.305,
"textWidth": 4.847
},
{
"text": "under ",
"font": "serif",
"width": 5.351,
"textWidth": 4.893
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "PagedAttention ",
"font": "serif",
"width": 13.261,
"textWidth": 12.803
},
{
"text": "framework: ",
"font": "serif",
"width": 9.476,
"textWidth": 9.476
}
]
},
{
"left": 16.486,
"top": 84.9,
"width": 58.165,
"height": 1.296,
"words": [
{
"text": "Diverse ",
"font": "serif",
"width": 6.702,
"textWidth": 6.244
},
{
"text": "cache ",
"font": "serif",
"width": 4.946,
"textWidth": 4.488
},
{
"text": "policies, ",
"font": "serif",
"width": 7.087,
"textWidth": 6.629
},
{
"text": "such ",
"font": "serif",
"width": 4.221,
"textWidth": 3.762
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "those ",
"font": "serif",
"width": 4.778,
"textWidth": 4.319
},
{
"text": "used ",
"font": "serif",
"width": 4.338,
"textWidth": 3.88
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Sliding ",
"font": "serif",
"width": 6.225,
"textWidth": 5.767
},
{
"text": "Window ",
"font": "serif",
"width": 7.439,
"textWidth": 6.98
},
{
"text": "Attention. ",
"font": "serif",
"width": 8.221,
"textWidth": 8.221
}
]
},
{
"left": 16.486,
"top": 86.509,
"width": 71.912,
"height": 1.296,
"words": [
{
"text": "Constraints ",
"font": "serif",
"width": 9.703,
"textWidth": 9.243
},
{
"text": "imposed ",
"font": "serif",
"width": 7.404,
"textWidth": 6.944
},
{
"text": "by ",
"font": "serif",
"width": 2.47,
"textWidth": 2.008
},
{
"text": "high-performance ",
"font": "serif",
"width": 14.91,
"textWidth": 14.451
},
{
"text": "attention ",
"font": "serif",
"width": 7.626,
"textWidth": 7.166
},
{
"text": "kernels, ",
"font": "serif",
"width": 6.719,
"textWidth": 6.258
},
{
"text": "including ",
"font": "serif",
"width": 8.157,
"textWidth": 7.695
},
{
"text": "alignment ",
"font": "serif",
"width": 8.59,
"textWidth": 8.13
},
{
"text": "require- ",
"font": "serif",
"width": 6.334,
"textWidth": 6.334
}
]
},
{
"left": 16.486,
"top": 88.119,
"width": 5.395,
"height": 1.296,
"words": [
{
"text": "ments. ",
"font": "serif",
"width": 5.395,
"textWidth": 5.395
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "22 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"23": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 25.255,
"top": 11.178,
"width": 33.705,
"height": 0.893,
"words": [
{
"text": "State ",
"font": "sans-bold",
"width": 3.438,
"textWidth": 3.087
},
{
"text": "Cache ",
"font": "sans-bold",
"width": 24.373,
"textWidth": 3.789
},
{
"text": "KV ",
"font": "sans-bold",
"width": 2.105,
"textWidth": 1.754
},
{
"text": "Cache ",
"font": "sans-bold",
"width": 3.789,
"textWidth": 3.789
}
]
},
{
"left": 29.133,
"top": 12.687,
"width": 28.702,
"height": 0.833,
"words": [
{
"text": "Uncompressed ",
"font": "sans",
"width": 25.054,
"textWidth": 6.792
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 15.513,
"top": 13.282,
"width": 4.827,
"height": 0.714,
"words": [
{
"text": "Request ",
"font": "sans-bold",
"width": 4.265,
"textWidth": 3.985
},
{
"text": "1 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 23.036,
"top": 13.282,
"width": 3.835,
"height": 0.714,
"words": [
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 46.64,
"top": 13.52,
"width": 3.593,
"height": 0.714,
"words": [
{
"text": "Block ",
"font": "sans-bold",
"width": 3.031,
"textWidth": 2.75
},
{
"text": "0 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 30.536,
"top": 13.877,
"width": 27.327,
"height": 0.833,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "State ",
"font": "sans",
"width": 21.995,
"textWidth": 2.358
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 29.133,
"top": 15.068,
"width": 49.716,
"height": 0.952,
"words": [
{
"text": "Uncompressed ",
"font": "sans",
"width": 24.325,
"textWidth": 6.792
},
{
"text": "Layer-2 ",
"font": "sans",
"width": 3.424,
"textWidth": 3.424
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "KV ",
"font": "sans",
"width": 2.608,
"textWidth": 1.347
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "Indexer ",
"font": "sans",
"width": 3.649,
"textWidth": 3.369
},
{
"text": "KV ",
"font": "sans",
"width": 7.684,
"textWidth": 1.347
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "Main ",
"font": "sans",
"width": 2.47,
"textWidth": 2.189
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 15.513,
"top": 15.663,
"width": 4.827,
"height": 0.714,
"words": [
{
"text": "Request ",
"font": "sans-bold",
"width": 4.265,
"textWidth": 3.985
},
{
"text": "2 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 23.036,
"top": 15.663,
"width": 11.486,
"height": 1.309,
"words": [
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 5.012,
"textWidth": 1.347
},
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "State ",
"font": "sans",
"width": 2.358,
"textWidth": 2.358
}
]
},
{
"left": 46.64,
"top": 15.901,
"width": 3.593,
"height": 0.714,
"words": [
{
"text": "Block ",
"font": "sans-bold",
"width": 3.031,
"textWidth": 2.75
},
{
"text": "1 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 60.277,
"top": 16.079,
"width": 0.842,
"height": 0.714,
"words": [
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 61.401,
"top": 16.079,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k1 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 62.515,
"top": 16.079,
"width": 11.51,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 10.667,
"textWidth": 2.976
},
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 74.306,
"top": 16.079,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k1 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 75.42,
"top": 16.079,
"width": 2.976,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 2.976,
"textWidth": 2.976
}
]
},
{
"left": 54.159,
"top": 16.377,
"width": 3.705,
"height": 0.714,
"words": [
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 29.133,
"top": 17.15,
"width": 41.835,
"height": 1.131,
"words": [
{
"text": "Uncompressed ",
"font": "sans",
"width": 24.325,
"textWidth": 6.792
},
{
"text": "Layer-3 ",
"font": "sans",
"width": 3.424,
"textWidth": 3.424
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "KV ",
"font": "sans",
"width": 9.653,
"textWidth": 1.347
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 71.25,
"top": 17.448,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k2 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 72.364,
"top": 17.448,
"width": 2.976,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 2.976,
"textWidth": 2.976
}
]
},
{
"left": 15.513,
"top": 18.043,
"width": 4.827,
"height": 0.714,
"words": [
{
"text": "Request ",
"font": "sans-bold",
"width": 4.265,
"textWidth": 3.985
},
{
"text": "3 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 23.036,
"top": 18.043,
"width": 20.535,
"height": 0.952,
"words": [
{
"text": "SWA ",
"font": "sans",
"width": 2.263,
"textWidth": 2.263
},
{
"text": "Layer-0 ",
"font": "sans",
"width": 3.424,
"textWidth": 3.424
},
{
"text": "KV ",
"font": "sans",
"width": 3.111,
"textWidth": 1.347
},
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 4.083,
"textWidth": 1.347
},
{
"text": "Layer-2 ",
"font": "sans",
"width": 3.705,
"textWidth": 3.424
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "State ",
"font": "sans",
"width": 2.358,
"textWidth": 2.358
}
]
},
{
"left": 46.64,
"top": 18.281,
"width": 3.593,
"height": 0.714,
"words": [
{
"text": "Block ",
"font": "sans-bold",
"width": 3.031,
"textWidth": 2.75
},
{
"text": "2 ",
"font": "sans-bold",
"width": 0.562,
"textWidth": 0.562
}
]
},
{
"left": 30.536,
"top": 18.638,
"width": 48.313,
"height": 1.012,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "State ",
"font": "sans",
"width": 21.294,
"textWidth": 2.358
},
{
"text": "Layer-4 ",
"font": "sans",
"width": 3.424,
"textWidth": 3.424
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 2.58,
"textWidth": 1.347
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "Indexer ",
"font": "sans",
"width": 3.649,
"textWidth": 3.369
},
{
"text": "KV ",
"font": "sans",
"width": 7.684,
"textWidth": 1.347
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "Main ",
"font": "sans",
"width": 2.47,
"textWidth": 2.189
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 29.133,
"top": 19.709,
"width": 31.986,
"height": 1.071,
"words": [
{
"text": "Uncompressed ",
"font": "sans",
"width": 6.792,
"textWidth": 6.792
},
{
"text": "Layer-3 ",
"font": "sans",
"width": 3.705,
"textWidth": 3.424
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "State ",
"font": "sans",
"width": 12.946,
"textWidth": 2.358
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "KV ",
"font": "sans",
"width": 3.789,
"textWidth": 1.347
},
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 61.401,
"top": 19.709,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k1 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 62.515,
"top": 19.709,
"width": 11.51,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 10.667,
"textWidth": 2.976
},
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 74.306,
"top": 19.709,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k1 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 75.42,
"top": 19.709,
"width": 2.976,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 2.976,
"textWidth": 2.976
}
]
},
{
"left": 23.036,
"top": 20.424,
"width": 33.846,
"height": 1.012,
"words": [
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 27.934,
"textWidth": 1.347
},
{
"text": "Layer-5 ",
"font": "sans",
"width": 3.424,
"textWidth": 3.424
}
]
},
{
"left": 30.536,
"top": 21.019,
"width": 40.432,
"height": 0.833,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "State ",
"font": "sans",
"width": 21.995,
"textWidth": 2.358
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 9.624,
"textWidth": 1.347
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "of ",
"font": "sans",
"width": 0.842,
"textWidth": 0.842
}
]
},
{
"left": 71.25,
"top": 21.019,
"width": 0.833,
"height": 0.714,
"words": [
{
"text": "k2 ",
"font": "sans-italic",
"width": 0.833,
"textWidth": 0.833
}
]
},
{
"left": 72.364,
"top": 21.019,
"width": 2.976,
"height": 0.714,
"words": [
{
"text": "tokens ",
"font": "sans",
"width": 2.976,
"textWidth": 2.976
}
]
},
{
"left": 24.93,
"top": 21.852,
"width": 7.54,
"height": 0.714,
"words": [
{
"text": "Layer-n ",
"font": "sans",
"width": 3.705,
"textWidth": 3.424
},
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 29.133,
"top": 24.53,
"width": 28.702,
"height": 0.893,
"words": [
{
"text": "Uncompressed ",
"font": "sans",
"width": 25.054,
"textWidth": 6.792
},
{
"text": "CSA ",
"font": "sans",
"width": 2.302,
"textWidth": 2.077
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 15.43,
"top": 25.125,
"width": 4.995,
"height": 0.714,
"words": [
{
"text": "Request ",
"font": "sans-bold",
"width": 4.265,
"textWidth": 3.985
},
{
"text": "R ",
"font": "sans-bold",
"width": 0.729,
"textWidth": 0.729
}
]
},
{
"left": 23.036,
"top": 25.125,
"width": 3.835,
"height": 0.714,
"words": [
{
"text": "SWA ",
"font": "sans",
"width": 2.488,
"textWidth": 2.263
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 46.556,
"top": 25.363,
"width": 3.76,
"height": 0.714,
"words": [
{
"text": "Block ",
"font": "sans-bold",
"width": 3.031,
"textWidth": 2.75
},
{
"text": "N ",
"font": "sans-bold",
"width": 0.729,
"textWidth": 0.729
}
]
},
{
"left": 30.536,
"top": 25.72,
"width": 27.327,
"height": 0.893,
"words": [
{
"text": "KV ",
"font": "sans",
"width": 1.628,
"textWidth": 1.347
},
{
"text": "State ",
"font": "sans",
"width": 21.995,
"textWidth": 2.358
},
{
"text": "HCA ",
"font": "sans",
"width": 2.357,
"textWidth": 2.132
},
{
"text": "KV ",
"font": "sans",
"width": 1.347,
"textWidth": 1.347
}
]
},
{
"left": 11.905,
"top": 28.711,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.665,
"textWidth": 5.208
},
{
"text": "6 ",
"font": "serif",
"width": 2.339,
"textWidth": 0.91
},
{
"text": "Illustration ",
"font": "serif",
"width": 9.396,
"textWidth": 8.939
},
{
"text": "of ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 2.981,
"textWidth": 2.524
},
{
"text": "KV ",
"font": "serif",
"width": 3.094,
"textWidth": 2.635
},
{
"text": "cache ",
"font": "serif",
"width": 4.913,
"textWidth": 4.457
},
{
"text": "Layout ",
"font": "serif",
"width": 6.175,
"textWidth": 5.718
},
{
"text": "for ",
"font": "serif",
"width": 2.777,
"textWidth": 2.318
},
{
"text": "DeepSeek-V4. ",
"font": "serif",
"width": 11.809,
"textWidth": 11.241
},
{
"text": "The ",
"font": "serif",
"width": 3.503,
"textWidth": 3.046
},
{
"text": "KV ",
"font": "serif",
"width": 3.094,
"textWidth": 2.635
},
{
"text": "cache ",
"font": "serif",
"width": 4.913,
"textWidth": 4.457
},
{
"text": "is ",
"font": "serif",
"width": 1.76,
"textWidth": 1.301
},
{
"text": "organized ",
"font": "serif",
"width": 8.54,
"textWidth": 8.082
},
{
"text": "into ",
"font": "serif",
"width": 3.176,
"textWidth": 3.176
}
]
},
{
"left": 11.905,
"top": 30.321,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "two ",
"font": "serif",
"width": 3.62,
"textWidth": 3.164
},
{
"text": "primary ",
"font": "serif",
"width": 7.172,
"textWidth": 6.716
},
{
"text": "components: ",
"font": "serif",
"width": 11.07,
"textWidth": 10.503
},
{
"text": "a ",
"font": "serif",
"width": 1.384,
"textWidth": 0.927
},
{
"text": "classical ",
"font": "serif",
"width": 7.148,
"textWidth": 6.691
},
{
"text": "KV ",
"font": "serif",
"width": 3.142,
"textWidth": 2.685
},
{
"text": "cache ",
"font": "serif",
"width": 4.998,
"textWidth": 4.542
},
{
"text": "for ",
"font": "serif",
"width": 2.819,
"textWidth": 2.363
},
{
"text": "CSA/HCA, ",
"font": "serif",
"width": 10.076,
"textWidth": 9.62
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.14
},
{
"text": "a ",
"font": "serif",
"width": 1.384,
"textWidth": 0.927
},
{
"text": "state ",
"font": "serif",
"width": 4.267,
"textWidth": 3.811
},
{
"text": "cache ",
"font": "serif",
"width": 4.998,
"textWidth": 4.542
},
{
"text": "for ",
"font": "serif",
"width": 2.819,
"textWidth": 2.363
},
{
"text": "SWA ",
"font": "serif",
"width": 4.559,
"textWidth": 4.102
},
{
"text": "and ",
"font": "serif",
"width": 3.14,
"textWidth": 3.14
}
]
},
{
"left": 11.905,
"top": 31.93,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "unready-for-compression ",
"font": "serif",
"width": 21.48,
"textWidth": 20.988
},
{
"text": "tokens ",
"font": "serif",
"width": 5.937,
"textWidth": 5.445
},
{
"text": "in ",
"font": "serif",
"width": 2.125,
"textWidth": 1.632
},
{
"text": "CSA/HCA. ",
"font": "serif",
"width": 10.187,
"textWidth": 9.696
},
{
"text": "In ",
"font": "serif",
"width": 2.209,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.593
},
{
"text": "state ",
"font": "serif",
"width": 4.335,
"textWidth": 3.841
},
{
"text": "cache, ",
"font": "serif",
"width": 5.544,
"textWidth": 5.045
},
{
"text": "each ",
"font": "serif",
"width": 4.241,
"textWidth": 3.748
},
{
"text": "request ",
"font": "serif",
"width": 6.563,
"textWidth": 6.071
},
{
"text": "is ",
"font": "serif",
"width": 1.828,
"textWidth": 1.337
},
{
"text": "assigned ",
"font": "serif",
"width": 7.722,
"textWidth": 7.228
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 33.539,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "fixed-size ",
"font": "serif",
"width": 8.125,
"textWidth": 7.666
},
{
"text": "cache ",
"font": "serif",
"width": 4.891,
"textWidth": 4.43
},
{
"text": "block. ",
"font": "serif",
"width": 5.349,
"textWidth": 4.775
},
{
"text": "Within ",
"font": "serif",
"width": 5.917,
"textWidth": 5.455
},
{
"text": "this ",
"font": "serif",
"width": 3.395,
"textWidth": 2.936
},
{
"text": "block, ",
"font": "serif",
"width": 5.236,
"textWidth": 4.775
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "SWA ",
"font": "serif",
"width": 4.457,
"textWidth": 3.997
},
{
"text": "segment ",
"font": "serif",
"width": 7.206,
"textWidth": 6.745
},
{
"text": "stores ",
"font": "serif",
"width": 5.119,
"textWidth": 4.658
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "KV ",
"font": "serif",
"width": 3.079,
"textWidth": 2.619
},
{
"text": "entries ",
"font": "serif",
"width": 5.844,
"textWidth": 5.383
},
{
"text": "corresponding ",
"font": "serif",
"width": 11.636,
"textWidth": 11.636
}
]
},
{
"left": 11.905,
"top": 35.149,
"width": 14.719,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.097,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.058,
"textWidth": 2.593
},
{
"text": "most ",
"font": "serif",
"width": 4.54,
"textWidth": 4.073
},
{
"text": "recent ",
"font": "serif",
"width": 5.023,
"textWidth": 5.023
}
]
},
{
"left": 28.046,
"top": 35.149,
"width": 60.048,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.836,
"textWidth": 2.285
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.382,
"textWidth": 5.912
},
{
"text": "while ",
"font": "serif",
"width": 5.096,
"textWidth": 4.63
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "CSA/HCA ",
"font": "serif",
"width": 9.694,
"textWidth": 9.229
},
{
"text": "segment ",
"font": "serif",
"width": 7.438,
"textWidth": 6.97
},
{
"text": "stores ",
"font": "serif",
"width": 5.283,
"textWidth": 4.815
},
{
"text": "uncompressed ",
"font": "serif",
"width": 12.53,
"textWidth": 12.062
},
{
"text": "tail ",
"font": "serif",
"width": 3.097,
"textWidth": 2.632
},
{
"text": "states ",
"font": "serif",
"width": 4.634,
"textWidth": 4.634
}
]
},
{
"left": 11.905,
"top": 36.758,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.714,
"textWidth": 3.241
},
{
"text": "are ",
"font": "serif",
"width": 3.01,
"textWidth": 2.537
},
{
"text": "not ",
"font": "serif",
"width": 3.193,
"textWidth": 2.718
},
{
"text": "yet ",
"font": "serif",
"width": 3.017,
"textWidth": 2.544
},
{
"text": "ready ",
"font": "serif",
"width": 5.191,
"textWidth": 4.716
},
{
"text": "for ",
"font": "serif",
"width": 2.854,
"textWidth": 2.381
},
{
"text": "compression. ",
"font": "serif",
"width": 11.545,
"textWidth": 10.93
},
{
"text": "In ",
"font": "serif",
"width": 2.193,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "classical ",
"font": "serif",
"width": 7.221,
"textWidth": 6.746
},
{
"text": "KV ",
"font": "serif",
"width": 3.18,
"textWidth": 2.707
},
{
"text": "cache, ",
"font": "serif",
"width": 5.524,
"textWidth": 5.045
},
{
"text": "we ",
"font": "serif",
"width": 2.927,
"textWidth": 2.454
},
{
"text": "allocate ",
"font": "serif",
"width": 6.785,
"textWidth": 6.313
},
{
"text": "multiple ",
"font": "serif",
"width": 7.513,
"textWidth": 7.038
},
{
"text": "blocks ",
"font": "serif",
"width": 5.26,
"textWidth": 5.26
}
]
},
{
"left": 77.516,
"top": 38.182,
"width": 2.166,
"height": 0.947,
"words": [
{
"text": "lcm ",
"font": "serif",
"width": 2.166,
"textWidth": 2.166
}
]
},
{
"left": 11.85,
"top": 38.559,
"width": 63.279,
"height": 1.401,
"words": [
{
"text": "per ",
"font": "serif",
"width": 3.199,
"textWidth": 2.744
},
{
"text": "request. ",
"font": "serif",
"width": 7.076,
"textWidth": 6.508
},
{
"text": "Each ",
"font": "serif",
"width": 4.431,
"textWidth": 3.975
},
{
"text": "cache ",
"font": "serif",
"width": 5.011,
"textWidth": 4.555
},
{
"text": "block ",
"font": "serif",
"width": 4.903,
"textWidth": 4.446
},
{
"text": "covers ",
"font": "serif",
"width": 5.763,
"textWidth": 5.307
},
{
"text": "lcm ",
"font": "serif",
"width": 9.053,
"textWidth": 2.965
},
{
"text": "original ",
"font": "serif",
"width": 6.877,
"textWidth": 6.421
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.341,
"textWidth": 5.884
},
{
"text": "producing ",
"font": "serif",
"width": 9.955,
"textWidth": 8.577
},
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 84.424,
"top": 38.559,
"width": 3.743,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 3.743,
"textWidth": 3.743
}
]
},
{
"left": 35.353,
"top": 40.073,
"width": 2.166,
"height": 0.947,
"words": [
{
"text": "lcm ",
"font": "serif",
"width": 2.166,
"textWidth": 2.166
}
]
},
{
"left": 11.905,
"top": 40.45,
"width": 21.061,
"height": 1.392,
"words": [
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "tokens ",
"font": "serif",
"width": 5.797,
"textWidth": 5.338
},
{
"text": "and ",
"font": "serif",
"width": 4.482,
"textWidth": 3.103
},
{
"text": "2 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 42.263,
"top": 40.45,
"width": 20.617,
"height": 1.296,
"words": [
{
"text": "HCA ",
"font": "serif",
"width": 4.708,
"textWidth": 4.25
},
{
"text": "compressed ",
"font": "serif",
"width": 10.112,
"textWidth": 9.654
},
{
"text": "tokens. ",
"font": "serif",
"width": 5.797,
"textWidth": 5.797
}
]
},
{
"left": 11.905,
"top": 44.601,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.35,
"textWidth": 2.798
},
{
"text": "efficient ",
"font": "serif",
"width": 7.133,
"textWidth": 6.582
},
{
"text": "KV ",
"font": "serif",
"width": 3.258,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.129,
"textWidth": 4.578
},
{
"text": "management ",
"font": "serif",
"width": 11.335,
"textWidth": 10.786
},
{
"text": "of ",
"font": "serif",
"width": 2.195,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 12.122,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 3.006,
"textWidth": 2.454
},
{
"text": "design ",
"font": "serif",
"width": 6.053,
"textWidth": 5.501
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.578,
"textWidth": 12.027
},
{
"text": "strategies ",
"font": "serif",
"width": 8.402,
"textWidth": 7.851
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 46.21,
"width": 25.552,
"height": 1.296,
"words": [
{
"text": "overcome ",
"font": "serif",
"width": 8.373,
"textWidth": 7.915
},
{
"text": "these ",
"font": "serif",
"width": 4.655,
"textWidth": 4.197
},
{
"text": "two ",
"font": "serif",
"width": 3.585,
"textWidth": 3.126
},
{
"text": "challenges. ",
"font": "serif",
"width": 8.939,
"textWidth": 8.939
}
]
},
{
"left": 11.905,
"top": 50.417,
"width": 43.835,
"height": 1.296,
"words": [
{
"text": "State ",
"font": "serif-bold",
"width": 4.583,
"textWidth": 4.123
},
{
"text": "Cache ",
"font": "serif-bold",
"width": 5.488,
"textWidth": 5.028
},
{
"text": "for ",
"font": "serif-bold",
"width": 2.875,
"textWidth": 2.415
},
{
"text": "SWA ",
"font": "serif-bold",
"width": 4.621,
"textWidth": 4.161
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.578,
"textWidth": 3.118
},
{
"text": "Uncompressed ",
"font": "serif-bold",
"width": 12.73,
"textWidth": 12.271
},
{
"text": "Tail ",
"font": "serif-bold",
"width": 3.576,
"textWidth": 3.116
},
{
"text": "Tokens. ",
"font": "serif-bold",
"width": 6.384,
"textWidth": 6.384
}
]
},
{
"left": 57.563,
"top": 50.437,
"width": 30.532,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.39,
"textWidth": 1.93
},
{
"text": "address ",
"font": "serif",
"width": 6.663,
"textWidth": 6.201
},
{
"text": "the ",
"font": "serif",
"width": 2.971,
"textWidth": 2.51
},
{
"text": "first ",
"font": "serif",
"width": 3.628,
"textWidth": 3.169
},
{
"text": "obstacle, ",
"font": "serif",
"width": 7.364,
"textWidth": 6.902
},
{
"text": "we ",
"font": "serif",
"width": 2.837,
"textWidth": 2.377
},
{
"text": "adopt ",
"font": "serif",
"width": 4.679,
"textWidth": 4.679
}
]
},
{
"left": 11.905,
"top": 52.047,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "an ",
"font": "serif",
"width": 2.44,
"textWidth": 1.981
},
{
"text": "alternative ",
"font": "serif",
"width": 9.128,
"textWidth": 8.667
},
{
"text": "cache ",
"font": "serif",
"width": 4.943,
"textWidth": 4.484
},
{
"text": "management ",
"font": "serif",
"width": 11.023,
"textWidth": 10.564
},
{
"text": "mechanism. ",
"font": "serif",
"width": 10.311,
"textWidth": 9.736
},
{
"text": "Since ",
"font": "serif",
"width": 4.709,
"textWidth": 4.249
},
{
"text": "SWA ",
"font": "serif",
"width": 4.507,
"textWidth": 4.048
},
{
"text": "is ",
"font": "serif",
"width": 1.77,
"textWidth": 1.309
},
{
"text": "designed ",
"font": "serif",
"width": 7.843,
"textWidth": 7.384
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.596
},
{
"text": "enhance ",
"font": "serif",
"width": 7.14,
"textWidth": 6.679
},
{
"text": "performance ",
"font": "serif",
"width": 10.318,
"textWidth": 10.318
}
]
},
{
"left": 11.905,
"top": 53.656,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "under ",
"font": "serif",
"width": 5.192,
"textWidth": 4.795
},
{
"text": "a ",
"font": "serif",
"width": 1.293,
"textWidth": 0.898
},
{
"text": "limited ",
"font": "serif",
"width": 6.094,
"textWidth": 5.697
},
{
"text": "KV ",
"font": "serif",
"width": 2.996,
"textWidth": 2.601
},
{
"text": "cache ",
"font": "serif",
"width": 4.795,
"textWidth": 4.398
},
{
"text": "size, ",
"font": "serif",
"width": 3.899,
"textWidth": 3.491
},
{
"text": "it ",
"font": "serif",
"width": 1.503,
"textWidth": 1.108
},
{
"text": "is ",
"font": "serif",
"width": 1.681,
"textWidth": 1.284
},
{
"text": "reasonable ",
"font": "serif",
"width": 8.892,
"textWidth": 8.497
},
{
"text": "to ",
"font": "serif",
"width": 1.963,
"textWidth": 1.566
},
{
"text": "treat ",
"font": "serif",
"width": 4.001,
"textWidth": 3.604
},
{
"text": "it, ",
"font": "serif",
"width": 1.965,
"textWidth": 1.557
},
{
"text": "along ",
"font": "serif",
"width": 4.842,
"textWidth": 4.445
},
{
"text": "with ",
"font": "serif",
"width": 4.046,
"textWidth": 3.651
},
{
"text": "the ",
"font": "serif",
"width": 2.888,
"textWidth": 2.491
},
{
"text": "uncompressed ",
"font": "serif",
"width": 11.984,
"textWidth": 11.588
},
{
"text": "tail ",
"font": "serif",
"width": 2.924,
"textWidth": 2.529
},
{
"text": "tokens ",
"font": "serif",
"width": 5.232,
"textWidth": 5.232
}
]
},
{
"left": 11.905,
"top": 55.265,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.354,
"textWidth": 3.896
},
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.527
},
{
"text": "compression ",
"font": "serif",
"width": 10.653,
"textWidth": 10.194
},
{
"text": "branch, ",
"font": "serif",
"width": 6.479,
"textWidth": 6.022
},
{
"text": "as ",
"font": "serif",
"width": 2.14,
"textWidth": 1.683
},
{
"text": "a ",
"font": "serif",
"width": 1.37,
"textWidth": 0.911
},
{
"text": "state-space ",
"font": "serif",
"width": 9.267,
"textWidth": 8.809
},
{
"text": "model. ",
"font": "serif",
"width": 6.142,
"textWidth": 5.574
},
{
"text": "The ",
"font": "serif",
"width": 3.507,
"textWidth": 3.049
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.178,
"textWidth": 11.72
},
{
"text": "KV ",
"font": "serif",
"width": 3.097,
"textWidth": 2.638
},
{
"text": "cache ",
"font": "serif",
"width": 4.918,
"textWidth": 4.461
},
{
"text": "can ",
"font": "serif",
"width": 3.237,
"textWidth": 2.78
},
{
"text": "thus ",
"font": "serif",
"width": 3.984,
"textWidth": 3.525
},
{
"text": "be ",
"font": "serif",
"width": 1.88,
"textWidth": 1.88
}
]
},
{
"left": 11.905,
"top": 56.875,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "regarded ",
"font": "serif",
"width": 7.807,
"textWidth": 7.349
},
{
"text": "as ",
"font": "serif",
"width": 2.162,
"textWidth": 1.702
},
{
"text": "a ",
"font": "serif",
"width": 1.379,
"textWidth": 0.921
},
{
"text": "sequence-specific ",
"font": "serif",
"width": 14.587,
"textWidth": 14.128
},
{
"text": "state ",
"font": "serif",
"width": 4.243,
"textWidth": 3.785
},
{
"text": "that ",
"font": "serif",
"width": 3.652,
"textWidth": 3.194
},
{
"text": "depends ",
"font": "serif",
"width": 7.433,
"textWidth": 6.975
},
{
"text": "solely ",
"font": "serif",
"width": 5.223,
"textWidth": 4.765
},
{
"text": "on ",
"font": "serif",
"width": 2.538,
"textWidth": 2.078
},
{
"text": "the ",
"font": "serif",
"width": 3.013,
"textWidth": 2.555
},
{
"text": "current ",
"font": "serif",
"width": 6.363,
"textWidth": 5.905
},
{
"text": "position. ",
"font": "serif",
"width": 7.675,
"textWidth": 7.104
},
{
"text": "Accordingly, ",
"font": "serif",
"width": 10.342,
"textWidth": 10.342
}
]
},
{
"left": 11.828,
"top": 58.484,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.862,
"textWidth": 2.401
},
{
"text": "pre-allocate ",
"font": "serif",
"width": 9.909,
"textWidth": 9.45
},
{
"text": "a ",
"font": "serif",
"width": 1.375,
"textWidth": 0.914
},
{
"text": "fixed- ",
"font": "serif",
"width": 5.112,
"textWidth": 4.653
},
{
"text": "and ",
"font": "serif",
"width": 3.557,
"textWidth": 3.096
},
{
"text": "limited-size ",
"font": "serif",
"width": 9.97,
"textWidth": 9.509
},
{
"text": "pool ",
"font": "serif",
"width": 4.088,
"textWidth": 3.629
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.608
},
{
"text": "state ",
"font": "serif",
"width": 4.218,
"textWidth": 3.758
},
{
"text": "caches, ",
"font": "serif",
"width": 6.173,
"textWidth": 5.712
},
{
"text": "and ",
"font": "serif",
"width": 3.557,
"textWidth": 3.096
},
{
"text": "dynamically ",
"font": "serif",
"width": 10.527,
"textWidth": 10.068
},
{
"text": "assign ",
"font": "serif",
"width": 5.54,
"textWidth": 5.079
},
{
"text": "it ",
"font": "serif",
"width": 1.589,
"textWidth": 1.128
},
{
"text": "to ",
"font": "serif",
"width": 2.054,
"textWidth": 1.595
},
{
"text": "each ",
"font": "serif",
"width": 3.667,
"textWidth": 3.667
}
]
},
{
"left": 11.905,
"top": 60.094,
"width": 7.88,
"height": 1.296,
"words": [
{
"text": "sequence. ",
"font": "serif",
"width": 7.88,
"textWidth": 7.88
}
]
},
{
"left": 11.905,
"top": 64.3,
"width": 31.598,
"height": 1.296,
"words": [
{
"text": "Sparse ",
"font": "serif-bold",
"width": 6.466,
"textWidth": 5.711
},
{
"text": "Attention ",
"font": "serif-bold",
"width": 8.958,
"textWidth": 8.202
},
{
"text": "Kernel ",
"font": "serif-bold",
"width": 6.57,
"textWidth": 5.815
},
{
"text": "Co-Design. ",
"font": "serif-bold",
"width": 9.604,
"textWidth": 9.604
}
]
},
{
"left": 45.325,
"top": 64.32,
"width": 43.073,
"height": 1.296,
"words": [
{
"text": "Regarding ",
"font": "serif",
"width": 9.391,
"textWidth": 8.636
},
{
"text": "the ",
"font": "serif",
"width": 3.348,
"textWidth": 2.593
},
{
"text": "second ",
"font": "serif",
"width": 6.524,
"textWidth": 5.769
},
{
"text": "obstacle, ",
"font": "serif",
"width": 7.957,
"textWidth": 7.128
},
{
"text": "conventional ",
"font": "serif",
"width": 11.472,
"textWidth": 10.716
},
{
"text": "high- ",
"font": "serif",
"width": 4.382,
"textWidth": 4.382
}
]
},
{
"left": 11.85,
"top": 65.93,
"width": 49.901,
"height": 1.296,
"words": [
{
"text": "performance ",
"font": "serif",
"width": 10.537,
"textWidth": 10.124
},
{
"text": "attention ",
"font": "serif",
"width": 7.521,
"textWidth": 7.108
},
{
"text": "kernels ",
"font": "serif",
"width": 6.171,
"textWidth": 5.758
},
{
"text": "typically ",
"font": "serif",
"width": 7.336,
"textWidth": 6.925
},
{
"text": "assume ",
"font": "serif",
"width": 6.363,
"textWidth": 5.95
},
{
"text": "a ",
"font": "serif",
"width": 1.311,
"textWidth": 0.898
},
{
"text": "fixed ",
"font": "serif",
"width": 4.384,
"textWidth": 3.971
},
{
"text": "number ",
"font": "serif",
"width": 6.277,
"textWidth": 6.277
}
]
},
{
"left": 63.678,
"top": 65.93,
"width": 24.418,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 1.992,
"textWidth": 1.579
},
{
"text": "tokens ",
"font": "serif",
"width": 5.645,
"textWidth": 5.232
},
{
"text": "per ",
"font": "serif",
"width": 3.062,
"textWidth": 2.649
},
{
"text": "block ",
"font": "serif",
"width": 4.705,
"textWidth": 4.292
},
{
"text": "to ",
"font": "serif",
"width": 1.979,
"textWidth": 1.566
},
{
"text": "optimize ",
"font": "serif",
"width": 7.035,
"textWidth": 7.035
}
]
},
{
"left": 11.85,
"top": 67.539,
"width": 25.678,
"height": 1.296,
"words": [
{
"text": "performance, ",
"font": "serif",
"width": 11.518,
"textWidth": 11.004
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.53,
"textWidth": 12.027
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 42.287,
"top": 67.539,
"width": 22.467,
"height": 1.296,
"words": [
{
"text": "original ",
"font": "serif",
"width": 6.956,
"textWidth": 6.453
},
{
"text": "tokens ",
"font": "serif",
"width": 5.948,
"textWidth": 5.445
},
{
"text": "in ",
"font": "serif",
"width": 2.135,
"textWidth": 1.632
},
{
"text": "CSA ",
"font": "serif",
"width": 4.264,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 70.074,
"top": 67.539,
"width": 18.324,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.135,
"textWidth": 1.632
},
{
"text": "HCA. ",
"font": "serif",
"width": 5.305,
"textWidth": 4.802
},
{
"text": "Through ",
"font": "serif",
"width": 7.716,
"textWidth": 7.213
},
{
"text": "em- ",
"font": "serif",
"width": 3.168,
"textWidth": 3.168
}
]
},
{
"left": 11.85,
"top": 69.148,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "ploying ",
"font": "serif",
"width": 6.669,
"textWidth": 6.21
},
{
"text": "a ",
"font": "serif",
"width": 1.366,
"textWidth": 0.907
},
{
"text": "high-performance ",
"font": "serif",
"width": 14.937,
"textWidth": 14.48
},
{
"text": "sparse-attention ",
"font": "serif",
"width": 13.366,
"textWidth": 12.907
},
{
"text": "kernel, ",
"font": "serif",
"width": 5.96,
"textWidth": 5.501
},
{
"text": "different ",
"font": "serif",
"width": 7.341,
"textWidth": 6.882
},
{
"text": "layers ",
"font": "serif",
"width": 5.256,
"textWidth": 4.799
},
{
"text": "can ",
"font": "serif",
"width": 3.228,
"textWidth": 2.769
},
{
"text": "accommodate ",
"font": "serif",
"width": 11.639,
"textWidth": 11.18
},
{
"text": "variable ",
"font": "serif",
"width": 6.484,
"textWidth": 6.484
}
]
},
{
"left": 11.905,
"top": 70.758,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.878,
"textWidth": 5.418
},
{
"text": "per ",
"font": "serif",
"width": 3.201,
"textWidth": 2.744
},
{
"text": "block ",
"font": "serif",
"width": 4.905,
"textWidth": 4.446
},
{
"text": "without ",
"font": "serif",
"width": 6.985,
"textWidth": 6.525
},
{
"text": "performance ",
"font": "serif",
"width": 10.943,
"textWidth": 10.485
},
{
"text": "degradation. ",
"font": "serif",
"width": 11.075,
"textWidth": 10.504
},
{
"text": "Achieving ",
"font": "serif",
"width": 8.956,
"textWidth": 8.497
},
{
"text": "this ",
"font": "serif",
"width": 3.478,
"textWidth": 3.019
},
{
"text": "requires ",
"font": "serif",
"width": 7.137,
"textWidth": 6.678
},
{
"text": "co-designing ",
"font": "serif",
"width": 11.051,
"textWidth": 10.593
},
{
"text": "the ",
"font": "serif",
"width": 2.58,
"textWidth": 2.58
}
]
},
{
"left": 11.905,
"top": 72.367,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.232,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.105,
"textWidth": 4.578
},
{
"text": "layout ",
"font": "serif",
"width": 5.8,
"textWidth": 5.275
},
{
"text": "and ",
"font": "serif",
"width": 3.692,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.118,
"textWidth": 2.593
},
{
"text": "sparse ",
"font": "serif",
"width": 5.804,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 7.924,
"textWidth": 7.399
},
{
"text": "kernel. ",
"font": "serif",
"width": 6.441,
"textWidth": 5.668
},
{
"text": "For ",
"font": "serif",
"width": 3.324,
"textWidth": 2.798
},
{
"text": "instance, ",
"font": "serif",
"width": 7.793,
"textWidth": 7.249
},
{
"text": "padding ",
"font": "serif",
"width": 7.539,
"textWidth": 7.013
},
{
"text": "blocks ",
"font": "serif",
"width": 5.787,
"textWidth": 5.26
},
{
"text": "to ",
"font": "serif",
"width": 2.155,
"textWidth": 1.63
},
{
"text": "align ",
"font": "serif",
"width": 4.677,
"textWidth": 4.15
},
{
"text": "with ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 11.905,
"top": 73.977,
"width": 61.842,
"height": 1.296,
"words": [
{
"text": "cache ",
"font": "serif",
"width": 4.956,
"textWidth": 4.497
},
{
"text": "lines ",
"font": "serif",
"width": 4.255,
"textWidth": 3.796
},
{
"text": "can ",
"font": "serif",
"width": 3.261,
"textWidth": 2.802
},
{
"text": "improve ",
"font": "serif",
"width": 7.33,
"textWidth": 6.871
},
{
"text": "performance. ",
"font": "serif",
"width": 11.381,
"textWidth": 10.81
},
{
"text": "Thus, ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "for ",
"font": "serif",
"width": 2.798,
"textWidth": 2.339
},
{
"text": "CSA ",
"font": "serif",
"width": 4.154,
"textWidth": 3.695
},
{
"text": "with ",
"font": "serif",
"width": 4.192,
"textWidth": 3.733
},
{
"text": "compression ",
"font": "serif",
"width": 10.737,
"textWidth": 10.278
},
{
"text": "ratio ",
"font": "serif",
"width": 3.779,
"textWidth": 3.779
}
]
},
{
"left": 76.077,
"top": 73.977,
"width": 12.018,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.568,
"textWidth": 3.109
},
{
"text": "HCA ",
"font": "serif",
"width": 4.717,
"textWidth": 4.258
},
{
"text": "with ",
"font": "serif",
"width": 3.733,
"textWidth": 3.733
}
]
},
{
"left": 11.905,
"top": 75.586,
"width": 3.847,
"height": 1.296,
"words": [
{
"text": "ratio ",
"font": "serif",
"width": 3.847,
"textWidth": 3.847
}
]
},
{
"left": 19.206,
"top": 75.586,
"width": 55.405,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.096,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.034,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.146,
"textWidth": 1.643
},
{
"text": "original ",
"font": "serif",
"width": 6.956,
"textWidth": 6.453
},
{
"text": "tokens ",
"font": "serif",
"width": 5.946,
"textWidth": 5.443
},
{
"text": "per ",
"font": "serif",
"width": 3.26,
"textWidth": 2.757
},
{
"text": "block ",
"font": "serif",
"width": 4.969,
"textWidth": 4.468
},
{
"text": "can ",
"font": "serif",
"width": 3.355,
"textWidth": 2.852
},
{
"text": "be ",
"font": "serif",
"width": 2.43,
"textWidth": 1.929
},
{
"text": "any ",
"font": "serif",
"width": 3.565,
"textWidth": 3.062
},
{
"text": "multiple ",
"font": "serif",
"width": 7.539,
"textWidth": 7.038
},
{
"text": "of ",
"font": "serif",
"width": 2.145,
"textWidth": 1.643
},
{
"text": "lcm ",
"font": "serif",
"width": 2.965,
"textWidth": 2.965
}
]
},
{
"left": 81.224,
"top": 75.586,
"width": 6.871,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.096,
"textWidth": 2.593
},
{
"text": "least ",
"font": "serif",
"width": 3.776,
"textWidth": 3.776
}
]
},
{
"left": 11.905,
"top": 77.195,
"width": 40.964,
"height": 1.296,
"words": [
{
"text": "common ",
"font": "serif",
"width": 7.576,
"textWidth": 7.118
},
{
"text": "multiple ",
"font": "serif",
"width": 7.358,
"textWidth": 6.9
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "these ",
"font": "serif",
"width": 4.655,
"textWidth": 4.197
},
{
"text": "two ",
"font": "serif",
"width": 3.585,
"textWidth": 3.126
},
{
"text": "compression ",
"font": "serif",
"width": 10.715,
"textWidth": 10.257
},
{
"text": "ratios. ",
"font": "serif",
"width": 5.007,
"textWidth": 5.007
}
]
},
{
"left": 11.905,
"top": 80.791,
"width": 27.22,
"height": 1.296,
"words": [
{
"text": "3.6.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "On-Disk ",
"font": "serif-bold-italic",
"width": 7.585,
"textWidth": 7.127
},
{
"text": "KV ",
"font": "serif-bold-italic",
"width": 3.004,
"textWidth": 2.545
},
{
"text": "Cache ",
"font": "serif-bold-italic",
"width": 5.379,
"textWidth": 4.921
},
{
"text": "Storage ",
"font": "serif-bold-italic",
"width": 6.213,
"textWidth": 6.213
}
]
},
{
"left": 11.813,
"top": 83.476,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "When ",
"font": "serif",
"width": 5.282,
"textWidth": 4.824
},
{
"text": "serving ",
"font": "serif",
"width": 6.467,
"textWidth": 6.009
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 11.733,
"textWidth": 11.275
},
{
"text": "we ",
"font": "serif",
"width": 2.855,
"textWidth": 2.397
},
{
"text": "leverage ",
"font": "serif",
"width": 7.292,
"textWidth": 6.834
},
{
"text": "an ",
"font": "serif",
"width": 2.433,
"textWidth": 1.975
},
{
"text": "on-disk ",
"font": "serif",
"width": 6.562,
"textWidth": 6.102
},
{
"text": "KV ",
"font": "serif",
"width": 3.101,
"textWidth": 2.643
},
{
"text": "cache ",
"font": "serif",
"width": 4.928,
"textWidth": 4.47
},
{
"text": "storage ",
"font": "serif",
"width": 6.347,
"textWidth": 5.888
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.709,
"textWidth": 9.251
},
{
"text": "to ",
"font": "serif",
"width": 2.05,
"textWidth": 1.592
},
{
"text": "eliminate ",
"font": "serif",
"width": 7.524,
"textWidth": 7.524
}
]
},
{
"left": 11.905,
"top": 85.085,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "repeated ",
"font": "serif",
"width": 7.414,
"textWidth": 6.953
},
{
"text": "prefilling ",
"font": "serif",
"width": 7.813,
"textWidth": 7.352
},
{
"text": "for ",
"font": "serif",
"width": 2.76,
"textWidth": 2.3
},
{
"text": "shared-prefix ",
"font": "serif",
"width": 11.08,
"textWidth": 10.62
},
{
"text": "requests. ",
"font": "serif",
"width": 7.656,
"textWidth": 7.08
},
{
"text": "For ",
"font": "serif",
"width": 3.163,
"textWidth": 2.702
},
{
"text": "the ",
"font": "serif",
"width": 2.964,
"textWidth": 2.504
},
{
"text": "compressed ",
"font": "serif",
"width": 9.97,
"textWidth": 9.509
},
{
"text": "KV ",
"font": "serif",
"width": 3.074,
"textWidth": 2.614
},
{
"text": "entries ",
"font": "serif",
"width": 5.834,
"textWidth": 5.372
},
{
"text": "in ",
"font": "serif",
"width": 2.036,
"textWidth": 1.576
},
{
"text": "CSA/HCA ",
"font": "serif",
"width": 9.372,
"textWidth": 8.912
},
{
"text": "and ",
"font": "serif",
"width": 3.056,
"textWidth": 3.056
}
]
},
{
"left": 11.905,
"top": 86.694,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "uncompressed ",
"font": "serif",
"width": 12.035,
"textWidth": 11.589
},
{
"text": "KV ",
"font": "serif",
"width": 3.046,
"textWidth": 2.601
},
{
"text": "entries ",
"font": "serif",
"width": 5.79,
"textWidth": 5.345
},
{
"text": "in ",
"font": "serif",
"width": 2.013,
"textWidth": 1.568
},
{
"text": "Sliding ",
"font": "serif",
"width": 6.097,
"textWidth": 5.652
},
{
"text": "Window ",
"font": "serif",
"width": 7.286,
"textWidth": 6.839
},
{
"text": "Attention ",
"font": "serif",
"width": 8.053,
"textWidth": 7.606
},
{
"text": "(SWA), ",
"font": "serif",
"width": 6.058,
"textWidth": 5.612
},
{
"text": "we ",
"font": "serif",
"width": 2.803,
"textWidth": 2.358
},
{
"text": "design ",
"font": "serif",
"width": 5.731,
"textWidth": 5.286
},
{
"text": "separate ",
"font": "serif",
"width": 7.098,
"textWidth": 6.652
},
{
"text": "solutions ",
"font": "serif",
"width": 7.243,
"textWidth": 7.243
}
]
},
{
"left": 11.905,
"top": 88.304,
"width": 20.195,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "storage ",
"font": "serif",
"width": 6.37,
"textWidth": 5.912
},
{
"text": "management. ",
"font": "serif",
"width": 11.032,
"textWidth": 11.032
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "23 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"24": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 14.75,
"top": 10.472,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.35,
"textWidth": 2.798
},
{
"text": "CSA ",
"font": "serif",
"width": 4.312,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.716,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.354,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 3.008,
"textWidth": 2.454
},
{
"text": "simply ",
"font": "serif",
"width": 6.245,
"textWidth": 5.694
},
{
"text": "store ",
"font": "serif",
"width": 4.574,
"textWidth": 4.023
},
{
"text": "all ",
"font": "serif",
"width": 2.574,
"textWidth": 2.023
},
{
"text": "of ",
"font": "serif",
"width": 2.195,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.146,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 10.399,
"textWidth": 9.847
},
{
"text": "KV ",
"font": "serif",
"width": 3.258,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.114,
"textWidth": 5.563
},
{
"text": "to ",
"font": "serif",
"width": 2.181,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.144,
"textWidth": 2.593
},
{
"text": "disk. ",
"font": "serif",
"width": 4.836,
"textWidth": 3.985
},
{
"text": "When ",
"font": "serif",
"width": 4.94,
"textWidth": 4.94
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.525,
"textWidth": 0.935
},
{
"text": "request ",
"font": "serif",
"width": 6.664,
"textWidth": 6.073
},
{
"text": "hits ",
"font": "serif",
"width": 3.626,
"textWidth": 3.034
},
{
"text": "a ",
"font": "serif",
"width": 1.525,
"textWidth": 0.935
},
{
"text": "stored ",
"font": "serif",
"width": 5.757,
"textWidth": 5.165
},
{
"text": "prefix, ",
"font": "serif",
"width": 5.911,
"textWidth": 5.286
},
{
"text": "we ",
"font": "serif",
"width": 3.047,
"textWidth": 2.454
},
{
"text": "read ",
"font": "serif",
"width": 4.268,
"textWidth": 3.677
},
{
"text": "and ",
"font": "serif",
"width": 3.757,
"textWidth": 3.165
},
{
"text": "reuse ",
"font": "serif",
"width": 5.008,
"textWidth": 4.415
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 10.44,
"textWidth": 9.847
},
{
"text": "KV ",
"font": "serif",
"width": 3.297,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.154,
"textWidth": 5.563
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.029,
"textWidth": 12.029
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.097,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.058,
"textWidth": 2.593
},
{
"text": "prefix, ",
"font": "serif",
"width": 5.755,
"textWidth": 5.286
},
{
"text": "until ",
"font": "serif",
"width": 4.378,
"textWidth": 3.912
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "last ",
"font": "serif",
"width": 3.348,
"textWidth": 2.881
},
{
"text": "complete ",
"font": "serif",
"width": 8.034,
"textWidth": 7.567
},
{
"text": "compression ",
"font": "serif",
"width": 10.93,
"textWidth": 10.462
},
{
"text": "block. ",
"font": "serif",
"width": 5.527,
"textWidth": 4.935
},
{
"text": "Specially, ",
"font": "serif",
"width": 8.169,
"textWidth": 7.699
},
{
"text": "for ",
"font": "serif",
"width": 2.847,
"textWidth": 2.381
},
{
"text": "prefix ",
"font": "serif",
"width": 5.286,
"textWidth": 4.821
},
{
"text": "tokens ",
"font": "serif",
"width": 5.912,
"textWidth": 5.445
},
{
"text": "in ",
"font": "serif",
"width": 2.097,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "tail ",
"font": "serif",
"width": 2.632,
"textWidth": 2.632
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "incomplete ",
"font": "serif",
"width": 9.531,
"textWidth": 9.074
},
{
"text": "block, ",
"font": "serif",
"width": 5.326,
"textWidth": 4.867
},
{
"text": "we ",
"font": "serif",
"width": 2.88,
"textWidth": 2.421
},
{
"text": "still ",
"font": "serif",
"width": 3.449,
"textWidth": 2.992
},
{
"text": "need ",
"font": "serif",
"width": 4.425,
"textWidth": 3.966
},
{
"text": "to ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "recompute ",
"font": "serif",
"width": 9.194,
"textWidth": 8.735
},
{
"text": "them ",
"font": "serif",
"width": 4.642,
"textWidth": 4.185
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "restore ",
"font": "serif",
"width": 6.005,
"textWidth": 5.546
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.557
},
{
"text": "uncompressed ",
"font": "serif",
"width": 12.356,
"textWidth": 11.897
},
{
"text": "KV ",
"font": "serif",
"width": 3.127,
"textWidth": 2.67
},
{
"text": "entries, ",
"font": "serif",
"width": 6.407,
"textWidth": 5.947
},
{
"text": "as ",
"font": "serif",
"width": 1.703,
"textWidth": 1.703
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 47.368,
"height": 1.296,
"words": [
{
"text": "uncompressed ",
"font": "serif",
"width": 12.284,
"textWidth": 11.826
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 5.912,
"textWidth": 5.454
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "CSA ",
"font": "serif",
"width": 4.145,
"textWidth": 3.687
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "HCA ",
"font": "serif",
"width": 4.708,
"textWidth": 4.25
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "stored. ",
"font": "serif",
"width": 5.522,
"textWidth": 5.522
}
]
},
{
"left": 14.75,
"top": 19.324,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.129,
"textWidth": 2.689
},
{
"text": "the ",
"font": "serif",
"width": 2.929,
"textWidth": 2.491
},
{
"text": "SWA ",
"font": "serif",
"width": 4.407,
"textWidth": 3.969
},
{
"text": "KV ",
"font": "serif",
"width": 3.041,
"textWidth": 2.601
},
{
"text": "entries, ",
"font": "serif",
"width": 6.237,
"textWidth": 5.794
},
{
"text": "since ",
"font": "serif",
"width": 4.427,
"textWidth": 3.987
},
{
"text": "they ",
"font": "serif",
"width": 3.928,
"textWidth": 3.49
},
{
"text": "are ",
"font": "serif",
"width": 2.875,
"textWidth": 2.435
},
{
"text": "not ",
"font": "serif",
"width": 3.051,
"textWidth": 2.611
},
{
"text": "compressed ",
"font": "serif",
"width": 9.899,
"textWidth": 9.459
},
{
"text": "and ",
"font": "serif",
"width": 3.481,
"textWidth": 3.041
},
{
"text": "exist ",
"font": "serif",
"width": 4.097,
"textWidth": 3.657
},
{
"text": "in ",
"font": "serif",
"width": 2.006,
"textWidth": 1.568
},
{
"text": "every ",
"font": "serif",
"width": 4.883,
"textWidth": 4.443
},
{
"text": "layer, ",
"font": "serif",
"width": 4.745,
"textWidth": 4.301
},
{
"text": "their ",
"font": "serif",
"width": 4.163,
"textWidth": 3.723
},
{
"text": "volume ",
"font": "serif",
"width": 6.047,
"textWidth": 6.047
}
]
},
{
"left": 11.905,
"top": 20.933,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.927,
"textWidth": 1.337
},
{
"text": "approximately ",
"font": "serif",
"width": 12.679,
"textWidth": 12.089
},
{
"text": "8 ",
"font": "serif",
"width": 1.523,
"textWidth": 0.935
},
{
"text": "times ",
"font": "serif",
"width": 5.083,
"textWidth": 4.492
},
{
"text": "larger ",
"font": "serif",
"width": 5.447,
"textWidth": 4.856
},
{
"text": "than ",
"font": "serif",
"width": 4.311,
"textWidth": 3.72
},
{
"text": "the ",
"font": "serif",
"width": 3.181,
"textWidth": 2.593
},
{
"text": "compressed ",
"font": "serif",
"width": 10.438,
"textWidth": 9.849
},
{
"text": "CSA ",
"font": "serif",
"width": 4.352,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.753,
"textWidth": 3.165
},
{
"text": "HCA ",
"font": "serif",
"width": 4.926,
"textWidth": 4.335
},
{
"text": "KV ",
"font": "serif",
"width": 3.297,
"textWidth": 2.707
},
{
"text": "entries. ",
"font": "serif",
"width": 6.993,
"textWidth": 6.03
},
{
"text": "To ",
"font": "serif",
"width": 2.589,
"textWidth": 1.998
},
{
"text": "handle ",
"font": "serif",
"width": 5.692,
"textWidth": 5.692
}
]
},
{
"left": 11.905,
"top": 22.543,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "these ",
"font": "serif",
"width": 4.688,
"textWidth": 4.23
},
{
"text": "large ",
"font": "serif",
"width": 4.528,
"textWidth": 4.07
},
{
"text": "SWA ",
"font": "serif",
"width": 4.542,
"textWidth": 4.084
},
{
"text": "KV ",
"font": "serif",
"width": 3.133,
"textWidth": 2.675
},
{
"text": "entries ",
"font": "serif",
"width": 5.956,
"textWidth": 5.497
},
{
"text": "efficiently, ",
"font": "serif",
"width": 8.784,
"textWidth": 8.326
},
{
"text": "we ",
"font": "serif",
"width": 2.884,
"textWidth": 2.425
},
{
"text": "propose ",
"font": "serif",
"width": 7.06,
"textWidth": 6.602
},
{
"text": "and ",
"font": "serif",
"width": 3.586,
"textWidth": 3.127
},
{
"text": "implement ",
"font": "serif",
"width": 9.351,
"textWidth": 8.895
},
{
"text": "three ",
"font": "serif",
"width": 4.602,
"textWidth": 4.143
},
{
"text": "distinct ",
"font": "serif",
"width": 6.545,
"textWidth": 6.087
},
{
"text": "strategies ",
"font": "serif",
"width": 8.217,
"textWidth": 7.759
},
{
"text": "for ",
"font": "serif",
"width": 2.353,
"textWidth": 2.353
}
]
},
{
"left": 11.905,
"top": 24.152,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "managing ",
"font": "serif",
"width": 8.443,
"textWidth": 7.992
},
{
"text": "on-disk ",
"font": "serif",
"width": 6.456,
"textWidth": 6.004
},
{
"text": "SWA ",
"font": "serif",
"width": 4.418,
"textWidth": 3.967
},
{
"text": "KV ",
"font": "serif",
"width": 3.053,
"textWidth": 2.601
},
{
"text": "entries, ",
"font": "serif",
"width": 6.246,
"textWidth": 5.794
},
{
"text": "each ",
"font": "serif",
"width": 4.052,
"textWidth": 3.601
},
{
"text": "offering ",
"font": "serif",
"width": 6.733,
"textWidth": 6.28
},
{
"text": "a ",
"font": "serif",
"width": 1.349,
"textWidth": 0.898
},
{
"text": "different ",
"font": "serif",
"width": 7.263,
"textWidth": 6.812
},
{
"text": "trade-off ",
"font": "serif",
"width": 7.345,
"textWidth": 6.893
},
{
"text": "between ",
"font": "serif",
"width": 7.153,
"textWidth": 6.703
},
{
"text": "storage ",
"font": "serif",
"width": 6.246,
"textWidth": 5.794
},
{
"text": "overhead ",
"font": "serif",
"width": 7.432,
"textWidth": 7.432
}
]
},
{
"left": 11.905,
"top": 25.761,
"width": 26.073,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "computational ",
"font": "serif",
"width": 12.258,
"textWidth": 11.8
},
{
"text": "redundancy: ",
"font": "serif",
"width": 10.253,
"textWidth": 10.253
}
]
},
{
"left": 16.486,
"top": 28.155,
"width": 16.517,
"height": 1.296,
"words": [
{
"text": "Full ",
"font": "serif-bold",
"width": 4.056,
"textWidth": 3.426
},
{
"text": "SWA ",
"font": "serif-bold",
"width": 4.933,
"textWidth": 4.301
},
{
"text": "Caching. ",
"font": "serif-bold",
"width": 7.528,
"textWidth": 7.528
}
]
},
{
"left": 34.089,
"top": 28.176,
"width": 54.235,
"height": 1.296,
"words": [
{
"text": "This ",
"font": "serif",
"width": 4.2,
"textWidth": 3.57
},
{
"text": "strategy ",
"font": "serif",
"width": 7.29,
"textWidth": 6.658
},
{
"text": "stores ",
"font": "serif",
"width": 5.445,
"textWidth": 4.815
},
{
"text": "the ",
"font": "serif",
"width": 3.224,
"textWidth": 2.593
},
{
"text": "complete ",
"font": "serif",
"width": 8.199,
"textWidth": 7.569
},
{
"text": "SWA ",
"font": "serif",
"width": 4.767,
"textWidth": 4.137
},
{
"text": "KV ",
"font": "serif",
"width": 3.339,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.193,
"textWidth": 5.563
},
{
"text": "for ",
"font": "serif",
"width": 3.013,
"textWidth": 2.381
},
{
"text": "all ",
"font": "serif",
"width": 2.652,
"textWidth": 2.023
},
{
"text": "tokens, ",
"font": "serif",
"width": 5.912,
"textWidth": 5.912
}
]
},
{
"left": 16.486,
"top": 29.785,
"width": 71.608,
"height": 1.296,
"words": [
{
"text": "ensuring ",
"font": "serif",
"width": 7.576,
"textWidth": 7.119
},
{
"text": "computational ",
"font": "serif",
"width": 12.176,
"textWidth": 11.718
},
{
"text": "zero-redundancy. ",
"font": "serif",
"width": 14.613,
"textWidth": 14.045
},
{
"text": "Under ",
"font": "serif",
"width": 5.634,
"textWidth": 5.177
},
{
"text": "this ",
"font": "serif",
"width": 3.41,
"textWidth": 2.954
},
{
"text": "strategy, ",
"font": "serif",
"width": 7.192,
"textWidth": 6.735
},
{
"text": "the ",
"font": "serif",
"width": 2.981,
"textWidth": 2.524
},
{
"text": "SWA ",
"font": "serif",
"width": 4.48,
"textWidth": 4.024
},
{
"text": "KV ",
"font": "serif",
"width": 3.094,
"textWidth": 2.635
},
{
"text": "entries ",
"font": "serif",
"width": 5.872,
"textWidth": 5.414
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 2.524,
"textWidth": 2.524
}
]
},
{
"left": 16.486,
"top": 31.394,
"width": 62.121,
"height": 1.296,
"words": [
{
"text": "hitting ",
"font": "serif",
"width": 5.777,
"textWidth": 5.316
},
{
"text": "prefix ",
"font": "serif",
"width": 5.098,
"textWidth": 4.638
},
{
"text": "can ",
"font": "serif",
"width": 3.207,
"textWidth": 2.746
},
{
"text": "be ",
"font": "serif",
"width": 2.316,
"textWidth": 1.857
},
{
"text": "reconstructed ",
"font": "serif",
"width": 11.309,
"textWidth": 10.848
},
{
"text": "by ",
"font": "serif",
"width": 2.455,
"textWidth": 1.996
},
{
"text": "just ",
"font": "serif",
"width": 3.317,
"textWidth": 2.856
},
{
"text": "reading ",
"font": "serif",
"width": 6.57,
"textWidth": 6.112
},
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.496
},
{
"text": "on-disk ",
"font": "serif",
"width": 6.477,
"textWidth": 6.016
},
{
"text": "cache ",
"font": "serif",
"width": 4.866,
"textWidth": 4.407
},
{
"text": "of ",
"font": "serif",
"width": 2.043,
"textWidth": 1.582
},
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.496
},
{
"text": "last ",
"font": "serif",
"width": 2.773,
"textWidth": 2.773
}
]
},
{
"left": 80.024,
"top": 31.394,
"width": 8.072,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.829,
"textWidth": 2.285
},
{
"text": "tokens ",
"font": "serif",
"width": 5.242,
"textWidth": 5.242
}
]
},
{
"left": 16.409,
"top": 33.004,
"width": 71.723,
"height": 1.296,
"words": [
{
"text": "within ",
"font": "serif",
"width": 5.786,
"textWidth": 5.326
},
{
"text": "that ",
"font": "serif",
"width": 3.636,
"textWidth": 3.178
},
{
"text": "prefix. ",
"font": "serif",
"width": 5.756,
"textWidth": 5.183
},
{
"text": "Despite ",
"font": "serif",
"width": 6.641,
"textWidth": 6.183
},
{
"text": "computational ",
"font": "serif",
"width": 12.26,
"textWidth": 11.8
},
{
"text": "zero-redundancy, ",
"font": "serif",
"width": 14.606,
"textWidth": 14.146
},
{
"text": "this ",
"font": "serif",
"width": 3.434,
"textWidth": 2.974
},
{
"text": "strategy ",
"font": "serif",
"width": 6.986,
"textWidth": 6.528
},
{
"text": "is ",
"font": "serif",
"width": 1.77,
"textWidth": 1.31
},
{
"text": "inefficient ",
"font": "serif",
"width": 8.512,
"textWidth": 8.052
},
{
"text": "for ",
"font": "serif",
"width": 2.335,
"textWidth": 2.335
}
]
},
{
"left": 16.486,
"top": 34.613,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "modern ",
"font": "serif",
"width": 7.006,
"textWidth": 6.535
},
{
"text": "SSD-based ",
"font": "serif",
"width": 9.303,
"textWidth": 8.83
},
{
"text": "storage ",
"font": "serif",
"width": 6.501,
"textWidth": 6.03
},
{
"text": "systems ",
"font": "serif",
"width": 9.386,
"textWidth": 6.572
},
{
"text": "only ",
"font": "serif",
"width": 4.165,
"textWidth": 3.692
},
{
"text": "a ",
"font": "serif",
"width": 1.406,
"textWidth": 0.935
},
{
"text": "small ",
"font": "serif",
"width": 4.939,
"textWidth": 4.466
},
{
"text": "subset ",
"font": "serif",
"width": 5.722,
"textWidth": 5.251
},
{
"text": "of ",
"font": "serif",
"width": 2.116,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.064,
"textWidth": 2.593
},
{
"text": "stored ",
"font": "serif",
"width": 5.638,
"textWidth": 5.165
},
{
"text": "SWA ",
"font": "serif",
"width": 4.608,
"textWidth": 4.137
},
{
"text": "KV ",
"font": "serif",
"width": 3.18,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 4.578,
"textWidth": 4.578
}
]
},
{
"left": 16.409,
"top": 36.222,
"width": 71.686,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.697,
"textWidth": 3.191
},
{
"text": "be ",
"font": "serif",
"width": 2.436,
"textWidth": 1.929
},
{
"text": "accessed ",
"font": "serif",
"width": 7.619,
"textWidth": 7.113
},
{
"text": "for ",
"font": "serif",
"width": 2.89,
"textWidth": 2.381
},
{
"text": "each ",
"font": "serif",
"width": 4.254,
"textWidth": 3.748
},
{
"text": "hitting ",
"font": "serif",
"width": 6.028,
"textWidth": 5.522
},
{
"text": "request, ",
"font": "serif",
"width": 7.058,
"textWidth": 6.539
},
{
"text": "which ",
"font": "serif",
"width": 5.615,
"textWidth": 5.109
},
{
"text": "leads ",
"font": "serif",
"width": 4.815,
"textWidth": 4.309
},
{
"text": "to ",
"font": "serif",
"width": 2.138,
"textWidth": 1.63
},
{
"text": "an ",
"font": "serif",
"width": 2.529,
"textWidth": 2.023
},
{
"text": "unbalanced ",
"font": "serif",
"width": 10.124,
"textWidth": 9.617
},
{
"text": "write-intensive ",
"font": "serif",
"width": 12.481,
"textWidth": 12.481
}
]
},
{
"left": 16.486,
"top": 37.832,
"width": 11.773,
"height": 1.296,
"words": [
{
"text": "access ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "pattern. ",
"font": "serif",
"width": 6.339,
"textWidth": 6.339
}
]
},
{
"left": 16.486,
"top": 39.42,
"width": 19.951,
"height": 1.296,
"words": [
{
"text": "Periodic ",
"font": "serif-bold",
"width": 7.232,
"textWidth": 6.783
},
{
"text": "Checkpointing. ",
"font": "serif-bold",
"width": 12.719,
"textWidth": 12.719
}
]
},
{
"left": 37.002,
"top": 39.441,
"width": 41.639,
"height": 1.296,
"words": [
{
"text": "This ",
"font": "serif",
"width": 3.879,
"textWidth": 3.43
},
{
"text": "strategy ",
"font": "serif",
"width": 6.846,
"textWidth": 6.397
},
{
"text": "checkpoints ",
"font": "serif",
"width": 9.921,
"textWidth": 9.474
},
{
"text": "SWA ",
"font": "serif",
"width": 4.416,
"textWidth": 3.967
},
{
"text": "KV ",
"font": "serif",
"width": 3.05,
"textWidth": 2.601
},
{
"text": "entries ",
"font": "serif",
"width": 5.794,
"textWidth": 5.345
},
{
"text": "of ",
"font": "serif",
"width": 2.026,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "last ",
"font": "serif",
"width": 2.768,
"textWidth": 2.768
}
]
},
{
"left": 80.046,
"top": 39.441,
"width": 8.049,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.818,
"textWidth": 2.285
},
{
"text": "tokens ",
"font": "serif",
"width": 5.232,
"textWidth": 5.232
}
]
},
{
"left": 16.409,
"top": 41.051,
"width": 10.543,
"height": 1.296,
"words": [
{
"text": "within ",
"font": "serif",
"width": 5.918,
"textWidth": 5.432
},
{
"text": "every ",
"font": "serif",
"width": 4.625,
"textWidth": 4.625
}
]
},
{
"left": 28.94,
"top": 41.051,
"width": 11.548,
"height": 1.296,
"words": [
{
"text": "tokens, ",
"font": "serif",
"width": 6.406,
"textWidth": 5.912
},
{
"text": "where ",
"font": "serif",
"width": 5.142,
"textWidth": 5.142
}
]
},
{
"left": 42.477,
"top": 41.051,
"width": 45.618,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.823,
"textWidth": 1.337
},
{
"text": "a ",
"font": "serif",
"width": 1.421,
"textWidth": 0.935
},
{
"text": "tunable ",
"font": "serif",
"width": 6.718,
"textWidth": 6.232
},
{
"text": "parameter. ",
"font": "serif",
"width": 9.503,
"textWidth": 8.851
},
{
"text": "For ",
"font": "serif",
"width": 3.284,
"textWidth": 2.798
},
{
"text": "a ",
"font": "serif",
"width": 1.421,
"textWidth": 0.935
},
{
"text": "hitting ",
"font": "serif",
"width": 6.008,
"textWidth": 5.522
},
{
"text": "prefix, ",
"font": "serif",
"width": 5.78,
"textWidth": 5.288
},
{
"text": "we ",
"font": "serif",
"width": 2.94,
"textWidth": 2.454
},
{
"text": "load ",
"font": "serif",
"width": 4.127,
"textWidth": 3.641
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 16.486,
"top": 42.66,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "most ",
"font": "serif",
"width": 4.495,
"textWidth": 4.037
},
{
"text": "recent ",
"font": "serif",
"width": 5.438,
"textWidth": 4.978
},
{
"text": "checkpointed ",
"font": "serif",
"width": 11.465,
"textWidth": 11.007
},
{
"text": "state, ",
"font": "serif",
"width": 4.728,
"textWidth": 4.271
},
{
"text": "and ",
"font": "serif",
"width": 3.594,
"textWidth": 3.137
},
{
"text": "then ",
"font": "serif",
"width": 4.108,
"textWidth": 3.648
},
{
"text": "recompute ",
"font": "serif",
"width": 9.236,
"textWidth": 8.778
},
{
"text": "the ",
"font": "serif",
"width": 3.027,
"textWidth": 2.57
},
{
"text": "remaining ",
"font": "serif",
"width": 8.873,
"textWidth": 8.413
},
{
"text": "tail ",
"font": "serif",
"width": 3.066,
"textWidth": 2.609
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.429,
"textWidth": 5.86
},
{
"text": "Through ",
"font": "serif",
"width": 7.15,
"textWidth": 7.15
}
]
},
{
"left": 16.486,
"top": 44.269,
"width": 5.339,
"height": 1.296,
"words": [
{
"text": "tuning ",
"font": "serif",
"width": 5.339,
"textWidth": 5.339
}
]
},
{
"left": 24.21,
"top": 44.269,
"width": 64.205,
"height": 1.296,
"words": [
{
"text": "this ",
"font": "serif",
"width": 3.403,
"textWidth": 2.948
},
{
"text": "strategy ",
"font": "serif",
"width": 6.927,
"textWidth": 6.469
},
{
"text": "enables ",
"font": "serif",
"width": 6.465,
"textWidth": 6.008
},
{
"text": "an ",
"font": "serif",
"width": 2.421,
"textWidth": 1.965
},
{
"text": "on-demand ",
"font": "serif",
"width": 9.769,
"textWidth": 9.311
},
{
"text": "trade-off ",
"font": "serif",
"width": 7.426,
"textWidth": 6.97
},
{
"text": "between ",
"font": "serif",
"width": 7.235,
"textWidth": 6.778
},
{
"text": "storage ",
"font": "serif",
"width": 6.316,
"textWidth": 5.859
},
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.075
},
{
"text": "computation. ",
"font": "serif",
"width": 10.711,
"textWidth": 10.711
}
]
},
{
"left": 16.486,
"top": 45.858,
"width": 16.143,
"height": 1.296,
"words": [
{
"text": "Zero ",
"font": "serif-bold",
"width": 4.269,
"textWidth": 3.812
},
{
"text": "SWA ",
"font": "serif-bold",
"width": 4.605,
"textWidth": 4.148
},
{
"text": "Caching. ",
"font": "serif-bold",
"width": 7.269,
"textWidth": 7.269
}
]
},
{
"left": 33.198,
"top": 45.879,
"width": 55.127,
"height": 1.296,
"words": [
{
"text": "This ",
"font": "serif",
"width": 3.904,
"textWidth": 3.448
},
{
"text": "strategy ",
"font": "serif",
"width": 6.887,
"textWidth": 6.43
},
{
"text": "does ",
"font": "serif",
"width": 4.177,
"textWidth": 3.719
},
{
"text": "not ",
"font": "serif",
"width": 3.081,
"textWidth": 2.625
},
{
"text": "store ",
"font": "serif",
"width": 4.341,
"textWidth": 3.885
},
{
"text": "any ",
"font": "serif",
"width": 3.413,
"textWidth": 2.957
},
{
"text": "SWA ",
"font": "serif",
"width": 4.446,
"textWidth": 3.989
},
{
"text": "KV ",
"font": "serif",
"width": 3.072,
"textWidth": 2.614
},
{
"text": "entries. ",
"font": "serif",
"width": 6.39,
"textWidth": 5.823
},
{
"text": "For ",
"font": "serif",
"width": 3.159,
"textWidth": 2.702
},
{
"text": "a ",
"font": "serif",
"width": 1.361,
"textWidth": 0.903
},
{
"text": "hitting ",
"font": "serif",
"width": 5.789,
"textWidth": 5.332
},
{
"text": "prefix, ",
"font": "serif",
"width": 5.105,
"textWidth": 5.105
}
]
},
{
"left": 16.409,
"top": 47.488,
"width": 71.685,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.856,
"textWidth": 2.399
},
{
"text": "need ",
"font": "serif",
"width": 4.389,
"textWidth": 3.93
},
{
"text": "to ",
"font": "serif",
"width": 2.05,
"textWidth": 1.593
},
{
"text": "perform ",
"font": "serif",
"width": 7.095,
"textWidth": 6.636
},
{
"text": "more ",
"font": "serif",
"width": 4.632,
"textWidth": 4.173
},
{
"text": "recomputation ",
"font": "serif",
"width": 12.34,
"textWidth": 11.884
},
{
"text": "to ",
"font": "serif",
"width": 2.052,
"textWidth": 1.593
},
{
"text": "restore ",
"font": "serif",
"width": 5.953,
"textWidth": 5.494
},
{
"text": "the ",
"font": "serif",
"width": 2.991,
"textWidth": 2.534
},
{
"text": "SWA ",
"font": "serif",
"width": 4.497,
"textWidth": 4.04
},
{
"text": "KV ",
"font": "serif",
"width": 3.104,
"textWidth": 2.646
},
{
"text": "entries. ",
"font": "serif",
"width": 6.463,
"textWidth": 5.894
},
{
"text": "To ",
"font": "serif",
"width": 2.406,
"textWidth": 1.948
},
{
"text": "be ",
"font": "serif",
"width": 2.342,
"textWidth": 1.886
},
{
"text": "specific, ",
"font": "serif",
"width": 6.921,
"textWidth": 6.464
},
{
"text": "in ",
"font": "serif",
"width": 1.595,
"textWidth": 1.595
}
]
},
{
"left": 16.486,
"top": 49.097,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.147,
"textWidth": 3.689
},
{
"text": "attention ",
"font": "serif",
"width": 7.741,
"textWidth": 7.282
},
{
"text": "layer, ",
"font": "serif",
"width": 4.868,
"textWidth": 4.41
},
{
"text": "the ",
"font": "serif",
"width": 3.012,
"textWidth": 2.552
},
{
"text": "SWA ",
"font": "serif",
"width": 4.526,
"textWidth": 4.068
},
{
"text": "KV ",
"font": "serif",
"width": 3.122,
"textWidth": 2.664
},
{
"text": "entry ",
"font": "serif",
"width": 4.76,
"textWidth": 4.302
},
{
"text": "of ",
"font": "serif",
"width": 2.075,
"textWidth": 1.617
},
{
"text": "each ",
"font": "serif",
"width": 4.147,
"textWidth": 3.689
},
{
"text": "token ",
"font": "serif",
"width": 5.038,
"textWidth": 4.58
},
{
"text": "depends ",
"font": "serif",
"width": 7.426,
"textWidth": 6.968
},
{
"text": "on ",
"font": "serif",
"width": 2.534,
"textWidth": 2.075
},
{
"text": "the ",
"font": "serif",
"width": 3.012,
"textWidth": 2.552
},
{
"text": "SWA ",
"font": "serif",
"width": 4.526,
"textWidth": 4.068
},
{
"text": "KV ",
"font": "serif",
"width": 3.122,
"textWidth": 2.664
},
{
"text": "entries ",
"font": "serif",
"width": 5.934,
"textWidth": 5.476
},
{
"text": "of ",
"font": "serif",
"width": 1.617,
"textWidth": 1.617
}
]
},
{
"left": 16.486,
"top": 50.707,
"width": 16.876,
"height": 1.296,
"words": [
{
"text": "only ",
"font": "serif",
"width": 4.191,
"textWidth": 3.692
},
{
"text": "the ",
"font": "serif",
"width": 3.09,
"textWidth": 2.593
},
{
"text": "most ",
"font": "serif",
"width": 4.572,
"textWidth": 4.073
},
{
"text": "recent ",
"font": "serif",
"width": 5.023,
"textWidth": 5.023
}
]
},
{
"left": 34.818,
"top": 50.707,
"width": 53.278,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.868,
"textWidth": 2.285
},
{
"text": "tokens ",
"font": "serif",
"width": 5.944,
"textWidth": 5.445
},
{
"text": "from ",
"font": "serif",
"width": 4.497,
"textWidth": 3.998
},
{
"text": "the ",
"font": "serif",
"width": 3.09,
"textWidth": 2.593
},
{
"text": "previous ",
"font": "serif",
"width": 7.763,
"textWidth": 7.266
},
{
"text": "layer. ",
"font": "serif",
"width": 5.172,
"textWidth": 4.484
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.95,
"textWidth": 8.442
},
{
"text": "leveraging ",
"font": "serif",
"width": 9.273,
"textWidth": 8.774
},
{
"text": "cached ",
"font": "serif",
"width": 5.72,
"textWidth": 5.72
}
]
},
{
"left": 16.486,
"top": 52.316,
"width": 37.832,
"height": 1.296,
"words": [
{
"text": "CSA ",
"font": "serif",
"width": 4.062,
"textWidth": 3.613
},
{
"text": "and ",
"font": "serif",
"width": 3.49,
"textWidth": 3.041
},
{
"text": "HCA ",
"font": "serif",
"width": 4.614,
"textWidth": 4.165
},
{
"text": "KV ",
"font": "serif",
"width": 3.05,
"textWidth": 2.601
},
{
"text": "entries, ",
"font": "serif",
"width": 6.245,
"textWidth": 5.794
},
{
"text": "recomputing ",
"font": "serif",
"width": 10.664,
"textWidth": 10.215
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "last ",
"font": "serif",
"width": 2.768,
"textWidth": 2.768
}
]
},
{
"left": 55.724,
"top": 52.766,
"width": 2.285,
"height": 0.947,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.285,
"textWidth": 2.285
}
]
},
{
"left": 60.646,
"top": 52.316,
"width": 27.449,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.681,
"textWidth": 5.232
},
{
"text": "is ",
"font": "serif",
"width": 1.733,
"textWidth": 1.284
},
{
"text": "enough ",
"font": "serif",
"width": 6.462,
"textWidth": 6.013
},
{
"text": "to ",
"font": "serif",
"width": 2.015,
"textWidth": 1.566
},
{
"text": "restore ",
"font": "serif",
"width": 5.851,
"textWidth": 5.402
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "last ",
"font": "serif",
"width": 2.768,
"textWidth": 2.768
}
]
},
{
"left": 17.443,
"top": 53.926,
"width": 21.137,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.827,
"textWidth": 2.285
},
{
"text": "SWA ",
"font": "serif",
"width": 4.51,
"textWidth": 4.052
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "entries ",
"font": "serif",
"width": 5.912,
"textWidth": 5.454
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "an ",
"font": "serif",
"width": 1.983,
"textWidth": 1.983
}
]
},
{
"left": 39.951,
"top": 53.926,
"width": 10.746,
"height": 1.296,
"words": [
{
"text": "-layer ",
"font": "serif",
"width": 5.139,
"textWidth": 4.68
},
{
"text": "model. ",
"font": "serif",
"width": 5.608,
"textWidth": 5.608
}
]
},
{
"left": 11.905,
"top": 56.34,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Depending ",
"font": "serif",
"width": 9.378,
"textWidth": 8.917
},
{
"text": "on ",
"font": "serif",
"width": 2.491,
"textWidth": 2.03
},
{
"text": "specific ",
"font": "serif",
"width": 6.378,
"textWidth": 5.917
},
{
"text": "deployment ",
"font": "serif",
"width": 10.096,
"textWidth": 9.635
},
{
"text": "scenarios, ",
"font": "serif",
"width": 8.262,
"textWidth": 7.8
},
{
"text": "we ",
"font": "serif",
"width": 2.824,
"textWidth": 2.363
},
{
"text": "select ",
"font": "serif",
"width": 4.857,
"textWidth": 4.396
},
{
"text": "the ",
"font": "serif",
"width": 2.955,
"textWidth": 2.496
},
{
"text": "most ",
"font": "serif",
"width": 4.382,
"textWidth": 3.921
},
{
"text": "suitable ",
"font": "serif",
"width": 6.7,
"textWidth": 6.239
},
{
"text": "strategy ",
"font": "serif",
"width": 6.871,
"textWidth": 6.41
},
{
"text": "to ",
"font": "serif",
"width": 2.03,
"textWidth": 1.569
},
{
"text": "achieve ",
"font": "serif",
"width": 6.471,
"textWidth": 6.011
},
{
"text": "the ",
"font": "serif",
"width": 2.496,
"textWidth": 2.496
}
]
},
{
"left": 11.905,
"top": 57.949,
"width": 41.983,
"height": 1.296,
"words": [
{
"text": "desired ",
"font": "serif",
"width": 6.454,
"textWidth": 5.996
},
{
"text": "trade-off ",
"font": "serif",
"width": 7.492,
"textWidth": 7.034
},
{
"text": "between ",
"font": "serif",
"width": 7.297,
"textWidth": 6.839
},
{
"text": "storage ",
"font": "serif",
"width": 6.37,
"textWidth": 5.912
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "computation. ",
"font": "serif",
"width": 10.809,
"textWidth": 10.809
}
]
},
{
"left": 11.905,
"top": 62.035,
"width": 15.169,
"height": 1.538,
"words": [
{
"text": "4. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "Pre-Training ",
"font": "serif-bold",
"width": 12.449,
"textWidth": 12.449
}
]
},
{
"left": 11.905,
"top": 65.351,
"width": 18.984,
"height": 1.296,
"words": [
{
"text": "4.1. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Data ",
"font": "serif-bold",
"width": 4.428,
"textWidth": 3.969
},
{
"text": "Construction ",
"font": "serif-bold",
"width": 10.891,
"textWidth": 10.891
}
]
},
{
"left": 11.905,
"top": 68.023,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "On ",
"font": "serif",
"width": 2.982,
"textWidth": 2.525
},
{
"text": "top ",
"font": "serif",
"width": 3.178,
"textWidth": 2.718
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.622
},
{
"text": "the ",
"font": "serif",
"width": 3.019,
"textWidth": 2.56
},
{
"text": "pre-training ",
"font": "serif",
"width": 10.262,
"textWidth": 9.805
},
{
"text": "data ",
"font": "serif",
"width": 4.034,
"textWidth": 3.575
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.622
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 11.859,
"textWidth": 11.399
},
{
"text": "we ",
"font": "serif",
"width": 2.881,
"textWidth": 2.423
},
{
"text": "endeavor ",
"font": "serif",
"width": 8.129,
"textWidth": 7.671
},
{
"text": "to ",
"font": "serif",
"width": 2.069,
"textWidth": 1.609
},
{
"text": "construct ",
"font": "serif",
"width": 7.991,
"textWidth": 7.533
},
{
"text": "a ",
"font": "serif",
"width": 1.382,
"textWidth": 0.923
},
{
"text": "more ",
"font": "serif",
"width": 4.675,
"textWidth": 4.217
},
{
"text": "diverse ",
"font": "serif",
"width": 6.446,
"textWidth": 5.987
},
{
"text": "and ",
"font": "serif",
"width": 3.124,
"textWidth": 3.124
}
]
},
{
"left": 11.905,
"top": 69.632,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "higher-quality ",
"font": "serif",
"width": 11.792,
"textWidth": 11.363
},
{
"text": "training ",
"font": "serif",
"width": 6.755,
"textWidth": 6.325
},
{
"text": "corpus ",
"font": "serif",
"width": 5.84,
"textWidth": 5.411
},
{
"text": "with ",
"font": "serif",
"width": 4.08,
"textWidth": 3.651
},
{
"text": "longer ",
"font": "serif",
"width": 5.546,
"textWidth": 5.117
},
{
"text": "effective ",
"font": "serif",
"width": 7.094,
"textWidth": 6.665
},
{
"text": "contexts. ",
"font": "serif",
"width": 7.55,
"textWidth": 6.992
},
{
"text": "We ",
"font": "serif",
"width": 2.917,
"textWidth": 2.487
},
{
"text": "continually ",
"font": "serif",
"width": 9.431,
"textWidth": 9.001
},
{
"text": "refine ",
"font": "serif",
"width": 4.959,
"textWidth": 4.529
},
{
"text": "our ",
"font": "serif",
"width": 3.202,
"textWidth": 2.773
},
{
"text": "data ",
"font": "serif",
"width": 3.908,
"textWidth": 3.479
},
{
"text": "con- ",
"font": "serif",
"width": 3.421,
"textWidth": 3.421
}
]
},
{
"left": 11.905,
"top": 71.241,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "struction ",
"font": "serif",
"width": 7.591,
"textWidth": 7.136
},
{
"text": "pipelines. ",
"font": "serif",
"width": 8.356,
"textWidth": 7.788
},
{
"text": "For ",
"font": "serif",
"width": 3.173,
"textWidth": 2.719
},
{
"text": "web-sourced ",
"font": "serif",
"width": 10.777,
"textWidth": 10.321
},
{
"text": "data, ",
"font": "serif",
"width": 4.428,
"textWidth": 3.972
},
{
"text": "we ",
"font": "serif",
"width": 2.839,
"textWidth": 2.385
},
{
"text": "implement ",
"font": "serif",
"width": 9.2,
"textWidth": 8.745
},
{
"text": "filtering ",
"font": "serif",
"width": 6.858,
"textWidth": 6.402
},
{
"text": "strategies ",
"font": "serif",
"width": 8.082,
"textWidth": 7.628
},
{
"text": "to ",
"font": "serif",
"width": 2.04,
"textWidth": 1.584
},
{
"text": "remove ",
"font": "serif",
"width": 6.5,
"textWidth": 6.046
},
{
"text": "batched ",
"font": "serif",
"width": 6.347,
"textWidth": 6.347
}
]
},
{
"left": 11.905,
"top": 72.851,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "auto-generated ",
"font": "serif",
"width": 12.593,
"textWidth": 12.134
},
{
"text": "and ",
"font": "serif",
"width": 3.518,
"textWidth": 3.059
},
{
"text": "templated ",
"font": "serif",
"width": 8.583,
"textWidth": 8.124
},
{
"text": "content, ",
"font": "serif",
"width": 6.845,
"textWidth": 6.386
},
{
"text": "thereby ",
"font": "serif",
"width": 6.516,
"textWidth": 6.057
},
{
"text": "mitigating ",
"font": "serif",
"width": 8.775,
"textWidth": 8.316
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "risk ",
"font": "serif",
"width": 3.469,
"textWidth": 3.01
},
{
"text": "of ",
"font": "serif",
"width": 2.045,
"textWidth": 1.588
},
{
"text": "model ",
"font": "serif",
"width": 5.537,
"textWidth": 5.078
},
{
"text": "collapse ",
"font": "serif",
"width": 6.921,
"textWidth": 6.462
},
{
"text": "(Zhu ",
"font": "serif",
"width": 4.407,
"textWidth": 3.948
},
{
"text": "et ",
"font": "serif",
"width": 1.914,
"textWidth": 1.455
},
{
"text": "al., ",
"font": "serif",
"width": 2.333,
"textWidth": 2.333
}
]
},
{
"left": 11.905,
"top": 74.46,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2024). ",
"font": "serif",
"width": 5.449,
"textWidth": 4.828
},
{
"text": "Mathematical ",
"font": "serif",
"width": 11.819,
"textWidth": 11.343
},
{
"text": "and ",
"font": "serif",
"width": 3.639,
"textWidth": 3.165
},
{
"text": "programming ",
"font": "serif",
"width": 12.01,
"textWidth": 11.535
},
{
"text": "corpora ",
"font": "serif",
"width": 6.883,
"textWidth": 6.406
},
{
"text": "still ",
"font": "serif",
"width": 3.509,
"textWidth": 3.034
},
{
"text": "remain ",
"font": "serif",
"width": 6.294,
"textWidth": 5.819
},
{
"text": "core ",
"font": "serif",
"width": 3.927,
"textWidth": 3.453
},
{
"text": "components ",
"font": "serif",
"width": 10.595,
"textWidth": 10.118
},
{
"text": "of ",
"font": "serif",
"width": 2.118,
"textWidth": 1.643
},
{
"text": "our ",
"font": "serif",
"width": 3.363,
"textWidth": 2.886
},
{
"text": "training ",
"font": "serif",
"width": 6.585,
"textWidth": 6.585
}
]
},
{
"left": 11.905,
"top": 76.069,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "data, ",
"font": "serif",
"width": 4.546,
"textWidth": 4.088
},
{
"text": "and ",
"font": "serif",
"width": 3.621,
"textWidth": 3.165
},
{
"text": "we ",
"font": "serif",
"width": 2.912,
"textWidth": 2.454
},
{
"text": "further ",
"font": "serif",
"width": 6.277,
"textWidth": 5.819
},
{
"text": "enhance ",
"font": "serif",
"width": 7.275,
"textWidth": 6.819
},
{
"text": "the ",
"font": "serif",
"width": 3.051,
"textWidth": 2.593
},
{
"text": "coding ",
"font": "serif",
"width": 6.122,
"textWidth": 5.664
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.786,
"textWidth": 9.328
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.535,
"textWidth": 11.079
},
{
"text": "series ",
"font": "serif",
"width": 5.116,
"textWidth": 4.658
},
{
"text": "by ",
"font": "serif",
"width": 2.531,
"textWidth": 2.073
},
{
"text": "incorporating ",
"font": "serif",
"width": 11.318,
"textWidth": 11.318
}
]
},
{
"left": 11.905,
"top": 77.679,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "agentic ",
"font": "serif",
"width": 6.464,
"textWidth": 5.941
},
{
"text": "data ",
"font": "serif",
"width": 4.144,
"textWidth": 3.621
},
{
"text": "during ",
"font": "serif",
"width": 6.202,
"textWidth": 5.679
},
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "mid-training ",
"font": "serif",
"width": 11.068,
"textWidth": 10.545
},
{
"text": "phase. ",
"font": "serif",
"width": 6.066,
"textWidth": 5.301
},
{
"text": "For ",
"font": "serif",
"width": 3.322,
"textWidth": 2.798
},
{
"text": "multilingual ",
"font": "serif",
"width": 10.819,
"textWidth": 10.296
},
{
"text": "data, ",
"font": "serif",
"width": 4.626,
"textWidth": 4.088
},
{
"text": "we ",
"font": "serif",
"width": 2.978,
"textWidth": 2.454
},
{
"text": "build ",
"font": "serif",
"width": 4.914,
"textWidth": 4.391
},
{
"text": "a ",
"font": "serif",
"width": 1.458,
"textWidth": 0.935
},
{
"text": "larger ",
"font": "serif",
"width": 5.382,
"textWidth": 4.858
},
{
"text": "corpus ",
"font": "serif",
"width": 5.632,
"textWidth": 5.632
}
]
},
{
"left": 11.905,
"top": 79.288,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.866,
"textWidth": 2.381
},
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 12.034,
"textWidth": 11.545
},
{
"text": "improving ",
"font": "serif",
"width": 9.255,
"textWidth": 8.772
},
{
"text": "its ",
"font": "serif",
"width": 2.43,
"textWidth": 1.946
},
{
"text": "capture ",
"font": "serif",
"width": 6.709,
"textWidth": 6.225
},
{
"text": "of ",
"font": "serif",
"width": 2.125,
"textWidth": 1.643
},
{
"text": "long-tail ",
"font": "serif",
"width": 7.43,
"textWidth": 6.946
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.705,
"textWidth": 9.221
},
{
"text": "across ",
"font": "serif",
"width": 5.559,
"textWidth": 5.075
},
{
"text": "different ",
"font": "serif",
"width": 7.574,
"textWidth": 7.09
},
{
"text": "cultures. ",
"font": "serif",
"width": 7.741,
"textWidth": 7.098
},
{
"text": "For ",
"font": "serif",
"width": 2.798,
"textWidth": 2.798
}
]
},
{
"left": 11.905,
"top": 80.898,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4, ",
"font": "serif",
"width": 12.143,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 3.024,
"textWidth": 2.454
},
{
"text": "place ",
"font": "serif",
"width": 4.897,
"textWidth": 4.327
},
{
"text": "a ",
"font": "serif",
"width": 1.503,
"textWidth": 0.935
},
{
"text": "particular ",
"font": "serif",
"width": 8.694,
"textWidth": 8.124
},
{
"text": "emphasis ",
"font": "serif",
"width": 8.389,
"textWidth": 7.821
},
{
"text": "on ",
"font": "serif",
"width": 2.679,
"textWidth": 2.109
},
{
"text": "long-document ",
"font": "serif",
"width": 13.247,
"textWidth": 12.677
},
{
"text": "data ",
"font": "serif",
"width": 4.189,
"textWidth": 3.621
},
{
"text": "curation, ",
"font": "serif",
"width": 7.957,
"textWidth": 7.359
},
{
"text": "prioritizing ",
"font": "serif",
"width": 9.468,
"textWidth": 9.468
}
]
},
{
"left": 11.905,
"top": 82.507,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "scientific ",
"font": "serif",
"width": 7.857,
"textWidth": 7.264
},
{
"text": "papers, ",
"font": "serif",
"width": 6.699,
"textWidth": 6.075
},
{
"text": "technical ",
"font": "serif",
"width": 7.956,
"textWidth": 7.363
},
{
"text": "reports, ",
"font": "serif",
"width": 6.978,
"textWidth": 6.352
},
{
"text": "and ",
"font": "serif",
"width": 3.755,
"textWidth": 3.165
},
{
"text": "other ",
"font": "serif",
"width": 4.944,
"textWidth": 4.352
},
{
"text": "materials ",
"font": "serif",
"width": 8.234,
"textWidth": 7.643
},
{
"text": "that ",
"font": "serif",
"width": 3.834,
"textWidth": 3.241
},
{
"text": "reflect ",
"font": "serif",
"width": 5.664,
"textWidth": 5.071
},
{
"text": "unique ",
"font": "serif",
"width": 6.421,
"textWidth": 5.828
},
{
"text": "academic ",
"font": "serif",
"width": 8.352,
"textWidth": 7.761
},
{
"text": "values. ",
"font": "serif",
"width": 5.817,
"textWidth": 5.817
}
]
},
{
"left": 11.905,
"top": 84.116,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Combining ",
"font": "serif",
"width": 9.635,
"textWidth": 9.178
},
{
"text": "all ",
"font": "serif",
"width": 2.447,
"textWidth": 1.989
},
{
"text": "the ",
"font": "serif",
"width": 3.007,
"textWidth": 2.549
},
{
"text": "above, ",
"font": "serif",
"width": 5.775,
"textWidth": 5.318
},
{
"text": "our ",
"font": "serif",
"width": 3.296,
"textWidth": 2.838
},
{
"text": "pre-training ",
"font": "serif",
"width": 10.224,
"textWidth": 9.766
},
{
"text": "corpus ",
"font": "serif",
"width": 5.996,
"textWidth": 5.538
},
{
"text": "comprises ",
"font": "serif",
"width": 8.705,
"textWidth": 8.248
},
{
"text": "more ",
"font": "serif",
"width": 4.658,
"textWidth": 4.2
},
{
"text": "than ",
"font": "serif",
"width": 4.116,
"textWidth": 3.658
},
{
"text": "32T ",
"font": "serif",
"width": 3.423,
"textWidth": 2.965
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.272,
"textWidth": 5.814
},
{
"text": "containing ",
"font": "serif",
"width": 8.637,
"textWidth": 8.637
}
]
},
{
"left": 11.905,
"top": 85.726,
"width": 75.502,
"height": 1.296,
"words": [
{
"text": "mathematical ",
"font": "serif",
"width": 11.463,
"textWidth": 11.005
},
{
"text": "contents, ",
"font": "serif",
"width": 7.713,
"textWidth": 7.255
},
{
"text": "codes, ",
"font": "serif",
"width": 5.505,
"textWidth": 5.047
},
{
"text": "web ",
"font": "serif",
"width": 3.878,
"textWidth": 3.42
},
{
"text": "pages, ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "long ",
"font": "serif",
"width": 4.078,
"textWidth": 3.619
},
{
"text": "documents, ",
"font": "serif",
"width": 9.892,
"textWidth": 9.434
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "other ",
"font": "serif",
"width": 4.724,
"textWidth": 4.266
},
{
"text": "high-quality ",
"font": "serif",
"width": 10.484,
"textWidth": 10.026
},
{
"text": "categories. ",
"font": "serif",
"width": 8.595,
"textWidth": 8.595
}
]
},
{
"left": 14.75,
"top": 88.14,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.344,
"textWidth": 2.798
},
{
"text": "pre-training ",
"font": "serif",
"width": 10.479,
"textWidth": 9.933
},
{
"text": "data, ",
"font": "serif",
"width": 4.656,
"textWidth": 4.088
},
{
"text": "we ",
"font": "serif",
"width": 3.0,
"textWidth": 2.454
},
{
"text": "largely ",
"font": "serif",
"width": 6.249,
"textWidth": 5.703
},
{
"text": "follow ",
"font": "serif",
"width": 5.856,
"textWidth": 5.311
},
{
"text": "the ",
"font": "serif",
"width": 3.138,
"textWidth": 2.593
},
{
"text": "same ",
"font": "serif",
"width": 4.821,
"textWidth": 4.273
},
{
"text": "pre-processing ",
"font": "serif",
"width": 12.724,
"textWidth": 12.176
},
{
"text": "strategies ",
"font": "serif",
"width": 8.397,
"textWidth": 7.851
},
{
"text": "of ",
"font": "serif",
"width": 2.189,
"textWidth": 1.643
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.795,
"textWidth": 8.795
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "24 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"25": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.839,
"top": 10.472,
"width": 76.256,
"height": 1.296,
"words": [
{
"text": "V3. ",
"font": "serif",
"width": 3.304,
"textWidth": 2.735
},
{
"text": "For ",
"font": "serif",
"width": 3.239,
"textWidth": 2.782
},
{
"text": "tokenization, ",
"font": "serif",
"width": 11.189,
"textWidth": 10.732
},
{
"text": "on ",
"font": "serif",
"width": 2.553,
"textWidth": 2.096
},
{
"text": "top ",
"font": "serif",
"width": 3.194,
"textWidth": 2.737
},
{
"text": "of ",
"font": "serif",
"width": 2.092,
"textWidth": 1.633
},
{
"text": "the ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "DeepSeek-V3 ",
"font": "serif",
"width": 11.471,
"textWidth": 11.014
},
{
"text": "tokenizer, ",
"font": "serif",
"width": 8.505,
"textWidth": 8.048
},
{
"text": "we ",
"font": "serif",
"width": 2.897,
"textWidth": 2.44
},
{
"text": "introduce ",
"font": "serif",
"width": 8.373,
"textWidth": 7.916
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.929
},
{
"text": "few ",
"font": "serif",
"width": 3.516,
"textWidth": 3.059
},
{
"text": "special ",
"font": "serif",
"width": 6.088,
"textWidth": 5.631
},
{
"text": "tokens ",
"font": "serif",
"width": 5.413,
"textWidth": 5.413
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.903,
"textWidth": 2.381
},
{
"text": "context ",
"font": "serif",
"width": 6.539,
"textWidth": 6.017
},
{
"text": "construction, ",
"font": "serif",
"width": 11.287,
"textWidth": 10.75
},
{
"text": "and ",
"font": "serif",
"width": 3.686,
"textWidth": 3.165
},
{
"text": "still ",
"font": "serif",
"width": 3.555,
"textWidth": 3.034
},
{
"text": "remain ",
"font": "serif",
"width": 6.339,
"textWidth": 5.817
},
{
"text": "the ",
"font": "serif",
"width": 3.112,
"textWidth": 2.593
},
{
"text": "vocabulary ",
"font": "serif",
"width": 9.78,
"textWidth": 9.258
},
{
"text": "size ",
"font": "serif",
"width": 3.688,
"textWidth": 3.167
},
{
"text": "to ",
"font": "serif",
"width": 2.152,
"textWidth": 1.63
},
{
"text": "be ",
"font": "serif",
"width": 2.451,
"textWidth": 1.929
},
{
"text": "128K. ",
"font": "serif",
"width": 5.148,
"textWidth": 4.628
},
{
"text": "We ",
"font": "serif",
"width": 3.118,
"textWidth": 2.596
},
{
"text": "also ",
"font": "serif",
"width": 3.813,
"textWidth": 3.292
},
{
"text": "inherit ",
"font": "serif",
"width": 6.028,
"textWidth": 5.507
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "token-splitting ",
"font": "serif",
"width": 12.679,
"textWidth": 12.169
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.479,
"textWidth": 11.969
},
{
"text": "2024) ",
"font": "serif",
"width": 4.869,
"textWidth": 4.361
},
{
"text": "and ",
"font": "serif",
"width": 3.675,
"textWidth": 3.165
},
{
"text": "Fill-in-Middle ",
"font": "serif",
"width": 12.094,
"textWidth": 11.584
},
{
"text": "(FIM) ",
"font": "serif",
"width": 5.193,
"textWidth": 4.683
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.479,
"textWidth": 11.969
},
{
"text": "2024) ",
"font": "serif",
"width": 4.871,
"textWidth": 4.361
},
{
"text": "strategies ",
"font": "serif",
"width": 7.851,
"textWidth": 7.851
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "from ",
"font": "serif",
"width": 4.443,
"textWidth": 3.987
},
{
"text": "DeepSeek-V3. ",
"font": "serif",
"width": 12.081,
"textWidth": 11.512
},
{
"text": "Inspired ",
"font": "serif",
"width": 7.356,
"textWidth": 6.9
},
{
"text": "by ",
"font": "serif",
"width": 2.524,
"textWidth": 2.067
},
{
"text": "Ding ",
"font": "serif",
"width": 4.563,
"textWidth": 4.106
},
{
"text": "et ",
"font": "serif",
"width": 1.957,
"textWidth": 1.5
},
{
"text": "al. ",
"font": "serif",
"width": 2.397,
"textWidth": 1.94
},
{
"text": "(2024), ",
"font": "serif",
"width": 5.893,
"textWidth": 5.435
},
{
"text": "we ",
"font": "serif",
"width": 2.904,
"textWidth": 2.447
},
{
"text": "pack ",
"font": "serif",
"width": 4.372,
"textWidth": 3.916
},
{
"text": "documents ",
"font": "serif",
"width": 9.585,
"textWidth": 9.129
},
{
"text": "from ",
"font": "serif",
"width": 4.443,
"textWidth": 3.987
},
{
"text": "different ",
"font": "serif",
"width": 7.528,
"textWidth": 7.071
},
{
"text": "sources ",
"font": "serif",
"width": 6.145,
"textWidth": 6.145
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "into ",
"font": "serif",
"width": 3.742,
"textWidth": 3.262
},
{
"text": "appropriate ",
"font": "serif",
"width": 10.23,
"textWidth": 9.752
},
{
"text": "sequences ",
"font": "serif",
"width": 8.843,
"textWidth": 8.363
},
{
"text": "to ",
"font": "serif",
"width": 2.11,
"textWidth": 1.63
},
{
"text": "minimize ",
"font": "serif",
"width": 8.329,
"textWidth": 7.851
},
{
"text": "sample ",
"font": "serif",
"width": 6.421,
"textWidth": 5.941
},
{
"text": "truncation. ",
"font": "serif",
"width": 9.673,
"textWidth": 9.042
},
{
"text": "Different ",
"font": "serif",
"width": 7.875,
"textWidth": 7.397
},
{
"text": "from ",
"font": "serif",
"width": 4.479,
"textWidth": 4.0
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 12.032,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 2.454,
"textWidth": 2.454
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 48.698,
"height": 1.296,
"words": [
{
"text": "employ ",
"font": "serif",
"width": 6.608,
"textWidth": 6.15
},
{
"text": "sample-level ",
"font": "serif",
"width": 10.75,
"textWidth": 10.292
},
{
"text": "attention ",
"font": "serif",
"width": 7.712,
"textWidth": 7.253
},
{
"text": "masking ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "during ",
"font": "serif",
"width": 6.026,
"textWidth": 5.567
},
{
"text": "pre-training. ",
"font": "serif",
"width": 10.195,
"textWidth": 10.195
}
]
},
{
"left": 11.905,
"top": 22.432,
"width": 20.309,
"height": 1.296,
"words": [
{
"text": "4.2. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Pre-Training ",
"font": "serif-bold",
"width": 10.944,
"textWidth": 10.486
},
{
"text": "Setups ",
"font": "serif-bold",
"width": 5.699,
"textWidth": 5.699
}
]
},
{
"left": 11.905,
"top": 25.07,
"width": 16.087,
"height": 1.296,
"words": [
{
"text": "4.2.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Model ",
"font": "serif-bold-italic",
"width": 5.65,
"textWidth": 5.192
},
{
"text": "Setups ",
"font": "serif-bold-italic",
"width": 5.397,
"textWidth": 5.397
}
]
},
{
"left": 11.905,
"top": 27.733,
"width": 16.71,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Flash. ",
"font": "serif-bold",
"width": 16.71,
"textWidth": 16.71
}
]
},
{
"left": 30.437,
"top": 27.754,
"width": 57.657,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.911,
"textWidth": 2.487
},
{
"text": "set ",
"font": "serif",
"width": 2.631,
"textWidth": 2.207
},
{
"text": "the ",
"font": "serif",
"width": 2.915,
"textWidth": 2.491
},
{
"text": "number ",
"font": "serif",
"width": 6.703,
"textWidth": 6.277
},
{
"text": "of ",
"font": "serif",
"width": 2.002,
"textWidth": 1.579
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.217,
"textWidth": 9.793
},
{
"text": "layers ",
"font": "serif",
"width": 5.174,
"textWidth": 4.75
},
{
"text": "to ",
"font": "serif",
"width": 1.99,
"textWidth": 1.566
},
{
"text": "43 ",
"font": "serif",
"width": 2.222,
"textWidth": 1.796
},
{
"text": "and ",
"font": "serif",
"width": 3.464,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.915,
"textWidth": 2.491
},
{
"text": "hidden ",
"font": "serif",
"width": 6.092,
"textWidth": 5.668
},
{
"text": "dimension ",
"font": "serif",
"width": 8.421,
"textWidth": 8.421
}
]
},
{
"left": 13.361,
"top": 29.363,
"width": 74.733,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.095,
"textWidth": 1.63
},
{
"text": "4096. ",
"font": "serif",
"width": 4.798,
"textWidth": 4.206
},
{
"text": "For ",
"font": "serif",
"width": 3.264,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "first ",
"font": "serif",
"width": 3.737,
"textWidth": 3.269
},
{
"text": "two ",
"font": "serif",
"width": 3.654,
"textWidth": 3.189
},
{
"text": "layers, ",
"font": "serif",
"width": 5.879,
"textWidth": 5.412
},
{
"text": "we ",
"font": "serif",
"width": 2.922,
"textWidth": 2.454
},
{
"text": "use ",
"font": "serif",
"width": 3.281,
"textWidth": 2.815
},
{
"text": "pure ",
"font": "serif",
"width": 4.318,
"textWidth": 3.851
},
{
"text": "sliding ",
"font": "serif",
"width": 6.159,
"textWidth": 5.694
},
{
"text": "window ",
"font": "serif",
"width": 7.378,
"textWidth": 6.913
},
{
"text": "attention. ",
"font": "serif",
"width": 8.458,
"textWidth": 7.866
},
{
"text": "For ",
"font": "serif",
"width": 3.264,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.058,
"textWidth": 2.593
},
{
"text": "subsequent ",
"font": "serif",
"width": 9.408,
"textWidth": 9.408
}
]
},
{
"left": 11.905,
"top": 30.973,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "layers, ",
"font": "serif",
"width": 5.706,
"textWidth": 5.247
},
{
"text": "CSA ",
"font": "serif",
"width": 4.105,
"textWidth": 3.647
},
{
"text": "and ",
"font": "serif",
"width": 3.527,
"textWidth": 3.068
},
{
"text": "HCA ",
"font": "serif",
"width": 4.663,
"textWidth": 4.203
},
{
"text": "are ",
"font": "serif",
"width": 2.916,
"textWidth": 2.456
},
{
"text": "used ",
"font": "serif",
"width": 4.296,
"textWidth": 3.837
},
{
"text": "in ",
"font": "serif",
"width": 2.041,
"textWidth": 1.582
},
{
"text": "an ",
"font": "serif",
"width": 2.42,
"textWidth": 1.961
},
{
"text": "interleaved ",
"font": "serif",
"width": 9.517,
"textWidth": 9.059
},
{
"text": "manner. ",
"font": "serif",
"width": 7.089,
"textWidth": 6.518
},
{
"text": "For ",
"font": "serif",
"width": 3.172,
"textWidth": 2.713
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.558,
"textWidth": 4.1
},
{
"text": "we ",
"font": "serif",
"width": 2.838,
"textWidth": 2.38
},
{
"text": "set ",
"font": "serif",
"width": 2.686,
"textWidth": 2.228
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "compression ",
"font": "serif",
"width": 10.603,
"textWidth": 10.144
},
{
"text": "rate ",
"font": "serif",
"width": 3.081,
"textWidth": 3.081
}
]
},
{
"left": 13.772,
"top": 32.582,
"width": 32.759,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "4, ",
"font": "serif",
"width": 1.849,
"textWidth": 1.392
},
{
"text": "the ",
"font": "serif",
"width": 3.032,
"textWidth": 2.575
},
{
"text": "number ",
"font": "serif",
"width": 6.945,
"textWidth": 6.488
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.632
},
{
"text": "indexer ",
"font": "serif",
"width": 6.679,
"textWidth": 6.223
},
{
"text": "query ",
"font": "serif",
"width": 5.27,
"textWidth": 4.814
},
{
"text": "heads ",
"font": "serif",
"width": 4.819,
"textWidth": 4.819
}
]
},
{
"left": 49.177,
"top": 32.582,
"width": 27.757,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "64, ",
"font": "serif",
"width": 2.777,
"textWidth": 2.321
},
{
"text": "the ",
"font": "serif",
"width": 3.032,
"textWidth": 2.575
},
{
"text": "indexer ",
"font": "serif",
"width": 6.681,
"textWidth": 6.225
},
{
"text": "head ",
"font": "serif",
"width": 4.489,
"textWidth": 4.032
},
{
"text": "dimension ",
"font": "serif",
"width": 8.703,
"textWidth": 8.703
}
]
},
{
"left": 79.172,
"top": 32.582,
"width": 8.924,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.075,
"textWidth": 1.619
},
{
"text": "128, ",
"font": "serif",
"width": 3.705,
"textWidth": 3.249
},
{
"text": "and ",
"font": "serif",
"width": 3.143,
"textWidth": 3.143
}
]
},
{
"left": 11.905,
"top": 34.192,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.071,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.01,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.122,
"textWidth": 1.643
},
{
"text": "KV ",
"font": "serif",
"width": 3.183,
"textWidth": 2.707
},
{
"text": "entries ",
"font": "serif",
"width": 6.041,
"textWidth": 5.563
},
{
"text": "selected ",
"font": "serif",
"width": 7.081,
"textWidth": 6.604
},
{
"text": "for ",
"font": "serif",
"width": 2.86,
"textWidth": 2.381
},
{
"text": "sparse ",
"font": "serif",
"width": 5.754,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 7.877,
"textWidth": 7.399
},
{
"text": "(i.e., ",
"font": "serif",
"width": 3.946,
"textWidth": 3.464
},
{
"text": "attention ",
"font": "serif",
"width": 7.875,
"textWidth": 7.399
},
{
"text": "top-k) ",
"font": "serif",
"width": 5.516,
"textWidth": 5.038
},
{
"text": "to ",
"font": "serif",
"width": 2.107,
"textWidth": 1.63
},
{
"text": "512. ",
"font": "serif",
"width": 3.899,
"textWidth": 3.271
},
{
"text": "For ",
"font": "serif",
"width": 3.275,
"textWidth": 2.798
},
{
"text": "HCA, ",
"font": "serif",
"width": 4.802,
"textWidth": 4.802
}
]
},
{
"left": 11.828,
"top": 35.801,
"width": 23.113,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.987,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.828,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 3.125,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 10.995,
"textWidth": 10.462
},
{
"text": "rate ",
"font": "serif",
"width": 3.178,
"textWidth": 3.178
}
]
},
{
"left": 37.978,
"top": 35.801,
"width": 50.19,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.163,
"textWidth": 1.63
},
{
"text": "128. ",
"font": "serif",
"width": 4.06,
"textWidth": 3.271
},
{
"text": "For ",
"font": "serif",
"width": 3.331,
"textWidth": 2.798
},
{
"text": "both ",
"font": "serif",
"width": 4.284,
"textWidth": 3.752
},
{
"text": "CSA ",
"font": "serif",
"width": 4.292,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.697,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.333,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 2.987,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.83,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.066,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.176,
"textWidth": 1.643
},
{
"text": "query ",
"font": "serif",
"width": 4.847,
"textWidth": 4.847
}
]
},
{
"left": 11.905,
"top": 37.41,
"width": 4.843,
"height": 1.296,
"words": [
{
"text": "heads ",
"font": "serif",
"width": 4.843,
"textWidth": 4.843
}
]
},
{
"left": 19.399,
"top": 37.41,
"width": 21.184,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "64, ",
"font": "serif",
"width": 2.791,
"textWidth": 2.332
},
{
"text": "the ",
"font": "serif",
"width": 3.047,
"textWidth": 2.588
},
{
"text": "head ",
"font": "serif",
"width": 4.513,
"textWidth": 4.052
},
{
"text": "dimension ",
"font": "serif",
"width": 8.748,
"textWidth": 8.748
}
]
},
{
"left": 42.236,
"top": 37.41,
"width": 37.42,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "512, ",
"font": "serif",
"width": 3.724,
"textWidth": 3.265
},
{
"text": "and ",
"font": "serif",
"width": 3.619,
"textWidth": 3.158
},
{
"text": "the ",
"font": "serif",
"width": 3.047,
"textWidth": 2.588
},
{
"text": "query ",
"font": "serif",
"width": 5.296,
"textWidth": 4.837
},
{
"text": "compression ",
"font": "serif",
"width": 10.901,
"textWidth": 10.442
},
{
"text": "dimension ",
"font": "serif",
"width": 8.748,
"textWidth": 8.748
}
]
},
{
"left": 82.132,
"top": 37.41,
"width": 6.283,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "1024. ",
"font": "serif",
"width": 4.198,
"textWidth": 4.198
}
]
},
{
"left": 11.848,
"top": 39.02,
"width": 33.239,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.582,
"textWidth": 3.123
},
{
"text": "number ",
"font": "serif",
"width": 6.979,
"textWidth": 6.52
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.64
},
{
"text": "output ",
"font": "serif",
"width": 6.067,
"textWidth": 5.606
},
{
"text": "projection ",
"font": "serif",
"width": 8.716,
"textWidth": 8.257
},
{
"text": "groups ",
"font": "serif",
"width": 5.796,
"textWidth": 5.796
}
]
},
{
"left": 46.909,
"top": 39.02,
"width": 41.187,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.793,
"textWidth": 1.334
},
{
"text": "set ",
"font": "serif",
"width": 2.752,
"textWidth": 2.293
},
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "8, ",
"font": "serif",
"width": 1.86,
"textWidth": 1.399
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.158
},
{
"text": "the ",
"font": "serif",
"width": 3.047,
"textWidth": 2.588
},
{
"text": "dimension ",
"font": "serif",
"width": 9.207,
"textWidth": 8.748
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.64
},
{
"text": "each ",
"font": "serif",
"width": 4.201,
"textWidth": 3.741
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.526,
"textWidth": 10.526
}
]
},
{
"left": 11.905,
"top": 40.629,
"width": 13.517,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.9,
"textWidth": 7.399
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 28.101,
"top": 40.629,
"width": 59.994,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.837,
"textWidth": 1.337
},
{
"text": "set ",
"font": "serif",
"width": 2.796,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.131,
"textWidth": 1.63
},
{
"text": "1024. ",
"font": "serif",
"width": 4.901,
"textWidth": 4.206
},
{
"text": "For ",
"font": "serif",
"width": 3.299,
"textWidth": 2.798
},
{
"text": "the ",
"font": "serif",
"width": 3.092,
"textWidth": 2.593
},
{
"text": "additional ",
"font": "serif",
"width": 9.004,
"textWidth": 8.503
},
{
"text": "branch ",
"font": "serif",
"width": 6.213,
"textWidth": 5.712
},
{
"text": "of ",
"font": "serif",
"width": 2.142,
"textWidth": 1.643
},
{
"text": "sliding ",
"font": "serif",
"width": 6.195,
"textWidth": 5.694
},
{
"text": "window ",
"font": "serif",
"width": 7.414,
"textWidth": 6.913
},
{
"text": "attention, ",
"font": "serif",
"width": 8.376,
"textWidth": 7.866
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.828,
"top": 42.238,
"width": 10.586,
"height": 1.296,
"words": [
{
"text": "window ",
"font": "serif",
"width": 7.419,
"textWidth": 6.913
},
{
"text": "size ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 23.876,
"top": 42.238,
"width": 64.219,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.875,
"textWidth": 2.285
},
{
"text": "is ",
"font": "serif",
"width": 1.843,
"textWidth": 1.337
},
{
"text": "set ",
"font": "serif",
"width": 2.804,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.135,
"textWidth": 1.63
},
{
"text": "128. ",
"font": "serif",
"width": 3.983,
"textWidth": 3.271
},
{
"text": "We ",
"font": "serif",
"width": 3.103,
"textWidth": 2.596
},
{
"text": "employ ",
"font": "serif",
"width": 6.78,
"textWidth": 6.273
},
{
"text": "MoE ",
"font": "serif",
"width": 4.438,
"textWidth": 3.931
},
{
"text": "layers ",
"font": "serif",
"width": 5.449,
"textWidth": 4.944
},
{
"text": "in ",
"font": "serif",
"width": 2.138,
"textWidth": 1.632
},
{
"text": "all ",
"font": "serif",
"width": 2.529,
"textWidth": 2.023
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.707,
"textWidth": 10.201
},
{
"text": "blocks, ",
"font": "serif",
"width": 6.245,
"textWidth": 5.726
},
{
"text": "but ",
"font": "serif",
"width": 3.275,
"textWidth": 2.77
},
{
"text": "use ",
"font": "serif",
"width": 3.322,
"textWidth": 2.815
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 43.848,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Hash ",
"font": "serif",
"width": 4.676,
"textWidth": 4.216
},
{
"text": "routing ",
"font": "serif",
"width": 6.376,
"textWidth": 5.917
},
{
"text": "strategy ",
"font": "serif",
"width": 6.883,
"textWidth": 6.423
},
{
"text": "for ",
"font": "serif",
"width": 2.757,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 2.961,
"textWidth": 2.501
},
{
"text": "first ",
"font": "serif",
"width": 3.616,
"textWidth": 3.156
},
{
"text": "3 ",
"font": "serif",
"width": 1.361,
"textWidth": 0.902
},
{
"text": "MoE ",
"font": "serif",
"width": 4.252,
"textWidth": 3.792
},
{
"text": "layers. ",
"font": "serif",
"width": 5.794,
"textWidth": 5.221
},
{
"text": "Each ",
"font": "serif",
"width": 4.313,
"textWidth": 3.854
},
{
"text": "MoE ",
"font": "serif",
"width": 4.252,
"textWidth": 3.792
},
{
"text": "layer ",
"font": "serif",
"width": 4.465,
"textWidth": 4.005
},
{
"text": "consists ",
"font": "serif",
"width": 6.701,
"textWidth": 6.241
},
{
"text": "of ",
"font": "serif",
"width": 2.045,
"textWidth": 1.585
},
{
"text": "1 ",
"font": "serif",
"width": 1.361,
"textWidth": 0.902
},
{
"text": "shared ",
"font": "serif",
"width": 5.821,
"textWidth": 5.361
},
{
"text": "expert ",
"font": "serif",
"width": 5.502,
"textWidth": 5.042
},
{
"text": "and ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 11.905,
"top": 45.457,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "256 ",
"font": "serif",
"width": 3.136,
"textWidth": 2.694
},
{
"text": "routed ",
"font": "serif",
"width": 5.724,
"textWidth": 5.282
},
{
"text": "experts, ",
"font": "serif",
"width": 6.677,
"textWidth": 6.232
},
{
"text": "where ",
"font": "serif",
"width": 5.381,
"textWidth": 4.939
},
{
"text": "the ",
"font": "serif",
"width": 2.933,
"textWidth": 2.491
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.575,
"textWidth": 10.133
},
{
"text": "hidden ",
"font": "serif",
"width": 6.108,
"textWidth": 5.668
},
{
"text": "dimension ",
"font": "serif",
"width": 8.863,
"textWidth": 8.421
},
{
"text": "of ",
"font": "serif",
"width": 2.02,
"textWidth": 1.579
},
{
"text": "each ",
"font": "serif",
"width": 4.043,
"textWidth": 3.601
},
{
"text": "expert ",
"font": "serif",
"width": 5.463,
"textWidth": 5.022
},
{
"text": "is ",
"font": "serif",
"width": 1.724,
"textWidth": 1.284
},
{
"text": "2048. ",
"font": "serif",
"width": 4.605,
"textWidth": 4.041
},
{
"text": "Among ",
"font": "serif",
"width": 6.447,
"textWidth": 6.007
},
{
"text": "the ",
"font": "serif",
"width": 2.491,
"textWidth": 2.491
}
]
},
{
"left": 11.905,
"top": 47.067,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "routed ",
"font": "serif",
"width": 5.897,
"textWidth": 5.44
},
{
"text": "experts, ",
"font": "serif",
"width": 6.875,
"textWidth": 6.416
},
{
"text": "6 ",
"font": "serif",
"width": 1.381,
"textWidth": 0.925
},
{
"text": "experts ",
"font": "serif",
"width": 6.411,
"textWidth": 5.954
},
{
"text": "will ",
"font": "serif",
"width": 3.613,
"textWidth": 3.156
},
{
"text": "be ",
"font": "serif",
"width": 2.365,
"textWidth": 1.908
},
{
"text": "activated ",
"font": "serif",
"width": 7.933,
"textWidth": 7.474
},
{
"text": "for ",
"font": "serif",
"width": 2.812,
"textWidth": 2.356
},
{
"text": "each ",
"font": "serif",
"width": 4.164,
"textWidth": 3.707
},
{
"text": "token. ",
"font": "serif",
"width": 5.632,
"textWidth": 5.065
},
{
"text": "The ",
"font": "serif",
"width": 3.552,
"textWidth": 3.095
},
{
"text": "multi-token ",
"font": "serif",
"width": 10.102,
"textWidth": 9.645
},
{
"text": "prediction ",
"font": "serif",
"width": 8.868,
"textWidth": 8.412
},
{
"text": "depth ",
"font": "serif",
"width": 5.263,
"textWidth": 4.806
},
{
"text": "is ",
"font": "serif",
"width": 1.322,
"textWidth": 1.322
}
]
},
{
"left": 11.905,
"top": 48.676,
"width": 12.018,
"height": 1.296,
"words": [
{
"text": "set ",
"font": "serif",
"width": 2.776,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.107,
"textWidth": 1.63
},
{
"text": "1. ",
"font": "serif",
"width": 2.028,
"textWidth": 1.402
},
{
"text": "As ",
"font": "serif",
"width": 2.725,
"textWidth": 2.247
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 24.399,
"top": 48.649,
"width": 1.454,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.454,
"textWidth": 1.454
}
]
},
{
"left": 25.853,
"top": 48.676,
"width": 20.581,
"height": 1.296,
"words": [
{
"text": "HC, ",
"font": "serif",
"width": 3.826,
"textWidth": 3.348
},
{
"text": "the ",
"font": "serif",
"width": 3.069,
"textWidth": 2.593
},
{
"text": "expansion ",
"font": "serif",
"width": 8.929,
"textWidth": 8.451
},
{
"text": "factor ",
"font": "serif",
"width": 4.755,
"textWidth": 4.755
}
]
},
{
"left": 47.868,
"top": 48.676,
"width": 40.283,
"height": 1.425,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.935,
"textWidth": 1.374
},
{
"text": "is ",
"font": "serif",
"width": 1.815,
"textWidth": 1.337
},
{
"text": "set ",
"font": "serif",
"width": 2.774,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.109,
"textWidth": 1.63
},
{
"text": "4, ",
"font": "serif",
"width": 1.884,
"textWidth": 1.402
},
{
"text": "and ",
"font": "serif",
"width": 3.641,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.071,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.01,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.122,
"textWidth": 1.643
},
{
"text": "Sinkhorn-Knopp ",
"font": "serif",
"width": 13.922,
"textWidth": 13.922
}
]
},
{
"left": 11.905,
"top": 50.285,
"width": 7.761,
"height": 1.296,
"words": [
{
"text": "iterations ",
"font": "serif",
"width": 7.761,
"textWidth": 7.761
}
]
},
{
"left": 20.702,
"top": 50.285,
"width": 67.393,
"height": 1.392,
"words": [
{
"text": "max ",
"font": "serif",
"width": 3.084,
"textWidth": 2.543
},
{
"text": "is ",
"font": "serif",
"width": 1.791,
"textWidth": 1.334
},
{
"text": "set ",
"font": "serif",
"width": 2.75,
"textWidth": 2.293
},
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "20. ",
"font": "serif",
"width": 2.899,
"textWidth": 2.332
},
{
"text": "Under ",
"font": "serif",
"width": 5.765,
"textWidth": 5.308
},
{
"text": "this ",
"font": "serif",
"width": 3.485,
"textWidth": 3.028
},
{
"text": "configuration, ",
"font": "serif",
"width": 12.074,
"textWidth": 11.615
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.525,
"textWidth": 16.068
},
{
"text": "comprises ",
"font": "serif",
"width": 8.828,
"textWidth": 8.371
},
{
"text": "284B ",
"font": "serif",
"width": 4.395,
"textWidth": 3.938
},
{
"text": "total ",
"font": "serif",
"width": 3.711,
"textWidth": 3.711
}
]
},
{
"left": 11.85,
"top": 51.895,
"width": 43.746,
"height": 1.296,
"words": [
{
"text": "parameters, ",
"font": "serif",
"width": 10.046,
"textWidth": 9.588
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "which ",
"font": "serif",
"width": 5.467,
"textWidth": 5.009
},
{
"text": "13B ",
"font": "serif",
"width": 3.41,
"textWidth": 2.952
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "activated ",
"font": "serif",
"width": 7.866,
"textWidth": 7.407
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "token. ",
"font": "serif",
"width": 5.02,
"textWidth": 5.02
}
]
},
{
"left": 11.905,
"top": 56.101,
"width": 15.377,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro. ",
"font": "serif-bold",
"width": 15.377,
"textWidth": 15.377
}
]
},
{
"left": 29.103,
"top": 56.122,
"width": 58.992,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.993,
"textWidth": 2.534
},
{
"text": "set ",
"font": "serif",
"width": 2.704,
"textWidth": 2.246
},
{
"text": "the ",
"font": "serif",
"width": 2.993,
"textWidth": 2.534
},
{
"text": "number ",
"font": "serif",
"width": 6.844,
"textWidth": 6.386
},
{
"text": "of ",
"font": "serif",
"width": 2.066,
"textWidth": 1.606
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.424,
"textWidth": 9.965
},
{
"text": "layers ",
"font": "serif",
"width": 5.291,
"textWidth": 4.833
},
{
"text": "to ",
"font": "serif",
"width": 2.054,
"textWidth": 1.593
},
{
"text": "61 ",
"font": "serif",
"width": 2.286,
"textWidth": 1.827
},
{
"text": "and ",
"font": "serif",
"width": 3.552,
"textWidth": 3.093
},
{
"text": "the ",
"font": "serif",
"width": 2.993,
"textWidth": 2.534
},
{
"text": "hidden ",
"font": "serif",
"width": 6.225,
"textWidth": 5.766
},
{
"text": "dimension ",
"font": "serif",
"width": 8.567,
"textWidth": 8.567
}
]
},
{
"left": 13.353,
"top": 57.731,
"width": 74.743,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.08,
"textWidth": 1.622
},
{
"text": "7168. ",
"font": "serif",
"width": 4.754,
"textWidth": 4.185
},
{
"text": "For ",
"font": "serif",
"width": 3.242,
"textWidth": 2.785
},
{
"text": "the ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "first ",
"font": "serif",
"width": 3.713,
"textWidth": 3.255
},
{
"text": "two ",
"font": "serif",
"width": 3.631,
"textWidth": 3.173
},
{
"text": "layers, ",
"font": "serif",
"width": 5.844,
"textWidth": 5.385
},
{
"text": "we ",
"font": "serif",
"width": 2.9,
"textWidth": 2.44
},
{
"text": "use ",
"font": "serif",
"width": 3.259,
"textWidth": 2.801
},
{
"text": "HCA. ",
"font": "serif",
"width": 5.236,
"textWidth": 4.779
},
{
"text": "For ",
"font": "serif",
"width": 3.242,
"textWidth": 2.785
},
{
"text": "the ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "subsequent ",
"font": "serif",
"width": 9.821,
"textWidth": 9.362
},
{
"text": "layers, ",
"font": "serif",
"width": 5.843,
"textWidth": 5.385
},
{
"text": "CSA ",
"font": "serif",
"width": 4.2,
"textWidth": 3.743
},
{
"text": "and ",
"font": "serif",
"width": 3.607,
"textWidth": 3.149
},
{
"text": "HCA ",
"font": "serif",
"width": 4.771,
"textWidth": 4.314
},
{
"text": "are ",
"font": "serif",
"width": 2.524,
"textWidth": 2.524
}
]
},
{
"left": 11.905,
"top": 59.34,
"width": 57.779,
"height": 1.296,
"words": [
{
"text": "used ",
"font": "serif",
"width": 4.488,
"textWidth": 3.957
},
{
"text": "in ",
"font": "serif",
"width": 2.161,
"textWidth": 1.632
},
{
"text": "an ",
"font": "serif",
"width": 2.553,
"textWidth": 2.023
},
{
"text": "interleaved ",
"font": "serif",
"width": 9.873,
"textWidth": 9.343
},
{
"text": "manner. ",
"font": "serif",
"width": 7.511,
"textWidth": 6.726
},
{
"text": "For ",
"font": "serif",
"width": 3.327,
"textWidth": 2.798
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.759,
"textWidth": 4.228
},
{
"text": "we ",
"font": "serif",
"width": 2.985,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.826,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 10.993,
"textWidth": 10.462
},
{
"text": "rate ",
"font": "serif",
"width": 3.178,
"textWidth": 3.178
}
]
},
{
"left": 72.155,
"top": 59.34,
"width": 15.939,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.161,
"textWidth": 1.63
},
{
"text": "4, ",
"font": "serif",
"width": 1.95,
"textWidth": 1.402
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 7.062,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 60.95,
"width": 16.128,
"height": 1.296,
"words": [
{
"text": "indexer ",
"font": "serif",
"width": 6.415,
"textWidth": 6.022
},
{
"text": "query ",
"font": "serif",
"width": 5.05,
"textWidth": 4.657
},
{
"text": "heads ",
"font": "serif",
"width": 4.662,
"textWidth": 4.662
}
]
},
{
"left": 30.552,
"top": 60.95,
"width": 26.625,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 1.959,
"textWidth": 1.566
},
{
"text": "64, ",
"font": "serif",
"width": 2.651,
"textWidth": 2.245
},
{
"text": "the ",
"font": "serif",
"width": 2.884,
"textWidth": 2.491
},
{
"text": "indexer ",
"font": "serif",
"width": 6.415,
"textWidth": 6.022
},
{
"text": "head ",
"font": "serif",
"width": 4.294,
"textWidth": 3.901
},
{
"text": "dimension ",
"font": "serif",
"width": 8.421,
"textWidth": 8.421
}
]
},
{
"left": 59.287,
"top": 60.95,
"width": 28.807,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 1.959,
"textWidth": 1.566
},
{
"text": "128, ",
"font": "serif",
"width": 3.549,
"textWidth": 3.143
},
{
"text": "and ",
"font": "serif",
"width": 3.434,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.884,
"textWidth": 2.491
},
{
"text": "number ",
"font": "serif",
"width": 6.67,
"textWidth": 6.277
},
{
"text": "of ",
"font": "serif",
"width": 1.972,
"textWidth": 1.579
},
{
"text": "KV ",
"font": "serif",
"width": 2.994,
"textWidth": 2.601
},
{
"text": "entries ",
"font": "serif",
"width": 5.345,
"textWidth": 5.345
}
]
},
{
"left": 11.905,
"top": 62.559,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "selected ",
"font": "serif",
"width": 7.114,
"textWidth": 6.604
},
{
"text": "for ",
"font": "serif",
"width": 2.894,
"textWidth": 2.381
},
{
"text": "sparse ",
"font": "serif",
"width": 5.787,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 7.911,
"textWidth": 7.399
},
{
"text": "(i.e., ",
"font": "serif",
"width": 3.987,
"textWidth": 3.464
},
{
"text": "attention ",
"font": "serif",
"width": 7.911,
"textWidth": 7.399
},
{
"text": "top-k) ",
"font": "serif",
"width": 5.548,
"textWidth": 5.038
},
{
"text": "to ",
"font": "serif",
"width": 2.142,
"textWidth": 1.63
},
{
"text": "1024. ",
"font": "serif",
"width": 4.933,
"textWidth": 4.206
},
{
"text": "For ",
"font": "serif",
"width": 3.309,
"textWidth": 2.798
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.314,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 2.965,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.81,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 3.103,
"textWidth": 2.593
},
{
"text": "compression ",
"font": "serif",
"width": 10.464,
"textWidth": 10.464
}
]
},
{
"left": 11.905,
"top": 64.169,
"width": 3.178,
"height": 1.296,
"words": [
{
"text": "rate ",
"font": "serif",
"width": 3.178,
"textWidth": 3.178
}
]
},
{
"left": 17.979,
"top": 64.169,
"width": 54.519,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.092,
"textWidth": 1.63
},
{
"text": "128. ",
"font": "serif",
"width": 3.851,
"textWidth": 3.271
},
{
"text": "For ",
"font": "serif",
"width": 3.26,
"textWidth": 2.798
},
{
"text": "both ",
"font": "serif",
"width": 4.213,
"textWidth": 3.752
},
{
"text": "CSA ",
"font": "serif",
"width": 4.223,
"textWidth": 3.761
},
{
"text": "and ",
"font": "serif",
"width": 3.626,
"textWidth": 3.165
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.264,
"textWidth": 4.802
},
{
"text": "we ",
"font": "serif",
"width": 2.916,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.759,
"textWidth": 2.297
},
{
"text": "the ",
"font": "serif",
"width": 3.054,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 6.995,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.105,
"textWidth": 1.643
},
{
"text": "query ",
"font": "serif",
"width": 5.311,
"textWidth": 4.847
},
{
"text": "heads ",
"font": "serif",
"width": 4.851,
"textWidth": 4.851
}
]
},
{
"left": 75.155,
"top": 64.169,
"width": 12.941,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.092,
"textWidth": 1.63
},
{
"text": "128, ",
"font": "serif",
"width": 3.735,
"textWidth": 3.271
},
{
"text": "the ",
"font": "serif",
"width": 3.054,
"textWidth": 2.593
},
{
"text": "head ",
"font": "serif",
"width": 4.06,
"textWidth": 4.06
}
]
},
{
"left": 11.905,
"top": 65.778,
"width": 8.765,
"height": 1.296,
"words": [
{
"text": "dimension ",
"font": "serif",
"width": 8.765,
"textWidth": 8.765
}
]
},
{
"left": 22.398,
"top": 65.778,
"width": 37.72,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.125,
"textWidth": 1.63
},
{
"text": "512, ",
"font": "serif",
"width": 3.778,
"textWidth": 3.271
},
{
"text": "and ",
"font": "serif",
"width": 3.662,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.088,
"textWidth": 2.593
},
{
"text": "query ",
"font": "serif",
"width": 5.344,
"textWidth": 4.847
},
{
"text": "compression ",
"font": "serif",
"width": 10.958,
"textWidth": 10.462
},
{
"text": "dimension ",
"font": "serif",
"width": 8.765,
"textWidth": 8.765
}
]
},
{
"left": 62.669,
"top": 65.778,
"width": 25.426,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.127,
"textWidth": 1.63
},
{
"text": "1536. ",
"font": "serif",
"width": 4.888,
"textWidth": 4.206
},
{
"text": "The ",
"font": "serif",
"width": 3.625,
"textWidth": 3.129
},
{
"text": "number ",
"font": "serif",
"width": 7.03,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.138,
"textWidth": 1.643
},
{
"text": "output ",
"font": "serif",
"width": 5.617,
"textWidth": 5.617
}
]
},
{
"left": 11.85,
"top": 67.387,
"width": 13.973,
"height": 1.296,
"words": [
{
"text": "projection ",
"font": "serif",
"width": 8.393,
"textWidth": 7.949
},
{
"text": "groups ",
"font": "serif",
"width": 5.58,
"textWidth": 5.58
}
]
},
{
"left": 27.616,
"top": 67.387,
"width": 53.972,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.73,
"textWidth": 1.284
},
{
"text": "set ",
"font": "serif",
"width": 2.653,
"textWidth": 2.207
},
{
"text": "to ",
"font": "serif",
"width": 2.011,
"textWidth": 1.566
},
{
"text": "16, ",
"font": "serif",
"width": 2.692,
"textWidth": 2.245
},
{
"text": "and ",
"font": "serif",
"width": 3.486,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.936,
"textWidth": 2.491
},
{
"text": "dimension ",
"font": "serif",
"width": 8.867,
"textWidth": 8.421
},
{
"text": "of ",
"font": "serif",
"width": 2.024,
"textWidth": 1.579
},
{
"text": "each ",
"font": "serif",
"width": 4.046,
"textWidth": 3.601
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.578,
"textWidth": 10.133
},
{
"text": "attention ",
"font": "serif",
"width": 7.552,
"textWidth": 7.108
},
{
"text": "output ",
"font": "serif",
"width": 5.397,
"textWidth": 5.397
}
]
},
{
"left": 84.159,
"top": 67.387,
"width": 3.937,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.73,
"textWidth": 1.284
},
{
"text": "set ",
"font": "serif",
"width": 2.207,
"textWidth": 2.207
}
]
},
{
"left": 11.905,
"top": 68.997,
"width": 65.775,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.628
},
{
"text": "1024. ",
"font": "serif",
"width": 4.769,
"textWidth": 4.202
},
{
"text": "For ",
"font": "serif",
"width": 3.255,
"textWidth": 2.796
},
{
"text": "the ",
"font": "serif",
"width": 3.048,
"textWidth": 2.59
},
{
"text": "additional ",
"font": "serif",
"width": 8.952,
"textWidth": 8.495
},
{
"text": "branch ",
"font": "serif",
"width": 6.164,
"textWidth": 5.707
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.641
},
{
"text": "sliding ",
"font": "serif",
"width": 6.146,
"textWidth": 5.688
},
{
"text": "window ",
"font": "serif",
"width": 7.363,
"textWidth": 6.906
},
{
"text": "attention, ",
"font": "serif",
"width": 8.318,
"textWidth": 7.858
},
{
"text": "the ",
"font": "serif",
"width": 3.048,
"textWidth": 2.59
},
{
"text": "window ",
"font": "serif",
"width": 7.363,
"textWidth": 6.906
},
{
"text": "size ",
"font": "serif",
"width": 3.163,
"textWidth": 3.163
}
]
},
{
"left": 79.094,
"top": 68.997,
"width": 9.001,
"height": 1.396,
"words": [
{
"text": "win ",
"font": "serif",
"width": 2.827,
"textWidth": 2.285
},
{
"text": "is ",
"font": "serif",
"width": 1.793,
"textWidth": 1.335
},
{
"text": "set ",
"font": "serif",
"width": 2.753,
"textWidth": 2.295
},
{
"text": "to ",
"font": "serif",
"width": 1.628,
"textWidth": 1.628
}
]
},
{
"left": 11.813,
"top": 70.606,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "128. ",
"font": "serif",
"width": 3.748,
"textWidth": 3.175
},
{
"text": "We ",
"font": "serif",
"width": 2.974,
"textWidth": 2.515
},
{
"text": "employ ",
"font": "serif",
"width": 6.548,
"textWidth": 6.089
},
{
"text": "MoE ",
"font": "serif",
"width": 4.276,
"textWidth": 3.815
},
{
"text": "layers ",
"font": "serif",
"width": 5.258,
"textWidth": 4.797
},
{
"text": "in ",
"font": "serif",
"width": 2.043,
"textWidth": 1.584
},
{
"text": "all ",
"font": "serif",
"width": 2.422,
"textWidth": 1.963
},
{
"text": "Transformer ",
"font": "serif",
"width": 10.356,
"textWidth": 9.897
},
{
"text": "blocks, ",
"font": "serif",
"width": 6.018,
"textWidth": 5.559
},
{
"text": "but ",
"font": "serif",
"width": 3.15,
"textWidth": 2.689
},
{
"text": "use ",
"font": "serif",
"width": 3.191,
"textWidth": 2.732
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "Hash ",
"font": "serif",
"width": 4.703,
"textWidth": 4.242
},
{
"text": "routing ",
"font": "serif",
"width": 6.412,
"textWidth": 5.951
},
{
"text": "strategy ",
"font": "serif",
"width": 6.922,
"textWidth": 6.462
},
{
"text": "for ",
"font": "serif",
"width": 2.77,
"textWidth": 2.311
},
{
"text": "the ",
"font": "serif",
"width": 2.516,
"textWidth": 2.516
}
]
},
{
"left": 11.905,
"top": 72.215,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "first ",
"font": "serif",
"width": 3.74,
"textWidth": 3.271
},
{
"text": "3 ",
"font": "serif",
"width": 1.404,
"textWidth": 0.935
},
{
"text": "MoE ",
"font": "serif",
"width": 4.398,
"textWidth": 3.931
},
{
"text": "layers. ",
"font": "serif",
"width": 6.013,
"textWidth": 5.412
},
{
"text": "Each ",
"font": "serif",
"width": 4.462,
"textWidth": 3.995
},
{
"text": "MoE ",
"font": "serif",
"width": 4.4,
"textWidth": 3.931
},
{
"text": "layer ",
"font": "serif",
"width": 4.621,
"textWidth": 4.152
},
{
"text": "consists ",
"font": "serif",
"width": 6.939,
"textWidth": 6.47
},
{
"text": "of ",
"font": "serif",
"width": 2.112,
"textWidth": 1.643
},
{
"text": "1 ",
"font": "serif",
"width": 1.402,
"textWidth": 0.935
},
{
"text": "shared ",
"font": "serif",
"width": 6.028,
"textWidth": 5.559
},
{
"text": "expert ",
"font": "serif",
"width": 5.694,
"textWidth": 5.226
},
{
"text": "and ",
"font": "serif",
"width": 3.634,
"textWidth": 3.165
},
{
"text": "384 ",
"font": "serif",
"width": 3.273,
"textWidth": 2.804
},
{
"text": "routed ",
"font": "serif",
"width": 5.969,
"textWidth": 5.499
},
{
"text": "experts, ",
"font": "serif",
"width": 6.957,
"textWidth": 6.486
},
{
"text": "where ",
"font": "serif",
"width": 5.144,
"textWidth": 5.144
}
]
},
{
"left": 11.905,
"top": 73.825,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.977,
"textWidth": 2.516
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.695,
"textWidth": 10.234
},
{
"text": "hidden ",
"font": "serif",
"width": 6.185,
"textWidth": 5.726
},
{
"text": "dimension ",
"font": "serif",
"width": 8.968,
"textWidth": 8.507
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.595
},
{
"text": "each ",
"font": "serif",
"width": 4.097,
"textWidth": 3.636
},
{
"text": "expert ",
"font": "serif",
"width": 5.534,
"textWidth": 5.073
},
{
"text": "is ",
"font": "serif",
"width": 1.756,
"textWidth": 1.297
},
{
"text": "3072. ",
"font": "serif",
"width": 4.655,
"textWidth": 4.082
},
{
"text": "Among ",
"font": "serif",
"width": 6.53,
"textWidth": 6.069
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "routed ",
"font": "serif",
"width": 5.798,
"textWidth": 5.338
},
{
"text": "experts, ",
"font": "serif",
"width": 6.755,
"textWidth": 6.294
},
{
"text": "6 ",
"font": "serif",
"width": 1.368,
"textWidth": 0.907
},
{
"text": "experts ",
"font": "serif",
"width": 5.842,
"textWidth": 5.842
}
]
},
{
"left": 11.828,
"top": 75.434,
"width": 68.021,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.622,
"textWidth": 3.163
},
{
"text": "be ",
"font": "serif",
"width": 2.37,
"textWidth": 1.912
},
{
"text": "activated ",
"font": "serif",
"width": 7.948,
"textWidth": 7.489
},
{
"text": "for ",
"font": "serif",
"width": 2.818,
"textWidth": 2.36
},
{
"text": "each ",
"font": "serif",
"width": 4.174,
"textWidth": 3.715
},
{
"text": "token. ",
"font": "serif",
"width": 5.645,
"textWidth": 5.075
},
{
"text": "The ",
"font": "serif",
"width": 3.559,
"textWidth": 3.102
},
{
"text": "multi-token ",
"font": "serif",
"width": 10.124,
"textWidth": 9.664
},
{
"text": "prediction ",
"font": "serif",
"width": 8.886,
"textWidth": 8.426
},
{
"text": "depth ",
"font": "serif",
"width": 5.273,
"textWidth": 4.815
},
{
"text": "is ",
"font": "serif",
"width": 1.784,
"textWidth": 1.325
},
{
"text": "set ",
"font": "serif",
"width": 2.737,
"textWidth": 2.277
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "1. ",
"font": "serif",
"width": 1.96,
"textWidth": 1.39
},
{
"text": "As ",
"font": "serif",
"width": 2.687,
"textWidth": 2.227
},
{
"text": "for ",
"font": "serif",
"width": 2.36,
"textWidth": 2.36
}
]
},
{
"left": 80.306,
"top": 75.407,
"width": 1.441,
"height": 1.296,
"words": [
{
"text": "m ",
"font": "serif-italic",
"width": 1.441,
"textWidth": 1.441
}
]
},
{
"left": 81.748,
"top": 75.434,
"width": 6.348,
"height": 1.296,
"words": [
{
"text": "HC, ",
"font": "serif",
"width": 3.778,
"textWidth": 3.318
},
{
"text": "the ",
"font": "serif",
"width": 2.57,
"textWidth": 2.57
}
]
},
{
"left": 11.905,
"top": 77.043,
"width": 13.664,
"height": 1.296,
"words": [
{
"text": "expansion ",
"font": "serif",
"width": 8.909,
"textWidth": 8.451
},
{
"text": "factor ",
"font": "serif",
"width": 4.755,
"textWidth": 4.755
}
]
},
{
"left": 26.984,
"top": 77.043,
"width": 48.335,
"height": 1.425,
"words": [
{
"text": "hc ",
"font": "serif",
"width": 1.916,
"textWidth": 1.374
},
{
"text": "is ",
"font": "serif",
"width": 1.794,
"textWidth": 1.337
},
{
"text": "set ",
"font": "serif",
"width": 2.755,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.088,
"textWidth": 1.63
},
{
"text": "4, ",
"font": "serif",
"width": 1.86,
"textWidth": 1.402
},
{
"text": "and ",
"font": "serif",
"width": 3.623,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.051,
"textWidth": 2.593
},
{
"text": "number ",
"font": "serif",
"width": 6.991,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "Sinkhorn-Knopp ",
"font": "serif",
"width": 14.38,
"textWidth": 13.92
},
{
"text": "iterations ",
"font": "serif",
"width": 7.774,
"textWidth": 7.774
}
]
},
{
"left": 76.357,
"top": 77.043,
"width": 12.059,
"height": 1.392,
"words": [
{
"text": "max ",
"font": "serif",
"width": 3.084,
"textWidth": 2.543
},
{
"text": "is ",
"font": "serif",
"width": 1.794,
"textWidth": 1.337
},
{
"text": "set ",
"font": "serif",
"width": 2.755,
"textWidth": 2.297
},
{
"text": "to ",
"font": "serif",
"width": 2.088,
"textWidth": 1.63
},
{
"text": "20. ",
"font": "serif",
"width": 2.337,
"textWidth": 2.337
}
]
},
{
"left": 11.905,
"top": 78.653,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Under ",
"font": "serif",
"width": 5.588,
"textWidth": 5.13
},
{
"text": "this ",
"font": "serif",
"width": 3.385,
"textWidth": 2.927
},
{
"text": "configuration, ",
"font": "serif",
"width": 11.685,
"textWidth": 11.227
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.99,
"textWidth": 15.532
},
{
"text": "comprises ",
"font": "serif",
"width": 8.549,
"textWidth": 8.091
},
{
"text": "1.6T ",
"font": "serif",
"width": 3.818,
"textWidth": 3.36
},
{
"text": "total ",
"font": "serif",
"width": 4.045,
"textWidth": 3.587
},
{
"text": "parameters, ",
"font": "serif",
"width": 9.893,
"textWidth": 9.435
},
{
"text": "of ",
"font": "serif",
"width": 2.043,
"textWidth": 1.585
},
{
"text": "which ",
"font": "serif",
"width": 5.386,
"textWidth": 4.928
},
{
"text": "49B ",
"font": "serif",
"width": 3.363,
"textWidth": 2.905
},
{
"text": "are ",
"font": "serif",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 11.905,
"top": 80.262,
"width": 19.811,
"height": 1.296,
"words": [
{
"text": "activated ",
"font": "serif",
"width": 7.866,
"textWidth": 7.407
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "token. ",
"font": "serif",
"width": 5.02,
"textWidth": 5.02
}
]
},
{
"left": 11.905,
"top": 83.858,
"width": 17.753,
"height": 1.296,
"words": [
{
"text": "4.2.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Training ",
"font": "serif-bold-italic",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "Setups ",
"font": "serif-bold-italic",
"width": 5.397,
"textWidth": 5.397
}
]
},
{
"left": 11.905,
"top": 86.522,
"width": 17.085,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Flash. ",
"font": "serif-bold",
"width": 17.085,
"textWidth": 17.085
}
]
},
{
"left": 30.811,
"top": 86.542,
"width": 57.321,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.008,
"textWidth": 2.547
},
{
"text": "employ ",
"font": "serif",
"width": 6.623,
"textWidth": 6.163
},
{
"text": "the ",
"font": "serif",
"width": 3.008,
"textWidth": 2.547
},
{
"text": "Muon ",
"font": "serif",
"width": 5.377,
"textWidth": 4.916
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.377,
"textWidth": 7.918
},
{
"text": "(Jordan ",
"font": "serif",
"width": 6.488,
"textWidth": 6.027
},
{
"text": "et ",
"font": "serif",
"width": 1.939,
"textWidth": 1.478
},
{
"text": "al., ",
"font": "serif",
"width": 2.832,
"textWidth": 2.371
},
{
"text": "2024; ",
"font": "serif",
"width": 4.593,
"textWidth": 4.132
},
{
"text": "Liu ",
"font": "serif",
"width": 3.223,
"textWidth": 2.764
},
{
"text": "et ",
"font": "serif",
"width": 1.939,
"textWidth": 1.478
},
{
"text": "al., ",
"font": "serif",
"width": 2.832,
"textWidth": 2.371
},
{
"text": "2025) ",
"font": "serif",
"width": 4.745,
"textWidth": 4.284
},
{
"text": "for ",
"font": "serif",
"width": 2.339,
"textWidth": 2.339
}
]
},
{
"left": 11.905,
"top": 88.152,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.494
},
{
"text": "majority ",
"font": "serif",
"width": 7.166,
"textWidth": 6.708
},
{
"text": "of ",
"font": "serif",
"width": 2.04,
"textWidth": 1.58
},
{
"text": "parameters, ",
"font": "serif",
"width": 9.866,
"textWidth": 9.406
},
{
"text": "but ",
"font": "serif",
"width": 3.123,
"textWidth": 2.664
},
{
"text": "use ",
"font": "serif",
"width": 3.168,
"textWidth": 2.707
},
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.494
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.24,
"textWidth": 6.781
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.212,
"textWidth": 7.752
},
{
"text": "(Loshchilov ",
"font": "serif",
"width": 9.834,
"textWidth": 9.375
},
{
"text": "and ",
"font": "serif",
"width": 3.504,
"textWidth": 3.044
},
{
"text": "Hutter, ",
"font": "serif",
"width": 6.233,
"textWidth": 5.773
},
{
"text": "2017) ",
"font": "serif",
"width": 4.653,
"textWidth": 4.194
},
{
"text": "for ",
"font": "serif",
"width": 2.751,
"textWidth": 2.29
},
{
"text": "the ",
"font": "serif",
"width": 2.494,
"textWidth": 2.494
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "25 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"26": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "embedding ",
"font": "serif",
"width": 9.47,
"textWidth": 9.061
},
{
"text": "module, ",
"font": "serif",
"width": 6.999,
"textWidth": 6.579
},
{
"text": "the ",
"font": "serif",
"width": 2.9,
"textWidth": 2.491
},
{
"text": "prediction ",
"font": "serif",
"width": 8.576,
"textWidth": 8.166
},
{
"text": "head ",
"font": "serif",
"width": 4.31,
"textWidth": 3.901
},
{
"text": "module, ",
"font": "serif",
"width": 6.999,
"textWidth": 6.579
},
{
"text": "and ",
"font": "serif",
"width": 3.45,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.9,
"textWidth": 2.491
},
{
"text": "weights ",
"font": "serif",
"width": 6.681,
"textWidth": 6.271
},
{
"text": "of ",
"font": "serif",
"width": 1.988,
"textWidth": 1.579
},
{
"text": "all ",
"font": "serif",
"width": 2.353,
"textWidth": 1.943
},
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.019,
"textWidth": 8.61
},
{
"text": "modules. ",
"font": "serif",
"width": 7.893,
"textWidth": 7.34
},
{
"text": "For ",
"font": "serif",
"width": 2.689,
"textWidth": 2.689
}
]
},
{
"left": 11.833,
"top": 11.862,
"width": 76.583,
"height": 1.621,
"words": [
{
"text": "AdamW, ",
"font": "serif",
"width": 7.815,
"textWidth": 7.35
},
{
"text": "we ",
"font": "serif",
"width": 2.922,
"textWidth": 2.454
},
{
"text": "set ",
"font": "serif",
"width": 2.763,
"textWidth": 2.297
},
{
"text": "its ",
"font": "serif",
"width": 2.411,
"textWidth": 1.946
},
{
"text": "hyper-parameters ",
"font": "serif",
"width": 15.253,
"textWidth": 14.788
},
{
"text": "to ",
"font": "serif",
"width": 3.126,
"textWidth": 1.63
},
{
"text": "1 ",
"font": "serif",
"width": 2.886,
"textWidth": 0.669
},
{
"text": "0.9, ",
"font": "serif",
"width": 4.302,
"textWidth": 2.804
},
{
"text": "2 ",
"font": "serif",
"width": 2.886,
"textWidth": 0.669
},
{
"text": "0.95, ",
"font": "serif",
"width": 7.178,
"textWidth": 3.739
},
{
"text": "10 ",
"font": "serif",
"width": 2.828,
"textWidth": 1.869
},
{
"text": "20, ",
"font": "serif",
"width": 2.359,
"textWidth": 1.89
},
{
"text": "and ",
"font": "serif",
"width": 3.63,
"textWidth": 3.165
},
{
"text": "weight_decay ",
"font": "serif",
"width": 13.418,
"textWidth": 11.285
},
{
"text": "0.1. ",
"font": "serif",
"width": 2.804,
"textWidth": 2.804
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.071,
"textWidth": 2.689
},
{
"text": "Muon, ",
"font": "serif",
"width": 5.654,
"textWidth": 5.257
},
{
"text": "we ",
"font": "serif",
"width": 2.739,
"textWidth": 2.358
},
{
"text": "set ",
"font": "serif",
"width": 2.59,
"textWidth": 2.207
},
{
"text": "the ",
"font": "serif",
"width": 2.874,
"textWidth": 2.491
},
{
"text": "momentum ",
"font": "serif",
"width": 9.693,
"textWidth": 9.312
},
{
"text": "to ",
"font": "serif",
"width": 1.949,
"textWidth": 1.566
},
{
"text": "0.95 ",
"font": "serif",
"width": 3.524,
"textWidth": 3.143
},
{
"text": "and ",
"font": "serif",
"width": 3.423,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.874,
"textWidth": 2.491
},
{
"text": "weight ",
"font": "serif",
"width": 5.891,
"textWidth": 5.51
},
{
"text": "decay ",
"font": "serif",
"width": 5.034,
"textWidth": 4.652
},
{
"text": "to ",
"font": "serif",
"width": 1.947,
"textWidth": 1.566
},
{
"text": "0.1, ",
"font": "serif",
"width": 3.093,
"textWidth": 2.694
},
{
"text": "and ",
"font": "serif",
"width": 3.421,
"textWidth": 3.041
},
{
"text": "rescale ",
"font": "serif",
"width": 5.758,
"textWidth": 5.377
},
{
"text": "the ",
"font": "serif",
"width": 2.874,
"textWidth": 2.491
},
{
"text": "RMS ",
"font": "serif",
"width": 4.224,
"textWidth": 3.842
},
{
"text": "of ",
"font": "serif",
"width": 1.959,
"textWidth": 1.579
},
{
"text": "each ",
"font": "serif",
"width": 3.601,
"textWidth": 3.601
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "update ",
"font": "serif",
"width": 6.056,
"textWidth": 5.603
},
{
"text": "matrix ",
"font": "serif",
"width": 5.681,
"textWidth": 5.228
},
{
"text": "to ",
"font": "serif",
"width": 2.019,
"textWidth": 1.566
},
{
"text": "0.18 ",
"font": "serif",
"width": 3.594,
"textWidth": 3.143
},
{
"text": "for ",
"font": "serif",
"width": 2.741,
"textWidth": 2.288
},
{
"text": "reutilization ",
"font": "serif",
"width": 10.156,
"textWidth": 9.704
},
{
"text": "of ",
"font": "serif",
"width": 2.031,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.944,
"textWidth": 2.491
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.225,
"textWidth": 6.774
},
{
"text": "learning ",
"font": "serif",
"width": 7.055,
"textWidth": 6.602
},
{
"text": "rate. ",
"font": "serif",
"width": 4.068,
"textWidth": 3.502
},
{
"text": "We ",
"font": "serif",
"width": 2.942,
"textWidth": 2.489
},
{
"text": "train ",
"font": "serif",
"width": 4.212,
"textWidth": 3.759
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.469,
"textWidth": 15.469
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.606,
"textWidth": 2.109
},
{
"text": "32T ",
"font": "serif",
"width": 3.512,
"textWidth": 3.015
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.419,
"textWidth": 5.912
},
{
"text": "and ",
"font": "serif",
"width": 3.662,
"textWidth": 3.165
},
{
"text": "as ",
"font": "serif",
"width": 2.224,
"textWidth": 1.727
},
{
"text": "in ",
"font": "serif",
"width": 2.129,
"textWidth": 1.632
},
{
"text": "DeepSeek-V3, ",
"font": "serif",
"width": 12.055,
"textWidth": 11.546
},
{
"text": "we ",
"font": "serif",
"width": 2.952,
"textWidth": 2.454
},
{
"text": "also ",
"font": "serif",
"width": 3.789,
"textWidth": 3.292
},
{
"text": "employ ",
"font": "serif",
"width": 6.77,
"textWidth": 6.273
},
{
"text": "a ",
"font": "serif",
"width": 1.432,
"textWidth": 0.935
},
{
"text": "batch ",
"font": "serif",
"width": 4.993,
"textWidth": 4.496
},
{
"text": "size ",
"font": "serif",
"width": 3.664,
"textWidth": 3.167
},
{
"text": "scheduling ",
"font": "serif",
"width": 9.587,
"textWidth": 9.09
},
{
"text": "strategy ",
"font": "serif",
"width": 7.156,
"textWidth": 6.658
},
{
"text": "that ",
"font": "serif",
"width": 3.241,
"textWidth": 3.241
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "increases ",
"font": "serif",
"width": 7.685,
"textWidth": 7.228
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.506
},
{
"text": "batch ",
"font": "serif",
"width": 4.805,
"textWidth": 4.346
},
{
"text": "size ",
"font": "serif",
"width": 3.518,
"textWidth": 3.061
},
{
"text": "(in ",
"font": "serif",
"width": 2.636,
"textWidth": 2.179
},
{
"text": "tokens) ",
"font": "serif",
"width": 6.324,
"textWidth": 5.865
},
{
"text": "from ",
"font": "serif",
"width": 4.322,
"textWidth": 3.863
},
{
"text": "a ",
"font": "serif",
"width": 1.361,
"textWidth": 0.903
},
{
"text": "small ",
"font": "serif",
"width": 4.774,
"textWidth": 4.317
},
{
"text": "size ",
"font": "serif",
"width": 3.52,
"textWidth": 3.061
},
{
"text": "to ",
"font": "serif",
"width": 2.033,
"textWidth": 1.576
},
{
"text": "75.5M ",
"font": "serif",
"width": 5.329,
"textWidth": 4.872
},
{
"text": "and ",
"font": "serif",
"width": 3.518,
"textWidth": 3.059
},
{
"text": "then ",
"font": "serif",
"width": 4.015,
"textWidth": 3.558
},
{
"text": "keeps ",
"font": "serif",
"width": 5.045,
"textWidth": 4.588
},
{
"text": "it ",
"font": "serif",
"width": 1.574,
"textWidth": 1.115
},
{
"text": "at ",
"font": "serif",
"width": 1.95,
"textWidth": 1.493
},
{
"text": "75.5M ",
"font": "serif",
"width": 5.329,
"textWidth": 4.872
},
{
"text": "during ",
"font": "serif",
"width": 5.49,
"textWidth": 5.49
}
]
},
{
"left": 11.905,
"top": 20.129,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "most ",
"font": "serif",
"width": 4.418,
"textWidth": 3.961
},
{
"text": "of ",
"font": "serif",
"width": 2.054,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.521
},
{
"text": "training. ",
"font": "serif",
"width": 7.426,
"textWidth": 6.859
},
{
"text": "The ",
"font": "serif",
"width": 3.5,
"textWidth": 3.043
},
{
"text": "learning ",
"font": "serif",
"width": 7.139,
"textWidth": 6.683
},
{
"text": "rate ",
"font": "serif",
"width": 3.547,
"textWidth": 3.091
},
{
"text": "is ",
"font": "serif",
"width": 1.756,
"textWidth": 1.3
},
{
"text": "linearly ",
"font": "serif",
"width": 6.61,
"textWidth": 6.154
},
{
"text": "warmed ",
"font": "serif",
"width": 7.186,
"textWidth": 6.73
},
{
"text": "up ",
"font": "serif",
"width": 2.645,
"textWidth": 2.189
},
{
"text": "in ",
"font": "serif",
"width": 2.043,
"textWidth": 1.587
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.521
},
{
"text": "first ",
"font": "serif",
"width": 3.638,
"textWidth": 3.181
},
{
"text": "2000 ",
"font": "serif",
"width": 4.092,
"textWidth": 3.636
},
{
"text": "steps, ",
"font": "serif",
"width": 5.008,
"textWidth": 4.552
},
{
"text": "maintained ",
"font": "serif",
"width": 9.172,
"textWidth": 9.172
}
]
},
{
"left": 11.905,
"top": 21.518,
"width": 76.191,
"height": 1.516,
"words": [
{
"text": "at ",
"font": "serif",
"width": 1.958,
"textWidth": 1.499
},
{
"text": "2.7 ",
"font": "serif",
"width": 4.145,
"textWidth": 2.268
},
{
"text": "10 ",
"font": "serif",
"width": 2.773,
"textWidth": 1.814
},
{
"text": "4 ",
"font": "serif",
"width": 1.211,
"textWidth": 0.669
},
{
"text": "for ",
"font": "serif",
"width": 2.77,
"textWidth": 2.311
},
{
"text": "most ",
"font": "serif",
"width": 4.411,
"textWidth": 3.953
},
{
"text": "of ",
"font": "serif",
"width": 2.054,
"textWidth": 1.595
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.516
},
{
"text": "training. ",
"font": "serif",
"width": 7.413,
"textWidth": 6.845
},
{
"text": "Near ",
"font": "serif",
"width": 4.46,
"textWidth": 4.001
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "end ",
"font": "serif",
"width": 3.491,
"textWidth": 3.033
},
{
"text": "of ",
"font": "serif",
"width": 2.054,
"textWidth": 1.595
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.516
},
{
"text": "training, ",
"font": "serif",
"width": 7.304,
"textWidth": 6.845
},
{
"text": "we ",
"font": "serif",
"width": 2.839,
"textWidth": 2.382
},
{
"text": "finally ",
"font": "serif",
"width": 5.584,
"textWidth": 5.125
},
{
"text": "decay ",
"font": "serif",
"width": 5.156,
"textWidth": 4.699
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "learning ",
"font": "serif",
"width": 6.669,
"textWidth": 6.669
}
]
},
{
"left": 11.905,
"top": 23.128,
"width": 76.419,
"height": 1.516,
"words": [
{
"text": "rate ",
"font": "serif",
"width": 3.579,
"textWidth": 3.122
},
{
"text": "to ",
"font": "serif",
"width": 2.058,
"textWidth": 1.601
},
{
"text": "2.7 ",
"font": "serif",
"width": 4.172,
"textWidth": 2.295
},
{
"text": "10 ",
"font": "serif",
"width": 2.795,
"textWidth": 1.836
},
{
"text": "5 ",
"font": "serif",
"width": 1.21,
"textWidth": 0.669
},
{
"text": "following ",
"font": "serif",
"width": 8.298,
"textWidth": 7.841
},
{
"text": "a ",
"font": "serif",
"width": 1.375,
"textWidth": 0.918
},
{
"text": "cosine ",
"font": "serif",
"width": 5.536,
"textWidth": 5.079
},
{
"text": "schedule. ",
"font": "serif",
"width": 8.212,
"textWidth": 7.644
},
{
"text": "The ",
"font": "serif",
"width": 3.531,
"textWidth": 3.074
},
{
"text": "training ",
"font": "serif",
"width": 6.926,
"textWidth": 6.469
},
{
"text": "starts ",
"font": "serif",
"width": 4.855,
"textWidth": 4.398
},
{
"text": "with ",
"font": "serif",
"width": 4.19,
"textWidth": 3.733
},
{
"text": "a ",
"font": "serif",
"width": 1.375,
"textWidth": 0.918
},
{
"text": "sequence ",
"font": "serif",
"width": 7.894,
"textWidth": 7.437
},
{
"text": "length ",
"font": "serif",
"width": 5.628,
"textWidth": 5.171
},
{
"text": "of ",
"font": "serif",
"width": 2.071,
"textWidth": 1.614
},
{
"text": "4K, ",
"font": "serif",
"width": 2.71,
"textWidth": 2.71
}
]
},
{
"left": 11.905,
"top": 24.957,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "we ",
"font": "serif",
"width": 2.829,
"textWidth": 2.37
},
{
"text": "gradually ",
"font": "serif",
"width": 8.226,
"textWidth": 7.767
},
{
"text": "extend ",
"font": "serif",
"width": 5.861,
"textWidth": 5.403
},
{
"text": "the ",
"font": "serif",
"width": 2.962,
"textWidth": 2.504
},
{
"text": "training ",
"font": "serif",
"width": 6.818,
"textWidth": 6.359
},
{
"text": "sequence ",
"font": "serif",
"width": 7.769,
"textWidth": 7.311
},
{
"text": "length ",
"font": "serif",
"width": 5.542,
"textWidth": 5.083
},
{
"text": "to ",
"font": "serif",
"width": 2.033,
"textWidth": 1.574
},
{
"text": "16K, ",
"font": "serif",
"width": 4.025,
"textWidth": 3.567
},
{
"text": "64K, ",
"font": "serif",
"width": 4.025,
"textWidth": 3.567
},
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "1M. ",
"font": "serif",
"width": 3.52,
"textWidth": 3.061
},
{
"text": "As ",
"font": "serif",
"width": 2.628,
"textWidth": 2.17
},
{
"text": "for ",
"font": "serif",
"width": 2.758,
"textWidth": 2.3
},
{
"text": "the ",
"font": "serif",
"width": 2.962,
"textWidth": 2.504
},
{
"text": "setups ",
"font": "serif",
"width": 5.616,
"textWidth": 5.157
},
{
"text": "of ",
"font": "serif",
"width": 1.587,
"textWidth": 1.587
}
]
},
{
"left": 11.905,
"top": 26.566,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sparse ",
"font": "serif",
"width": 5.739,
"textWidth": 5.277
},
{
"text": "attention, ",
"font": "serif",
"width": 8.329,
"textWidth": 7.866
},
{
"text": "we ",
"font": "serif",
"width": 2.916,
"textWidth": 2.454
},
{
"text": "first ",
"font": "serif",
"width": 3.733,
"textWidth": 3.271
},
{
"text": "warmup ",
"font": "serif",
"width": 7.595,
"textWidth": 7.133
},
{
"text": "the ",
"font": "serif",
"width": 3.054,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.714,
"textWidth": 5.253
},
{
"text": "with ",
"font": "serif",
"width": 4.262,
"textWidth": 3.8
},
{
"text": "dense ",
"font": "serif",
"width": 5.275,
"textWidth": 4.813
},
{
"text": "attention ",
"font": "serif",
"width": 7.86,
"textWidth": 7.399
},
{
"text": "for ",
"font": "serif",
"width": 2.843,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.054,
"textWidth": 2.593
},
{
"text": "first ",
"font": "serif",
"width": 3.733,
"textWidth": 3.271
},
{
"text": "1T ",
"font": "serif",
"width": 2.542,
"textWidth": 2.08
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.376,
"textWidth": 5.912
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 28.176,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "introduce ",
"font": "serif",
"width": 8.334,
"textWidth": 7.875
},
{
"text": "sparse ",
"font": "serif",
"width": 5.677,
"textWidth": 5.22
},
{
"text": "attention ",
"font": "serif",
"width": 7.777,
"textWidth": 7.319
},
{
"text": "at ",
"font": "serif",
"width": 1.984,
"textWidth": 1.527
},
{
"text": "the ",
"font": "serif",
"width": 3.023,
"textWidth": 2.565
},
{
"text": "sequence ",
"font": "serif",
"width": 7.946,
"textWidth": 7.489
},
{
"text": "length ",
"font": "serif",
"width": 5.666,
"textWidth": 5.207
},
{
"text": "of ",
"font": "serif",
"width": 2.084,
"textWidth": 1.625
},
{
"text": "64K ",
"font": "serif",
"width": 3.648,
"textWidth": 3.192
},
{
"text": "and ",
"font": "serif",
"width": 3.589,
"textWidth": 3.131
},
{
"text": "keep ",
"font": "serif",
"width": 4.368,
"textWidth": 3.911
},
{
"text": "sparse ",
"font": "serif",
"width": 5.679,
"textWidth": 5.22
},
{
"text": "attention ",
"font": "serif",
"width": 7.775,
"textWidth": 7.319
},
{
"text": "during ",
"font": "serif",
"width": 6.076,
"textWidth": 5.618
},
{
"text": "the ",
"font": "serif",
"width": 2.565,
"textWidth": 2.565
}
]
},
{
"left": 11.905,
"top": 29.785,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "rest ",
"font": "serif",
"width": 3.433,
"textWidth": 2.976
},
{
"text": "of ",
"font": "serif",
"width": 2.084,
"textWidth": 1.629
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.57
},
{
"text": "training. ",
"font": "serif",
"width": 7.559,
"textWidth": 6.991
},
{
"text": "When ",
"font": "serif",
"width": 5.353,
"textWidth": 4.897
},
{
"text": "introducing ",
"font": "serif",
"width": 10.107,
"textWidth": 9.651
},
{
"text": "attention ",
"font": "serif",
"width": 7.791,
"textWidth": 7.333
},
{
"text": "sparsity, ",
"font": "serif",
"width": 7.231,
"textWidth": 6.776
},
{
"text": "we ",
"font": "serif",
"width": 2.89,
"textWidth": 2.433
},
{
"text": "first ",
"font": "serif",
"width": 3.698,
"textWidth": 3.242
},
{
"text": "set ",
"font": "serif",
"width": 2.733,
"textWidth": 2.277
},
{
"text": "a ",
"font": "serif",
"width": 1.384,
"textWidth": 0.926
},
{
"text": "short ",
"font": "serif",
"width": 4.667,
"textWidth": 4.211
},
{
"text": "stage ",
"font": "serif",
"width": 4.689,
"textWidth": 4.234
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "warm ",
"font": "serif",
"width": 5.295,
"textWidth": 4.839
},
{
"text": "up ",
"font": "serif",
"width": 2.231,
"textWidth": 2.231
}
]
},
{
"left": 11.905,
"top": 31.394,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.099,
"textWidth": 2.593
},
{
"text": "lightning ",
"font": "serif",
"width": 8.092,
"textWidth": 7.584
},
{
"text": "indexer ",
"font": "serif",
"width": 6.774,
"textWidth": 6.268
},
{
"text": "in ",
"font": "serif",
"width": 2.138,
"textWidth": 1.632
},
{
"text": "CSA, ",
"font": "serif",
"width": 4.737,
"textWidth": 4.228
},
{
"text": "and ",
"font": "serif",
"width": 3.671,
"textWidth": 3.165
},
{
"text": "then ",
"font": "serif",
"width": 4.187,
"textWidth": 3.681
},
{
"text": "train ",
"font": "serif",
"width": 4.423,
"textWidth": 3.914
},
{
"text": "the ",
"font": "serif",
"width": 3.099,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.761,
"textWidth": 5.253
},
{
"text": "with ",
"font": "serif",
"width": 4.307,
"textWidth": 3.8
},
{
"text": "sparse ",
"font": "serif",
"width": 5.784,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 7.907,
"textWidth": 7.399
},
{
"text": "for ",
"font": "serif",
"width": 2.888,
"textWidth": 2.381
},
{
"text": "most ",
"font": "serif",
"width": 4.58,
"textWidth": 4.073
},
{
"text": "of ",
"font": "serif",
"width": 2.152,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 33.004,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "training. ",
"font": "serif",
"width": 7.585,
"textWidth": 7.018
},
{
"text": "For ",
"font": "serif",
"width": 3.242,
"textWidth": 2.785
},
{
"text": "auxiliary-loss-free ",
"font": "serif",
"width": 15.27,
"textWidth": 14.812
},
{
"text": "load ",
"font": "serif",
"width": 4.081,
"textWidth": 3.623
},
{
"text": "balancing, ",
"font": "serif",
"width": 8.919,
"textWidth": 8.462
},
{
"text": "we ",
"font": "serif",
"width": 2.9,
"textWidth": 2.442
},
{
"text": "set ",
"font": "serif",
"width": 2.744,
"textWidth": 2.286
},
{
"text": "the ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "bias ",
"font": "serif",
"width": 3.748,
"textWidth": 3.289
},
{
"text": "update ",
"font": "serif",
"width": 6.261,
"textWidth": 5.804
},
{
"text": "speed ",
"font": "serif",
"width": 5.283,
"textWidth": 4.825
},
{
"text": "to ",
"font": "serif",
"width": 2.08,
"textWidth": 1.622
},
{
"text": "0.001. ",
"font": "serif",
"width": 5.218,
"textWidth": 4.65
},
{
"text": "For ",
"font": "serif",
"width": 3.242,
"textWidth": 2.785
},
{
"text": "the ",
"font": "serif",
"width": 2.58,
"textWidth": 2.58
}
]
},
{
"left": 11.905,
"top": 34.613,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "balance ",
"font": "serif",
"width": 6.453,
"textWidth": 6.015
},
{
"text": "loss, ",
"font": "serif",
"width": 3.917,
"textWidth": 3.475
},
{
"text": "we ",
"font": "serif",
"width": 2.796,
"textWidth": 2.358
},
{
"text": "set ",
"font": "serif",
"width": 2.645,
"textWidth": 2.207
},
{
"text": "its ",
"font": "serif",
"width": 2.308,
"textWidth": 1.87
},
{
"text": "loss ",
"font": "serif",
"width": 3.464,
"textWidth": 3.026
},
{
"text": "weight ",
"font": "serif",
"width": 5.946,
"textWidth": 5.508
},
{
"text": "to ",
"font": "serif",
"width": 2.004,
"textWidth": 1.566
},
{
"text": "0.0001 ",
"font": "serif",
"width": 5.377,
"textWidth": 4.939
},
{
"text": "to ",
"font": "serif",
"width": 2.004,
"textWidth": 1.566
},
{
"text": "avoid ",
"font": "serif",
"width": 4.951,
"textWidth": 4.513
},
{
"text": "extreme ",
"font": "serif",
"width": 6.792,
"textWidth": 6.354
},
{
"text": "imbalance ",
"font": "serif",
"width": 8.561,
"textWidth": 8.123
},
{
"text": "within ",
"font": "serif",
"width": 5.657,
"textWidth": 5.219
},
{
"text": "single ",
"font": "serif",
"width": 5.149,
"textWidth": 4.711
},
{
"text": "sequences. ",
"font": "serif",
"width": 8.484,
"textWidth": 8.484
}
]
},
{
"left": 11.848,
"top": 36.222,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.559,
"textWidth": 3.102
},
{
"text": "MTP ",
"font": "serif",
"width": 4.467,
"textWidth": 4.008
},
{
"text": "loss ",
"font": "serif",
"width": 3.58,
"textWidth": 3.12
},
{
"text": "weight ",
"font": "serif",
"width": 6.142,
"textWidth": 5.684
},
{
"text": "is ",
"font": "serif",
"width": 1.782,
"textWidth": 1.325
},
{
"text": "set ",
"font": "serif",
"width": 2.737,
"textWidth": 2.277
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "0.3 ",
"font": "serif",
"width": 2.774,
"textWidth": 2.316
},
{
"text": "for ",
"font": "serif",
"width": 2.818,
"textWidth": 2.36
},
{
"text": "most ",
"font": "serif",
"width": 4.497,
"textWidth": 4.037
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.629
},
{
"text": "the ",
"font": "serif",
"width": 3.027,
"textWidth": 2.57
},
{
"text": "training, ",
"font": "serif",
"width": 7.448,
"textWidth": 6.991
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.137
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "0.1 ",
"font": "serif",
"width": 2.774,
"textWidth": 2.316
},
{
"text": "upon ",
"font": "serif",
"width": 4.778,
"textWidth": 4.321
},
{
"text": "the ",
"font": "serif",
"width": 3.029,
"textWidth": 2.57
},
{
"text": "start ",
"font": "serif",
"width": 4.109,
"textWidth": 3.652
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.629
},
{
"text": "learning ",
"font": "serif",
"width": 6.811,
"textWidth": 6.811
}
]
},
{
"left": 11.905,
"top": 37.832,
"width": 8.575,
"height": 1.296,
"words": [
{
"text": "rate ",
"font": "serif",
"width": 3.574,
"textWidth": 3.115
},
{
"text": "decay. ",
"font": "serif",
"width": 5.001,
"textWidth": 5.001
}
]
},
{
"left": 11.905,
"top": 42.038,
"width": 15.732,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro. ",
"font": "serif-bold",
"width": 15.732,
"textWidth": 15.732
}
]
},
{
"left": 29.459,
"top": 42.059,
"width": 58.637,
"height": 1.296,
"words": [
{
"text": "Except ",
"font": "serif",
"width": 6.326,
"textWidth": 5.565
},
{
"text": "for ",
"font": "serif",
"width": 3.142,
"textWidth": 2.381
},
{
"text": "specific ",
"font": "serif",
"width": 6.909,
"textWidth": 6.146
},
{
"text": "values ",
"font": "serif",
"width": 6.111,
"textWidth": 5.35
},
{
"text": "of ",
"font": "serif",
"width": 2.404,
"textWidth": 1.643
},
{
"text": "hyper-parameters, ",
"font": "serif",
"width": 16.092,
"textWidth": 15.255
},
{
"text": "the ",
"font": "serif",
"width": 3.353,
"textWidth": 2.593
},
{
"text": "training ",
"font": "serif",
"width": 7.346,
"textWidth": 6.585
},
{
"text": "setup ",
"font": "serif",
"width": 5.311,
"textWidth": 4.548
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 43.668,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.395,
"textWidth": 13.985
},
{
"text": "is ",
"font": "serif",
"width": 1.695,
"textWidth": 1.284
},
{
"text": "largely ",
"font": "serif",
"width": 5.887,
"textWidth": 5.478
},
{
"text": "consistent ",
"font": "serif",
"width": 8.357,
"textWidth": 7.945
},
{
"text": "with ",
"font": "serif",
"width": 4.062,
"textWidth": 3.651
},
{
"text": "that ",
"font": "serif",
"width": 3.524,
"textWidth": 3.114
},
{
"text": "of ",
"font": "serif",
"width": 1.99,
"textWidth": 1.579
},
{
"text": "DeepSeek-V4-Flash. ",
"font": "serif",
"width": 16.471,
"textWidth": 15.918
},
{
"text": "We ",
"font": "serif",
"width": 2.899,
"textWidth": 2.487
},
{
"text": "employ ",
"font": "serif",
"width": 6.437,
"textWidth": 6.027
},
{
"text": "the ",
"font": "serif",
"width": 2.902,
"textWidth": 2.491
},
{
"text": "Muon ",
"font": "serif",
"width": 5.219,
"textWidth": 4.808
},
{
"text": "op- ",
"font": "serif",
"width": 2.658,
"textWidth": 2.658
}
]
},
{
"left": 11.905,
"top": 45.277,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "timizer ",
"font": "serif",
"width": 6.076,
"textWidth": 5.684
},
{
"text": "for ",
"font": "serif",
"width": 2.678,
"textWidth": 2.288
},
{
"text": "the ",
"font": "serif",
"width": 2.883,
"textWidth": 2.491
},
{
"text": "majority ",
"font": "serif",
"width": 7.092,
"textWidth": 6.701
},
{
"text": "of ",
"font": "serif",
"width": 1.968,
"textWidth": 1.579
},
{
"text": "parameters, ",
"font": "serif",
"width": 9.802,
"textWidth": 9.396
},
{
"text": "but ",
"font": "serif",
"width": 3.051,
"textWidth": 2.66
},
{
"text": "use ",
"font": "serif",
"width": 3.096,
"textWidth": 2.705
},
{
"text": "the ",
"font": "serif",
"width": 2.883,
"textWidth": 2.491
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.164,
"textWidth": 6.774
},
{
"text": "optimizer ",
"font": "serif",
"width": 8.136,
"textWidth": 7.744
},
{
"text": "for ",
"font": "serif",
"width": 2.68,
"textWidth": 2.288
},
{
"text": "the ",
"font": "serif",
"width": 2.881,
"textWidth": 2.491
},
{
"text": "embedding ",
"font": "serif",
"width": 9.452,
"textWidth": 9.061
},
{
"text": "module, ",
"font": "serif",
"width": 6.579,
"textWidth": 6.579
}
]
},
{
"left": 11.905,
"top": 46.887,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.524
},
{
"text": "prediction ",
"font": "serif",
"width": 8.737,
"textWidth": 8.276
},
{
"text": "head ",
"font": "serif",
"width": 4.413,
"textWidth": 3.953
},
{
"text": "module, ",
"font": "serif",
"width": 7.126,
"textWidth": 6.666
},
{
"text": "and ",
"font": "serif",
"width": 3.543,
"textWidth": 3.081
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.524
},
{
"text": "weights ",
"font": "serif",
"width": 6.815,
"textWidth": 6.355
},
{
"text": "of ",
"font": "serif",
"width": 2.06,
"textWidth": 1.6
},
{
"text": "all ",
"font": "serif",
"width": 2.429,
"textWidth": 1.969
},
{
"text": "RMSNorm ",
"font": "serif",
"width": 9.184,
"textWidth": 8.724
},
{
"text": "modules. ",
"font": "serif",
"width": 8.013,
"textWidth": 7.437
},
{
"text": "The ",
"font": "serif",
"width": 3.507,
"textWidth": 3.046
},
{
"text": "hyper-parameters ",
"font": "serif",
"width": 14.394,
"textWidth": 14.394
}
]
},
{
"left": 11.905,
"top": 48.496,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "AdamW ",
"font": "serif",
"width": 7.356,
"textWidth": 6.899
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "Muon ",
"font": "serif",
"width": 5.353,
"textWidth": 4.896
},
{
"text": "are ",
"font": "serif",
"width": 2.939,
"textWidth": 2.48
},
{
"text": "the ",
"font": "serif",
"width": 2.994,
"textWidth": 2.537
},
{
"text": "same ",
"font": "serif",
"width": 4.64,
"textWidth": 4.181
},
{
"text": "as ",
"font": "serif",
"width": 2.147,
"textWidth": 1.69
},
{
"text": "those ",
"font": "serif",
"width": 4.77,
"textWidth": 4.311
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "DeepSeek-V4-Flash. ",
"font": "serif",
"width": 16.777,
"textWidth": 16.208
},
{
"text": "We ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "train ",
"font": "serif",
"width": 4.287,
"textWidth": 3.83
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.242,
"textWidth": 14.242
}
]
},
{
"left": 11.905,
"top": 50.106,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.705,
"textWidth": 2.109
},
{
"text": "33T ",
"font": "serif",
"width": 3.61,
"textWidth": 3.015
},
{
"text": "tokens, ",
"font": "serif",
"width": 6.542,
"textWidth": 5.912
},
{
"text": "and ",
"font": "serif",
"width": 3.761,
"textWidth": 3.165
},
{
"text": "also ",
"font": "serif",
"width": 3.886,
"textWidth": 3.292
},
{
"text": "employ ",
"font": "serif",
"width": 6.87,
"textWidth": 6.273
},
{
"text": "a ",
"font": "serif",
"width": 1.529,
"textWidth": 0.935
},
{
"text": "batch ",
"font": "serif",
"width": 5.092,
"textWidth": 4.496
},
{
"text": "size ",
"font": "serif",
"width": 3.761,
"textWidth": 3.167
},
{
"text": "scheduling ",
"font": "serif",
"width": 9.687,
"textWidth": 9.09
},
{
"text": "strategy, ",
"font": "serif",
"width": 7.552,
"textWidth": 6.922
},
{
"text": "with ",
"font": "serif",
"width": 4.397,
"textWidth": 3.8
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "maximum ",
"font": "serif",
"width": 9.118,
"textWidth": 8.522
},
{
"text": "batch ",
"font": "serif",
"width": 4.496,
"textWidth": 4.496
}
]
},
{
"left": 11.905,
"top": 51.715,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "size ",
"font": "serif",
"width": 3.686,
"textWidth": 3.167
},
{
"text": "being ",
"font": "serif",
"width": 5.12,
"textWidth": 4.6
},
{
"text": "94.4M ",
"font": "serif",
"width": 5.559,
"textWidth": 5.04
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.666,
"textWidth": 5.912
},
{
"text": "The ",
"font": "serif",
"width": 3.649,
"textWidth": 3.129
},
{
"text": "learning ",
"font": "serif",
"width": 7.391,
"textWidth": 6.871
},
{
"text": "rate ",
"font": "serif",
"width": 3.697,
"textWidth": 3.178
},
{
"text": "scheduling ",
"font": "serif",
"width": 9.61,
"textWidth": 9.09
},
{
"text": "strategy ",
"font": "serif",
"width": 7.178,
"textWidth": 6.658
},
{
"text": "is ",
"font": "serif",
"width": 1.856,
"textWidth": 1.337
},
{
"text": "largely ",
"font": "serif",
"width": 6.221,
"textWidth": 5.701
},
{
"text": "the ",
"font": "serif",
"width": 3.112,
"textWidth": 2.593
},
{
"text": "same ",
"font": "serif",
"width": 4.795,
"textWidth": 4.273
},
{
"text": "as ",
"font": "serif",
"width": 2.247,
"textWidth": 1.727
},
{
"text": "that ",
"font": "serif",
"width": 3.761,
"textWidth": 3.241
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 53.104,
"width": 76.19,
"height": 1.516,
"words": [
{
"text": "DeepSeek-V4-Flash, ",
"font": "serif",
"width": 16.372,
"textWidth": 15.918
},
{
"text": "but ",
"font": "serif",
"width": 3.116,
"textWidth": 2.662
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.491
},
{
"text": "peak ",
"font": "serif",
"width": 4.291,
"textWidth": 3.836
},
{
"text": "learning ",
"font": "serif",
"width": 7.056,
"textWidth": 6.602
},
{
"text": "rate ",
"font": "serif",
"width": 3.508,
"textWidth": 3.053
},
{
"text": "is ",
"font": "serif",
"width": 1.737,
"textWidth": 1.284
},
{
"text": "set ",
"font": "serif",
"width": 2.662,
"textWidth": 2.207
},
{
"text": "to ",
"font": "serif",
"width": 2.02,
"textWidth": 1.566
},
{
"text": "2.0 ",
"font": "serif",
"width": 4.116,
"textWidth": 2.245
},
{
"text": "10 ",
"font": "serif",
"width": 2.755,
"textWidth": 1.796
},
{
"text": "4 ",
"font": "serif",
"width": 1.207,
"textWidth": 0.669
},
{
"text": "and ",
"font": "serif",
"width": 3.495,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.491
},
{
"text": "end ",
"font": "serif",
"width": 3.457,
"textWidth": 3.003
},
{
"text": "learning ",
"font": "serif",
"width": 7.056,
"textWidth": 6.602
},
{
"text": "rate ",
"font": "serif",
"width": 3.506,
"textWidth": 3.051
},
{
"text": "is ",
"font": "serif",
"width": 1.738,
"textWidth": 1.284
},
{
"text": "set ",
"font": "serif",
"width": 2.207,
"textWidth": 2.207
}
]
},
{
"left": 11.905,
"top": 54.714,
"width": 76.261,
"height": 1.516,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "2.0 ",
"font": "serif",
"width": 4.181,
"textWidth": 2.305
},
{
"text": "10 ",
"font": "serif",
"width": 2.802,
"textWidth": 1.844
},
{
"text": "5. ",
"font": "serif",
"width": 1.782,
"textWidth": 1.214
},
{
"text": "The ",
"font": "serif",
"width": 3.543,
"textWidth": 3.086
},
{
"text": "training ",
"font": "serif",
"width": 6.952,
"textWidth": 6.495
},
{
"text": "also ",
"font": "serif",
"width": 3.704,
"textWidth": 3.247
},
{
"text": "starts ",
"font": "serif",
"width": 4.873,
"textWidth": 4.415
},
{
"text": "with ",
"font": "serif",
"width": 4.203,
"textWidth": 3.746
},
{
"text": "a ",
"font": "serif",
"width": 1.379,
"textWidth": 0.922
},
{
"text": "sequence ",
"font": "serif",
"width": 7.924,
"textWidth": 7.467
},
{
"text": "length ",
"font": "serif",
"width": 5.649,
"textWidth": 5.192
},
{
"text": "of ",
"font": "serif",
"width": 2.078,
"textWidth": 1.621
},
{
"text": "4K, ",
"font": "serif",
"width": 3.178,
"textWidth": 2.721
},
{
"text": "and ",
"font": "serif",
"width": 3.578,
"textWidth": 3.121
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.557
},
{
"text": "length ",
"font": "serif",
"width": 5.649,
"textWidth": 5.192
},
{
"text": "is ",
"font": "serif",
"width": 1.775,
"textWidth": 1.318
},
{
"text": "gradually ",
"font": "serif",
"width": 7.931,
"textWidth": 7.931
}
]
},
{
"left": 11.905,
"top": 56.543,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "extended ",
"font": "serif",
"width": 8.131,
"textWidth": 7.632
},
{
"text": "to ",
"font": "serif",
"width": 2.131,
"textWidth": 1.63
},
{
"text": "16K, ",
"font": "serif",
"width": 4.193,
"textWidth": 3.694
},
{
"text": "64K, ",
"font": "serif",
"width": 4.193,
"textWidth": 3.694
},
{
"text": "and ",
"font": "serif",
"width": 3.666,
"textWidth": 3.165
},
{
"text": "1M. ",
"font": "serif",
"width": 3.669,
"textWidth": 3.17
},
{
"text": "Compared ",
"font": "serif",
"width": 9.298,
"textWidth": 8.797
},
{
"text": "with ",
"font": "serif",
"width": 4.299,
"textWidth": 3.8
},
{
"text": "DeepSeek-V4-Flash, ",
"font": "serif",
"width": 17.078,
"textWidth": 16.567
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 15.057,
"textWidth": 14.556
},
{
"text": "starts ",
"font": "serif",
"width": 4.477,
"textWidth": 4.477
}
]
},
{
"left": 11.828,
"top": 58.152,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.281,
"textWidth": 3.8
},
{
"text": "a ",
"font": "serif",
"width": 1.415,
"textWidth": 0.935
},
{
"text": "longer ",
"font": "serif",
"width": 5.806,
"textWidth": 5.326
},
{
"text": "stage ",
"font": "serif",
"width": 4.752,
"textWidth": 4.271
},
{
"text": "of ",
"font": "serif",
"width": 2.123,
"textWidth": 1.643
},
{
"text": "dense ",
"font": "serif",
"width": 5.294,
"textWidth": 4.813
},
{
"text": "attention, ",
"font": "serif",
"width": 8.352,
"textWidth": 7.866
},
{
"text": "and ",
"font": "serif",
"width": 3.645,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 3.073,
"textWidth": 2.593
},
{
"text": "strategy ",
"font": "serif",
"width": 7.139,
"textWidth": 6.658
},
{
"text": "of ",
"font": "serif",
"width": 2.123,
"textWidth": 1.643
},
{
"text": "introducing ",
"font": "serif",
"width": 10.219,
"textWidth": 9.739
},
{
"text": "sparse ",
"font": "serif",
"width": 5.757,
"textWidth": 5.277
},
{
"text": "attention ",
"font": "serif",
"width": 7.879,
"textWidth": 7.399
},
{
"text": "is ",
"font": "serif",
"width": 1.817,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 59.762,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "same ",
"font": "serif",
"width": 4.568,
"textWidth": 4.11
},
{
"text": "as ",
"font": "serif",
"width": 2.118,
"textWidth": 1.661
},
{
"text": "DeepSeek-V4-Flash, ",
"font": "serif",
"width": 16.392,
"textWidth": 15.934
},
{
"text": "following ",
"font": "serif",
"width": 8.133,
"textWidth": 7.677
},
{
"text": "a ",
"font": "serif",
"width": 1.357,
"textWidth": 0.899
},
{
"text": "two-stage ",
"font": "serif",
"width": 8.23,
"textWidth": 7.774
},
{
"text": "training ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "method. ",
"font": "serif",
"width": 7.177,
"textWidth": 6.61
},
{
"text": "For ",
"font": "serif",
"width": 3.15,
"textWidth": 2.691
},
{
"text": "auxiliary-loss-free ",
"font": "serif",
"width": 14.771,
"textWidth": 14.314
},
{
"text": "load ",
"font": "serif",
"width": 3.502,
"textWidth": 3.502
}
]
},
{
"left": 11.905,
"top": 61.371,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "balancing, ",
"font": "serif",
"width": 8.863,
"textWidth": 8.403
},
{
"text": "we ",
"font": "serif",
"width": 2.884,
"textWidth": 2.425
},
{
"text": "set ",
"font": "serif",
"width": 2.73,
"textWidth": 2.27
},
{
"text": "the ",
"font": "serif",
"width": 3.022,
"textWidth": 2.562
},
{
"text": "bias ",
"font": "serif",
"width": 3.724,
"textWidth": 3.266
},
{
"text": "update ",
"font": "serif",
"width": 6.223,
"textWidth": 5.763
},
{
"text": "speed ",
"font": "serif",
"width": 5.252,
"textWidth": 4.792
},
{
"text": "to ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "0.001. ",
"font": "serif",
"width": 5.191,
"textWidth": 4.618
},
{
"text": "For ",
"font": "serif",
"width": 3.225,
"textWidth": 2.765
},
{
"text": "the ",
"font": "serif",
"width": 3.02,
"textWidth": 2.56
},
{
"text": "balance ",
"font": "serif",
"width": 6.646,
"textWidth": 6.187
},
{
"text": "loss, ",
"font": "serif",
"width": 4.034,
"textWidth": 3.574
},
{
"text": "we ",
"font": "serif",
"width": 2.884,
"textWidth": 2.425
},
{
"text": "set ",
"font": "serif",
"width": 2.73,
"textWidth": 2.27
},
{
"text": "its ",
"font": "serif",
"width": 2.383,
"textWidth": 1.923
},
{
"text": "loss ",
"font": "serif",
"width": 3.571,
"textWidth": 3.113
},
{
"text": "weight ",
"font": "serif",
"width": 6.127,
"textWidth": 5.667
},
{
"text": "to ",
"font": "serif",
"width": 1.611,
"textWidth": 1.611
}
]
},
{
"left": 11.905,
"top": 62.981,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "0.0001 ",
"font": "serif",
"width": 5.388,
"textWidth": 4.939
},
{
"text": "to ",
"font": "serif",
"width": 2.015,
"textWidth": 1.566
},
{
"text": "avoid ",
"font": "serif",
"width": 4.962,
"textWidth": 4.513
},
{
"text": "extreme ",
"font": "serif",
"width": 6.805,
"textWidth": 6.356
},
{
"text": "imbalance ",
"font": "serif",
"width": 8.57,
"textWidth": 8.121
},
{
"text": "within ",
"font": "serif",
"width": 5.668,
"textWidth": 5.219
},
{
"text": "single ",
"font": "serif",
"width": 5.16,
"textWidth": 4.711
},
{
"text": "sequences. ",
"font": "serif",
"width": 9.05,
"textWidth": 8.484
},
{
"text": "The ",
"font": "serif",
"width": 3.455,
"textWidth": 3.006
},
{
"text": "MTP ",
"font": "serif",
"width": 4.334,
"textWidth": 3.885
},
{
"text": "loss ",
"font": "serif",
"width": 3.475,
"textWidth": 3.026
},
{
"text": "weight ",
"font": "serif",
"width": 5.959,
"textWidth": 5.51
},
{
"text": "is ",
"font": "serif",
"width": 1.733,
"textWidth": 1.284
},
{
"text": "set ",
"font": "serif",
"width": 2.656,
"textWidth": 2.207
},
{
"text": "to ",
"font": "serif",
"width": 2.015,
"textWidth": 1.566
},
{
"text": "0.3 ",
"font": "serif",
"width": 2.694,
"textWidth": 2.245
},
{
"text": "for ",
"font": "serif",
"width": 2.288,
"textWidth": 2.288
}
]
},
{
"left": 11.905,
"top": 64.59,
"width": 54.9,
"height": 1.296,
"words": [
{
"text": "most ",
"font": "serif",
"width": 4.451,
"textWidth": 3.993
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "training, ",
"font": "serif",
"width": 7.373,
"textWidth": 6.914
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "0.1 ",
"font": "serif",
"width": 2.749,
"textWidth": 2.291
},
{
"text": "upon ",
"font": "serif",
"width": 4.732,
"textWidth": 4.274
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "start ",
"font": "serif",
"width": 4.07,
"textWidth": 3.612
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "learning ",
"font": "serif",
"width": 7.195,
"textWidth": 6.737
},
{
"text": "rate ",
"font": "serif",
"width": 3.574,
"textWidth": 3.115
},
{
"text": "decay. ",
"font": "serif",
"width": 5.001,
"textWidth": 5.001
}
]
},
{
"left": 11.905,
"top": 68.186,
"width": 30.495,
"height": 1.296,
"words": [
{
"text": "4.2.3. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Mitigating ",
"font": "serif-bold-italic",
"width": 9.315,
"textWidth": 8.857
},
{
"text": "Training ",
"font": "serif-bold-italic",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "Instability ",
"font": "serif-bold-italic",
"width": 8.824,
"textWidth": 8.824
}
]
},
{
"left": 11.848,
"top": 70.87,
"width": 76.552,
"height": 1.296,
"words": [
{
"text": "Training ",
"font": "serif",
"width": 7.177,
"textWidth": 6.72
},
{
"text": "trillion-parameter ",
"font": "serif",
"width": 14.739,
"textWidth": 14.282
},
{
"text": "MoE ",
"font": "serif",
"width": 4.257,
"textWidth": 3.8
},
{
"text": "models ",
"font": "serif",
"width": 6.301,
"textWidth": 5.844
},
{
"text": "presents ",
"font": "serif",
"width": 7.128,
"textWidth": 6.671
},
{
"text": "significant ",
"font": "serif",
"width": 8.771,
"textWidth": 8.314
},
{
"text": "stability ",
"font": "serif",
"width": 6.888,
"textWidth": 6.429
},
{
"text": "challenges, ",
"font": "serif",
"width": 9.271,
"textWidth": 8.813
},
{
"text": "and ",
"font": "serif",
"width": 3.516,
"textWidth": 3.059
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.502,
"textWidth": 8.502
}
]
},
{
"left": 11.839,
"top": 72.48,
"width": 76.578,
"height": 1.296,
"words": [
{
"text": "V4 ",
"font": "serif",
"width": 2.952,
"textWidth": 2.284
},
{
"text": "series ",
"font": "serif",
"width": 5.326,
"textWidth": 4.658
},
{
"text": "are ",
"font": "serif",
"width": 3.204,
"textWidth": 2.535
},
{
"text": "no ",
"font": "serif",
"width": 2.776,
"textWidth": 2.109
},
{
"text": "exception. ",
"font": "serif",
"width": 9.632,
"textWidth": 8.438
},
{
"text": "We ",
"font": "serif",
"width": 3.264,
"textWidth": 2.596
},
{
"text": "encountered ",
"font": "serif",
"width": 10.965,
"textWidth": 10.296
},
{
"text": "notable ",
"font": "serif",
"width": 6.793,
"textWidth": 6.126
},
{
"text": "instability ",
"font": "serif",
"width": 8.95,
"textWidth": 8.281
},
{
"text": "challenges ",
"font": "serif",
"width": 9.318,
"textWidth": 8.649
},
{
"text": "during ",
"font": "serif",
"width": 6.346,
"textWidth": 5.679
},
{
"text": "training. ",
"font": "serif",
"width": 7.053,
"textWidth": 7.053
}
]
},
{
"left": 11.813,
"top": 74.089,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "While ",
"font": "serif",
"width": 5.217,
"textWidth": 4.761
},
{
"text": "simple ",
"font": "serif",
"width": 5.806,
"textWidth": 5.349
},
{
"text": "rollbacks ",
"font": "serif",
"width": 7.629,
"textWidth": 7.172
},
{
"text": "could ",
"font": "serif",
"width": 4.95,
"textWidth": 4.495
},
{
"text": "temporarily ",
"font": "serif",
"width": 9.937,
"textWidth": 9.481
},
{
"text": "restore ",
"font": "serif",
"width": 5.875,
"textWidth": 5.419
},
{
"text": "the ",
"font": "serif",
"width": 2.956,
"textWidth": 2.499
},
{
"text": "training ",
"font": "serif",
"width": 6.802,
"textWidth": 6.347
},
{
"text": "state, ",
"font": "serif",
"width": 4.608,
"textWidth": 4.152
},
{
"text": "they ",
"font": "serif",
"width": 3.958,
"textWidth": 3.5
},
{
"text": "proved ",
"font": "serif",
"width": 6.183,
"textWidth": 5.725
},
{
"text": "inadequate ",
"font": "serif",
"width": 9.339,
"textWidth": 8.883
},
{
"text": "as ",
"font": "serif",
"width": 2.122,
"textWidth": 1.665
},
{
"text": "a ",
"font": "serif",
"width": 0.901,
"textWidth": 0.901
}
]
},
{
"left": 11.905,
"top": 75.698,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "long-term ",
"font": "serif",
"width": 8.627,
"textWidth": 8.168
},
{
"text": "solution ",
"font": "serif",
"width": 7.173,
"textWidth": 6.713
},
{
"text": "because ",
"font": "serif",
"width": 6.936,
"textWidth": 6.477
},
{
"text": "they ",
"font": "serif",
"width": 4.074,
"textWidth": 3.614
},
{
"text": "do ",
"font": "serif",
"width": 2.612,
"textWidth": 2.152
},
{
"text": "not ",
"font": "serif",
"width": 3.164,
"textWidth": 2.705
},
{
"text": "prevent ",
"font": "serif",
"width": 6.801,
"textWidth": 6.341
},
{
"text": "the ",
"font": "serif",
"width": 3.039,
"textWidth": 2.58
},
{
"text": "recurrence ",
"font": "serif",
"width": 9.128,
"textWidth": 8.668
},
{
"text": "of ",
"font": "serif",
"width": 2.094,
"textWidth": 1.635
},
{
"text": "loss ",
"font": "serif",
"width": 3.594,
"textWidth": 3.134
},
{
"text": "spikes. ",
"font": "serif",
"width": 6.2,
"textWidth": 5.627
},
{
"text": "Empirically, ",
"font": "serif",
"width": 10.307,
"textWidth": 9.847
},
{
"text": "we ",
"font": "serif",
"width": 2.442,
"textWidth": 2.442
}
]
},
{
"left": 11.905,
"top": 77.308,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "identified ",
"font": "serif",
"width": 8.184,
"textWidth": 7.725
},
{
"text": "that ",
"font": "serif",
"width": 3.592,
"textWidth": 3.133
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "occurrence ",
"font": "serif",
"width": 9.12,
"textWidth": 8.661
},
{
"text": "of ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "spikes ",
"font": "serif",
"width": 5.473,
"textWidth": 5.014
},
{
"text": "is ",
"font": "serif",
"width": 1.751,
"textWidth": 1.292
},
{
"text": "consistently ",
"font": "serif",
"width": 9.983,
"textWidth": 9.524
},
{
"text": "tied ",
"font": "serif",
"width": 3.543,
"textWidth": 3.084
},
{
"text": "to ",
"font": "serif",
"width": 2.035,
"textWidth": 1.576
},
{
"text": "outliers ",
"font": "serif",
"width": 6.521,
"textWidth": 6.062
},
{
"text": "in ",
"font": "serif",
"width": 2.036,
"textWidth": 1.577
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.506
},
{
"text": "MoE ",
"font": "serif",
"width": 4.259,
"textWidth": 3.8
},
{
"text": "layers, ",
"font": "serif",
"width": 5.69,
"textWidth": 5.231
},
{
"text": "and ",
"font": "serif",
"width": 3.518,
"textWidth": 3.059
},
{
"text": "the ",
"font": "serif",
"width": 2.506,
"textWidth": 2.506
}
]
},
{
"left": 11.905,
"top": 78.917,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "routing ",
"font": "serif",
"width": 6.508,
"textWidth": 6.049
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.801,
"textWidth": 9.343
},
{
"text": "itself ",
"font": "serif",
"width": 4.412,
"textWidth": 3.953
},
{
"text": "appears ",
"font": "serif",
"width": 6.912,
"textWidth": 6.453
},
{
"text": "to ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "exacerbate ",
"font": "serif",
"width": 9.071,
"textWidth": 8.611
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.557
},
{
"text": "emergence ",
"font": "serif",
"width": 9.231,
"textWidth": 8.774
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.621
},
{
"text": "these ",
"font": "serif",
"width": 4.679,
"textWidth": 4.222
},
{
"text": "outliers. ",
"font": "serif",
"width": 7.216,
"textWidth": 6.646
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.783,
"textWidth": 8.324
},
{
"text": "we ",
"font": "serif",
"width": 2.421,
"textWidth": 2.421
}
]
},
{
"left": 11.905,
"top": 80.526,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "sought ",
"font": "serif",
"width": 5.975,
"textWidth": 5.516
},
{
"text": "to ",
"font": "serif",
"width": 2.043,
"textWidth": 1.584
},
{
"text": "tackle ",
"font": "serif",
"width": 5.174,
"textWidth": 4.715
},
{
"text": "this ",
"font": "serif",
"width": 3.407,
"textWidth": 2.948
},
{
"text": "issue ",
"font": "serif",
"width": 4.493,
"textWidth": 4.034
},
{
"text": "from ",
"font": "serif",
"width": 4.342,
"textWidth": 3.883
},
{
"text": "two ",
"font": "serif",
"width": 3.558,
"textWidth": 3.098
},
{
"text": "dimensions: ",
"font": "serif",
"width": 10.31,
"textWidth": 9.74
},
{
"text": "breaking ",
"font": "serif",
"width": 7.531,
"textWidth": 7.072
},
{
"text": "the ",
"font": "serif",
"width": 2.978,
"textWidth": 2.519
},
{
"text": "vicious ",
"font": "serif",
"width": 6.206,
"textWidth": 5.746
},
{
"text": "cycle ",
"font": "serif",
"width": 4.48,
"textWidth": 4.021
},
{
"text": "induced ",
"font": "serif",
"width": 7.036,
"textWidth": 6.576
},
{
"text": "by ",
"font": "serif",
"width": 2.474,
"textWidth": 2.014
},
{
"text": "routing, ",
"font": "serif",
"width": 6.413,
"textWidth": 6.413
}
]
},
{
"left": 11.905,
"top": 82.136,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.437,
"textWidth": 3.041
},
{
"text": "directly ",
"font": "serif",
"width": 6.458,
"textWidth": 6.061
},
{
"text": "suppressing ",
"font": "serif",
"width": 10.027,
"textWidth": 9.63
},
{
"text": "anomalous ",
"font": "serif",
"width": 9.152,
"textWidth": 8.755
},
{
"text": "values. ",
"font": "serif",
"width": 6.137,
"textWidth": 5.589
},
{
"text": "Fortunately, ",
"font": "serif",
"width": 9.923,
"textWidth": 9.513
},
{
"text": "we ",
"font": "serif",
"width": 2.755,
"textWidth": 2.358
},
{
"text": "discovered ",
"font": "serif",
"width": 9.066,
"textWidth": 8.669
},
{
"text": "two ",
"font": "serif",
"width": 3.461,
"textWidth": 3.064
},
{
"text": "practical ",
"font": "serif",
"width": 7.207,
"textWidth": 6.81
},
{
"text": "techniques ",
"font": "serif",
"width": 8.567,
"textWidth": 8.567
}
]
},
{
"left": 11.905,
"top": 83.745,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.556,
"textWidth": 3.114
},
{
"text": "effectively ",
"font": "serif",
"width": 8.628,
"textWidth": 8.186
},
{
"text": "maintain ",
"font": "serif",
"width": 7.545,
"textWidth": 7.103
},
{
"text": "training ",
"font": "serif",
"width": 6.769,
"textWidth": 6.327
},
{
"text": "stability. ",
"font": "serif",
"width": 7.198,
"textWidth": 6.634
},
{
"text": "Although ",
"font": "serif",
"width": 8.098,
"textWidth": 7.656
},
{
"text": "a ",
"font": "serif",
"width": 1.34,
"textWidth": 0.898
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.532,
"textWidth": 12.09
},
{
"text": "theoretical ",
"font": "serif",
"width": 8.775,
"textWidth": 8.333
},
{
"text": "understanding ",
"font": "serif",
"width": 11.749,
"textWidth": 11.749
}
]
},
{
"left": 11.905,
"top": 85.355,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.585
},
{
"text": "their ",
"font": "serif",
"width": 4.196,
"textWidth": 3.738
},
{
"text": "underlying ",
"font": "serif",
"width": 9.375,
"textWidth": 8.919
},
{
"text": "mechanisms ",
"font": "serif",
"width": 10.362,
"textWidth": 9.904
},
{
"text": "remains ",
"font": "serif",
"width": 6.833,
"textWidth": 6.375
},
{
"text": "an ",
"font": "serif",
"width": 2.407,
"textWidth": 1.951
},
{
"text": "open ",
"font": "serif",
"width": 4.438,
"textWidth": 3.982
},
{
"text": "question ",
"font": "serif",
"width": 7.33,
"textWidth": 6.872
},
{
"text": "for ",
"font": "serif",
"width": 2.754,
"textWidth": 2.297
},
{
"text": "now, ",
"font": "serif",
"width": 4.277,
"textWidth": 3.821
},
{
"text": "we ",
"font": "serif",
"width": 2.826,
"textWidth": 2.368
},
{
"text": "are ",
"font": "serif",
"width": 2.901,
"textWidth": 2.443
},
{
"text": "sharing ",
"font": "serif",
"width": 6.461,
"textWidth": 6.005
},
{
"text": "them ",
"font": "serif",
"width": 4.55,
"textWidth": 4.093
},
{
"text": "openly ",
"font": "serif",
"width": 5.509,
"textWidth": 5.509
}
]
},
{
"left": 11.905,
"top": 86.964,
"width": 38.137,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "foster ",
"font": "serif",
"width": 5.045,
"textWidth": 4.587
},
{
"text": "further ",
"font": "serif",
"width": 6.163,
"textWidth": 5.705
},
{
"text": "exploration ",
"font": "serif",
"width": 9.755,
"textWidth": 9.297
},
{
"text": "by ",
"font": "serif",
"width": 2.491,
"textWidth": 2.032
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "community. ",
"font": "serif",
"width": 9.627,
"textWidth": 9.627
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "26 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"27": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.452,
"width": 18.539,
"height": 1.296,
"words": [
{
"text": "Anticipatory ",
"font": "serif-bold",
"width": 11.172,
"textWidth": 10.714
},
{
"text": "Routing. ",
"font": "serif-bold",
"width": 7.366,
"textWidth": 7.366
}
]
},
{
"left": 32.266,
"top": 10.472,
"width": 55.829,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.032,
"textWidth": 2.574
},
{
"text": "found ",
"font": "serif",
"width": 5.421,
"textWidth": 4.961
},
{
"text": "that ",
"font": "serif",
"width": 3.674,
"textWidth": 3.216
},
{
"text": "decoupling ",
"font": "serif",
"width": 9.739,
"textWidth": 9.28
},
{
"text": "the ",
"font": "serif",
"width": 3.03,
"textWidth": 2.572
},
{
"text": "synchronous ",
"font": "serif",
"width": 10.968,
"textWidth": 10.51
},
{
"text": "updates ",
"font": "serif",
"width": 7.031,
"textWidth": 6.573
},
{
"text": "of ",
"font": "serif",
"width": 2.09,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.03,
"textWidth": 2.572
},
{
"text": "backbone ",
"font": "serif",
"width": 7.813,
"textWidth": 7.813
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "network ",
"font": "serif",
"width": 7.141,
"textWidth": 6.684
},
{
"text": "and ",
"font": "serif",
"width": 3.499,
"textWidth": 3.044
},
{
"text": "the ",
"font": "serif",
"width": 2.95,
"textWidth": 2.494
},
{
"text": "routing ",
"font": "serif",
"width": 6.353,
"textWidth": 5.899
},
{
"text": "network ",
"font": "serif",
"width": 7.141,
"textWidth": 6.684
},
{
"text": "significantly ",
"font": "serif",
"width": 10.251,
"textWidth": 9.794
},
{
"text": "improves ",
"font": "serif",
"width": 7.944,
"textWidth": 7.488
},
{
"text": "training ",
"font": "serif",
"width": 6.79,
"textWidth": 6.334
},
{
"text": "stability. ",
"font": "serif",
"width": 7.209,
"textWidth": 6.643
},
{
"text": "Consequently, ",
"font": "serif",
"width": 11.736,
"textWidth": 11.279
},
{
"text": "at ",
"font": "serif",
"width": 1.942,
"textWidth": 1.485
},
{
"text": "step ",
"font": "serif",
"width": 3.29,
"textWidth": 3.29
}
]
},
{
"left": 13.435,
"top": 13.691,
"width": 31.345,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.826,
"textWidth": 2.368
},
{
"text": "use ",
"font": "serif",
"width": 3.174,
"textWidth": 2.716
},
{
"text": "the ",
"font": "serif",
"width": 2.961,
"textWidth": 2.501
},
{
"text": "current ",
"font": "serif",
"width": 6.238,
"textWidth": 5.78
},
{
"text": "network ",
"font": "serif",
"width": 7.163,
"textWidth": 6.705
},
{
"text": "parameters ",
"font": "serif",
"width": 8.984,
"textWidth": 8.984
}
]
},
{
"left": 47.206,
"top": 13.691,
"width": 40.89,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.755,
"textWidth": 2.297
},
{
"text": "feature ",
"font": "serif",
"width": 6.043,
"textWidth": 5.585
},
{
"text": "computation, ",
"font": "serif",
"width": 11.094,
"textWidth": 10.636
},
{
"text": "but ",
"font": "serif",
"width": 3.131,
"textWidth": 2.672
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.501
},
{
"text": "routing ",
"font": "serif",
"width": 6.375,
"textWidth": 5.917
},
{
"text": "indices ",
"font": "serif",
"width": 6.088,
"textWidth": 5.63
},
{
"text": "are ",
"font": "serif",
"width": 2.445,
"textWidth": 2.445
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 50.563,
"height": 1.296,
"words": [
{
"text": "computed ",
"font": "serif",
"width": 8.583,
"textWidth": 8.127
},
{
"text": "and ",
"font": "serif",
"width": 3.516,
"textWidth": 3.062
},
{
"text": "applied ",
"font": "serif",
"width": 6.559,
"textWidth": 6.103
},
{
"text": "using ",
"font": "serif",
"width": 4.898,
"textWidth": 4.442
},
{
"text": "the ",
"font": "serif",
"width": 2.963,
"textWidth": 2.509
},
{
"text": "historical ",
"font": "serif",
"width": 7.854,
"textWidth": 7.398
},
{
"text": "network ",
"font": "serif",
"width": 7.179,
"textWidth": 6.725
},
{
"text": "parameters ",
"font": "serif",
"width": 9.011,
"textWidth": 9.011
}
]
},
{
"left": 67.711,
"top": 15.3,
"width": 20.385,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.116,
"textWidth": 1.662
},
{
"text": "practice, ",
"font": "serif",
"width": 7.203,
"textWidth": 6.747
},
{
"text": "to ",
"font": "serif",
"width": 2.033,
"textWidth": 1.577
},
{
"text": "circumvent ",
"font": "serif",
"width": 9.033,
"textWidth": 9.033
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 63.209,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.168,
"textWidth": 2.593
},
{
"text": "overhead ",
"font": "serif",
"width": 8.313,
"textWidth": 7.737
},
{
"text": "of ",
"font": "serif",
"width": 2.219,
"textWidth": 1.643
},
{
"text": "loading ",
"font": "serif",
"width": 6.888,
"textWidth": 6.313
},
{
"text": "model ",
"font": "serif",
"width": 5.828,
"textWidth": 5.253
},
{
"text": "parameters ",
"font": "serif",
"width": 9.888,
"textWidth": 9.313
},
{
"text": "twice, ",
"font": "serif",
"width": 5.511,
"textWidth": 4.905
},
{
"text": "we ",
"font": "serif",
"width": 3.03,
"textWidth": 2.454
},
{
"text": "fetch ",
"font": "serif",
"width": 4.621,
"textWidth": 4.045
},
{
"text": "the ",
"font": "serif",
"width": 3.168,
"textWidth": 2.593
},
{
"text": "data ",
"font": "serif",
"width": 4.196,
"textWidth": 3.621
},
{
"text": "for ",
"font": "serif",
"width": 2.957,
"textWidth": 2.381
},
{
"text": "step ",
"font": "serif",
"width": 3.421,
"textWidth": 3.421
}
]
},
{
"left": 76.887,
"top": 16.91,
"width": 11.208,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.208,
"textWidth": 1.632
},
{
"text": "advance ",
"font": "serif",
"width": 7.456,
"textWidth": 6.881
},
{
"text": "at ",
"font": "serif",
"width": 1.544,
"textWidth": 1.544
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 3.421,
"height": 1.296,
"words": [
{
"text": "step ",
"font": "serif",
"width": 3.421,
"textWidth": 3.421
}
]
},
{
"left": 21.163,
"top": 18.519,
"width": 66.987,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.069,
"textWidth": 2.596
},
{
"text": "\"anticipatorily\" ",
"font": "serif",
"width": 12.961,
"textWidth": 12.49
},
{
"text": "compute ",
"font": "serif",
"width": 7.729,
"textWidth": 7.256
},
{
"text": "and ",
"font": "serif",
"width": 3.636,
"textWidth": 3.165
},
{
"text": "cache ",
"font": "serif",
"width": 5.051,
"textWidth": 4.578
},
{
"text": "the ",
"font": "serif",
"width": 3.064,
"textWidth": 2.593
},
{
"text": "routing ",
"font": "serif",
"width": 6.606,
"textWidth": 6.133
},
{
"text": "indices ",
"font": "serif",
"width": 6.307,
"textWidth": 5.836
},
{
"text": "to ",
"font": "serif",
"width": 2.103,
"textWidth": 1.63
},
{
"text": "be ",
"font": "serif",
"width": 2.4,
"textWidth": 1.929
},
{
"text": "used ",
"font": "serif",
"width": 4.43,
"textWidth": 3.957
},
{
"text": "later ",
"font": "serif",
"width": 4.193,
"textWidth": 3.722
},
{
"text": "at ",
"font": "serif",
"width": 2.017,
"textWidth": 1.544
},
{
"text": "step ",
"font": "serif",
"width": 3.421,
"textWidth": 3.421
}
]
},
{
"left": 13.45,
"top": 20.129,
"width": 74.646,
"height": 1.296,
"words": [
{
"text": "which ",
"font": "serif",
"width": 5.527,
"textWidth": 5.069
},
{
"text": "is ",
"font": "serif",
"width": 1.784,
"textWidth": 1.326
},
{
"text": "why ",
"font": "serif",
"width": 4.117,
"textWidth": 3.657
},
{
"text": "we ",
"font": "serif",
"width": 2.893,
"textWidth": 2.435
},
{
"text": "name ",
"font": "serif",
"width": 4.993,
"textWidth": 4.533
},
{
"text": "this ",
"font": "serif",
"width": 3.468,
"textWidth": 3.01
},
{
"text": "approach ",
"font": "serif",
"width": 8.158,
"textWidth": 7.698
},
{
"text": "Anticipatory ",
"font": "serif",
"width": 10.911,
"textWidth": 10.451
},
{
"text": "Routing. ",
"font": "serif",
"width": 7.658,
"textWidth": 7.088
},
{
"text": "We ",
"font": "serif",
"width": 3.034,
"textWidth": 2.574
},
{
"text": "also ",
"font": "serif",
"width": 3.724,
"textWidth": 3.266
},
{
"text": "heavily ",
"font": "serif",
"width": 6.513,
"textWidth": 6.053
},
{
"text": "optimized ",
"font": "serif",
"width": 8.856,
"textWidth": 8.396
},
{
"text": "this ",
"font": "serif",
"width": 3.01,
"textWidth": 3.01
}
]
},
{
"left": 11.905,
"top": 21.738,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "at ",
"font": "serif",
"width": 2.094,
"textWidth": 1.544
},
{
"text": "the ",
"font": "serif",
"width": 3.142,
"textWidth": 2.593
},
{
"text": "infrastructure ",
"font": "serif",
"width": 11.896,
"textWidth": 11.346
},
{
"text": "level. ",
"font": "serif",
"width": 5.243,
"textWidth": 4.402
},
{
"text": "First, ",
"font": "serif",
"width": 4.763,
"textWidth": 4.191
},
{
"text": "given ",
"font": "serif",
"width": 5.172,
"textWidth": 4.623
},
{
"text": "that ",
"font": "serif",
"width": 3.789,
"textWidth": 3.241
},
{
"text": "pre-computing ",
"font": "serif",
"width": 12.928,
"textWidth": 12.38
},
{
"text": "the ",
"font": "serif",
"width": 3.142,
"textWidth": 2.593
},
{
"text": "routing ",
"font": "serif",
"width": 6.683,
"textWidth": 6.135
},
{
"text": "indices ",
"font": "serif",
"width": 6.385,
"textWidth": 5.836
},
{
"text": "only ",
"font": "serif",
"width": 4.241,
"textWidth": 3.692
},
{
"text": "requires ",
"font": "serif",
"width": 6.713,
"textWidth": 6.713
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.402,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.372,
"textWidth": 4.903
},
{
"text": "forward ",
"font": "serif",
"width": 7.191,
"textWidth": 6.722
},
{
"text": "pass ",
"font": "serif",
"width": 4.111,
"textWidth": 3.643
},
{
"text": "over ",
"font": "serif",
"width": 4.18,
"textWidth": 3.71
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "data, ",
"font": "serif",
"width": 4.559,
"textWidth": 4.088
},
{
"text": "we ",
"font": "serif",
"width": 2.922,
"textWidth": 2.454
},
{
"text": "carefully ",
"font": "serif",
"width": 7.711,
"textWidth": 7.243
},
{
"text": "orchestrated ",
"font": "serif",
"width": 10.73,
"textWidth": 10.26
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.227,
"textWidth": 6.757
},
{
"text": "execution ",
"font": "serif",
"width": 8.442,
"textWidth": 7.974
},
{
"text": "and ",
"font": "serif",
"width": 3.634,
"textWidth": 3.165
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 24.957,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "overlapping ",
"font": "serif",
"width": 10.086,
"textWidth": 9.711
},
{
"text": "of ",
"font": "serif",
"width": 1.952,
"textWidth": 1.579
},
{
"text": "computation ",
"font": "serif",
"width": 10.519,
"textWidth": 10.144
},
{
"text": "with ",
"font": "serif",
"width": 4.027,
"textWidth": 3.651
},
{
"text": "Expert ",
"font": "serif",
"width": 5.632,
"textWidth": 5.259
},
{
"text": "Parallelism ",
"font": "serif",
"width": 9.264,
"textWidth": 8.888
},
{
"text": "(EP) ",
"font": "serif",
"width": 3.754,
"textWidth": 3.378
},
{
"text": "communication, ",
"font": "serif",
"width": 13.27,
"textWidth": 12.879
},
{
"text": "successfully ",
"font": "serif",
"width": 9.921,
"textWidth": 9.547
},
{
"text": "bounding ",
"font": "serif",
"width": 7.766,
"textWidth": 7.766
}
]
},
{
"left": 11.905,
"top": 26.566,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.957,
"textWidth": 2.501
},
{
"text": "additional ",
"font": "serif",
"width": 8.658,
"textWidth": 8.203
},
{
"text": "wall-clock ",
"font": "serif",
"width": 8.625,
"textWidth": 8.169
},
{
"text": "time ",
"font": "serif",
"width": 4.025,
"textWidth": 3.569
},
{
"text": "overhead ",
"font": "serif",
"width": 7.918,
"textWidth": 7.462
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.585
},
{
"text": "Anticipatory ",
"font": "serif",
"width": 10.62,
"textWidth": 10.163
},
{
"text": "Routing ",
"font": "serif",
"width": 6.896,
"textWidth": 6.44
},
{
"text": "to ",
"font": "serif",
"width": 2.029,
"textWidth": 1.572
},
{
"text": "approximately ",
"font": "serif",
"width": 12.116,
"textWidth": 11.662
},
{
"text": "20%. ",
"font": "serif",
"width": 4.337,
"textWidth": 3.769
},
{
"text": "Second, ",
"font": "serif",
"width": 6.198,
"textWidth": 6.198
}
]
},
{
"left": 11.828,
"top": 28.176,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.91,
"textWidth": 2.454
},
{
"text": "introduced ",
"font": "serif",
"width": 9.561,
"textWidth": 9.103
},
{
"text": "an ",
"font": "serif",
"width": 2.479,
"textWidth": 2.023
},
{
"text": "automatic ",
"font": "serif",
"width": 8.716,
"textWidth": 8.26
},
{
"text": "detection ",
"font": "serif",
"width": 8.09,
"textWidth": 7.634
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.93,
"textWidth": 9.473
},
{
"text": "that ",
"font": "serif",
"width": 3.697,
"textWidth": 3.241
},
{
"text": "triggers ",
"font": "serif",
"width": 6.853,
"textWidth": 6.397
},
{
"text": "a ",
"font": "serif",
"width": 1.391,
"textWidth": 0.935
},
{
"text": "short ",
"font": "serif",
"width": 4.705,
"textWidth": 4.249
},
{
"text": "rollback ",
"font": "serif",
"width": 7.109,
"textWidth": 6.653
},
{
"text": "and ",
"font": "serif",
"width": 3.621,
"textWidth": 3.165
},
{
"text": "activates ",
"font": "serif",
"width": 7.206,
"textWidth": 7.206
}
]
},
{
"left": 11.833,
"top": 29.785,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Anticipatory ",
"font": "serif",
"width": 10.993,
"textWidth": 10.535
},
{
"text": "Routing ",
"font": "serif",
"width": 7.135,
"textWidth": 6.677
},
{
"text": "exclusively ",
"font": "serif",
"width": 9.692,
"textWidth": 9.232
},
{
"text": "when ",
"font": "serif",
"width": 5.088,
"textWidth": 4.63
},
{
"text": "a ",
"font": "serif",
"width": 1.393,
"textWidth": 0.935
},
{
"text": "loss ",
"font": "serif",
"width": 3.61,
"textWidth": 3.15
},
{
"text": "spike ",
"font": "serif",
"width": 4.853,
"textWidth": 4.393
},
{
"text": "occurs; ",
"font": "serif",
"width": 6.264,
"textWidth": 5.806
},
{
"text": "after ",
"font": "serif",
"width": 4.258,
"textWidth": 3.8
},
{
"text": "operating ",
"font": "serif",
"width": 8.453,
"textWidth": 7.993
},
{
"text": "in ",
"font": "serif",
"width": 2.09,
"textWidth": 1.632
},
{
"text": "this ",
"font": "serif",
"width": 3.492,
"textWidth": 3.034
},
{
"text": "mode ",
"font": "serif",
"width": 5.169,
"textWidth": 4.709
},
{
"text": "for ",
"font": "serif",
"width": 2.839,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 31.394,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "certain ",
"font": "serif",
"width": 6.152,
"textWidth": 5.64
},
{
"text": "period, ",
"font": "serif",
"width": 6.456,
"textWidth": 5.931
},
{
"text": "the ",
"font": "serif",
"width": 3.105,
"textWidth": 2.593
},
{
"text": "system ",
"font": "serif",
"width": 6.292,
"textWidth": 5.78
},
{
"text": "reverts ",
"font": "serif",
"width": 6.204,
"textWidth": 5.692
},
{
"text": "to ",
"font": "serif",
"width": 2.142,
"textWidth": 1.63
},
{
"text": "standard ",
"font": "serif",
"width": 7.86,
"textWidth": 7.348
},
{
"text": "training. ",
"font": "serif",
"width": 7.784,
"textWidth": 7.053
},
{
"text": "Ultimately, ",
"font": "serif",
"width": 9.614,
"textWidth": 9.088
},
{
"text": "this ",
"font": "serif",
"width": 3.546,
"textWidth": 3.034
},
{
"text": "dynamic ",
"font": "serif",
"width": 7.741,
"textWidth": 7.228
},
{
"text": "application ",
"font": "serif",
"width": 9.296,
"textWidth": 9.296
}
]
},
{
"left": 11.905,
"top": 33.004,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "allows ",
"font": "serif",
"width": 5.788,
"textWidth": 5.331
},
{
"text": "us ",
"font": "serif",
"width": 2.355,
"textWidth": 1.897
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.611
},
{
"text": "avert ",
"font": "serif",
"width": 4.64,
"textWidth": 4.184
},
{
"text": "loss ",
"font": "serif",
"width": 3.569,
"textWidth": 3.113
},
{
"text": "spikes ",
"font": "serif",
"width": 5.584,
"textWidth": 5.126
},
{
"text": "with ",
"font": "serif",
"width": 4.212,
"textWidth": 3.756
},
{
"text": "negligible ",
"font": "serif",
"width": 8.527,
"textWidth": 8.071
},
{
"text": "overall ",
"font": "serif",
"width": 6.124,
"textWidth": 5.666
},
{
"text": "additional ",
"font": "serif",
"width": 8.86,
"textWidth": 8.401
},
{
"text": "training ",
"font": "serif",
"width": 6.964,
"textWidth": 6.508
},
{
"text": "overhead, ",
"font": "serif",
"width": 8.566,
"textWidth": 8.108
},
{
"text": "all ",
"font": "serif",
"width": 2.455,
"textWidth": 1.999
},
{
"text": "without ",
"font": "serif",
"width": 6.48,
"textWidth": 6.48
}
]
},
{
"left": 11.905,
"top": 34.613,
"width": 28.627,
"height": 1.296,
"words": [
{
"text": "compromising ",
"font": "serif",
"width": 12.231,
"textWidth": 11.773
},
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "performance. ",
"font": "serif",
"width": 10.789,
"textWidth": 10.789
}
]
},
{
"left": 11.905,
"top": 38.819,
"width": 16.96,
"height": 1.296,
"words": [
{
"text": "SwiGLU ",
"font": "serif-bold",
"width": 7.978,
"textWidth": 7.475
},
{
"text": "Clamping. ",
"font": "serif-bold",
"width": 8.982,
"textWidth": 8.982
}
]
},
{
"left": 30.687,
"top": 38.84,
"width": 57.409,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.221,
"textWidth": 1.718
},
{
"text": "previous ",
"font": "serif",
"width": 7.767,
"textWidth": 7.264
},
{
"text": "literature ",
"font": "serif",
"width": 8.105,
"textWidth": 7.602
},
{
"text": "(Bello ",
"font": "serif",
"width": 5.271,
"textWidth": 4.768
},
{
"text": "et ",
"font": "serif",
"width": 2.008,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.916,
"textWidth": 2.413
},
{
"text": "2017; ",
"font": "serif",
"width": 4.709,
"textWidth": 4.206
},
{
"text": "Riviere ",
"font": "serif",
"width": 6.393,
"textWidth": 5.89
},
{
"text": "et ",
"font": "serif",
"width": 2.008,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.916,
"textWidth": 2.413
},
{
"text": "2024), ",
"font": "serif",
"width": 5.342,
"textWidth": 4.828
},
{
"text": "clamping ",
"font": "serif",
"width": 7.754,
"textWidth": 7.754
}
]
},
{
"left": 11.905,
"top": 40.449,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "has ",
"font": "serif",
"width": 3.225,
"textWidth": 2.771
},
{
"text": "been ",
"font": "serif",
"width": 4.307,
"textWidth": 3.851
},
{
"text": "explicitly ",
"font": "serif",
"width": 7.972,
"textWidth": 7.516
},
{
"text": "utilized ",
"font": "serif",
"width": 6.696,
"textWidth": 6.241
},
{
"text": "to ",
"font": "serif",
"width": 2.059,
"textWidth": 1.604
},
{
"text": "constrain ",
"font": "serif",
"width": 7.982,
"textWidth": 7.525
},
{
"text": "numerical ",
"font": "serif",
"width": 8.675,
"textWidth": 8.219
},
{
"text": "ranges, ",
"font": "serif",
"width": 6.317,
"textWidth": 5.862
},
{
"text": "thereby ",
"font": "serif",
"width": 6.624,
"textWidth": 6.167
},
{
"text": "enhancing ",
"font": "serif",
"width": 8.915,
"textWidth": 8.46
},
{
"text": "training ",
"font": "serif",
"width": 6.937,
"textWidth": 6.482
},
{
"text": "stability. ",
"font": "serif",
"width": 6.802,
"textWidth": 6.802
}
]
},
{
"left": 11.905,
"top": 42.059,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.211,
"textWidth": 1.718
},
{
"text": "our ",
"font": "serif",
"width": 3.378,
"textWidth": 2.886
},
{
"text": "actual ",
"font": "serif",
"width": 5.473,
"textWidth": 4.98
},
{
"text": "training ",
"font": "serif",
"width": 7.079,
"textWidth": 6.585
},
{
"text": "runs, ",
"font": "serif",
"width": 4.699,
"textWidth": 4.198
},
{
"text": "we ",
"font": "serif",
"width": 2.948,
"textWidth": 2.454
},
{
"text": "empirically ",
"font": "serif",
"width": 9.879,
"textWidth": 9.387
},
{
"text": "found ",
"font": "serif",
"width": 5.494,
"textWidth": 5.0
},
{
"text": "that ",
"font": "serif",
"width": 3.733,
"textWidth": 3.241
},
{
"text": "applying ",
"font": "serif",
"width": 7.929,
"textWidth": 7.436
},
{
"text": "SwiGLU ",
"font": "serif",
"width": 7.6,
"textWidth": 7.107
},
{
"text": "clamping ",
"font": "serif",
"width": 8.245,
"textWidth": 7.754
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 7.75,
"textWidth": 7.75
}
]
},
{
"left": 11.905,
"top": 43.668,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "2025) ",
"font": "serif",
"width": 4.866,
"textWidth": 4.361
},
{
"text": "effectively ",
"font": "serif",
"width": 9.025,
"textWidth": 8.52
},
{
"text": "eliminates ",
"font": "serif",
"width": 9.002,
"textWidth": 8.498
},
{
"text": "outliers ",
"font": "serif",
"width": 6.776,
"textWidth": 6.271
},
{
"text": "and ",
"font": "serif",
"width": 3.669,
"textWidth": 3.165
},
{
"text": "substantially ",
"font": "serif",
"width": 11.098,
"textWidth": 10.593
},
{
"text": "aids ",
"font": "serif",
"width": 3.92,
"textWidth": 3.413
},
{
"text": "in ",
"font": "serif",
"width": 2.137,
"textWidth": 1.632
},
{
"text": "stabilizing ",
"font": "serif",
"width": 9.113,
"textWidth": 8.608
},
{
"text": "the ",
"font": "serif",
"width": 3.097,
"textWidth": 2.593
},
{
"text": "training ",
"font": "serif",
"width": 7.09,
"textWidth": 6.585
},
{
"text": "process, ",
"font": "serif",
"width": 6.627,
"textWidth": 6.627
}
]
},
{
"left": 11.828,
"top": 45.277,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "without ",
"font": "serif",
"width": 6.896,
"textWidth": 6.435
},
{
"text": "compromising ",
"font": "serif",
"width": 12.245,
"textWidth": 11.784
},
{
"text": "performance. ",
"font": "serif",
"width": 11.374,
"textWidth": 10.799
},
{
"text": "Throughout ",
"font": "serif",
"width": 10.245,
"textWidth": 9.785
},
{
"text": "the ",
"font": "serif",
"width": 3.005,
"textWidth": 2.544
},
{
"text": "training ",
"font": "serif",
"width": 6.923,
"textWidth": 6.463
},
{
"text": "of ",
"font": "serif",
"width": 2.071,
"textWidth": 1.612
},
{
"text": "both ",
"font": "serif",
"width": 4.142,
"textWidth": 3.682
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.261,
"textWidth": 15.8
},
{
"text": "and ",
"font": "serif",
"width": 3.106,
"textWidth": 3.106
}
]
},
{
"left": 11.905,
"top": 46.887,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 14.921,
"textWidth": 14.464
},
{
"text": "we ",
"font": "serif",
"width": 2.822,
"textWidth": 2.363
},
{
"text": "clamped ",
"font": "serif",
"width": 7.312,
"textWidth": 6.855
},
{
"text": "the ",
"font": "serif",
"width": 2.953,
"textWidth": 2.496
},
{
"text": "linear ",
"font": "serif",
"width": 5.026,
"textWidth": 4.567
},
{
"text": "component ",
"font": "serif",
"width": 9.435,
"textWidth": 8.978
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.582
},
{
"text": "SwiGLU ",
"font": "serif",
"width": 7.299,
"textWidth": 6.842
},
{
"text": "to ",
"font": "serif",
"width": 2.028,
"textWidth": 1.569
},
{
"text": "the ",
"font": "serif",
"width": 2.953,
"textWidth": 2.496
},
{
"text": "range ",
"font": "serif",
"width": 4.98,
"textWidth": 4.521
},
{
"text": "of ",
"font": "serif",
"width": 3.98,
"textWidth": 1.582
},
{
"text": "10, ",
"font": "serif",
"width": 2.555,
"textWidth": 2.25
},
{
"text": "10 ",
"font": "serif",
"width": 3.426,
"textWidth": 1.8
},
{
"text": "while ",
"font": "serif",
"width": 4.458,
"textWidth": 4.458
}
]
},
{
"left": 11.905,
"top": 48.496,
"width": 43.942,
"height": 1.296,
"words": [
{
"text": "capping ",
"font": "serif",
"width": 7.01,
"textWidth": 6.552
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "upper ",
"font": "serif",
"width": 5.368,
"textWidth": 4.91
},
{
"text": "bound ",
"font": "serif",
"width": 5.764,
"textWidth": 5.305
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "gate ",
"font": "serif",
"width": 3.869,
"textWidth": 3.41
},
{
"text": "component ",
"font": "serif",
"width": 9.601,
"textWidth": 9.143
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "10. ",
"font": "serif",
"width": 2.291,
"textWidth": 2.291
}
]
},
{
"left": 11.905,
"top": 52.409,
"width": 13.539,
"height": 1.296,
"words": [
{
"text": "4.3. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Evaluations ",
"font": "serif-bold",
"width": 9.874,
"textWidth": 9.874
}
]
},
{
"left": 11.905,
"top": 55.047,
"width": 24.643,
"height": 1.296,
"words": [
{
"text": "4.3.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Evaluation ",
"font": "serif-bold-italic",
"width": 9.625,
"textWidth": 9.167
},
{
"text": "Benchmarks ",
"font": "serif-bold-italic",
"width": 9.979,
"textWidth": 9.979
}
]
},
{
"left": 11.905,
"top": 57.731,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.185,
"textWidth": 2.724
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.524
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.982,
"textWidth": 8.522
},
{
"text": "of ",
"font": "serif",
"width": 2.06,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.524
},
{
"text": "base ",
"font": "serif",
"width": 4.02,
"textWidth": 3.559
},
{
"text": "models, ",
"font": "serif",
"width": 6.801,
"textWidth": 6.34
},
{
"text": "we ",
"font": "serif",
"width": 2.85,
"textWidth": 2.389
},
{
"text": "consider ",
"font": "serif",
"width": 7.325,
"textWidth": 6.864
},
{
"text": "benchmarks ",
"font": "serif",
"width": 10.284,
"textWidth": 9.823
},
{
"text": "spanning ",
"font": "serif",
"width": 7.954,
"textWidth": 7.494
},
{
"text": "four ",
"font": "serif",
"width": 3.876,
"textWidth": 3.416
},
{
"text": "key ",
"font": "serif",
"width": 3.356,
"textWidth": 2.895
},
{
"text": "dimensions: ",
"font": "serif",
"width": 9.76,
"textWidth": 9.76
}
]
},
{
"left": 11.828,
"top": 59.34,
"width": 76.573,
"height": 1.296,
"words": [
{
"text": "world ",
"font": "serif",
"width": 5.353,
"textWidth": 4.896
},
{
"text": "knowledge, ",
"font": "serif",
"width": 9.94,
"textWidth": 9.481
},
{
"text": "language ",
"font": "serif",
"width": 7.896,
"textWidth": 7.438
},
{
"text": "understanding ",
"font": "serif",
"width": 12.424,
"textWidth": 11.965
},
{
"text": "and ",
"font": "serif",
"width": 3.554,
"textWidth": 3.096
},
{
"text": "reasoning, ",
"font": "serif",
"width": 8.848,
"textWidth": 8.389
},
{
"text": "coding ",
"font": "serif",
"width": 5.999,
"textWidth": 5.542
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "mathematics, ",
"font": "serif",
"width": 11.226,
"textWidth": 10.769
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "long- ",
"font": "serif",
"width": 4.221,
"textWidth": 4.221
}
]
},
{
"left": 11.905,
"top": 60.95,
"width": 15.473,
"height": 1.296,
"words": [
{
"text": "context ",
"font": "serif",
"width": 6.357,
"textWidth": 5.899
},
{
"text": "processing. ",
"font": "serif",
"width": 9.115,
"textWidth": 9.115
}
]
},
{
"left": 14.75,
"top": 63.343,
"width": 15.071,
"height": 1.296,
"words": [
{
"text": "World ",
"font": "serif-bold",
"width": 5.649,
"textWidth": 5.19
},
{
"text": "knowledge ",
"font": "serif-bold",
"width": 9.423,
"textWidth": 9.423
}
]
},
{
"left": 30.279,
"top": 63.364,
"width": 58.046,
"height": 1.296,
"words": [
{
"text": "benchmarks ",
"font": "serif",
"width": 10.411,
"textWidth": 9.952
},
{
"text": "include ",
"font": "serif",
"width": 6.543,
"textWidth": 6.086
},
{
"text": "AGIEval ",
"font": "serif",
"width": 7.548,
"textWidth": 7.089
},
{
"text": "(Zhong ",
"font": "serif",
"width": 6.478,
"textWidth": 6.021
},
{
"text": "et ",
"font": "serif",
"width": 1.943,
"textWidth": 1.484
},
{
"text": "al., ",
"font": "serif",
"width": 2.837,
"textWidth": 2.38
},
{
"text": "2023), ",
"font": "serif",
"width": 5.219,
"textWidth": 4.762
},
{
"text": "C-Eval ",
"font": "serif",
"width": 6.006,
"textWidth": 5.547
},
{
"text": "(Huang ",
"font": "serif",
"width": 6.737,
"textWidth": 6.279
},
{
"text": "et ",
"font": "serif",
"width": 1.943,
"textWidth": 1.484
},
{
"text": "al., ",
"font": "serif",
"width": 2.38,
"textWidth": 2.38
}
]
},
{
"left": 11.905,
"top": 64.973,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "2023), ",
"font": "serif",
"width": 5.367,
"textWidth": 4.828
},
{
"text": "CMMLU ",
"font": "serif",
"width": 7.98,
"textWidth": 7.458
},
{
"text": "(Li ",
"font": "serif",
"width": 2.832,
"textWidth": 2.309
},
{
"text": "et ",
"font": "serif",
"width": 2.026,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.935,
"textWidth": 2.413
},
{
"text": "2023) ",
"font": "serif",
"width": 4.884,
"textWidth": 4.361
},
{
"text": "MMLU ",
"font": "serif",
"width": 6.655,
"textWidth": 6.133
},
{
"text": "(Hendrycks ",
"font": "serif",
"width": 10.264,
"textWidth": 9.743
},
{
"text": "et ",
"font": "serif",
"width": 2.028,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.935,
"textWidth": 2.413
},
{
"text": "2020), ",
"font": "serif",
"width": 5.367,
"textWidth": 4.828
},
{
"text": "MMLU-Redux ",
"font": "serif",
"width": 12.655,
"textWidth": 12.133
},
{
"text": "(Gema ",
"font": "serif",
"width": 6.053,
"textWidth": 5.529
},
{
"text": "et ",
"font": "serif",
"width": 2.026,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.413,
"textWidth": 2.413
}
]
},
{
"left": 11.905,
"top": 66.583,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2024), ",
"font": "serif",
"width": 5.359,
"textWidth": 4.828
},
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 10.126,
"textWidth": 9.61
},
{
"text": "(Wang ",
"font": "serif",
"width": 5.901,
"textWidth": 5.385
},
{
"text": "et ",
"font": "serif",
"width": 2.021,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.929,
"textWidth": 2.413
},
{
"text": "2024b), ",
"font": "serif",
"width": 6.393,
"textWidth": 5.862
},
{
"text": "MMMLU ",
"font": "serif",
"width": 8.417,
"textWidth": 7.901
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 8.266,
"textWidth": 7.75
},
{
"text": "2024a), ",
"font": "serif",
"width": 6.294,
"textWidth": 5.763
},
{
"text": "MultiLoKo ",
"font": "serif",
"width": 9.649,
"textWidth": 9.133
},
{
"text": "(Hupkes ",
"font": "serif",
"width": 7.671,
"textWidth": 7.156
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 68.192,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Bogoychev, ",
"font": "serif",
"width": 9.849,
"textWidth": 9.392
},
{
"text": "2025), ",
"font": "serif",
"width": 5.181,
"textWidth": 4.724
},
{
"text": "Simple-QA ",
"font": "serif",
"width": 9.542,
"textWidth": 9.084
},
{
"text": "verified ",
"font": "serif",
"width": 6.721,
"textWidth": 6.264
},
{
"text": "(Haas ",
"font": "serif",
"width": 5.192,
"textWidth": 4.735
},
{
"text": "et ",
"font": "serif",
"width": 1.93,
"textWidth": 1.472
},
{
"text": "al., ",
"font": "serif",
"width": 2.818,
"textWidth": 2.361
},
{
"text": "2025), ",
"font": "serif",
"width": 5.181,
"textWidth": 4.724
},
{
"text": "SuperGPQA ",
"font": "serif",
"width": 10.579,
"textWidth": 10.121
},
{
"text": "(Du ",
"font": "serif",
"width": 3.585,
"textWidth": 3.127
},
{
"text": "et ",
"font": "serif",
"width": 1.93,
"textWidth": 1.472
},
{
"text": "al., ",
"font": "serif",
"width": 2.818,
"textWidth": 2.361
},
{
"text": "2025), ",
"font": "serif",
"width": 5.181,
"textWidth": 4.724
},
{
"text": "FACTS ",
"font": "serif",
"width": 5.683,
"textWidth": 5.683
}
]
},
{
"left": 11.905,
"top": 69.801,
"width": 51.766,
"height": 1.296,
"words": [
{
"text": "Parametric ",
"font": "serif",
"width": 9.286,
"textWidth": 8.828
},
{
"text": "(Cheng ",
"font": "serif",
"width": 6.398,
"textWidth": 5.939
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025), ",
"font": "serif",
"width": 5.192,
"textWidth": 4.734
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "TriviaQA ",
"font": "serif",
"width": 8.025,
"textWidth": 7.567
},
{
"text": "(Joshi ",
"font": "serif",
"width": 5.056,
"textWidth": 4.598
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2017). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 14.75,
"top": 72.195,
"width": 32.338,
"height": 1.296,
"words": [
{
"text": "Language ",
"font": "serif-bold",
"width": 8.353,
"textWidth": 7.983
},
{
"text": "understanding ",
"font": "serif-bold",
"width": 12.441,
"textWidth": 12.071
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.463,
"textWidth": 3.093
},
{
"text": "reasoning ",
"font": "serif-bold",
"width": 8.082,
"textWidth": 8.082
}
]
},
{
"left": 47.458,
"top": 72.215,
"width": 40.637,
"height": 1.296,
"words": [
{
"text": "benchmarks ",
"font": "serif",
"width": 10.065,
"textWidth": 9.695
},
{
"text": "include ",
"font": "serif",
"width": 6.298,
"textWidth": 5.928
},
{
"text": "BigBench ",
"font": "serif",
"width": 7.834,
"textWidth": 7.464
},
{
"text": "Hard ",
"font": "serif",
"width": 4.537,
"textWidth": 4.167
},
{
"text": "(BBH) ",
"font": "serif",
"width": 5.255,
"textWidth": 4.885
},
{
"text": "(Suzgun ",
"font": "serif",
"width": 6.649,
"textWidth": 6.649
}
]
},
{
"left": 11.905,
"top": 73.825,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.875,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.75,
"textWidth": 2.319
},
{
"text": "2022), ",
"font": "serif",
"width": 5.074,
"textWidth": 4.639
},
{
"text": "DROP ",
"font": "serif",
"width": 5.517,
"textWidth": 5.086
},
{
"text": "(Dua ",
"font": "serif",
"width": 4.398,
"textWidth": 3.969
},
{
"text": "et ",
"font": "serif",
"width": 1.877,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.748,
"textWidth": 2.319
},
{
"text": "2019), ",
"font": "serif",
"width": 5.075,
"textWidth": 4.639
},
{
"text": "HellaSwag ",
"font": "serif",
"width": 9.064,
"textWidth": 8.635
},
{
"text": "(Zellers ",
"font": "serif",
"width": 6.464,
"textWidth": 6.033
},
{
"text": "et ",
"font": "serif",
"width": 1.875,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.748,
"textWidth": 2.319
},
{
"text": "2019), ",
"font": "serif",
"width": 5.075,
"textWidth": 4.639
},
{
"text": "CLUEWSC ",
"font": "serif",
"width": 9.308,
"textWidth": 8.877
},
{
"text": "(Xu ",
"font": "serif",
"width": 3.308,
"textWidth": 2.877
},
{
"text": "et ",
"font": "serif",
"width": 1.875,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.75,
"textWidth": 2.319
},
{
"text": "2020), ",
"font": "serif",
"width": 4.639,
"textWidth": 4.639
}
]
},
{
"left": 11.905,
"top": 75.434,
"width": 33.365,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "WinoGrande ",
"font": "serif",
"width": 10.893,
"textWidth": 10.435
},
{
"text": "(Sakaguchi ",
"font": "serif",
"width": 9.42,
"textWidth": 8.961
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2019). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 14.75,
"top": 77.827,
"width": 22.467,
"height": 1.296,
"words": [
{
"text": "Coding ",
"font": "serif-bold",
"width": 7.028,
"textWidth": 6.335
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.914,
"textWidth": 3.219
},
{
"text": "mathematical ",
"font": "serif-bold",
"width": 11.524,
"textWidth": 11.524
}
]
},
{
"left": 37.91,
"top": 77.848,
"width": 50.489,
"height": 1.296,
"words": [
{
"text": "benchmarks ",
"font": "serif",
"width": 10.786,
"textWidth": 10.09
},
{
"text": "include ",
"font": "serif",
"width": 6.864,
"textWidth": 6.17
},
{
"text": "BigCodeBench ",
"font": "serif",
"width": 12.847,
"textWidth": 12.152
},
{
"text": "(Zhuo ",
"font": "serif",
"width": 5.798,
"textWidth": 5.105
},
{
"text": "et ",
"font": "serif",
"width": 2.2,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.107,
"textWidth": 2.413
},
{
"text": "2025), ",
"font": "serif",
"width": 5.582,
"textWidth": 4.828
},
{
"text": "Hu- ",
"font": "serif",
"width": 3.305,
"textWidth": 3.305
}
]
},
{
"left": 11.905,
"top": 79.458,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "manEval ",
"font": "serif",
"width": 7.498,
"textWidth": 7.062
},
{
"text": "(Chen ",
"font": "serif",
"width": 5.259,
"textWidth": 4.822
},
{
"text": "et ",
"font": "serif",
"width": 1.882,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.755,
"textWidth": 2.319
},
{
"text": "2021), ",
"font": "serif",
"width": 5.079,
"textWidth": 4.639
},
{
"text": "GSM8K ",
"font": "serif",
"width": 6.65,
"textWidth": 6.214
},
{
"text": "(Cobbe ",
"font": "serif",
"width": 6.135,
"textWidth": 5.699
},
{
"text": "et ",
"font": "serif",
"width": 1.882,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.755,
"textWidth": 2.319
},
{
"text": "2021), ",
"font": "serif",
"width": 5.079,
"textWidth": 4.639
},
{
"text": "MATH ",
"font": "serif",
"width": 5.991,
"textWidth": 5.555
},
{
"text": "(Hendrycks ",
"font": "serif",
"width": 9.797,
"textWidth": 9.361
},
{
"text": "et ",
"font": "serif",
"width": 1.882,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.755,
"textWidth": 2.319
},
{
"text": "2021), ",
"font": "serif",
"width": 5.079,
"textWidth": 4.639
},
{
"text": "MGSM ",
"font": "serif",
"width": 5.711,
"textWidth": 5.711
}
]
},
{
"left": 11.844,
"top": 81.067,
"width": 36.846,
"height": 1.296,
"words": [
{
"text": "(Shi ",
"font": "serif",
"width": 3.63,
"textWidth": 3.172
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2023), ",
"font": "serif",
"width": 5.192,
"textWidth": 4.734
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "CMath ",
"font": "serif",
"width": 6.071,
"textWidth": 5.613
},
{
"text": "(Wei ",
"font": "serif",
"width": 4.144,
"textWidth": 3.685
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2023). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 14.75,
"top": 83.46,
"width": 10.741,
"height": 1.296,
"words": [
{
"text": "Long ",
"font": "serif-bold",
"width": 4.735,
"textWidth": 4.277
},
{
"text": "context ",
"font": "serif-bold",
"width": 6.005,
"textWidth": 6.005
}
]
},
{
"left": 25.949,
"top": 83.481,
"width": 43.459,
"height": 1.296,
"words": [
{
"text": "benchmarks ",
"font": "serif",
"width": 10.351,
"textWidth": 9.892
},
{
"text": "include ",
"font": "serif",
"width": 6.508,
"textWidth": 6.049
},
{
"text": "LongBench-V2 ",
"font": "serif",
"width": 12.458,
"textWidth": 12.0
},
{
"text": "(Bai ",
"font": "serif",
"width": 3.638,
"textWidth": 3.18
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025b). ",
"font": "serif",
"width": 5.747,
"textWidth": 5.747
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "27 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"28": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 10.297,
"width": 76.552,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.714,
"textWidth": 4.259
},
{
"text": "1 ",
"font": "serif",
"width": 2.333,
"textWidth": 0.909
},
{
"text": "Comparison ",
"font": "serif",
"width": 10.411,
"textWidth": 9.957
},
{
"text": "among ",
"font": "serif",
"width": 6.03,
"textWidth": 5.576
},
{
"text": "DeepSeek-V3.2-Base, ",
"font": "serif",
"width": 17.316,
"textWidth": 16.86
},
{
"text": "DeepSeek-V4-Flash-Base, ",
"font": "serif",
"width": 20.834,
"textWidth": 20.379
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.078
},
{
"text": "DeepSeek-V4- ",
"font": "serif",
"width": 11.38,
"textWidth": 11.38
}
]
},
{
"left": 11.905,
"top": 11.907,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Pro-Base. ",
"font": "serif",
"width": 8.255,
"textWidth": 7.686
},
{
"text": "All ",
"font": "serif",
"width": 2.993,
"textWidth": 2.535
},
{
"text": "models ",
"font": "serif",
"width": 6.486,
"textWidth": 6.027
},
{
"text": "are ",
"font": "serif",
"width": 2.986,
"textWidth": 2.529
},
{
"text": "evaluated ",
"font": "serif",
"width": 8.573,
"textWidth": 8.115
},
{
"text": "in ",
"font": "serif",
"width": 2.086,
"textWidth": 1.627
},
{
"text": "our ",
"font": "serif",
"width": 3.336,
"textWidth": 2.878
},
{
"text": "internal ",
"font": "serif",
"width": 6.881,
"textWidth": 6.423
},
{
"text": "framework ",
"font": "serif",
"width": 9.63,
"textWidth": 9.172
},
{
"text": "and ",
"font": "serif",
"width": 3.614,
"textWidth": 3.155
},
{
"text": "share ",
"font": "serif",
"width": 4.861,
"textWidth": 4.402
},
{
"text": "the ",
"font": "serif",
"width": 3.044,
"textWidth": 2.585
},
{
"text": "same ",
"font": "serif",
"width": 4.719,
"textWidth": 4.261
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.728,
"textWidth": 8.728
}
]
},
{
"left": 11.905,
"top": 13.516,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "setting. ",
"font": "serif",
"width": 6.492,
"textWidth": 5.921
},
{
"text": "Scores ",
"font": "serif",
"width": 5.575,
"textWidth": 5.117
},
{
"text": "with ",
"font": "serif",
"width": 4.182,
"textWidth": 3.722
},
{
"text": "a ",
"font": "serif",
"width": 1.375,
"textWidth": 0.915
},
{
"text": "gap ",
"font": "serif",
"width": 3.493,
"textWidth": 3.034
},
{
"text": "not ",
"font": "serif",
"width": 3.12,
"textWidth": 2.662
},
{
"text": "exceeding ",
"font": "serif",
"width": 8.583,
"textWidth": 8.123
},
{
"text": "0.3 ",
"font": "serif",
"width": 2.748,
"textWidth": 2.288
},
{
"text": "are ",
"font": "serif",
"width": 2.942,
"textWidth": 2.483
},
{
"text": "considered ",
"font": "serif",
"width": 9.326,
"textWidth": 8.868
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.596
},
{
"text": "be ",
"font": "serif",
"width": 2.349,
"textWidth": 1.889
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.512
},
{
"text": "the ",
"font": "serif",
"width": 2.997,
"textWidth": 2.537
},
{
"text": "same ",
"font": "serif",
"width": 4.645,
"textWidth": 4.185
},
{
"text": "level. ",
"font": "serif",
"width": 4.883,
"textWidth": 4.311
},
{
"text": "The ",
"font": "serif",
"width": 3.522,
"textWidth": 3.065
},
{
"text": "highest ",
"font": "serif",
"width": 5.932,
"textWidth": 5.932
}
]
},
{
"left": 11.905,
"top": 15.125,
"width": 17.855,
"height": 1.296,
"words": [
{
"text": "score ",
"font": "serif",
"width": 4.618,
"textWidth": 4.16
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "each ",
"font": "serif",
"width": 4.133,
"textWidth": 3.674
},
{
"text": "row ",
"font": "serif",
"width": 3.678,
"textWidth": 3.22
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "in ",
"font": "serif",
"width": 1.6,
"textWidth": 1.6
}
]
},
{
"left": 30.218,
"top": 15.105,
"width": 7.789,
"height": 1.296,
"words": [
{
"text": "bold ",
"font": "serif-bold",
"width": 4.327,
"textWidth": 3.869
},
{
"text": "font ",
"font": "serif-bold",
"width": 3.462,
"textWidth": 3.462
}
]
},
{
"left": 38.923,
"top": 15.125,
"width": 23.924,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "second ",
"font": "serif",
"width": 6.114,
"textWidth": 5.655
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "underlined. ",
"font": "serif",
"width": 9.481,
"textWidth": 9.481
}
]
},
{
"left": 47.247,
"top": 18.317,
"width": 39.2,
"height": 1.065,
"words": [
{
"text": "DeepSeek-V3.2 ",
"font": "serif-bold",
"width": 11.924,
"textWidth": 10.584
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif-bold",
"width": 14.977,
"textWidth": 13.638
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif-bold",
"width": 12.3,
"textWidth": 12.3
}
]
},
{
"left": 23.899,
"top": 18.968,
"width": 21.942,
"height": 1.065,
"words": [
{
"text": "Benchmark ",
"font": "serif-bold",
"width": 8.242,
"textWidth": 7.866
},
{
"text": "(Metric) ",
"font": "serif-bold",
"width": 9.851,
"textWidth": 3.68
},
{
"text": "Shots ",
"font": "serif-bold",
"width": 3.848,
"textWidth": 3.848
}
]
},
{
"left": 50.95,
"top": 19.619,
"width": 30.937,
"height": 1.065,
"words": [
{
"text": "Base ",
"font": "serif-bold",
"width": 13.449,
"textWidth": 3.18
},
{
"text": "Base ",
"font": "serif-bold",
"width": 14.308,
"textWidth": 3.18
},
{
"text": "Base ",
"font": "serif-bold",
"width": 3.18,
"textWidth": 3.18
}
]
},
{
"left": 23.899,
"top": 21.588,
"width": 57.982,
"height": 1.065,
"words": [
{
"text": "Architecture ",
"font": "serif",
"width": 27.057,
"textWidth": 8.293
},
{
"text": "MoE ",
"font": "serif",
"width": 13.449,
"textWidth": 3.168
},
{
"text": "MoE ",
"font": "serif",
"width": 14.308,
"textWidth": 3.168
},
{
"text": "MoE ",
"font": "serif",
"width": 3.168,
"textWidth": 3.168
}
]
},
{
"left": 25.029,
"top": 22.889,
"width": 56.482,
"height": 1.065,
"words": [
{
"text": "Activated ",
"font": "serif",
"width": 6.884,
"textWidth": 6.507
},
{
"text": "Params ",
"font": "serif",
"width": 19.414,
"textWidth": 4.98
},
{
"text": "37B ",
"font": "serif",
"width": 13.449,
"textWidth": 2.427
},
{
"text": "13B ",
"font": "serif",
"width": 14.308,
"textWidth": 2.427
},
{
"text": "49B ",
"font": "serif",
"width": 2.427,
"textWidth": 2.427
}
]
},
{
"left": 25.029,
"top": 24.191,
"width": 56.672,
"height": 1.065,
"words": [
{
"text": "Total ",
"font": "serif",
"width": 3.666,
"textWidth": 3.29
},
{
"text": "Params ",
"font": "serif",
"width": 22.255,
"textWidth": 4.98
},
{
"text": "671B ",
"font": "serif",
"width": 13.449,
"textWidth": 3.18
},
{
"text": "284B ",
"font": "serif",
"width": 14.495,
"textWidth": 3.18
},
{
"text": "1.6T ",
"font": "serif",
"width": 2.806,
"textWidth": 2.806
}
]
},
{
"left": 23.899,
"top": 26.143,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "AGIEval ",
"font": "serif",
"width": 6.168,
"textWidth": 5.792
},
{
"text": "(EM) ",
"font": "serif",
"width": 11.244,
"textWidth": 2.232
},
{
"text": "0-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "80.1 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "82.6 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 26.126,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "83.1 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 27.444,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "MMLU ",
"font": "serif",
"width": 5.319,
"textWidth": 4.942
},
{
"text": "(EM) ",
"font": "serif",
"width": 12.094,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "87.8 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "88.7 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 27.427,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "90.1 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 28.746,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "MMLU-Redux ",
"font": "serif",
"width": 10.154,
"textWidth": 9.777
},
{
"text": "(EM) ",
"font": "serif",
"width": 7.259,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "87.5 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "89.4 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 28.729,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "90.8 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 30.048,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 8.12,
"textWidth": 7.744
},
{
"text": "(EM) ",
"font": "serif",
"width": 9.292,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "65.5 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "68.3 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 30.031,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "73.5 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 31.349,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "MMMLU ",
"font": "serif",
"width": 6.744,
"textWidth": 6.367
},
{
"text": "(EM) ",
"font": "serif",
"width": 10.669,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "87.9 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "88.8 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 31.332,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "90.3 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 32.651,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "C-Eval ",
"font": "serif",
"width": 4.909,
"textWidth": 4.532
},
{
"text": "(EM) ",
"font": "serif",
"width": 12.503,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "90.4 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "92.1 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 32.634,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "93.1 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 13.176,
"top": 33.302,
"width": 9.384,
"height": 1.065,
"words": [
{
"text": "World ",
"font": "serif",
"width": 4.52,
"textWidth": 4.144
},
{
"text": "Knowl. ",
"font": "serif",
"width": 4.864,
"textWidth": 4.864
}
]
},
{
"left": 23.899,
"top": 33.953,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "CMMLU ",
"font": "serif",
"width": 6.387,
"textWidth": 6.01
},
{
"text": "(EM) ",
"font": "serif",
"width": 11.026,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "88.9 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "90.4 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 33.936,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "90.8 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 35.255,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "MultiLoKo ",
"font": "serif",
"width": 7.736,
"textWidth": 7.36
},
{
"text": "(EM) ",
"font": "serif",
"width": 9.676,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "38.7 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "42.2 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 35.238,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "51.1 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 36.556,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "Simple-QA ",
"font": "serif",
"width": 7.858,
"textWidth": 7.482
},
{
"text": "verified ",
"font": "serif",
"width": 5.536,
"textWidth": 5.159
},
{
"text": "(EM) ",
"font": "serif",
"width": 3.642,
"textWidth": 2.232
},
{
"text": "25-shot ",
"font": "serif",
"width": 10.287,
"textWidth": 4.837
},
{
"text": "28.3 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "30.1 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 36.539,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "55.2 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 37.858,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "SuperGPQA ",
"font": "serif",
"width": 8.712,
"textWidth": 8.336
},
{
"text": "(EM) ",
"font": "serif",
"width": 8.7,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "45.0 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "46.5 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 37.841,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "53.9 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 39.16,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "FACTS ",
"font": "serif",
"width": 5.057,
"textWidth": 4.68
},
{
"text": "Parametric ",
"font": "serif",
"width": 7.632,
"textWidth": 7.256
},
{
"text": "(EM) ",
"font": "serif",
"width": 4.347,
"textWidth": 2.232
},
{
"text": "25-shot ",
"font": "serif",
"width": 10.287,
"textWidth": 4.837
},
{
"text": "27.1 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "33.9 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 39.143,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "62.6 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 40.461,
"width": 43.409,
"height": 1.065,
"words": [
{
"text": "TriviaQA ",
"font": "serif",
"width": 6.596,
"textWidth": 6.219
},
{
"text": "(EM) ",
"font": "serif",
"width": 10.816,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "83.3 ",
"font": "serif",
"width": 13.45,
"textWidth": 2.636
},
{
"text": "82.8 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 40.444,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "85.6 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 42.413,
"width": 21.496,
"height": 1.065,
"words": [
{
"text": "BBH ",
"font": "serif",
"width": 3.47,
"textWidth": 3.094
},
{
"text": "(EM) ",
"font": "serif",
"width": 13.942,
"textWidth": 2.232
},
{
"text": "3-shot ",
"font": "serif",
"width": 4.083,
"textWidth": 4.083
}
]
},
{
"left": 51.222,
"top": 42.396,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "87.6 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 64.671,
"top": 42.413,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "86.9 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 42.396,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "87.5 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 43.715,
"width": 29.959,
"height": 1.065,
"words": [
{
"text": "DROP ",
"font": "serif",
"width": 4.642,
"textWidth": 4.266
},
{
"text": "(F1) ",
"font": "serif",
"width": 12.77,
"textWidth": 1.729
},
{
"text": "1-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "88.2 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 64.672,
"top": 43.698,
"width": 16.944,
"height": 1.065,
"words": [
{
"text": "88.6 ",
"font": "serif-bold",
"width": 14.308,
"textWidth": 2.636
},
{
"text": "88.7 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 13.23,
"top": 45.017,
"width": 54.077,
"height": 1.065,
"words": [
{
"text": "Lang. ",
"font": "serif",
"width": 5.78,
"textWidth": 3.764
},
{
"text": "Reas. ",
"font": "serif",
"width": 4.889,
"textWidth": 3.496
},
{
"text": "HellaSwag ",
"font": "serif",
"width": 7.619,
"textWidth": 7.242
},
{
"text": "(EM) ",
"font": "serif",
"width": 9.794,
"textWidth": 2.232
},
{
"text": "0-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "86.4 ",
"font": "serif",
"width": 13.45,
"textWidth": 2.636
},
{
"text": "85.7 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 45.0,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "88.0 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 46.318,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "WinoGrande ",
"font": "serif",
"width": 8.953,
"textWidth": 8.577
},
{
"text": "(EM) ",
"font": "serif",
"width": 8.459,
"textWidth": 2.232
},
{
"text": "0-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "78.9 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "79.5 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 46.301,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "81.5 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 47.62,
"width": 43.409,
"height": 1.065,
"words": [
{
"text": "CLUEWSC ",
"font": "serif",
"width": 7.822,
"textWidth": 7.445
},
{
"text": "(EM) ",
"font": "serif",
"width": 9.59,
"textWidth": 2.232
},
{
"text": "5-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "83.5 ",
"font": "serif",
"width": 13.45,
"textWidth": 2.636
},
{
"text": "82.2 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 47.603,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "85.2 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 49.572,
"width": 21.495,
"height": 1.065,
"words": [
{
"text": "BigCodeBench ",
"font": "serif",
"width": 10.169,
"textWidth": 9.792
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 7.243,
"textWidth": 3.881
},
{
"text": "3-shot ",
"font": "serif",
"width": 4.083,
"textWidth": 4.083
}
]
},
{
"left": 51.222,
"top": 49.555,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "63.9 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 64.671,
"top": 49.572,
"width": 16.944,
"height": 1.065,
"words": [
{
"text": "56.8 ",
"font": "serif",
"width": 14.308,
"textWidth": 2.636
},
{
"text": "59.2 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 50.874,
"width": 43.408,
"height": 1.065,
"words": [
{
"text": "HumanEval ",
"font": "serif",
"width": 8.461,
"textWidth": 8.084
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 8.951,
"textWidth": 3.881
},
{
"text": "0-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "62.8 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "69.5 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 50.856,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "76.8 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 52.175,
"width": 43.409,
"height": 1.065,
"words": [
{
"text": "GSM8K ",
"font": "serif",
"width": 5.588,
"textWidth": 5.212
},
{
"text": "(EM) ",
"font": "serif",
"width": 11.824,
"textWidth": 2.232
},
{
"text": "8-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "91.1 ",
"font": "serif",
"width": 13.45,
"textWidth": 2.636
},
{
"text": "90.8 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 52.158,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "92.6 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 13.367,
"top": 52.826,
"width": 9.003,
"height": 1.065,
"words": [
{
"text": "Code ",
"font": "serif",
"width": 5.457,
"textWidth": 3.532
},
{
"text": "Math ",
"font": "serif",
"width": 3.546,
"textWidth": 3.546
}
]
},
{
"left": 23.899,
"top": 53.477,
"width": 43.409,
"height": 1.065,
"words": [
{
"text": "MATH ",
"font": "serif",
"width": 5.038,
"textWidth": 4.662
},
{
"text": "(EM) ",
"font": "serif",
"width": 12.374,
"textWidth": 2.232
},
{
"text": "4-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "60.5 ",
"font": "serif",
"width": 13.45,
"textWidth": 2.636
},
{
"text": "57.4 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 53.46,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "64.5 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 54.779,
"width": 29.959,
"height": 1.065,
"words": [
{
"text": "MGSM ",
"font": "serif",
"width": 5.166,
"textWidth": 4.79
},
{
"text": "(EM) ",
"font": "serif",
"width": 12.246,
"textWidth": 2.232
},
{
"text": "8-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "81.3 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 64.671,
"top": 54.762,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "85.7 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 54.779,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "84.4 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 23.899,
"top": 56.08,
"width": 29.959,
"height": 1.065,
"words": [
{
"text": "CMath ",
"font": "serif",
"width": 4.99,
"textWidth": 4.614
},
{
"text": "(EM) ",
"font": "serif",
"width": 12.422,
"textWidth": 2.232
},
{
"text": "3-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "92.6 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 64.672,
"top": 56.063,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "93.6 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 56.08,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "90.9 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 13.328,
"top": 58.032,
"width": 53.98,
"height": 1.065,
"words": [
{
"text": "Long ",
"font": "serif",
"width": 3.833,
"textWidth": 3.457
},
{
"text": "Context ",
"font": "serif",
"width": 6.737,
"textWidth": 5.248
},
{
"text": "LongBench-V2 ",
"font": "serif",
"width": 10.24,
"textWidth": 9.863
},
{
"text": "(EM) ",
"font": "serif",
"width": 7.173,
"textWidth": 2.232
},
{
"text": "1-shot ",
"font": "serif",
"width": 9.911,
"textWidth": 4.083
},
{
"text": "40.2 ",
"font": "serif",
"width": 13.449,
"textWidth": 2.636
},
{
"text": "44.7 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 78.979,
"top": 58.015,
"width": 2.636,
"height": 1.065,
"words": [
{
"text": "51.5 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 11.905,
"top": 62.218,
"width": 20.771,
"height": 1.296,
"words": [
{
"text": "4.3.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Evaluation ",
"font": "serif-bold-italic",
"width": 9.625,
"textWidth": 9.167
},
{
"text": "Results ",
"font": "serif-bold-italic",
"width": 6.106,
"textWidth": 6.106
}
]
},
{
"left": 11.905,
"top": 64.902,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.135,
"textWidth": 1.674
},
{
"text": "Table ",
"font": "serif",
"width": 4.727,
"textWidth": 4.268
},
{
"text": "1, ",
"font": "serif",
"width": 1.827,
"textWidth": 1.366
},
{
"text": "we ",
"font": "serif",
"width": 2.853,
"textWidth": 2.392
},
{
"text": "provide ",
"font": "serif",
"width": 6.78,
"textWidth": 6.321
},
{
"text": "a ",
"font": "serif",
"width": 1.372,
"textWidth": 0.911
},
{
"text": "detailed ",
"font": "serif",
"width": 6.995,
"textWidth": 6.536
},
{
"text": "comparison ",
"font": "serif",
"width": 9.955,
"textWidth": 9.494
},
{
"text": "of ",
"font": "serif",
"width": 2.06,
"textWidth": 1.601
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.527
},
{
"text": "base ",
"font": "serif",
"width": 4.022,
"textWidth": 3.563
},
{
"text": "models ",
"font": "serif",
"width": 6.352,
"textWidth": 5.891
},
{
"text": "for ",
"font": "serif",
"width": 2.78,
"textWidth": 2.321
},
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 13.079,
"textWidth": 12.618
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.571,
"textWidth": 8.571
}
]
},
{
"left": 11.839,
"top": 66.512,
"width": 76.328,
"height": 1.296,
"words": [
{
"text": "V4-Flash, ",
"font": "serif",
"width": 8.035,
"textWidth": 7.574
},
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.084
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.103,
"textWidth": 14.64
},
{
"text": "all ",
"font": "serif",
"width": 2.432,
"textWidth": 1.971
},
{
"text": "evaluated ",
"font": "serif",
"width": 8.39,
"textWidth": 7.929
},
{
"text": "under ",
"font": "serif",
"width": 5.325,
"textWidth": 4.864
},
{
"text": "a ",
"font": "serif",
"width": 1.372,
"textWidth": 0.911
},
{
"text": "unified ",
"font": "serif",
"width": 6.237,
"textWidth": 5.776
},
{
"text": "internal ",
"font": "serif",
"width": 6.738,
"textWidth": 6.277
},
{
"text": "framework ",
"font": "serif",
"width": 9.425,
"textWidth": 8.964
},
{
"text": "with ",
"font": "serif",
"width": 4.164,
"textWidth": 3.703
},
{
"text": "strictly ",
"font": "serif",
"width": 5.561,
"textWidth": 5.561
}
]
},
{
"left": 11.905,
"top": 68.121,
"width": 15.269,
"height": 1.296,
"words": [
{
"text": "consistent ",
"font": "serif",
"width": 8.566,
"textWidth": 8.107
},
{
"text": "settings. ",
"font": "serif",
"width": 6.704,
"textWidth": 6.704
}
]
},
{
"left": 14.75,
"top": 70.535,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "Comparing ",
"font": "serif",
"width": 10.158,
"textWidth": 9.464
},
{
"text": "DeepSeek-V4-Flash-Base ",
"font": "serif",
"width": 21.181,
"textWidth": 20.487
},
{
"text": "with ",
"font": "serif",
"width": 4.492,
"textWidth": 3.8
},
{
"text": "DeepSeek-V3.2-Base ",
"font": "serif",
"width": 17.562,
"textWidth": 16.868
},
{
"text": "reveals ",
"font": "serif",
"width": 6.518,
"textWidth": 5.825
},
{
"text": "a ",
"font": "serif",
"width": 1.626,
"textWidth": 0.935
},
{
"text": "compelling ",
"font": "serif",
"width": 9.973,
"textWidth": 9.279
},
{
"text": "ef- ",
"font": "serif",
"width": 2.14,
"textWidth": 2.14
}
]
},
{
"left": 11.905,
"top": 72.144,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "ficiency ",
"font": "serif",
"width": 6.993,
"textWidth": 6.357
},
{
"text": "story. ",
"font": "serif",
"width": 5.565,
"textWidth": 4.464
},
{
"text": "Despite ",
"font": "serif",
"width": 6.944,
"textWidth": 6.307
},
{
"text": "utilizing ",
"font": "serif",
"width": 7.61,
"textWidth": 6.972
},
{
"text": "a ",
"font": "serif",
"width": 1.57,
"textWidth": 0.935
},
{
"text": "substantially ",
"font": "serif",
"width": 11.229,
"textWidth": 10.593
},
{
"text": "smaller ",
"font": "serif",
"width": 6.735,
"textWidth": 6.099
},
{
"text": "number ",
"font": "serif",
"width": 7.169,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 2.279,
"textWidth": 1.643
},
{
"text": "both ",
"font": "serif",
"width": 4.387,
"textWidth": 3.752
},
{
"text": "activated ",
"font": "serif",
"width": 8.193,
"textWidth": 7.556
},
{
"text": "and ",
"font": "serif",
"width": 3.8,
"textWidth": 3.165
},
{
"text": "total ",
"font": "serif",
"width": 3.718,
"textWidth": 3.718
}
]
},
{
"left": 11.85,
"top": 73.754,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "parameters, ",
"font": "serif",
"width": 10.097,
"textWidth": 9.636
},
{
"text": "DeepSeek-V4-Flash-Base ",
"font": "serif",
"width": 20.644,
"textWidth": 20.184
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.645,
"textWidth": 10.187
},
{
"text": "DeepSeek-V3.2-Base ",
"font": "serif",
"width": 17.081,
"textWidth": 16.62
},
{
"text": "across ",
"font": "serif",
"width": 5.459,
"textWidth": 5.0
},
{
"text": "a ",
"font": "serif",
"width": 1.381,
"textWidth": 0.921
},
{
"text": "wide ",
"font": "serif",
"width": 4.538,
"textWidth": 4.08
},
{
"text": "array ",
"font": "serif",
"width": 4.781,
"textWidth": 4.321
},
{
"text": "of ",
"font": "serif",
"width": 1.619,
"textWidth": 1.619
}
]
},
{
"left": 11.905,
"top": 75.363,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "benchmarks. ",
"font": "serif",
"width": 11.09,
"textWidth": 10.516
},
{
"text": "This ",
"font": "serif",
"width": 4.016,
"textWidth": 3.556
},
{
"text": "advantage ",
"font": "serif",
"width": 9.06,
"textWidth": 8.6
},
{
"text": "is ",
"font": "serif",
"width": 1.791,
"textWidth": 1.331
},
{
"text": "especially ",
"font": "serif",
"width": 8.57,
"textWidth": 8.111
},
{
"text": "evident ",
"font": "serif",
"width": 6.666,
"textWidth": 6.206
},
{
"text": "in ",
"font": "serif",
"width": 2.085,
"textWidth": 1.625
},
{
"text": "world ",
"font": "serif",
"width": 5.444,
"textWidth": 4.984
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.647,
"textWidth": 9.187
},
{
"text": "tasks ",
"font": "serif",
"width": 4.612,
"textWidth": 4.152
},
{
"text": "and ",
"font": "serif",
"width": 3.612,
"textWidth": 3.152
},
{
"text": "challenging ",
"font": "serif",
"width": 9.596,
"textWidth": 9.596
}
]
},
{
"left": 11.905,
"top": 76.973,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "long-context ",
"font": "serif",
"width": 10.566,
"textWidth": 10.109
},
{
"text": "scenarios. ",
"font": "serif",
"width": 8.495,
"textWidth": 7.928
},
{
"text": "These ",
"font": "serif",
"width": 5.17,
"textWidth": 4.713
},
{
"text": "results ",
"font": "serif",
"width": 5.803,
"textWidth": 5.346
},
{
"text": "underscore ",
"font": "serif",
"width": 9.492,
"textWidth": 9.035
},
{
"text": "that ",
"font": "serif",
"width": 3.627,
"textWidth": 3.171
},
{
"text": "architectural ",
"font": "serif",
"width": 10.623,
"textWidth": 10.165
},
{
"text": "improvements, ",
"font": "serif",
"width": 12.686,
"textWidth": 12.228
},
{
"text": "refined ",
"font": "serif",
"width": 6.185,
"textWidth": 5.728
},
{
"text": "data ",
"font": "serif",
"width": 3.543,
"textWidth": 3.543
}
]
},
{
"left": 11.853,
"top": 78.582,
"width": 76.243,
"height": 1.296,
"words": [
{
"text": "quality, ",
"font": "serif",
"width": 6.325,
"textWidth": 5.868
},
{
"text": "and ",
"font": "serif",
"width": 3.5,
"textWidth": 3.044
},
{
"text": "training ",
"font": "serif",
"width": 6.79,
"textWidth": 6.334
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.434,
"textWidth": 10.977
},
{
"text": "in ",
"font": "serif",
"width": 2.026,
"textWidth": 1.569
},
{
"text": "DeepSeek-V4-Flash-Base ",
"font": "serif",
"width": 20.16,
"textWidth": 19.704
},
{
"text": "yield ",
"font": "serif",
"width": 4.462,
"textWidth": 4.005
},
{
"text": "superior ",
"font": "serif",
"width": 7.17,
"textWidth": 6.713
},
{
"text": "performance ",
"font": "serif",
"width": 10.591,
"textWidth": 10.134
},
{
"text": "even ",
"font": "serif",
"width": 3.784,
"textWidth": 3.784
}
]
},
{
"left": 11.828,
"top": 80.191,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.206,
"textWidth": 3.752
},
{
"text": "a ",
"font": "serif",
"width": 1.377,
"textWidth": 0.923
},
{
"text": "more ",
"font": "serif",
"width": 4.673,
"textWidth": 4.219
},
{
"text": "compact ",
"font": "serif",
"width": 7.363,
"textWidth": 6.909
},
{
"text": "parameter ",
"font": "serif",
"width": 8.865,
"textWidth": 8.412
},
{
"text": "budget, ",
"font": "serif",
"width": 6.69,
"textWidth": 6.234
},
{
"text": "effectively ",
"font": "serif",
"width": 8.865,
"textWidth": 8.412
},
{
"text": "surpassing ",
"font": "serif",
"width": 9.312,
"textWidth": 8.858
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.56
},
{
"text": "larger ",
"font": "serif",
"width": 5.25,
"textWidth": 4.794
},
{
"text": "DeepSeek-V3.2-Base ",
"font": "serif",
"width": 16.653,
"textWidth": 16.653
}
]
},
{
"left": 11.905,
"top": 81.801,
"width": 24.707,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "majority ",
"font": "serif",
"width": 7.296,
"textWidth": 6.837
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "evaluations. ",
"font": "serif",
"width": 9.817,
"textWidth": 9.817
}
]
},
{
"left": 14.75,
"top": 84.215,
"width": 73.574,
"height": 1.296,
"words": [
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.655,
"textWidth": 10.974
},
{
"text": "DeepSeek-V4-Pro-Base ",
"font": "serif",
"width": 19.579,
"textWidth": 18.943
},
{
"text": "demonstrates ",
"font": "serif",
"width": 11.804,
"textWidth": 11.169
},
{
"text": "a ",
"font": "serif",
"width": 1.57,
"textWidth": 0.935
},
{
"text": "further, ",
"font": "serif",
"width": 6.83,
"textWidth": 6.15
},
{
"text": "decisive ",
"font": "serif",
"width": 7.335,
"textWidth": 6.699
},
{
"text": "leap ",
"font": "serif",
"width": 4.133,
"textWidth": 3.497
},
{
"text": "in ",
"font": "serif",
"width": 2.267,
"textWidth": 1.632
},
{
"text": "capability, ",
"font": "serif",
"width": 8.4,
"textWidth": 8.4
}
]
},
{
"left": 11.905,
"top": 85.824,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "establishing ",
"font": "serif",
"width": 10.102,
"textWidth": 9.643
},
{
"text": "near-universal ",
"font": "serif",
"width": 12.105,
"textWidth": 11.648
},
{
"text": "dominance ",
"font": "serif",
"width": 9.408,
"textWidth": 8.95
},
{
"text": "over ",
"font": "serif",
"width": 4.071,
"textWidth": 3.612
},
{
"text": "both ",
"font": "serif",
"width": 4.111,
"textWidth": 3.652
},
{
"text": "DeepSeek-V3.2-Base ",
"font": "serif",
"width": 16.878,
"textWidth": 16.422
},
{
"text": "and ",
"font": "serif",
"width": 3.539,
"textWidth": 3.081
},
{
"text": "DeepSeek-V4-Flash- ",
"font": "serif",
"width": 16.28,
"textWidth": 16.28
}
]
},
{
"left": 11.905,
"top": 87.434,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "Base. ",
"font": "serif",
"width": 5.258,
"textWidth": 4.232
},
{
"text": "With ",
"font": "serif",
"width": 4.621,
"textWidth": 4.01
},
{
"text": "improvements ",
"font": "serif",
"width": 12.642,
"textWidth": 12.031
},
{
"text": "across ",
"font": "serif",
"width": 5.686,
"textWidth": 5.075
},
{
"text": "almost ",
"font": "serif",
"width": 6.163,
"textWidth": 5.552
},
{
"text": "all ",
"font": "serif",
"width": 2.634,
"textWidth": 2.023
},
{
"text": "categories, ",
"font": "serif",
"width": 9.415,
"textWidth": 8.765
},
{
"text": "DeepSeek-V4-Pro-Base ",
"font": "serif",
"width": 19.554,
"textWidth": 18.943
},
{
"text": "reaches ",
"font": "serif",
"width": 6.752,
"textWidth": 6.141
},
{
"text": "new ",
"font": "serif",
"width": 3.542,
"textWidth": 3.542
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "28 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"29": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.85,
"top": 10.472,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "performance ",
"font": "serif",
"width": 11.072,
"textWidth": 10.537
},
{
"text": "highs ",
"font": "serif",
"width": 5.084,
"textWidth": 4.552
},
{
"text": "among ",
"font": "serif",
"width": 6.268,
"textWidth": 5.733
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.707,
"textWidth": 8.172
},
{
"text": "base ",
"font": "serif",
"width": 4.191,
"textWidth": 3.656
},
{
"text": "models ",
"font": "serif",
"width": 6.578,
"textWidth": 6.045
},
{
"text": "on ",
"font": "serif",
"width": 2.643,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.127,
"textWidth": 2.593
},
{
"text": "most ",
"font": "serif",
"width": 4.606,
"textWidth": 4.073
},
{
"text": "demanding ",
"font": "serif",
"width": 10.059,
"textWidth": 9.524
},
{
"text": "benchmarks. ",
"font": "serif",
"width": 11.354,
"textWidth": 10.558
},
{
"text": "On ",
"font": "serif",
"width": 2.557,
"textWidth": 2.557
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "knowledge-intensive ",
"font": "serif",
"width": 17.237,
"textWidth": 16.779
},
{
"text": "evaluations, ",
"font": "serif",
"width": 10.139,
"textWidth": 9.68
},
{
"text": "it ",
"font": "serif",
"width": 1.572,
"textWidth": 1.115
},
{
"text": "delivers ",
"font": "serif",
"width": 6.847,
"textWidth": 6.388
},
{
"text": "dramatic ",
"font": "serif",
"width": 7.595,
"textWidth": 7.137
},
{
"text": "gains, ",
"font": "serif",
"width": 5.162,
"textWidth": 4.704
},
{
"text": "while ",
"font": "serif",
"width": 4.933,
"textWidth": 4.476
},
{
"text": "also ",
"font": "serif",
"width": 3.641,
"textWidth": 3.182
},
{
"text": "substantially ",
"font": "serif",
"width": 10.697,
"textWidth": 10.24
},
{
"text": "advancing ",
"font": "serif",
"width": 8.368,
"textWidth": 8.368
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "long-context ",
"font": "serif",
"width": 10.525,
"textWidth": 10.068
},
{
"text": "understanding. ",
"font": "serif",
"width": 12.939,
"textWidth": 12.372
},
{
"text": "On ",
"font": "serif",
"width": 2.949,
"textWidth": 2.492
},
{
"text": "most ",
"font": "serif",
"width": 4.427,
"textWidth": 3.969
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.358,
"textWidth": 7.9
},
{
"text": "and ",
"font": "serif",
"width": 3.541,
"textWidth": 3.084
},
{
"text": "code ",
"font": "serif",
"width": 4.246,
"textWidth": 3.789
},
{
"text": "benchmarks, ",
"font": "serif",
"width": 10.746,
"textWidth": 10.288
},
{
"text": "DeepSeek-V4-Pro-Base ",
"font": "serif",
"width": 18.46,
"textWidth": 18.46
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "also ",
"font": "serif",
"width": 3.652,
"textWidth": 3.195
},
{
"text": "exceeds ",
"font": "serif",
"width": 6.682,
"textWidth": 6.227
},
{
"text": "both ",
"font": "serif",
"width": 4.098,
"textWidth": 3.641
},
{
"text": "previous ",
"font": "serif",
"width": 7.506,
"textWidth": 7.05
},
{
"text": "models. ",
"font": "serif",
"width": 6.889,
"textWidth": 6.321
},
{
"text": "This ",
"font": "serif",
"width": 3.922,
"textWidth": 3.465
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.669,
"textWidth": 12.212
},
{
"text": "uplift ",
"font": "serif",
"width": 4.891,
"textWidth": 4.436
},
{
"text": "confirms ",
"font": "serif",
"width": 7.495,
"textWidth": 7.038
},
{
"text": "DeepSeek-V4-Pro-Base ",
"font": "serif",
"width": 18.386,
"textWidth": 18.386
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "as ",
"font": "serif",
"width": 2.107,
"textWidth": 1.659
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "strongest ",
"font": "serif",
"width": 7.703,
"textWidth": 7.256
},
{
"text": "foundation ",
"font": "serif",
"width": 9.283,
"textWidth": 8.836
},
{
"text": "model ",
"font": "serif",
"width": 5.496,
"textWidth": 5.047
},
{
"text": "in ",
"font": "serif",
"width": 2.015,
"textWidth": 1.568
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.299,
"textWidth": 7.852
},
{
"text": "series, ",
"font": "serif",
"width": 5.375,
"textWidth": 4.925
},
{
"text": "outperforming ",
"font": "serif",
"width": 12.186,
"textWidth": 11.738
},
{
"text": "its ",
"font": "serif",
"width": 2.319,
"textWidth": 1.87
},
{
"text": "predecessors ",
"font": "serif",
"width": 10.654,
"textWidth": 10.205
},
{
"text": "across ",
"font": "serif",
"width": 4.874,
"textWidth": 4.874
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 62.171,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "spectrum ",
"font": "serif",
"width": 8.058,
"textWidth": 7.6
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "knowledge, ",
"font": "serif",
"width": 9.958,
"textWidth": 9.5
},
{
"text": "reasoning, ",
"font": "serif",
"width": 8.864,
"textWidth": 8.406
},
{
"text": "coding, ",
"font": "serif",
"width": 6.469,
"textWidth": 6.011
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "long-context ",
"font": "serif",
"width": 10.587,
"textWidth": 10.129
},
{
"text": "capabilities. ",
"font": "serif",
"width": 9.605,
"textWidth": 9.605
}
]
},
{
"left": 11.905,
"top": 22.605,
"width": 16.135,
"height": 1.538,
"words": [
{
"text": "5. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "Post-Training ",
"font": "serif-bold",
"width": 13.415,
"textWidth": 13.415
}
]
},
{
"left": 11.905,
"top": 25.921,
"width": 22.446,
"height": 1.296,
"words": [
{
"text": "5.1. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Post-Training ",
"font": "serif-bold",
"width": 11.758,
"textWidth": 11.3
},
{
"text": "Pipeline ",
"font": "serif-bold",
"width": 7.023,
"textWidth": 7.023
}
]
},
{
"left": 11.905,
"top": 28.593,
"width": 76.632,
"height": 1.296,
"words": [
{
"text": "Following ",
"font": "serif",
"width": 8.418,
"textWidth": 8.069
},
{
"text": "pre-training, ",
"font": "serif",
"width": 10.361,
"textWidth": 9.989
},
{
"text": "we ",
"font": "serif",
"width": 2.705,
"textWidth": 2.356
},
{
"text": "conducted ",
"font": "serif",
"width": 8.692,
"textWidth": 8.344
},
{
"text": "a ",
"font": "serif",
"width": 1.246,
"textWidth": 0.898
},
{
"text": "post-training ",
"font": "serif",
"width": 10.681,
"textWidth": 10.332
},
{
"text": "phase ",
"font": "serif",
"width": 4.993,
"textWidth": 4.644
},
{
"text": "to ",
"font": "serif",
"width": 1.914,
"textWidth": 1.566
},
{
"text": "yield ",
"font": "serif",
"width": 4.348,
"textWidth": 4.001
},
{
"text": "the ",
"font": "serif",
"width": 2.839,
"textWidth": 2.491
},
{
"text": "final ",
"font": "serif",
"width": 3.901,
"textWidth": 3.552
},
{
"text": "models ",
"font": "serif",
"width": 6.157,
"textWidth": 5.808
},
{
"text": "of ",
"font": "serif",
"width": 1.927,
"textWidth": 1.579
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.45,
"textWidth": 8.45
}
]
},
{
"left": 11.839,
"top": 30.202,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V4 ",
"font": "serif",
"width": 2.875,
"textWidth": 2.284
},
{
"text": "series. ",
"font": "serif",
"width": 6.092,
"textWidth": 5.126
},
{
"text": "Although ",
"font": "serif",
"width": 8.561,
"textWidth": 7.971
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.593
},
{
"text": "training ",
"font": "serif",
"width": 7.174,
"textWidth": 6.584
},
{
"text": "pipeline ",
"font": "serif",
"width": 7.348,
"textWidth": 6.757
},
{
"text": "largely ",
"font": "serif",
"width": 6.294,
"textWidth": 5.703
},
{
"text": "mirrored ",
"font": "serif",
"width": 7.991,
"textWidth": 7.4
},
{
"text": "that ",
"font": "serif",
"width": 3.832,
"textWidth": 3.241
},
{
"text": "of ",
"font": "serif",
"width": 2.234,
"textWidth": 1.643
},
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 13.573,
"textWidth": 12.948
},
{
"text": "a ",
"font": "serif",
"width": 1.525,
"textWidth": 0.935
},
{
"text": "critical ",
"font": "serif",
"width": 5.574,
"textWidth": 5.574
}
]
},
{
"left": 11.905,
"top": 31.812,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "methodological ",
"font": "serif",
"width": 13.504,
"textWidth": 12.883
},
{
"text": "substitution ",
"font": "serif",
"width": 10.52,
"textWidth": 9.898
},
{
"text": "was ",
"font": "serif",
"width": 3.907,
"textWidth": 3.286
},
{
"text": "made: ",
"font": "serif",
"width": 5.985,
"textWidth": 5.09
},
{
"text": "the ",
"font": "serif",
"width": 3.215,
"textWidth": 2.593
},
{
"text": "mixed ",
"font": "serif",
"width": 5.817,
"textWidth": 5.197
},
{
"text": "Reinforcement ",
"font": "serif",
"width": 12.715,
"textWidth": 12.094
},
{
"text": "Learning ",
"font": "serif",
"width": 8.092,
"textWidth": 7.47
},
{
"text": "(RL) ",
"font": "serif",
"width": 4.256,
"textWidth": 3.636
},
{
"text": "stage ",
"font": "serif",
"width": 4.894,
"textWidth": 4.271
},
{
"text": "was ",
"font": "serif",
"width": 3.286,
"textWidth": 3.286
}
]
},
{
"left": 11.905,
"top": 33.421,
"width": 40.259,
"height": 1.296,
"words": [
{
"text": "entirely ",
"font": "serif",
"width": 6.654,
"textWidth": 6.196
},
{
"text": "replaced ",
"font": "serif",
"width": 7.389,
"textWidth": 6.931
},
{
"text": "by ",
"font": "serif",
"width": 2.491,
"textWidth": 2.032
},
{
"text": "On-Policy ",
"font": "serif",
"width": 8.582,
"textWidth": 8.124
},
{
"text": "Distillation ",
"font": "serif",
"width": 9.498,
"textWidth": 9.04
},
{
"text": "(OPD). ",
"font": "serif",
"width": 5.644,
"textWidth": 5.644
}
]
},
{
"left": 11.905,
"top": 37.017,
"width": 20.397,
"height": 1.296,
"words": [
{
"text": "5.1.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Specialist ",
"font": "serif-bold-italic",
"width": 8.5,
"textWidth": 8.042
},
{
"text": "Training ",
"font": "serif-bold-italic",
"width": 6.858,
"textWidth": 6.858
}
]
},
{
"left": 11.848,
"top": 39.701,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.486,
"textWidth": 3.028
},
{
"text": "development ",
"font": "serif",
"width": 11.025,
"textWidth": 10.567
},
{
"text": "of ",
"font": "serif",
"width": 2.048,
"textWidth": 1.59
},
{
"text": "domain ",
"font": "serif",
"width": 6.631,
"textWidth": 6.173
},
{
"text": "specialists ",
"font": "serif",
"width": 8.588,
"textWidth": 8.131
},
{
"text": "was ",
"font": "serif",
"width": 3.637,
"textWidth": 3.18
},
{
"text": "conducted ",
"font": "serif",
"width": 8.863,
"textWidth": 8.404
},
{
"text": "by ",
"font": "serif",
"width": 2.464,
"textWidth": 2.006
},
{
"text": "adapting ",
"font": "serif",
"width": 7.633,
"textWidth": 7.175
},
{
"text": "the ",
"font": "serif",
"width": 2.966,
"textWidth": 2.509
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.535,
"textWidth": 12.077
},
{
"text": "training ",
"font": "serif",
"width": 6.372,
"textWidth": 6.372
}
]
},
{
"left": 11.85,
"top": 41.311,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "pipeline. ",
"font": "serif",
"width": 8.066,
"textWidth": 7.225
},
{
"text": "Specifically, ",
"font": "serif",
"width": 10.234,
"textWidth": 9.66
},
{
"text": "each ",
"font": "serif",
"width": 4.296,
"textWidth": 3.748
},
{
"text": "model ",
"font": "serif",
"width": 5.802,
"textWidth": 5.253
},
{
"text": "was ",
"font": "serif",
"width": 3.836,
"textWidth": 3.286
},
{
"text": "sequentially ",
"font": "serif",
"width": 10.61,
"textWidth": 10.06
},
{
"text": "optimized ",
"font": "serif",
"width": 9.014,
"textWidth": 8.464
},
{
"text": "through ",
"font": "serif",
"width": 7.227,
"textWidth": 6.677
},
{
"text": "an ",
"font": "serif",
"width": 2.572,
"textWidth": 2.023
},
{
"text": "initial ",
"font": "serif",
"width": 5.357,
"textWidth": 4.808
},
{
"text": "fine-tuning ",
"font": "serif",
"width": 9.232,
"textWidth": 9.232
}
]
},
{
"left": 11.85,
"top": 42.92,
"width": 76.55,
"height": 1.296,
"words": [
{
"text": "phase ",
"font": "serif",
"width": 5.121,
"textWidth": 4.663
},
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.053
},
{
"text": "subsequent ",
"font": "serif",
"width": 9.534,
"textWidth": 9.076
},
{
"text": "Reinforcement ",
"font": "serif",
"width": 12.124,
"textWidth": 11.665
},
{
"text": "Learning ",
"font": "serif",
"width": 7.664,
"textWidth": 7.206
},
{
"text": "(RL) ",
"font": "serif",
"width": 3.965,
"textWidth": 3.507
},
{
"text": "guided ",
"font": "serif",
"width": 6.14,
"textWidth": 5.682
},
{
"text": "by ",
"font": "serif",
"width": 2.458,
"textWidth": 2.0
},
{
"text": "domain-specific ",
"font": "serif",
"width": 13.142,
"textWidth": 12.684
},
{
"text": "prompts ",
"font": "serif",
"width": 7.235,
"textWidth": 6.777
},
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.053
},
{
"text": "re- ",
"font": "serif",
"width": 2.144,
"textWidth": 2.144
}
]
},
{
"left": 11.828,
"top": 44.529,
"width": 76.45,
"height": 1.296,
"words": [
{
"text": "ward ",
"font": "serif",
"width": 4.571,
"textWidth": 4.17
},
{
"text": "signals. ",
"font": "serif",
"width": 6.509,
"textWidth": 5.959
},
{
"text": "For ",
"font": "serif",
"width": 3.091,
"textWidth": 2.689
},
{
"text": "the ",
"font": "serif",
"width": 2.891,
"textWidth": 2.491
},
{
"text": "RL ",
"font": "serif",
"width": 2.699,
"textWidth": 2.297
},
{
"text": "stage, ",
"font": "serif",
"width": 4.966,
"textWidth": 4.553
},
{
"text": "we ",
"font": "serif",
"width": 2.759,
"textWidth": 2.358
},
{
"text": "implemented ",
"font": "serif",
"width": 11.007,
"textWidth": 10.605
},
{
"text": "the ",
"font": "serif",
"width": 2.891,
"textWidth": 2.491
},
{
"text": "Group ",
"font": "serif",
"width": 5.593,
"textWidth": 5.19
},
{
"text": "Relative ",
"font": "serif",
"width": 6.864,
"textWidth": 6.464
},
{
"text": "Policy ",
"font": "serif",
"width": 5.309,
"textWidth": 4.907
},
{
"text": "Optimization ",
"font": "serif",
"width": 11.038,
"textWidth": 10.637
},
{
"text": "(GRPO) ",
"font": "serif",
"width": 6.263,
"textWidth": 6.263
}
]
},
{
"left": 11.905,
"top": 46.139,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "algorithm, ",
"font": "serif",
"width": 8.782,
"textWidth": 8.323
},
{
"text": "maintaining ",
"font": "serif",
"width": 10.16,
"textWidth": 9.699
},
{
"text": "hyper-parameters ",
"font": "serif",
"width": 14.707,
"textWidth": 14.248
},
{
"text": "closely ",
"font": "serif",
"width": 5.921,
"textWidth": 5.46
},
{
"text": "aligned ",
"font": "serif",
"width": 6.422,
"textWidth": 5.963
},
{
"text": "with ",
"font": "serif",
"width": 4.122,
"textWidth": 3.662
},
{
"text": "our ",
"font": "serif",
"width": 3.241,
"textWidth": 2.781
},
{
"text": "prior ",
"font": "serif",
"width": 4.473,
"textWidth": 4.014
},
{
"text": "research ",
"font": "serif",
"width": 7.056,
"textWidth": 6.597
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 11.535,
"textWidth": 11.535
}
]
},
{
"left": 11.905,
"top": 47.748,
"width": 20.897,
"height": 1.296,
"words": [
{
"text": "2025; ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "DeepSeek-AI, ",
"font": "serif",
"width": 11.582,
"textWidth": 11.124
},
{
"text": "2025). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 11.905,
"top": 51.954,
"width": 15.831,
"height": 1.296,
"words": [
{
"text": "Reasoning ",
"font": "serif-bold",
"width": 9.582,
"textWidth": 9.034
},
{
"text": "Efforts. ",
"font": "serif-bold",
"width": 6.249,
"textWidth": 6.249
}
]
},
{
"left": 29.558,
"top": 51.975,
"width": 58.538,
"height": 1.296,
"words": [
{
"text": "It ",
"font": "serif",
"width": 1.787,
"textWidth": 1.239
},
{
"text": "is ",
"font": "serif",
"width": 1.884,
"textWidth": 1.337
},
{
"text": "widely ",
"font": "serif",
"width": 6.273,
"textWidth": 5.724
},
{
"text": "recognized ",
"font": "serif",
"width": 9.642,
"textWidth": 9.094
},
{
"text": "that ",
"font": "serif",
"width": 3.789,
"textWidth": 3.241
},
{
"text": "a ",
"font": "serif",
"width": 1.484,
"textWidth": 0.935
},
{
"text": "model’s ",
"font": "serif",
"width": 7.113,
"textWidth": 6.565
},
{
"text": "performance ",
"font": "serif",
"width": 11.085,
"textWidth": 10.537
},
{
"text": "on ",
"font": "serif",
"width": 2.656,
"textWidth": 2.109
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.657,
"textWidth": 8.107
},
{
"text": "tasks ",
"font": "serif",
"width": 4.168,
"textWidth": 4.168
}
]
},
{
"left": 11.905,
"top": 53.584,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.806,
"textWidth": 1.337
},
{
"text": "fundamentally ",
"font": "serif",
"width": 12.689,
"textWidth": 12.219
},
{
"text": "governed ",
"font": "serif",
"width": 8.344,
"textWidth": 7.875
},
{
"text": "by ",
"font": "serif",
"width": 2.542,
"textWidth": 2.073
},
{
"text": "the ",
"font": "serif",
"width": 3.062,
"textWidth": 2.593
},
{
"text": "computational ",
"font": "serif",
"width": 12.505,
"textWidth": 12.036
},
{
"text": "effort ",
"font": "serif",
"width": 4.944,
"textWidth": 4.475
},
{
"text": "expended. ",
"font": "serif",
"width": 9.215,
"textWidth": 8.614
},
{
"text": "Consequently, ",
"font": "serif",
"width": 12.208,
"textWidth": 11.735
},
{
"text": "we ",
"font": "serif",
"width": 2.924,
"textWidth": 2.454
},
{
"text": "trained ",
"font": "serif",
"width": 5.952,
"textWidth": 5.952
}
]
},
{
"left": 11.905,
"top": 55.194,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "distinct ",
"font": "serif",
"width": 6.632,
"textWidth": 6.159
},
{
"text": "specialist ",
"font": "serif",
"width": 8.083,
"textWidth": 7.61
},
{
"text": "models ",
"font": "serif",
"width": 6.518,
"textWidth": 6.045
},
{
"text": "under ",
"font": "serif",
"width": 5.464,
"textWidth": 4.991
},
{
"text": "divergent ",
"font": "serif",
"width": 8.447,
"textWidth": 7.974
},
{
"text": "RL ",
"font": "serif",
"width": 2.866,
"textWidth": 2.391
},
{
"text": "configurations ",
"font": "serif",
"width": 12.436,
"textWidth": 11.961
},
{
"text": "to ",
"font": "serif",
"width": 2.103,
"textWidth": 1.63
},
{
"text": "facilitate ",
"font": "serif",
"width": 7.541,
"textWidth": 7.068
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "development ",
"font": "serif",
"width": 11.393,
"textWidth": 10.92
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 56.803,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "models ",
"font": "serif",
"width": 6.218,
"textWidth": 5.808
},
{
"text": "optimized ",
"font": "serif",
"width": 8.542,
"textWidth": 8.132
},
{
"text": "for ",
"font": "serif",
"width": 2.698,
"textWidth": 2.288
},
{
"text": "varying ",
"font": "serif",
"width": 6.597,
"textWidth": 6.187
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.199,
"textWidth": 7.789
},
{
"text": "capacities. ",
"font": "serif",
"width": 8.723,
"textWidth": 8.172
},
{
"text": "As ",
"font": "serif",
"width": 2.568,
"textWidth": 2.159
},
{
"text": "detailed ",
"font": "serif",
"width": 6.853,
"textWidth": 6.444
},
{
"text": "in ",
"font": "serif",
"width": 1.977,
"textWidth": 1.568
},
{
"text": "Table ",
"font": "serif",
"width": 4.616,
"textWidth": 4.206
},
{
"text": "2, ",
"font": "serif",
"width": 1.767,
"textWidth": 1.347
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.393,
"textWidth": 13.983
},
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 11.905,
"top": 58.412,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.867,
"textWidth": 15.469
},
{
"text": "both ",
"font": "serif",
"width": 4.005,
"textWidth": 3.604
},
{
"text": "support ",
"font": "serif",
"width": 6.679,
"textWidth": 6.279
},
{
"text": "three ",
"font": "serif",
"width": 4.427,
"textWidth": 4.027
},
{
"text": "specific ",
"font": "serif",
"width": 6.304,
"textWidth": 5.905
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.188,
"textWidth": 7.789
},
{
"text": "effort ",
"font": "serif",
"width": 4.7,
"textWidth": 4.3
},
{
"text": "modes. ",
"font": "serif",
"width": 6.282,
"textWidth": 5.734
},
{
"text": "For ",
"font": "serif",
"width": 3.089,
"textWidth": 2.689
},
{
"text": "each ",
"font": "serif",
"width": 4.0,
"textWidth": 3.601
},
{
"text": "mode, ",
"font": "serif",
"width": 5.386,
"textWidth": 4.973
},
{
"text": "we ",
"font": "serif",
"width": 2.757,
"textWidth": 2.358
},
{
"text": "apply ",
"font": "serif",
"width": 4.578,
"textWidth": 4.578
}
]
},
{
"left": 11.905,
"top": 60.022,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "distinct ",
"font": "serif",
"width": 6.714,
"textWidth": 6.159
},
{
"text": "length ",
"font": "serif",
"width": 5.819,
"textWidth": 5.264
},
{
"text": "penalties ",
"font": "serif",
"width": 7.982,
"textWidth": 7.427
},
{
"text": "and ",
"font": "serif",
"width": 3.72,
"textWidth": 3.165
},
{
"text": "context ",
"font": "serif",
"width": 6.572,
"textWidth": 6.017
},
{
"text": "windows ",
"font": "serif",
"width": 8.26,
"textWidth": 7.705
},
{
"text": "during ",
"font": "serif",
"width": 6.234,
"textWidth": 5.679
},
{
"text": "RL ",
"font": "serif",
"width": 2.946,
"textWidth": 2.391
},
{
"text": "training, ",
"font": "serif",
"width": 7.63,
"textWidth": 7.051
},
{
"text": "which ",
"font": "serif",
"width": 5.664,
"textWidth": 5.109
},
{
"text": "results ",
"font": "serif",
"width": 6.023,
"textWidth": 5.468
},
{
"text": "in ",
"font": "serif",
"width": 2.187,
"textWidth": 1.632
},
{
"text": "varying ",
"font": "serif",
"width": 6.44,
"textWidth": 6.44
}
]
},
{
"left": 11.905,
"top": 61.631,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "output ",
"font": "serif",
"width": 6.2,
"textWidth": 5.617
},
{
"text": "token ",
"font": "serif",
"width": 5.236,
"textWidth": 4.653
},
{
"text": "lengths ",
"font": "serif",
"width": 6.64,
"textWidth": 6.056
},
{
"text": "for ",
"font": "serif",
"width": 2.965,
"textWidth": 2.381
},
{
"text": "reasoning. ",
"font": "serif",
"width": 9.516,
"textWidth": 8.574
},
{
"text": "To ",
"font": "serif",
"width": 2.581,
"textWidth": 1.998
},
{
"text": "integrate ",
"font": "serif",
"width": 7.937,
"textWidth": 7.354
},
{
"text": "these ",
"font": "serif",
"width": 4.864,
"textWidth": 4.281
},
{
"text": "distinct ",
"font": "serif",
"width": 6.742,
"textWidth": 6.159
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.69,
"textWidth": 8.107
},
{
"text": "modes, ",
"font": "serif",
"width": 6.584,
"textWidth": 5.969
},
{
"text": "we ",
"font": "serif",
"width": 3.038,
"textWidth": 2.454
},
{
"text": "utilize ",
"font": "serif",
"width": 5.198,
"textWidth": 5.198
}
]
},
{
"left": 11.905,
"top": 63.241,
"width": 38.606,
"height": 1.296,
"words": [
{
"text": "specialized ",
"font": "serif",
"width": 9.403,
"textWidth": 8.946
},
{
"text": "response ",
"font": "serif",
"width": 7.585,
"textWidth": 7.126
},
{
"text": "formats ",
"font": "serif",
"width": 6.663,
"textWidth": 6.206
},
{
"text": "demarcated ",
"font": "serif",
"width": 9.948,
"textWidth": 9.491
},
{
"text": "by ",
"font": "serif",
"width": 2.479,
"textWidth": 2.02
},
{
"text": "the ",
"font": "serif",
"width": 2.527,
"textWidth": 2.527
}
]
},
{
"left": 50.967,
"top": 63.062,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 58.834,
"top": 63.241,
"width": 3.084,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.084,
"textWidth": 3.084
}
]
},
{
"left": 62.376,
"top": 63.062,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 71.3,
"top": 63.241,
"width": 17.025,
"height": 1.296,
"words": [
{
"text": "tokens. ",
"font": "serif",
"width": 6.33,
"textWidth": 5.762
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 10.695,
"textWidth": 10.695
}
]
},
{
"left": 11.905,
"top": 64.85,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.914,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 3.124,
"textWidth": 2.593
},
{
"text": "\"Think ",
"font": "serif",
"width": 6.131,
"textWidth": 5.598
},
{
"text": "Max\" ",
"font": "serif",
"width": 4.894,
"textWidth": 4.361
},
{
"text": "mode, ",
"font": "serif",
"width": 5.726,
"textWidth": 5.174
},
{
"text": "we ",
"font": "serif",
"width": 2.987,
"textWidth": 2.454
},
{
"text": "prepend ",
"font": "serif",
"width": 7.505,
"textWidth": 6.972
},
{
"text": "a ",
"font": "serif",
"width": 1.466,
"textWidth": 0.935
},
{
"text": "specific ",
"font": "serif",
"width": 6.679,
"textWidth": 6.146
},
{
"text": "instruction ",
"font": "serif",
"width": 9.509,
"textWidth": 8.976
},
{
"text": "to ",
"font": "serif",
"width": 2.161,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.125,
"textWidth": 2.593
},
{
"text": "beginning ",
"font": "serif",
"width": 8.89,
"textWidth": 8.359
},
{
"text": "of ",
"font": "serif",
"width": 2.176,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.125,
"textWidth": 2.593
},
{
"text": "system ",
"font": "serif",
"width": 5.78,
"textWidth": 5.78
}
]
},
{
"left": 11.85,
"top": 66.459,
"width": 55.228,
"height": 1.296,
"words": [
{
"text": "prompt ",
"font": "serif",
"width": 6.568,
"textWidth": 6.11
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "guide ",
"font": "serif",
"width": 5.113,
"textWidth": 4.655
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "model’s ",
"font": "serif",
"width": 6.894,
"textWidth": 6.436
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "process, ",
"font": "serif",
"width": 6.955,
"textWidth": 6.497
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "shown ",
"font": "serif",
"width": 5.897,
"textWidth": 5.439
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "3. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 70.665,
"width": 22.559,
"height": 1.296,
"words": [
{
"text": "Generative ",
"font": "serif-bold",
"width": 9.683,
"textWidth": 9.227
},
{
"text": "Reward ",
"font": "serif-bold",
"width": 6.943,
"textWidth": 6.489
},
{
"text": "Model. ",
"font": "serif-bold",
"width": 5.932,
"textWidth": 5.932
}
]
},
{
"left": 36.285,
"top": 70.686,
"width": 51.811,
"height": 1.296,
"words": [
{
"text": "Typically, ",
"font": "serif",
"width": 8.106,
"textWidth": 7.652
},
{
"text": "easy-to-verify ",
"font": "serif",
"width": 11.62,
"textWidth": 11.163
},
{
"text": "tasks ",
"font": "serif",
"width": 4.527,
"textWidth": 4.07
},
{
"text": "can ",
"font": "serif",
"width": 3.24,
"textWidth": 2.785
},
{
"text": "be ",
"font": "serif",
"width": 2.34,
"textWidth": 1.884
},
{
"text": "effectively ",
"font": "serif",
"width": 8.774,
"textWidth": 8.32
},
{
"text": "optimized ",
"font": "serif",
"width": 8.721,
"textWidth": 8.265
},
{
"text": "using ",
"font": "serif",
"width": 4.483,
"textWidth": 4.483
}
]
},
{
"left": 11.905,
"top": 72.295,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "simple ",
"font": "serif",
"width": 6.004,
"textWidth": 5.544
},
{
"text": "rule-based ",
"font": "serif",
"width": 9.162,
"textWidth": 8.702
},
{
"text": "verifiers ",
"font": "serif",
"width": 7.244,
"textWidth": 6.784
},
{
"text": "or ",
"font": "serif",
"width": 2.219,
"textWidth": 1.757
},
{
"text": "test ",
"font": "serif",
"width": 3.363,
"textWidth": 2.904
},
{
"text": "cases. ",
"font": "serif",
"width": 5.279,
"textWidth": 4.708
},
{
"text": "In ",
"font": "serif",
"width": 2.176,
"textWidth": 1.716
},
{
"text": "contrast, ",
"font": "serif",
"width": 7.544,
"textWidth": 7.083
},
{
"text": "hard-to-verify ",
"font": "serif",
"width": 12.088,
"textWidth": 11.628
},
{
"text": "tasks ",
"font": "serif",
"width": 4.624,
"textWidth": 4.164
},
{
"text": "traditionally ",
"font": "serif",
"width": 10.741,
"textWidth": 10.282
},
{
"text": "rely ",
"font": "serif",
"width": 3.641,
"textWidth": 3.182
},
{
"text": "on ",
"font": "serif",
"width": 2.106,
"textWidth": 2.106
}
]
},
{
"left": 11.905,
"top": 73.905,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Reinforcement ",
"font": "serif",
"width": 12.422,
"textWidth": 11.962
},
{
"text": "Learning ",
"font": "serif",
"width": 7.848,
"textWidth": 7.389
},
{
"text": "from ",
"font": "serif",
"width": 4.416,
"textWidth": 3.955
},
{
"text": "Human ",
"font": "serif",
"width": 6.746,
"textWidth": 6.287
},
{
"text": "Feedback ",
"font": "serif",
"width": 8.186,
"textWidth": 7.726
},
{
"text": "(RLHF), ",
"font": "serif",
"width": 7.084,
"textWidth": 6.625
},
{
"text": "which ",
"font": "serif",
"width": 5.514,
"textWidth": 5.054
},
{
"text": "necessitates ",
"font": "serif",
"width": 10.035,
"textWidth": 9.575
},
{
"text": "extensive ",
"font": "serif",
"width": 8.116,
"textWidth": 7.655
},
{
"text": "human ",
"font": "serif",
"width": 5.825,
"textWidth": 5.825
}
]
},
{
"left": 11.905,
"top": 75.514,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "annotation ",
"font": "serif",
"width": 9.445,
"textWidth": 8.937
},
{
"text": "to ",
"font": "serif",
"width": 2.138,
"textWidth": 1.63
},
{
"text": "train ",
"font": "serif",
"width": 4.423,
"textWidth": 3.914
},
{
"text": "a ",
"font": "serif",
"width": 1.443,
"textWidth": 0.935
},
{
"text": "scalar ",
"font": "serif",
"width": 5.283,
"textWidth": 4.774
},
{
"text": "reward ",
"font": "serif",
"width": 6.451,
"textWidth": 5.942
},
{
"text": "model. ",
"font": "serif",
"width": 6.44,
"textWidth": 5.72
},
{
"text": "In ",
"font": "serif",
"width": 2.226,
"textWidth": 1.718
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "post-training ",
"font": "serif",
"width": 11.262,
"textWidth": 10.754
},
{
"text": "phase ",
"font": "serif",
"width": 5.342,
"textWidth": 4.834
},
{
"text": "of ",
"font": "serif",
"width": 2.152,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.588,
"textWidth": 11.079
},
{
"text": "series, ",
"font": "serif",
"width": 5.126,
"textWidth": 5.126
}
]
},
{
"left": 11.905,
"top": 77.124,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "however, ",
"font": "serif",
"width": 7.804,
"textWidth": 7.342
},
{
"text": "we ",
"font": "serif",
"width": 2.837,
"textWidth": 2.377
},
{
"text": "dispense ",
"font": "serif",
"width": 7.505,
"textWidth": 7.045
},
{
"text": "with ",
"font": "serif",
"width": 4.141,
"textWidth": 3.681
},
{
"text": "these ",
"font": "serif",
"width": 4.606,
"textWidth": 4.146
},
{
"text": "conventional ",
"font": "serif",
"width": 10.842,
"textWidth": 10.382
},
{
"text": "scalar-based ",
"font": "serif",
"width": 10.302,
"textWidth": 9.843
},
{
"text": "reward ",
"font": "serif",
"width": 6.214,
"textWidth": 5.754
},
{
"text": "models. ",
"font": "serif",
"width": 6.882,
"textWidth": 6.308
},
{
"text": "Instead, ",
"font": "serif",
"width": 6.815,
"textWidth": 6.353
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.579
},
{
"text": "address ",
"font": "serif",
"width": 6.203,
"textWidth": 6.203
}
]
},
{
"left": 11.905,
"top": 78.733,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "hard-to-verify ",
"font": "serif",
"width": 11.779,
"textWidth": 11.32
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.965,
"textWidth": 4.509
},
{
"text": "we ",
"font": "serif",
"width": 2.845,
"textWidth": 2.387
},
{
"text": "curate ",
"font": "serif",
"width": 5.452,
"textWidth": 4.994
},
{
"text": "rubric-guided ",
"font": "serif",
"width": 11.649,
"textWidth": 11.193
},
{
"text": "RL ",
"font": "serif",
"width": 2.783,
"textWidth": 2.325
},
{
"text": "data ",
"font": "serif",
"width": 3.979,
"textWidth": 3.521
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.078
},
{
"text": "employ ",
"font": "serif",
"width": 6.559,
"textWidth": 6.101
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.909
},
{
"text": "Generative ",
"font": "serif",
"width": 9.292,
"textWidth": 8.833
},
{
"text": "Reward ",
"font": "serif",
"width": 6.763,
"textWidth": 6.305
},
{
"text": "Model ",
"font": "serif",
"width": 5.223,
"textWidth": 5.223
}
]
},
{
"left": 11.844,
"top": 80.342,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "(GRM) ",
"font": "serif",
"width": 6.002,
"textWidth": 5.543
},
{
"text": "to ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.277,
"textWidth": 6.818
},
{
"text": "policy ",
"font": "serif",
"width": 5.43,
"textWidth": 4.971
},
{
"text": "trajectories. ",
"font": "serif",
"width": 9.842,
"textWidth": 9.27
},
{
"text": "Crucially, ",
"font": "serif",
"width": 8.128,
"textWidth": 7.669
},
{
"text": "we ",
"font": "serif",
"width": 2.851,
"textWidth": 2.392
},
{
"text": "apply ",
"font": "serif",
"width": 5.102,
"textWidth": 4.643
},
{
"text": "RL ",
"font": "serif",
"width": 2.789,
"textWidth": 2.33
},
{
"text": "optimization ",
"font": "serif",
"width": 10.811,
"textWidth": 10.352
},
{
"text": "directly ",
"font": "serif",
"width": 6.607,
"textWidth": 6.148
},
{
"text": "to ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.527
},
{
"text": "GRM ",
"font": "serif",
"width": 4.33,
"textWidth": 4.33
}
]
},
{
"left": 11.905,
"top": 81.952,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "itself. ",
"font": "serif",
"width": 5.24,
"textWidth": 4.475
},
{
"text": "In ",
"font": "serif",
"width": 2.243,
"textWidth": 1.718
},
{
"text": "this ",
"font": "serif",
"width": 3.557,
"textWidth": 3.034
},
{
"text": "paradigm, ",
"font": "serif",
"width": 9.115,
"textWidth": 8.574
},
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "actor ",
"font": "serif",
"width": 4.658,
"textWidth": 4.133
},
{
"text": "network ",
"font": "serif",
"width": 7.473,
"textWidth": 6.95
},
{
"text": "natively ",
"font": "serif",
"width": 7.234,
"textWidth": 6.711
},
{
"text": "functions ",
"font": "serif",
"width": 8.245,
"textWidth": 7.722
},
{
"text": "as ",
"font": "serif",
"width": 2.252,
"textWidth": 1.727
},
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "GRM, ",
"font": "serif",
"width": 5.434,
"textWidth": 4.911
},
{
"text": "enabling ",
"font": "serif",
"width": 7.69,
"textWidth": 7.167
},
{
"text": "the ",
"font": "serif",
"width": 3.118,
"textWidth": 2.593
},
{
"text": "joint ",
"font": "serif",
"width": 3.699,
"textWidth": 3.699
}
]
},
{
"left": 11.905,
"top": 83.561,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "optimization ",
"font": "serif",
"width": 10.895,
"textWidth": 10.436
},
{
"text": "of ",
"font": "serif",
"width": 2.075,
"textWidth": 1.614
},
{
"text": "the ",
"font": "serif",
"width": 3.006,
"textWidth": 2.547
},
{
"text": "model’s ",
"font": "serif",
"width": 6.91,
"textWidth": 6.449
},
{
"text": "evaluative ",
"font": "serif",
"width": 8.904,
"textWidth": 8.443
},
{
"text": "(judging) ",
"font": "serif",
"width": 7.986,
"textWidth": 7.527
},
{
"text": "proficiency ",
"font": "serif",
"width": 9.505,
"textWidth": 9.044
},
{
"text": "alongside ",
"font": "serif",
"width": 8.318,
"textWidth": 7.859
},
{
"text": "its ",
"font": "serif",
"width": 2.371,
"textWidth": 1.912
},
{
"text": "standard ",
"font": "serif",
"width": 7.679,
"textWidth": 7.218
},
{
"text": "generative ",
"font": "serif",
"width": 8.542,
"textWidth": 8.542
}
]
},
{
"left": 11.905,
"top": 85.171,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "capabilities. ",
"font": "serif",
"width": 10.267,
"textWidth": 9.701
},
{
"text": "By ",
"font": "serif",
"width": 2.617,
"textWidth": 2.16
},
{
"text": "unifying ",
"font": "serif",
"width": 7.478,
"textWidth": 7.022
},
{
"text": "these ",
"font": "serif",
"width": 4.694,
"textWidth": 4.239
},
{
"text": "roles, ",
"font": "serif",
"width": 4.837,
"textWidth": 4.381
},
{
"text": "the ",
"font": "serif",
"width": 3.024,
"textWidth": 2.567
},
{
"text": "model’s ",
"font": "serif",
"width": 6.956,
"textWidth": 6.5
},
{
"text": "internal ",
"font": "serif",
"width": 6.834,
"textWidth": 6.378
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.483,
"textWidth": 8.028
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.693,
"textWidth": 9.238
},
{
"text": "are ",
"font": "serif",
"width": 2.967,
"textWidth": 2.512
},
{
"text": "inherently ",
"font": "serif",
"width": 8.413,
"textWidth": 8.413
}
]
},
{
"left": 11.905,
"top": 86.78,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "fused ",
"font": "serif",
"width": 4.89,
"textWidth": 4.436
},
{
"text": "into ",
"font": "serif",
"width": 3.616,
"textWidth": 3.16
},
{
"text": "its ",
"font": "serif",
"width": 2.339,
"textWidth": 1.885
},
{
"text": "evaluative ",
"font": "serif",
"width": 8.783,
"textWidth": 8.327
},
{
"text": "process, ",
"font": "serif",
"width": 6.873,
"textWidth": 6.417
},
{
"text": "resulting ",
"font": "serif",
"width": 7.568,
"textWidth": 7.114
},
{
"text": "in ",
"font": "serif",
"width": 2.037,
"textWidth": 1.581
},
{
"text": "highly ",
"font": "serif",
"width": 5.629,
"textWidth": 5.173
},
{
"text": "robust ",
"font": "serif",
"width": 5.577,
"textWidth": 5.122
},
{
"text": "scoring. ",
"font": "serif",
"width": 6.882,
"textWidth": 6.315
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.086,
"textWidth": 10.63
},
{
"text": "this ",
"font": "serif",
"width": 3.393,
"textWidth": 2.939
},
{
"text": "approach ",
"font": "serif",
"width": 7.516,
"textWidth": 7.516
}
]
},
{
"left": 11.905,
"top": 88.389,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "achieves ",
"font": "serif",
"width": 7.483,
"textWidth": 7.022
},
{
"text": "superior ",
"font": "serif",
"width": 7.425,
"textWidth": 6.966
},
{
"text": "performance ",
"font": "serif",
"width": 10.977,
"textWidth": 10.516
},
{
"text": "with ",
"font": "serif",
"width": 4.254,
"textWidth": 3.793
},
{
"text": "only ",
"font": "serif",
"width": 4.145,
"textWidth": 3.685
},
{
"text": "a ",
"font": "serif",
"width": 1.392,
"textWidth": 0.933
},
{
"text": "minimal ",
"font": "serif",
"width": 7.403,
"textWidth": 6.942
},
{
"text": "set ",
"font": "serif",
"width": 2.754,
"textWidth": 2.293
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.64
},
{
"text": "diverse ",
"font": "serif",
"width": 6.511,
"textWidth": 6.05
},
{
"text": "human ",
"font": "serif",
"width": 6.337,
"textWidth": 5.877
},
{
"text": "annotations, ",
"font": "serif",
"width": 10.638,
"textWidth": 10.177
},
{
"text": "as ",
"font": "serif",
"width": 2.185,
"textWidth": 1.724
},
{
"text": "the ",
"font": "serif",
"width": 2.588,
"textWidth": 2.588
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "29 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"30": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 10.297,
"width": 38.032,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "2 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Comparison ",
"font": "serif",
"width": 10.495,
"textWidth": 10.037
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "three ",
"font": "serif",
"width": 4.569,
"textWidth": 4.111
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "modes ",
"font": "serif",
"width": 5.393,
"textWidth": 5.393
}
]
},
{
"left": 16.035,
"top": 13.535,
"width": 65.67,
"height": 1.296,
"words": [
{
"text": "Reasoning ",
"font": "serif-bold",
"width": 13.913,
"textWidth": 8.857
},
{
"text": "Characteristics ",
"font": "serif-bold",
"width": 18.674,
"textWidth": 12.313
},
{
"text": "Typical ",
"font": "serif-bold",
"width": 6.605,
"textWidth": 6.147
},
{
"text": "Use ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "Cases ",
"font": "serif-bold",
"width": 8.458,
"textWidth": 4.783
},
{
"text": "Response ",
"font": "serif-bold",
"width": 8.5,
"textWidth": 8.042
},
{
"text": "Format ",
"font": "serif-bold",
"width": 5.907,
"textWidth": 5.907
}
]
},
{
"left": 16.035,
"top": 15.144,
"width": 4.888,
"height": 1.296,
"words": [
{
"text": "Mode ",
"font": "serif-bold",
"width": 4.888,
"textWidth": 4.888
}
]
},
{
"left": 16.035,
"top": 17.404,
"width": 8.855,
"height": 1.296,
"words": [
{
"text": "Non-think ",
"font": "serif-bold",
"width": 8.855,
"textWidth": 8.855
}
]
},
{
"left": 29.948,
"top": 17.424,
"width": 35.571,
"height": 1.296,
"words": [
{
"text": "Fast, ",
"font": "serif",
"width": 5.952,
"textWidth": 3.843
},
{
"text": "intuitive ",
"font": "serif",
"width": 8.797,
"textWidth": 7.017
},
{
"text": "re- ",
"font": "serif",
"width": 3.927,
"textWidth": 2.223
},
{
"text": "Routine ",
"font": "serif",
"width": 7.294,
"textWidth": 6.533
},
{
"text": "daily ",
"font": "serif",
"width": 4.967,
"textWidth": 4.204
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.636,
"textWidth": 4.636
}
]
},
{
"left": 67.298,
"top": 17.246,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 76.223,
"top": 17.424,
"width": 7.739,
"height": 1.296,
"words": [
{
"text": "summary ",
"font": "serif",
"width": 7.739,
"textWidth": 7.739
}
]
},
{
"left": 29.948,
"top": 19.034,
"width": 35.57,
"height": 1.296,
"words": [
{
"text": "sponses ",
"font": "serif",
"width": 8.133,
"textWidth": 6.505
},
{
"text": "based ",
"font": "serif",
"width": 6.425,
"textWidth": 4.798
},
{
"text": "on ",
"font": "serif",
"width": 4.117,
"textWidth": 2.109
},
{
"text": "emergency ",
"font": "serif",
"width": 9.233,
"textWidth": 8.781
},
{
"text": "reactions, ",
"font": "serif",
"width": 7.662,
"textWidth": 7.662
}
]
},
{
"left": 29.948,
"top": 20.643,
"width": 33.816,
"height": 1.296,
"words": [
{
"text": "habits ",
"font": "serif",
"width": 7.18,
"textWidth": 5.002
},
{
"text": "or ",
"font": "serif",
"width": 3.937,
"textWidth": 1.759
},
{
"text": "simple ",
"font": "serif",
"width": 7.559,
"textWidth": 5.55
},
{
"text": "low-risk ",
"font": "serif",
"width": 7.184,
"textWidth": 6.726
},
{
"text": "decisions. ",
"font": "serif",
"width": 7.957,
"textWidth": 7.957
}
]
},
{
"left": 29.948,
"top": 22.253,
"width": 4.461,
"height": 1.296,
"words": [
{
"text": "rules. ",
"font": "serif",
"width": 4.461,
"textWidth": 4.461
}
]
},
{
"left": 16.035,
"top": 24.485,
"width": 9.925,
"height": 1.296,
"words": [
{
"text": "Think ",
"font": "serif-bold",
"width": 5.65,
"textWidth": 5.192
},
{
"text": "High ",
"font": "serif-bold",
"width": 4.275,
"textWidth": 4.275
}
]
},
{
"left": 29.948,
"top": 24.506,
"width": 35.646,
"height": 1.296,
"words": [
{
"text": "Conscious ",
"font": "serif",
"width": 11.21,
"textWidth": 8.541
},
{
"text": "logical ",
"font": "serif",
"width": 7.465,
"textWidth": 5.456
},
{
"text": "Complex ",
"font": "serif",
"width": 9.376,
"textWidth": 7.524
},
{
"text": "problem- ",
"font": "serif",
"width": 7.595,
"textWidth": 7.595
}
]
},
{
"left": 67.298,
"top": 24.328,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 76.925,
"top": 24.506,
"width": 7.04,
"height": 1.296,
"words": [
{
"text": "thinking ",
"font": "serif",
"width": 7.04,
"textWidth": 7.04
}
]
},
{
"left": 29.948,
"top": 26.116,
"width": 42.795,
"height": 1.296,
"words": [
{
"text": "analysis, ",
"font": "serif",
"width": 7.757,
"textWidth": 7.137
},
{
"text": "slower ",
"font": "serif",
"width": 6.139,
"textWidth": 5.55
},
{
"text": "but ",
"font": "serif",
"width": 4.779,
"textWidth": 2.77
},
{
"text": "solving, ",
"font": "serif",
"width": 8.98,
"textWidth": 6.552
},
{
"text": "planning, ",
"font": "serif",
"width": 9.695,
"textWidth": 7.916
},
{
"text": "tokens ",
"font": "serif",
"width": 5.445,
"textWidth": 5.445
}
]
},
{
"left": 75.71,
"top": 25.937,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 29.948,
"top": 27.725,
"width": 45.128,
"height": 1.296,
"words": [
{
"text": "more ",
"font": "serif",
"width": 4.646,
"textWidth": 4.188
},
{
"text": "accurate. ",
"font": "serif",
"width": 14.029,
"textWidth": 7.222
},
{
"text": "medium-risk ",
"font": "serif",
"width": 12.937,
"textWidth": 10.746
},
{
"text": "deci- ",
"font": "serif",
"width": 5.738,
"textWidth": 4.034
},
{
"text": "summary ",
"font": "serif",
"width": 7.778,
"textWidth": 7.778
}
]
},
{
"left": 48.623,
"top": 29.334,
"width": 4.613,
"height": 1.296,
"words": [
{
"text": "sions. ",
"font": "serif",
"width": 4.613,
"textWidth": 4.613
}
]
},
{
"left": 16.035,
"top": 31.567,
"width": 9.315,
"height": 1.296,
"words": [
{
"text": "Think ",
"font": "serif-bold",
"width": 5.65,
"textWidth": 5.192
},
{
"text": "Max ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 3.665
}
]
},
{
"left": 29.948,
"top": 31.588,
"width": 54.016,
"height": 1.296,
"words": [
{
"text": "Push ",
"font": "serif",
"width": 4.458,
"textWidth": 3.999
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.294,
"textWidth": 7.835
},
{
"text": "to ",
"font": "serif",
"width": 2.035,
"textWidth": 1.576
},
{
"text": "its ",
"font": "serif",
"width": 3.889,
"textWidth": 1.881
},
{
"text": "Exploring ",
"font": "serif",
"width": 8.283,
"textWidth": 7.882
},
{
"text": "the ",
"font": "serif",
"width": 2.891,
"textWidth": 2.491
},
{
"text": "bound- ",
"font": "serif",
"width": 7.501,
"textWidth": 5.796
},
{
"text": "1. ",
"font": "serif",
"width": 2.499,
"textWidth": 1.402
},
{
"text": "A ",
"font": "serif",
"width": 2.09,
"textWidth": 1.454
},
{
"text": "special ",
"font": "serif",
"width": 6.298,
"textWidth": 5.664
},
{
"text": "system ",
"font": "serif",
"width": 5.78,
"textWidth": 5.78
}
]
},
{
"left": 29.948,
"top": 33.197,
"width": 54.32,
"height": 1.296,
"words": [
{
"text": "fullest ",
"font": "serif",
"width": 5.83,
"textWidth": 5.135
},
{
"text": "extent. ",
"font": "serif",
"width": 6.808,
"textWidth": 5.529
},
{
"text": "Slow ",
"font": "serif",
"width": 6.037,
"textWidth": 4.105
},
{
"text": "ary ",
"font": "serif",
"width": 3.158,
"textWidth": 2.699
},
{
"text": "of ",
"font": "serif",
"width": 2.096,
"textWidth": 1.635
},
{
"text": "model ",
"font": "serif",
"width": 5.686,
"textWidth": 5.227
},
{
"text": "reason- ",
"font": "serif",
"width": 7.679,
"textWidth": 6.03
},
{
"text": "prompt ",
"font": "serif",
"width": 6.711,
"textWidth": 6.232
},
{
"text": "at ",
"font": "serif",
"width": 2.023,
"textWidth": 1.544
},
{
"text": "the ",
"font": "serif",
"width": 3.069,
"textWidth": 2.593
},
{
"text": "begin- ",
"font": "serif",
"width": 5.223,
"textWidth": 5.223
}
]
},
{
"left": 29.948,
"top": 34.807,
"width": 41.494,
"height": 1.296,
"words": [
{
"text": "but ",
"font": "serif",
"width": 3.174,
"textWidth": 2.716
},
{
"text": "powerful. ",
"font": "serif",
"width": 15.501,
"textWidth": 7.939
},
{
"text": "ing ",
"font": "serif",
"width": 3.077,
"textWidth": 2.619
},
{
"text": "capability. ",
"font": "serif",
"width": 15.598,
"textWidth": 8.232
},
{
"text": "ning. ",
"font": "serif",
"width": 4.144,
"textWidth": 4.144
}
]
},
{
"left": 67.298,
"top": 36.416,
"width": 1.368,
"height": 1.296,
"words": [
{
"text": "2. ",
"font": "serif",
"width": 1.368,
"textWidth": 1.368
}
]
},
{
"left": 69.233,
"top": 36.237,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 77.098,
"top": 36.416,
"width": 6.867,
"height": 1.296,
"words": [
{
"text": "thinking ",
"font": "serif",
"width": 6.867,
"textWidth": 6.867
}
]
},
{
"left": 67.298,
"top": 38.025,
"width": 5.445,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.445,
"textWidth": 5.445
}
]
},
{
"left": 75.71,
"top": 37.847,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": " ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 67.298,
"top": 39.635,
"width": 7.778,
"height": 1.296,
"words": [
{
"text": "summary ",
"font": "serif",
"width": 7.778,
"textWidth": 7.778
}
]
},
{
"left": 11.848,
"top": 42.99,
"width": 64.112,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "3 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.343,
"textWidth": 8.885
},
{
"text": "injected ",
"font": "serif",
"width": 6.773,
"textWidth": 6.315
},
{
"text": "into ",
"font": "serif",
"width": 3.656,
"textWidth": 3.198
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "system ",
"font": "serif",
"width": 6.125,
"textWidth": 5.666
},
{
"text": "prompt ",
"font": "serif",
"width": 6.568,
"textWidth": 6.11
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "\"Think ",
"font": "serif",
"width": 5.947,
"textWidth": 5.489
},
{
"text": "Max\" ",
"font": "serif",
"width": 4.734,
"textWidth": 4.275
},
{
"text": "mode. ",
"font": "serif",
"width": 5.075,
"textWidth": 5.075
}
]
},
{
"left": 14.524,
"top": 46.904,
"width": 15.742,
"height": 1.296,
"words": [
{
"text": "Injected ",
"font": "serif",
"width": 6.858,
"textWidth": 6.399
},
{
"text": "Instruction ",
"font": "serif",
"width": 8.885,
"textWidth": 8.885
}
]
},
{
"left": 14.524,
"top": 49.722,
"width": 54.328,
"height": 1.296,
"words": [
{
"text": "Reasoning ",
"font": "serif",
"width": 8.939,
"textWidth": 8.481
},
{
"text": "Effort: ",
"font": "serif",
"width": 5.655,
"textWidth": 5.087
},
{
"text": "Absolute ",
"font": "serif",
"width": 7.789,
"textWidth": 7.33
},
{
"text": "maximum ",
"font": "serif",
"width": 8.813,
"textWidth": 8.355
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "no ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "shortcuts ",
"font": "serif",
"width": 7.917,
"textWidth": 7.459
},
{
"text": "permitted. ",
"font": "serif",
"width": 8.505,
"textWidth": 8.505
}
]
},
{
"left": 14.463,
"top": 51.331,
"width": 71.013,
"height": 1.296,
"words": [
{
"text": "You ",
"font": "serif",
"width": 3.879,
"textWidth": 3.226
},
{
"text": "MUST ",
"font": "serif",
"width": 6.004,
"textWidth": 5.35
},
{
"text": "be ",
"font": "serif",
"width": 2.581,
"textWidth": 1.929
},
{
"text": "very ",
"font": "serif",
"width": 4.383,
"textWidth": 3.729
},
{
"text": "thorough ",
"font": "serif",
"width": 8.352,
"textWidth": 7.698
},
{
"text": "in ",
"font": "serif",
"width": 2.286,
"textWidth": 1.632
},
{
"text": "your ",
"font": "serif",
"width": 4.578,
"textWidth": 3.925
},
{
"text": "thinking ",
"font": "serif",
"width": 7.694,
"textWidth": 7.04
},
{
"text": "and ",
"font": "serif",
"width": 3.817,
"textWidth": 3.165
},
{
"text": "comprehensively ",
"font": "serif",
"width": 14.821,
"textWidth": 14.169
},
{
"text": "decompose ",
"font": "serif",
"width": 10.025,
"textWidth": 9.371
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 14.469,
"top": 52.941,
"width": 71.007,
"height": 1.296,
"words": [
{
"text": "problem ",
"font": "serif",
"width": 7.164,
"textWidth": 6.706
},
{
"text": "to ",
"font": "serif",
"width": 2.028,
"textWidth": 1.568
},
{
"text": "resolve ",
"font": "serif",
"width": 6.141,
"textWidth": 5.681
},
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.494
},
{
"text": "root ",
"font": "serif",
"width": 3.685,
"textWidth": 3.225
},
{
"text": "cause, ",
"font": "serif",
"width": 5.314,
"textWidth": 4.854
},
{
"text": "rigorously ",
"font": "serif",
"width": 8.701,
"textWidth": 8.241
},
{
"text": "stress-testing ",
"font": "serif",
"width": 10.833,
"textWidth": 10.373
},
{
"text": "your ",
"font": "serif",
"width": 4.234,
"textWidth": 3.775
},
{
"text": "logic ",
"font": "serif",
"width": 4.286,
"textWidth": 3.826
},
{
"text": "against ",
"font": "serif",
"width": 6.175,
"textWidth": 5.715
},
{
"text": "all ",
"font": "serif",
"width": 2.404,
"textWidth": 1.945
},
{
"text": "potential ",
"font": "serif",
"width": 7.087,
"textWidth": 7.087
}
]
},
{
"left": 14.469,
"top": 54.55,
"width": 35.842,
"height": 1.296,
"words": [
{
"text": "paths, ",
"font": "serif",
"width": 5.375,
"textWidth": 4.917
},
{
"text": "edge ",
"font": "serif",
"width": 4.352,
"textWidth": 3.894
},
{
"text": "cases, ",
"font": "serif",
"width": 5.078,
"textWidth": 4.62
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "adversarial ",
"font": "serif",
"width": 9.531,
"textWidth": 9.073
},
{
"text": "scenarios. ",
"font": "serif",
"width": 7.944,
"textWidth": 7.944
}
]
},
{
"left": 14.524,
"top": 56.159,
"width": 70.952,
"height": 1.296,
"words": [
{
"text": "Explicitly ",
"font": "serif",
"width": 8.382,
"textWidth": 7.885
},
{
"text": "write ",
"font": "serif",
"width": 4.841,
"textWidth": 4.346
},
{
"text": "out ",
"font": "serif",
"width": 3.254,
"textWidth": 2.757
},
{
"text": "your ",
"font": "serif",
"width": 4.423,
"textWidth": 3.925
},
{
"text": "entire ",
"font": "serif",
"width": 5.234,
"textWidth": 4.737
},
{
"text": "deliberation ",
"font": "serif",
"width": 10.487,
"textWidth": 9.989
},
{
"text": "process, ",
"font": "serif",
"width": 7.133,
"textWidth": 6.627
},
{
"text": "documenting ",
"font": "serif",
"width": 11.531,
"textWidth": 11.034
},
{
"text": "every ",
"font": "serif",
"width": 5.12,
"textWidth": 4.625
},
{
"text": "intermediate ",
"font": "serif",
"width": 10.546,
"textWidth": 10.546
}
]
},
{
"left": 14.524,
"top": 57.769,
"width": 70.952,
"height": 1.296,
"words": [
{
"text": "step, ",
"font": "serif",
"width": 4.239,
"textWidth": 3.778
},
{
"text": "considered ",
"font": "serif",
"width": 9.257,
"textWidth": 8.795
},
{
"text": "alternative, ",
"font": "serif",
"width": 9.513,
"textWidth": 9.052
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.075
},
{
"text": "rejected ",
"font": "serif",
"width": 6.687,
"textWidth": 6.227
},
{
"text": "hypothesis ",
"font": "serif",
"width": 9.199,
"textWidth": 8.737
},
{
"text": "to ",
"font": "serif",
"width": 2.043,
"textWidth": 1.584
},
{
"text": "ensure ",
"font": "serif",
"width": 5.806,
"textWidth": 5.347
},
{
"text": "absolutely ",
"font": "serif",
"width": 8.759,
"textWidth": 8.298
},
{
"text": "no ",
"font": "serif",
"width": 2.508,
"textWidth": 2.049
},
{
"text": "assumption ",
"font": "serif",
"width": 9.407,
"textWidth": 9.407
}
]
},
{
"left": 14.524,
"top": 59.378,
"width": 14.063,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "left ",
"font": "serif",
"width": 3.077,
"textWidth": 2.619
},
{
"text": "unchecked. ",
"font": "serif",
"width": 9.218,
"textWidth": 9.218
}
]
},
{
"left": 11.905,
"top": 65.057,
"width": 52.666,
"height": 1.296,
"words": [
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "leverages ",
"font": "serif",
"width": 8.096,
"textWidth": 7.638
},
{
"text": "its ",
"font": "serif",
"width": 2.366,
"textWidth": 1.908
},
{
"text": "own ",
"font": "serif",
"width": 4.054,
"textWidth": 3.596
},
{
"text": "logic ",
"font": "serif",
"width": 4.358,
"textWidth": 3.9
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "generalize ",
"font": "serif",
"width": 8.8,
"textWidth": 8.342
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "complex ",
"font": "serif",
"width": 7.349,
"textWidth": 6.891
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 11.905,
"top": 69.264,
"width": 32.183,
"height": 1.296,
"words": [
{
"text": "Tool-Call ",
"font": "serif-bold",
"width": 8.501,
"textWidth": 7.896
},
{
"text": "Schema ",
"font": "serif-bold",
"width": 7.253,
"textWidth": 6.645
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.825,
"textWidth": 3.219
},
{
"text": "Special ",
"font": "serif-bold",
"width": 6.834,
"textWidth": 6.228
},
{
"text": "Token. ",
"font": "serif-bold",
"width": 5.77,
"textWidth": 5.77
}
]
},
{
"left": 45.909,
"top": 69.284,
"width": 42.187,
"height": 1.296,
"words": [
{
"text": "Consistent ",
"font": "serif",
"width": 9.372,
"textWidth": 8.765
},
{
"text": "with ",
"font": "serif",
"width": 4.406,
"textWidth": 3.8
},
{
"text": "our ",
"font": "serif",
"width": 3.492,
"textWidth": 2.886
},
{
"text": "previous ",
"font": "serif",
"width": 7.871,
"textWidth": 7.266
},
{
"text": "version, ",
"font": "serif",
"width": 7.245,
"textWidth": 6.602
},
{
"text": "we ",
"font": "serif",
"width": 3.06,
"textWidth": 2.454
},
{
"text": "utilize ",
"font": "serif",
"width": 5.806,
"textWidth": 5.198
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 70.894,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "dedicated ",
"font": "serif",
"width": 8.701,
"textWidth": 8.135
},
{
"text": " ",
"font": "serif",
"width": 14.969,
"textWidth": 14.401
},
{
"text": "tag ",
"font": "serif",
"width": 3.15,
"textWidth": 2.583
},
{
"text": "to ",
"font": "serif",
"width": 2.198,
"textWidth": 1.63
},
{
"text": "delineate ",
"font": "serif",
"width": 8.114,
"textWidth": 7.546
},
{
"text": "the ",
"font": "serif",
"width": 3.159,
"textWidth": 2.593
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.675,
"textWidth": 8.109
},
{
"text": "path. ",
"font": "serif",
"width": 5.118,
"textWidth": 4.223
},
{
"text": "In ",
"font": "serif",
"width": 2.284,
"textWidth": 1.718
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.647,
"textWidth": 11.079
},
{
"text": "series, ",
"font": "serif",
"width": 5.72,
"textWidth": 5.126
},
{
"text": "we ",
"font": "serif",
"width": 2.454,
"textWidth": 2.454
}
]
},
{
"left": 11.905,
"top": 72.503,
"width": 76.496,
"height": 1.296,
"words": [
{
"text": "introduce ",
"font": "serif",
"width": 8.227,
"textWidth": 7.766
},
{
"text": "a ",
"font": "serif",
"width": 1.371,
"textWidth": 0.912
},
{
"text": "new ",
"font": "serif",
"width": 3.917,
"textWidth": 3.455
},
{
"text": "tool-call ",
"font": "serif",
"width": 6.966,
"textWidth": 6.506
},
{
"text": "schema ",
"font": "serif",
"width": 6.501,
"textWidth": 6.039
},
{
"text": "that ",
"font": "serif",
"width": 3.623,
"textWidth": 3.162
},
{
"text": "employs ",
"font": "serif",
"width": 7.352,
"textWidth": 6.893
},
{
"text": "a ",
"font": "serif",
"width": 1.373,
"textWidth": 0.912
},
{
"text": "special ",
"font": "serif",
"width": 5.985,
"textWidth": 5.525
},
{
"text": "\"|DSML|\" ",
"font": "serif",
"width": 9.232,
"textWidth": 8.771
},
{
"text": "token ",
"font": "serif",
"width": 5.0,
"textWidth": 4.539
},
{
"text": "and ",
"font": "serif",
"width": 3.547,
"textWidth": 3.087
},
{
"text": "utilizes ",
"font": "serif",
"width": 6.305,
"textWidth": 5.844
},
{
"text": "an ",
"font": "serif",
"width": 2.434,
"textWidth": 1.973
},
{
"text": "XML- ",
"font": "serif",
"width": 4.663,
"textWidth": 4.663
}
]
},
{
"left": 11.905,
"top": 74.112,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "based ",
"font": "serif",
"width": 5.007,
"textWidth": 4.61
},
{
"text": "format ",
"font": "serif",
"width": 5.756,
"textWidth": 5.357
},
{
"text": "for ",
"font": "serif",
"width": 2.685,
"textWidth": 2.288
},
{
"text": "tool ",
"font": "serif",
"width": 3.468,
"textWidth": 3.069
},
{
"text": "invocations, ",
"font": "serif",
"width": 10.012,
"textWidth": 9.601
},
{
"text": "as ",
"font": "serif",
"width": 2.056,
"textWidth": 1.659
},
{
"text": "demonstrated ",
"font": "serif",
"width": 11.464,
"textWidth": 11.067
},
{
"text": "in ",
"font": "serif",
"width": 1.967,
"textWidth": 1.568
},
{
"text": "Table ",
"font": "serif",
"width": 4.603,
"textWidth": 4.206
},
{
"text": "4. ",
"font": "serif",
"width": 1.895,
"textWidth": 1.347
},
{
"text": "Our ",
"font": "serif",
"width": 3.603,
"textWidth": 3.204
},
{
"text": "experiments ",
"font": "serif",
"width": 10.194,
"textWidth": 9.797
},
{
"text": "demonstrate ",
"font": "serif",
"width": 10.366,
"textWidth": 9.969
},
{
"text": "that ",
"font": "serif",
"width": 3.114,
"textWidth": 3.114
}
]
},
{
"left": 11.905,
"top": 75.722,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.983,
"textWidth": 2.521
},
{
"text": "XML ",
"font": "serif",
"width": 4.503,
"textWidth": 4.043
},
{
"text": "format ",
"font": "serif",
"width": 5.885,
"textWidth": 5.423
},
{
"text": "effectively ",
"font": "serif",
"width": 8.746,
"textWidth": 8.286
},
{
"text": "mitigates ",
"font": "serif",
"width": 7.872,
"textWidth": 7.41
},
{
"text": "escaping ",
"font": "serif",
"width": 7.51,
"textWidth": 7.048
},
{
"text": "failures ",
"font": "serif",
"width": 6.456,
"textWidth": 5.994
},
{
"text": "and ",
"font": "serif",
"width": 3.54,
"textWidth": 3.078
},
{
"text": "reduces ",
"font": "serif",
"width": 6.672,
"textWidth": 6.212
},
{
"text": "tool-call ",
"font": "serif",
"width": 6.948,
"textWidth": 6.486
},
{
"text": "errors, ",
"font": "serif",
"width": 5.672,
"textWidth": 5.21
},
{
"text": "providing ",
"font": "serif",
"width": 8.495,
"textWidth": 8.034
},
{
"text": "a ",
"font": "serif",
"width": 0.909,
"textWidth": 0.909
}
]
},
{
"left": 11.905,
"top": 77.331,
"width": 39.868,
"height": 1.296,
"words": [
{
"text": "more ",
"font": "serif",
"width": 4.646,
"textWidth": 4.188
},
{
"text": "robust ",
"font": "serif",
"width": 5.643,
"textWidth": 5.184
},
{
"text": "interface ",
"font": "serif",
"width": 7.475,
"textWidth": 7.017
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "model-tool ",
"font": "serif",
"width": 9.35,
"textWidth": 8.892
},
{
"text": "interactions. ",
"font": "serif",
"width": 9.962,
"textWidth": 9.962
}
]
},
{
"left": 11.905,
"top": 81.537,
"width": 18.178,
"height": 1.296,
"words": [
{
"text": "Interleaved ",
"font": "serif-bold",
"width": 9.897,
"textWidth": 9.436
},
{
"text": "Thinking. ",
"font": "serif-bold",
"width": 8.281,
"textWidth": 8.281
}
]
},
{
"left": 31.906,
"top": 81.558,
"width": 56.189,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.526,
"textWidth": 12.065
},
{
"text": "introduced ",
"font": "serif",
"width": 9.261,
"textWidth": 8.798
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.903
},
{
"text": "context ",
"font": "serif",
"width": 6.277,
"textWidth": 5.817
},
{
"text": "management ",
"font": "serif",
"width": 10.887,
"textWidth": 10.426
},
{
"text": "strategy ",
"font": "serif",
"width": 6.897,
"textWidth": 6.436
},
{
"text": "that ",
"font": "serif",
"width": 3.594,
"textWidth": 3.133
},
{
"text": "retains ",
"font": "serif",
"width": 5.383,
"textWidth": 5.383
}
]
},
{
"left": 11.905,
"top": 83.167,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "reasoning ",
"font": "serif",
"width": 8.416,
"textWidth": 7.956
},
{
"text": "traces ",
"font": "serif",
"width": 5.169,
"textWidth": 4.711
},
{
"text": "across ",
"font": "serif",
"width": 5.441,
"textWidth": 4.981
},
{
"text": "tool-result ",
"font": "serif",
"width": 8.792,
"textWidth": 8.332
},
{
"text": "rounds ",
"font": "serif",
"width": 6.226,
"textWidth": 5.766
},
{
"text": "but ",
"font": "serif",
"width": 3.177,
"textWidth": 2.719
},
{
"text": "discards ",
"font": "serif",
"width": 7.215,
"textWidth": 6.754
},
{
"text": "them ",
"font": "serif",
"width": 4.625,
"textWidth": 4.164
},
{
"text": "upon ",
"font": "serif",
"width": 4.738,
"textWidth": 4.278
},
{
"text": "the ",
"font": "serif",
"width": 3.003,
"textWidth": 2.544
},
{
"text": "arrival ",
"font": "serif",
"width": 5.848,
"textWidth": 5.388
},
{
"text": "of ",
"font": "serif",
"width": 2.073,
"textWidth": 1.612
},
{
"text": "new ",
"font": "serif",
"width": 3.935,
"textWidth": 3.476
},
{
"text": "user ",
"font": "serif",
"width": 3.948,
"textWidth": 3.487
},
{
"text": "mes- ",
"font": "serif",
"width": 3.887,
"textWidth": 3.887
}
]
},
{
"left": 11.905,
"top": 84.777,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sages. ",
"font": "serif",
"width": 5.385,
"textWidth": 4.811
},
{
"text": "While ",
"font": "serif",
"width": 5.288,
"textWidth": 4.829
},
{
"text": "effective, ",
"font": "serif",
"width": 7.698,
"textWidth": 7.237
},
{
"text": "this ",
"font": "serif",
"width": 3.426,
"textWidth": 2.965
},
{
"text": "still ",
"font": "serif",
"width": 3.424,
"textWidth": 2.965
},
{
"text": "caused ",
"font": "serif",
"width": 6.053,
"textWidth": 5.593
},
{
"text": "unnecessary ",
"font": "serif",
"width": 10.451,
"textWidth": 9.991
},
{
"text": "token ",
"font": "serif",
"width": 5.006,
"textWidth": 4.548
},
{
"text": "waste ",
"font": "serif",
"width": 5.143,
"textWidth": 4.683
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.595
},
{
"text": "complex ",
"font": "serif",
"width": 7.329,
"textWidth": 6.87
},
{
"text": "agentic ",
"font": "serif",
"width": 6.267,
"textWidth": 5.807
},
{
"text": "workflows ",
"font": "serif",
"width": 8.666,
"textWidth": 8.666
}
]
},
{
"left": 13.981,
"top": 86.386,
"width": 74.114,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.322,
"textWidth": 3.748
},
{
"text": "new ",
"font": "serif",
"width": 4.114,
"textWidth": 3.542
},
{
"text": "user ",
"font": "serif",
"width": 4.127,
"textWidth": 3.553
},
{
"text": "turn ",
"font": "serif",
"width": 4.137,
"textWidth": 3.563
},
{
"text": "would ",
"font": "serif",
"width": 5.967,
"textWidth": 5.393
},
{
"text": "flush ",
"font": "serif",
"width": 4.716,
"textWidth": 4.144
},
{
"text": "all ",
"font": "serif",
"width": 2.596,
"textWidth": 2.023
},
{
"text": "accumulated ",
"font": "serif",
"width": 11.199,
"textWidth": 10.625
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.681,
"textWidth": 8.107
},
{
"text": "content, ",
"font": "serif",
"width": 7.21,
"textWidth": 6.608
},
{
"text": "forcing ",
"font": "serif",
"width": 6.423,
"textWidth": 5.849
},
{
"text": "the ",
"font": "serif",
"width": 3.167,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.826,
"textWidth": 5.253
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 87.995,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "reconstruct ",
"font": "serif",
"width": 9.481,
"textWidth": 9.022
},
{
"text": "its ",
"font": "serif",
"width": 2.362,
"textWidth": 1.902
},
{
"text": "problem-solving ",
"font": "serif",
"width": 13.829,
"textWidth": 13.371
},
{
"text": "state ",
"font": "serif",
"width": 4.215,
"textWidth": 3.755
},
{
"text": "from ",
"font": "serif",
"width": 4.367,
"textWidth": 3.908
},
{
"text": "scratch. ",
"font": "serif",
"width": 6.722,
"textWidth": 6.148
},
{
"text": "Leveraging ",
"font": "serif",
"width": 9.62,
"textWidth": 9.161
},
{
"text": "the ",
"font": "serif",
"width": 2.995,
"textWidth": 2.534
},
{
"text": "expanded ",
"font": "serif",
"width": 8.46,
"textWidth": 8.001
},
{
"text": "1M-token ",
"font": "serif",
"width": 8.259,
"textWidth": 7.798
},
{
"text": "context ",
"font": "serif",
"width": 5.881,
"textWidth": 5.881
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "30 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"31": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 10.297,
"width": 40.12,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "4 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Tool-call ",
"font": "serif",
"width": 7.354,
"textWidth": 6.896
},
{
"text": "schema ",
"font": "serif",
"width": 6.528,
"textWidth": 6.07
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series. ",
"font": "serif",
"width": 5.025,
"textWidth": 5.025
}
]
},
{
"left": 14.477,
"top": 14.056,
"width": 11.46,
"height": 1.065,
"words": [
{
"text": "Tool ",
"font": "serif",
"width": 3.244,
"textWidth": 2.868
},
{
"text": "Call ",
"font": "serif",
"width": 3.074,
"textWidth": 2.698
},
{
"text": "Schema ",
"font": "serif",
"width": 5.141,
"textWidth": 5.141
}
]
},
{
"left": 20.265,
"top": 17.068,
"width": 4.349,
"height": 1.172,
"words": [
{
"text": "Tools ",
"font": "mono",
"width": 4.349,
"textWidth": 4.349
}
]
},
{
"left": 17.655,
"top": 19.671,
"width": 66.98,
"height": 1.172,
"words": [
{
"text": "You ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "have ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "access ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "to ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "a ",
"font": "mono",
"width": 1.74,
"textWidth": 0.87
},
{
"text": "set ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "of ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "tools ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "to ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "help ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "answer ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "the ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "user’s ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "question. ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "You ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "can ",
"font": "mono",
"width": 2.61,
"textWidth": 2.61
}
]
},
{
"left": 21.872,
"top": 20.973,
"width": 62.631,
"height": 1.172,
"words": [
{
"text": "invoke ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "tools ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "by ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "writing ",
"font": "mono",
"width": 6.959,
"textWidth": 6.089
},
{
"text": "a ",
"font": "mono",
"width": 1.74,
"textWidth": 0.87
},
{
"text": "\"<|DSML|tool_calls>\" ",
"font": "mono",
"width": 18.267,
"textWidth": 17.397
},
{
"text": "block ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "like ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "the ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "following: ",
"font": "mono",
"width": 8.699,
"textWidth": 8.699
}
]
},
{
"left": 17.655,
"top": 23.577,
"width": 15.658,
"height": 1.172,
"words": [
{
"text": "<|DSML|tool_calls> ",
"font": "mono",
"width": 15.658,
"textWidth": 15.658
}
]
},
{
"left": 17.655,
"top": 24.878,
"width": 27.836,
"height": 1.172,
"words": [
{
"text": "<|DSML|invoke ",
"font": "mono",
"width": 12.178,
"textWidth": 11.308
},
{
"text": "name=\"$TOOL_NAME\"> ",
"font": "mono",
"width": 15.658,
"textWidth": 15.658
}
]
},
{
"left": 17.655,
"top": 26.18,
"width": 66.11,
"height": 1.172,
"words": [
{
"text": "<|DSML|parameter ",
"font": "mono",
"width": 14.788,
"textWidth": 13.918
},
{
"text": "name=\"$PARAMETER_NAME\" ",
"font": "mono",
"width": 20.007,
"textWidth": 19.137
},
{
"text": "string=\"true|false\">$PARAMETER_VALUE ",
"font": "mono",
"width": 31.315,
"textWidth": 31.315
}
]
},
{
"left": 21.003,
"top": 27.482,
"width": 15.658,
"height": 1.172,
"words": [
{
"text": " ",
"font": "mono",
"width": 15.658,
"textWidth": 15.658
}
]
},
{
"left": 17.655,
"top": 30.085,
"width": 13.048,
"height": 1.172,
"words": [
{
"text": " ",
"font": "mono",
"width": 13.048,
"textWidth": 13.048
}
]
},
{
"left": 17.655,
"top": 31.387,
"width": 28.706,
"height": 1.172,
"words": [
{
"text": "<|DSML|invoke ",
"font": "mono",
"width": 12.178,
"textWidth": 11.308
},
{
"text": "name=\"$TOOL_NAME2\"> ",
"font": "mono",
"width": 16.528,
"textWidth": 16.528
}
]
},
{
"left": 17.655,
"top": 33.99,
"width": 13.048,
"height": 1.172,
"words": [
{
"text": " ",
"font": "mono",
"width": 13.048,
"textWidth": 13.048
}
]
},
{
"left": 17.655,
"top": 35.292,
"width": 16.528,
"height": 1.172,
"words": [
{
"text": " ",
"font": "mono",
"width": 16.528,
"textWidth": 16.528
}
]
},
{
"left": 17.655,
"top": 37.895,
"width": 66.11,
"height": 1.172,
"words": [
{
"text": "String ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "parameters ",
"font": "mono",
"width": 9.569,
"textWidth": 8.699
},
{
"text": "should ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "be ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "specified ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "as ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "is ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "and ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "set ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "‘string=\"true\"‘. ",
"font": "mono",
"width": 14.788,
"textWidth": 13.918
},
{
"text": "For ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "all ",
"font": "mono",
"width": 2.61,
"textWidth": 2.61
}
]
},
{
"left": 21.003,
"top": 39.197,
"width": 62.631,
"height": 1.172,
"words": [
{
"text": "other ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "types ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "(numbers, ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "booleans, ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "arrays, ",
"font": "mono",
"width": 6.959,
"textWidth": 6.089
},
{
"text": "objects), ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "pass ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "the ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "value ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "in ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "JSON ",
"font": "mono",
"width": 3.479,
"textWidth": 3.479
}
]
},
{
"left": 21.003,
"top": 40.499,
"width": 27.836,
"height": 1.172,
"words": [
{
"text": "format ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "and ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "set ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "‘string=\"false\"‘. ",
"font": "mono",
"width": 14.788,
"textWidth": 14.788
}
]
},
{
"left": 17.655,
"top": 43.102,
"width": 62.631,
"height": 1.172,
"words": [
{
"text": "If ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "thinking_mode ",
"font": "mono",
"width": 12.178,
"textWidth": 11.308
},
{
"text": "is ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "enabled ",
"font": "mono",
"width": 6.959,
"textWidth": 6.089
},
{
"text": "(triggered ",
"font": "mono",
"width": 9.569,
"textWidth": 8.699
},
{
"text": "by ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "), ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "you ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "MUST ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "output ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "your ",
"font": "mono",
"width": 3.479,
"textWidth": 3.479
}
]
},
{
"left": 21.003,
"top": 44.404,
"width": 60.021,
"height": 1.172,
"words": [
{
"text": "complete ",
"font": "mono",
"width": 7.829,
"textWidth": 6.959
},
{
"text": "reasoning ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "inside ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "... ",
"font": "mono",
"width": 16.528,
"textWidth": 15.658
},
{
"text": "BEFORE ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "any ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "tool ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "calls ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "or ",
"font": "mono",
"width": 1.74,
"textWidth": 1.74
}
]
},
{
"left": 21.003,
"top": 45.705,
"width": 13.048,
"height": 1.172,
"words": [
{
"text": "final ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "response. ",
"font": "mono",
"width": 7.829,
"textWidth": 7.829
}
]
},
{
"left": 17.655,
"top": 48.309,
"width": 66.11,
"height": 1.172,
"words": [
{
"text": "Otherwise, ",
"font": "mono",
"width": 9.569,
"textWidth": 8.699
},
{
"text": "output ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "directly ",
"font": "mono",
"width": 7.829,
"textWidth": 6.959
},
{
"text": "after ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": " ",
"font": "mono",
"width": 7.829,
"textWidth": 6.959
},
{
"text": "with ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "tool ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "calls ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "or ",
"font": "mono",
"width": 2.61,
"textWidth": 1.74
},
{
"text": "final ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "response. ",
"font": "mono",
"width": 7.829,
"textWidth": 7.829
}
]
},
{
"left": 21.135,
"top": 50.912,
"width": 19.137,
"height": 1.172,
"words": [
{
"text": "Available ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "Tool ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "Schemas ",
"font": "mono",
"width": 6.089,
"textWidth": 6.089
}
]
},
{
"left": 17.655,
"top": 53.516,
"width": 17.397,
"height": 1.172,
"words": [
{
"text": "{Tool ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "Definition...} ",
"font": "mono",
"width": 12.178,
"textWidth": 12.178
}
]
},
{
"left": 17.655,
"top": 56.119,
"width": 66.11,
"height": 1.172,
"words": [
{
"text": "You ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "MUST ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "strictly ",
"font": "mono",
"width": 7.829,
"textWidth": 6.959
},
{
"text": "follow ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "the ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "above ",
"font": "mono",
"width": 5.219,
"textWidth": 4.349
},
{
"text": "definedtool ",
"font": "mono",
"width": 10.438,
"textWidth": 9.569
},
{
"text": "name ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "and ",
"font": "mono",
"width": 3.479,
"textWidth": 2.61
},
{
"text": "parameter ",
"font": "mono",
"width": 8.699,
"textWidth": 7.829
},
{
"text": "schemas ",
"font": "mono",
"width": 6.959,
"textWidth": 6.089
},
{
"text": "to ",
"font": "mono",
"width": 1.74,
"textWidth": 1.74
}
]
},
{
"left": 21.003,
"top": 57.421,
"width": 15.658,
"height": 1.172,
"words": [
{
"text": "invoke ",
"font": "mono",
"width": 6.089,
"textWidth": 5.219
},
{
"text": "tool ",
"font": "mono",
"width": 4.349,
"textWidth": 3.479
},
{
"text": "calls. ",
"font": "mono",
"width": 5.219,
"textWidth": 5.219
}
]
},
{
"left": 11.828,
"top": 64.0,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "window ",
"font": "serif",
"width": 7.15,
"textWidth": 6.689
},
{
"text": "of ",
"font": "serif",
"width": 2.051,
"textWidth": 1.59
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.18,
"textWidth": 10.721
},
{
"text": "series, ",
"font": "serif",
"width": 5.423,
"textWidth": 4.96
},
{
"text": "we ",
"font": "serif",
"width": 2.836,
"textWidth": 2.375
},
{
"text": "further ",
"font": "serif",
"width": 6.09,
"textWidth": 5.629
},
{
"text": "refine ",
"font": "serif",
"width": 5.023,
"textWidth": 4.562
},
{
"text": "this ",
"font": "serif",
"width": 3.397,
"textWidth": 2.936
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.628,
"textWidth": 9.167
},
{
"text": "to ",
"font": "serif",
"width": 2.037,
"textWidth": 1.577
},
{
"text": "maximize ",
"font": "serif",
"width": 8.317,
"textWidth": 7.856
},
{
"text": "the ",
"font": "serif",
"width": 2.97,
"textWidth": 2.509
},
{
"text": "effectiveness ",
"font": "serif",
"width": 10.165,
"textWidth": 10.165
}
]
},
{
"left": 11.905,
"top": 65.61,
"width": 39.053,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "interleaved ",
"font": "serif",
"width": 9.618,
"textWidth": 9.159
},
{
"text": "thinking ",
"font": "serif",
"width": 7.36,
"textWidth": 6.902
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "agentic ",
"font": "serif",
"width": 6.282,
"textWidth": 5.824
},
{
"text": "environments: ",
"font": "serif",
"width": 11.666,
"textWidth": 11.666
}
]
},
{
"left": 16.426,
"top": 69.068,
"width": 19.889,
"height": 1.296,
"words": [
{
"text": "Tool-Calling ",
"font": "serif-bold",
"width": 11.219,
"textWidth": 10.7
},
{
"text": "Scenarios. ",
"font": "serif-bold",
"width": 8.67,
"textWidth": 8.67
}
]
},
{
"left": 37.066,
"top": 69.089,
"width": 51.334,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.767,
"textWidth": 2.247
},
{
"text": "illustrated ",
"font": "serif",
"width": 9.001,
"textWidth": 8.481
},
{
"text": "in ",
"font": "serif",
"width": 2.152,
"textWidth": 1.632
},
{
"text": "Figure ",
"font": "serif",
"width": 5.869,
"textWidth": 5.35
},
{
"text": "7(a), ",
"font": "serif",
"width": 4.118,
"textWidth": 3.582
},
{
"text": "all ",
"font": "serif",
"width": 2.54,
"textWidth": 2.023
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.629,
"textWidth": 8.109
},
{
"text": "content ",
"font": "serif",
"width": 6.66,
"textWidth": 6.141
},
{
"text": "is ",
"font": "serif",
"width": 1.856,
"textWidth": 1.337
},
{
"text": "fully ",
"font": "serif",
"width": 4.395,
"textWidth": 3.875
},
{
"text": "pre- ",
"font": "serif",
"width": 3.348,
"textWidth": 3.348
}
]
},
{
"left": 16.486,
"top": 70.698,
"width": 71.61,
"height": 1.296,
"words": [
{
"text": "served ",
"font": "serif",
"width": 6.243,
"textWidth": 5.52
},
{
"text": "throughout ",
"font": "serif",
"width": 10.158,
"textWidth": 9.434
},
{
"text": "the ",
"font": "serif",
"width": 3.316,
"textWidth": 2.593
},
{
"text": "entire ",
"font": "serif",
"width": 5.46,
"textWidth": 4.737
},
{
"text": "conversation. ",
"font": "serif",
"width": 12.447,
"textWidth": 11.085
},
{
"text": "Unlike ",
"font": "serif",
"width": 6.286,
"textWidth": 5.565
},
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 13.739,
"textWidth": 12.948
},
{
"text": "which ",
"font": "serif",
"width": 5.83,
"textWidth": 5.109
},
{
"text": "discarded ",
"font": "serif",
"width": 8.129,
"textWidth": 8.129
}
]
},
{
"left": 16.486,
"top": 72.307,
"width": 71.913,
"height": 1.296,
"words": [
{
"text": "thinking ",
"font": "serif",
"width": 7.352,
"textWidth": 6.895
},
{
"text": "traces ",
"font": "serif",
"width": 5.161,
"textWidth": 4.701
},
{
"text": "upon ",
"font": "serif",
"width": 4.727,
"textWidth": 4.269
},
{
"text": "each ",
"font": "serif",
"width": 4.13,
"textWidth": 3.671
},
{
"text": "new ",
"font": "serif",
"width": 3.929,
"textWidth": 3.469
},
{
"text": "user ",
"font": "serif",
"width": 3.938,
"textWidth": 3.48
},
{
"text": "turn, ",
"font": "serif",
"width": 4.407,
"textWidth": 3.947
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.309,
"textWidth": 10.851
},
{
"text": "series ",
"font": "serif",
"width": 5.022,
"textWidth": 4.562
},
{
"text": "retain ",
"font": "serif",
"width": 5.135,
"textWidth": 4.678
},
{
"text": "the ",
"font": "serif",
"width": 2.999,
"textWidth": 2.539
},
{
"text": "complete ",
"font": "serif",
"width": 7.871,
"textWidth": 7.413
},
{
"text": "reason- ",
"font": "serif",
"width": 5.934,
"textWidth": 5.934
}
]
},
{
"left": 16.486,
"top": 73.917,
"width": 71.609,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.095,
"textWidth": 2.637
},
{
"text": "history ",
"font": "serif",
"width": 6.215,
"textWidth": 5.758
},
{
"text": "across ",
"font": "serif",
"width": 5.468,
"textWidth": 5.01
},
{
"text": "all ",
"font": "serif",
"width": 2.454,
"textWidth": 1.997
},
{
"text": "rounds, ",
"font": "serif",
"width": 6.719,
"textWidth": 6.262
},
{
"text": "including ",
"font": "serif",
"width": 8.303,
"textWidth": 7.845
},
{
"text": "across ",
"font": "serif",
"width": 5.468,
"textWidth": 5.01
},
{
"text": "user ",
"font": "serif",
"width": 3.966,
"textWidth": 3.508
},
{
"text": "message ",
"font": "serif",
"width": 7.369,
"textWidth": 6.911
},
{
"text": "boundaries. ",
"font": "serif",
"width": 10.226,
"textWidth": 9.659
},
{
"text": "This ",
"font": "serif",
"width": 3.982,
"textWidth": 3.525
},
{
"text": "allows ",
"font": "serif",
"width": 5.784,
"textWidth": 5.326
},
{
"text": "the ",
"font": "serif",
"width": 2.56,
"textWidth": 2.56
}
]
},
{
"left": 16.486,
"top": 75.526,
"width": 71.913,
"height": 1.296,
"words": [
{
"text": "model ",
"font": "serif",
"width": 5.552,
"textWidth": 5.093
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.58
},
{
"text": "maintain ",
"font": "serif",
"width": 7.625,
"textWidth": 7.166
},
{
"text": "a ",
"font": "serif",
"width": 1.365,
"textWidth": 0.906
},
{
"text": "coherent, ",
"font": "serif",
"width": 7.826,
"textWidth": 7.368
},
{
"text": "cumulative ",
"font": "serif",
"width": 9.492,
"textWidth": 9.033
},
{
"text": "chain ",
"font": "serif",
"width": 4.807,
"textWidth": 4.348
},
{
"text": "of ",
"font": "serif",
"width": 2.052,
"textWidth": 1.593
},
{
"text": "thought ",
"font": "serif",
"width": 6.838,
"textWidth": 6.382
},
{
"text": "over ",
"font": "serif",
"width": 4.056,
"textWidth": 3.598
},
{
"text": "long-horizon ",
"font": "serif",
"width": 10.88,
"textWidth": 10.422
},
{
"text": "agent ",
"font": "serif",
"width": 4.886,
"textWidth": 4.428
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.495,
"textWidth": 4.495
}
]
},
{
"left": 16.486,
"top": 77.115,
"width": 29.22,
"height": 1.296,
"words": [
{
"text": "General ",
"font": "serif-bold",
"width": 7.262,
"textWidth": 6.806
},
{
"text": "Conversational ",
"font": "serif-bold",
"width": 13.348,
"textWidth": 12.891
},
{
"text": "Scenarios. ",
"font": "serif-bold",
"width": 8.61,
"textWidth": 8.61
}
]
},
{
"left": 46.275,
"top": 77.136,
"width": 41.82,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.688,
"textWidth": 2.231
},
{
"text": "illustrated ",
"font": "serif",
"width": 8.879,
"textWidth": 8.423
},
{
"text": "in ",
"font": "serif",
"width": 2.077,
"textWidth": 1.621
},
{
"text": "Figure ",
"font": "serif",
"width": 5.77,
"textWidth": 5.313
},
{
"text": "7(b), ",
"font": "serif",
"width": 4.112,
"textWidth": 3.655
},
{
"text": "the ",
"font": "serif",
"width": 3.032,
"textWidth": 2.575
},
{
"text": "original ",
"font": "serif",
"width": 6.865,
"textWidth": 6.408
},
{
"text": "strategy ",
"font": "serif",
"width": 7.069,
"textWidth": 6.613
},
{
"text": "is ",
"font": "serif",
"width": 1.327,
"textWidth": 1.327
}
]
},
{
"left": 16.431,
"top": 78.745,
"width": 71.663,
"height": 1.296,
"words": [
{
"text": "preserved: ",
"font": "serif",
"width": 9.068,
"textWidth": 8.497
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.368,
"textWidth": 7.908
},
{
"text": "content ",
"font": "serif",
"width": 6.448,
"textWidth": 5.988
},
{
"text": "from ",
"font": "serif",
"width": 4.36,
"textWidth": 3.9
},
{
"text": "previous ",
"font": "serif",
"width": 7.545,
"textWidth": 7.086
},
{
"text": "turns ",
"font": "serif",
"width": 4.708,
"textWidth": 4.249
},
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.304
},
{
"text": "discarded ",
"font": "serif",
"width": 8.388,
"textWidth": 7.928
},
{
"text": "when ",
"font": "serif",
"width": 4.976,
"textWidth": 4.517
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.912
},
{
"text": "new ",
"font": "serif",
"width": 3.915,
"textWidth": 3.455
},
{
"text": "user ",
"font": "serif",
"width": 3.926,
"textWidth": 3.466
},
{
"text": "message ",
"font": "serif",
"width": 6.829,
"textWidth": 6.829
}
]
},
{
"left": 16.486,
"top": 80.354,
"width": 71.608,
"height": 1.296,
"words": [
{
"text": "arrives, ",
"font": "serif",
"width": 6.427,
"textWidth": 5.967
},
{
"text": "keeping ",
"font": "serif",
"width": 6.872,
"textWidth": 6.41
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "context ",
"font": "serif",
"width": 6.282,
"textWidth": 5.822
},
{
"text": "concise ",
"font": "serif",
"width": 6.266,
"textWidth": 5.806
},
{
"text": "for ",
"font": "serif",
"width": 2.764,
"textWidth": 2.304
},
{
"text": "settings ",
"font": "serif",
"width": 6.626,
"textWidth": 6.164
},
{
"text": "where ",
"font": "serif",
"width": 5.434,
"textWidth": 4.974
},
{
"text": "persistent ",
"font": "serif",
"width": 8.288,
"textWidth": 7.827
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.304,
"textWidth": 7.843
},
{
"text": "traces ",
"font": "serif",
"width": 5.104,
"textWidth": 4.645
},
{
"text": "provide ",
"font": "serif",
"width": 6.275,
"textWidth": 6.275
}
]
},
{
"left": 16.486,
"top": 81.964,
"width": 12.271,
"height": 1.296,
"words": [
{
"text": "limited ",
"font": "serif",
"width": 6.271,
"textWidth": 5.813
},
{
"text": "benefit. ",
"font": "serif",
"width": 6.0,
"textWidth": 6.0
}
]
},
{
"left": 11.833,
"top": 85.443,
"width": 76.492,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.557,
"textWidth": 2.159
},
{
"text": "with ",
"font": "serif",
"width": 4.05,
"textWidth": 3.651
},
{
"text": "DeepSeek-V3.2, ",
"font": "serif",
"width": 12.852,
"textWidth": 12.441
},
{
"text": "agent ",
"font": "serif",
"width": 4.786,
"textWidth": 4.388
},
{
"text": "frameworks ",
"font": "serif",
"width": 9.998,
"textWidth": 9.599
},
{
"text": "that ",
"font": "serif",
"width": 3.513,
"textWidth": 3.114
},
{
"text": "simulate ",
"font": "serif",
"width": 7.218,
"textWidth": 6.819
},
{
"text": "tool ",
"font": "serif",
"width": 3.468,
"textWidth": 3.069
},
{
"text": "interactions ",
"font": "serif",
"width": 9.713,
"textWidth": 9.314
},
{
"text": "via ",
"font": "serif",
"width": 2.834,
"textWidth": 2.435
},
{
"text": "user ",
"font": "serif",
"width": 3.813,
"textWidth": 3.414
},
{
"text": "messages ",
"font": "serif",
"width": 7.886,
"textWidth": 7.487
},
{
"text": "(e.g., ",
"font": "serif",
"width": 3.804,
"textWidth": 3.804
}
]
},
{
"left": 11.848,
"top": 87.052,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Terminus) ",
"font": "serif",
"width": 8.547,
"textWidth": 8.098
},
{
"text": "may ",
"font": "serif",
"width": 3.931,
"textWidth": 3.482
},
{
"text": "not ",
"font": "serif",
"width": 3.06,
"textWidth": 2.611
},
{
"text": "trigger ",
"font": "serif",
"width": 5.833,
"textWidth": 5.384
},
{
"text": "the ",
"font": "serif",
"width": 2.94,
"textWidth": 2.491
},
{
"text": "tool-calling ",
"font": "serif",
"width": 9.423,
"textWidth": 8.974
},
{
"text": "context ",
"font": "serif",
"width": 6.23,
"textWidth": 5.781
},
{
"text": "path ",
"font": "serif",
"width": 4.057,
"textWidth": 3.608
},
{
"text": "and ",
"font": "serif",
"width": 3.49,
"textWidth": 3.041
},
{
"text": "thus ",
"font": "serif",
"width": 3.924,
"textWidth": 3.475
},
{
"text": "may ",
"font": "serif",
"width": 3.931,
"textWidth": 3.482
},
{
"text": "not ",
"font": "serif",
"width": 3.06,
"textWidth": 2.611
},
{
"text": "benefit ",
"font": "serif",
"width": 5.88,
"textWidth": 5.431
},
{
"text": "from ",
"font": "serif",
"width": 4.291,
"textWidth": 3.842
},
{
"text": "enhanced ",
"font": "serif",
"width": 7.649,
"textWidth": 7.649
}
]
},
{
"left": 11.905,
"top": 88.661,
"width": 73.873,
"height": 1.296,
"words": [
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "persistence. ",
"font": "serif",
"width": 10.05,
"textWidth": 9.482
},
{
"text": "We ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "continue ",
"font": "serif",
"width": 7.519,
"textWidth": 7.061
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "recommend ",
"font": "serif",
"width": 10.142,
"textWidth": 9.684
},
{
"text": "non-think ",
"font": "serif",
"width": 8.485,
"textWidth": 8.027
},
{
"text": "models ",
"font": "serif",
"width": 6.385,
"textWidth": 5.927
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "such ",
"font": "serif",
"width": 4.221,
"textWidth": 3.762
},
{
"text": "architectures. ",
"font": "serif",
"width": 10.816,
"textWidth": 10.816
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "31 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"32": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 35.474,
"top": 32.183,
"width": 21.599,
"height": 1.272,
"words": [
{
"text": "a) ",
"font": "mono",
"width": 2.944,
"textWidth": 1.971
},
{
"text": "Thinking ",
"font": "mono",
"width": 8.832,
"textWidth": 7.859
},
{
"text": "with ",
"font": "mono",
"width": 4.907,
"textWidth": 3.934
},
{
"text": "tools ",
"font": "mono",
"width": 4.915,
"textWidth": 4.915
}
]
},
{
"left": 35.474,
"top": 51.071,
"width": 24.543,
"height": 1.272,
"words": [
{
"text": "b) ",
"font": "mono",
"width": 2.944,
"textWidth": 1.971
},
{
"text": "Thinking ",
"font": "mono",
"width": 8.832,
"textWidth": 7.859
},
{
"text": "without ",
"font": "mono",
"width": 7.851,
"textWidth": 6.878
},
{
"text": "tools ",
"font": "mono",
"width": 4.915,
"textWidth": 4.915
}
]
},
{
"left": 27.31,
"top": 54.555,
"width": 45.381,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.703,
"textWidth": 5.245
},
{
"text": "7 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Thinking ",
"font": "serif",
"width": 7.886,
"textWidth": 7.428
},
{
"text": "management ",
"font": "serif",
"width": 11.032,
"textWidth": 10.574
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series. ",
"font": "serif",
"width": 5.025,
"textWidth": 5.025
}
]
},
{
"left": 11.905,
"top": 58.57,
"width": 15.009,
"height": 1.296,
"words": [
{
"text": "Quick ",
"font": "serif-bold",
"width": 5.483,
"textWidth": 5.086
},
{
"text": "Instruction. ",
"font": "serif-bold",
"width": 9.526,
"textWidth": 9.526
}
]
},
{
"left": 28.736,
"top": 58.591,
"width": 59.396,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.047,
"textWidth": 1.65
},
{
"text": "chatbot ",
"font": "serif",
"width": 6.282,
"textWidth": 5.885
},
{
"text": "scenarios, ",
"font": "serif",
"width": 8.195,
"textWidth": 7.785
},
{
"text": "a ",
"font": "serif",
"width": 1.295,
"textWidth": 0.898
},
{
"text": "number ",
"font": "serif",
"width": 6.674,
"textWidth": 6.277
},
{
"text": "of ",
"font": "serif",
"width": 1.976,
"textWidth": 1.579
},
{
"text": "auxiliary ",
"font": "serif",
"width": 7.478,
"textWidth": 7.081
},
{
"text": "tasks ",
"font": "serif",
"width": 4.402,
"textWidth": 4.005
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.213,
"textWidth": 3.804
},
{
"text": "determining ",
"font": "serif",
"width": 10.23,
"textWidth": 9.833
},
{
"text": "whether ",
"font": "serif",
"width": 6.604,
"textWidth": 6.604
}
]
},
{
"left": 11.905,
"top": 60.2,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 1.986,
"textWidth": 1.566
},
{
"text": "trigger ",
"font": "serif",
"width": 5.803,
"textWidth": 5.384
},
{
"text": "a ",
"font": "serif",
"width": 1.318,
"textWidth": 0.898
},
{
"text": "web ",
"font": "serif",
"width": 3.772,
"textWidth": 3.351
},
{
"text": "search, ",
"font": "serif",
"width": 5.916,
"textWidth": 5.488
},
{
"text": "intent ",
"font": "serif",
"width": 5.063,
"textWidth": 4.644
},
{
"text": "recognition, ",
"font": "serif",
"width": 9.892,
"textWidth": 9.465
},
{
"text": "etc.) ",
"font": "serif",
"width": 3.845,
"textWidth": 3.29
},
{
"text": "must ",
"font": "serif",
"width": 4.436,
"textWidth": 4.016
},
{
"text": "be ",
"font": "serif",
"width": 2.274,
"textWidth": 1.853
},
{
"text": "executed ",
"font": "serif",
"width": 7.489,
"textWidth": 7.071
},
{
"text": "before ",
"font": "serif",
"width": 5.39,
"textWidth": 4.969
},
{
"text": "generating ",
"font": "serif",
"width": 8.944,
"textWidth": 8.524
},
{
"text": "the ",
"font": "serif",
"width": 2.909,
"textWidth": 2.489
},
{
"text": "response. ",
"font": "serif",
"width": 7.475,
"textWidth": 7.475
}
]
},
{
"left": 11.905,
"top": 61.81,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "Conventionally, ",
"font": "serif",
"width": 13.155,
"textWidth": 12.697
},
{
"text": "these ",
"font": "serif",
"width": 4.619,
"textWidth": 4.163
},
{
"text": "tasks ",
"font": "serif",
"width": 4.512,
"textWidth": 4.054
},
{
"text": "are ",
"font": "serif",
"width": 2.921,
"textWidth": 2.463
},
{
"text": "handled ",
"font": "serif",
"width": 7.103,
"textWidth": 6.646
},
{
"text": "by ",
"font": "serif",
"width": 2.474,
"textWidth": 2.016
},
{
"text": "a ",
"font": "serif",
"width": 1.365,
"textWidth": 0.909
},
{
"text": "separate ",
"font": "serif",
"width": 7.192,
"textWidth": 6.734
},
{
"text": "small ",
"font": "serif",
"width": 4.799,
"textWidth": 4.343
},
{
"text": "model, ",
"font": "serif",
"width": 6.021,
"textWidth": 5.563
},
{
"text": "requiring ",
"font": "serif",
"width": 7.972,
"textWidth": 7.515
},
{
"text": "redundant ",
"font": "serif",
"width": 8.95,
"textWidth": 8.492
},
{
"text": "prefill- ",
"font": "serif",
"width": 5.41,
"textWidth": 5.41
}
]
},
{
"left": 11.905,
"top": 63.419,
"width": 76.241,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.034,
"textWidth": 2.574
},
{
"text": "since ",
"font": "serif",
"width": 4.457,
"textWidth": 3.999
},
{
"text": "it ",
"font": "serif",
"width": 1.571,
"textWidth": 1.111
},
{
"text": "cannot ",
"font": "serif",
"width": 5.826,
"textWidth": 5.368
},
{
"text": "reuse ",
"font": "serif",
"width": 4.713,
"textWidth": 4.255
},
{
"text": "the ",
"font": "serif",
"width": 2.958,
"textWidth": 2.499
},
{
"text": "existing ",
"font": "serif",
"width": 6.701,
"textWidth": 6.242
},
{
"text": "KV ",
"font": "serif",
"width": 3.066,
"textWidth": 2.609
},
{
"text": "cache. ",
"font": "serif",
"width": 5.431,
"textWidth": 4.862
},
{
"text": "To ",
"font": "serif",
"width": 2.378,
"textWidth": 1.92
},
{
"text": "overcome ",
"font": "serif",
"width": 8.238,
"textWidth": 7.78
},
{
"text": "this ",
"font": "serif",
"width": 3.383,
"textWidth": 2.924
},
{
"text": "limitation, ",
"font": "serif",
"width": 8.705,
"textWidth": 8.245
},
{
"text": "we ",
"font": "serif",
"width": 2.823,
"textWidth": 2.365
},
{
"text": "introduce ",
"font": "serif",
"width": 8.13,
"textWidth": 7.672
},
{
"text": "Quick ",
"font": "serif",
"width": 4.828,
"textWidth": 4.828
}
]
},
{
"left": 11.905,
"top": 65.028,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Instruction. ",
"font": "serif",
"width": 9.952,
"textWidth": 9.38
},
{
"text": "We ",
"font": "serif",
"width": 3.012,
"textWidth": 2.554
},
{
"text": "append ",
"font": "serif",
"width": 6.668,
"textWidth": 6.208
},
{
"text": "a ",
"font": "serif",
"width": 1.38,
"textWidth": 0.92
},
{
"text": "set ",
"font": "serif",
"width": 2.721,
"textWidth": 2.261
},
{
"text": "of ",
"font": "serif",
"width": 2.077,
"textWidth": 1.617
},
{
"text": "dedicated ",
"font": "serif",
"width": 8.466,
"textWidth": 8.007
},
{
"text": "special ",
"font": "serif",
"width": 6.035,
"textWidth": 5.575
},
{
"text": "tokens ",
"font": "serif",
"width": 5.82,
"textWidth": 5.36
},
{
"text": "directly ",
"font": "serif",
"width": 6.67,
"textWidth": 6.21
},
{
"text": "to ",
"font": "serif",
"width": 2.064,
"textWidth": 1.604
},
{
"text": "the ",
"font": "serif",
"width": 3.01,
"textWidth": 2.552
},
{
"text": "input ",
"font": "serif",
"width": 4.881,
"textWidth": 4.421
},
{
"text": "sequence, ",
"font": "serif",
"width": 8.372,
"textWidth": 7.912
},
{
"text": "where ",
"font": "serif",
"width": 5.062,
"textWidth": 5.062
}
]
},
{
"left": 11.905,
"top": 66.638,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "each ",
"font": "serif",
"width": 4.185,
"textWidth": 3.73
},
{
"text": "token ",
"font": "serif",
"width": 5.084,
"textWidth": 4.63
},
{
"text": "corresponds ",
"font": "serif",
"width": 10.554,
"textWidth": 10.1
},
{
"text": "to ",
"font": "serif",
"width": 2.078,
"textWidth": 1.622
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.93
},
{
"text": "specific ",
"font": "serif",
"width": 6.57,
"textWidth": 6.116
},
{
"text": "auxiliary ",
"font": "serif",
"width": 7.79,
"textWidth": 7.334
},
{
"text": "task. ",
"font": "serif",
"width": 4.392,
"textWidth": 3.824
},
{
"text": "By ",
"font": "serif",
"width": 2.626,
"textWidth": 2.171
},
{
"text": "directly ",
"font": "serif",
"width": 6.734,
"textWidth": 6.278
},
{
"text": "reusing ",
"font": "serif",
"width": 6.616,
"textWidth": 6.161
},
{
"text": "the ",
"font": "serif",
"width": 3.034,
"textWidth": 2.58
},
{
"text": "already-computed ",
"font": "serif",
"width": 15.141,
"textWidth": 15.141
}
]
},
{
"left": 11.905,
"top": 68.247,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "KV ",
"font": "serif",
"width": 3.032,
"textWidth": 2.601
},
{
"text": "cache, ",
"font": "serif",
"width": 5.282,
"textWidth": 4.845
},
{
"text": "this ",
"font": "serif",
"width": 3.346,
"textWidth": 2.915
},
{
"text": "mechanism ",
"font": "serif",
"width": 9.531,
"textWidth": 9.102
},
{
"text": "completely ",
"font": "serif",
"width": 9.224,
"textWidth": 8.793
},
{
"text": "avoids ",
"font": "serif",
"width": 5.704,
"textWidth": 5.273
},
{
"text": "redundant ",
"font": "serif",
"width": 8.818,
"textWidth": 8.389
},
{
"text": "prefilling ",
"font": "serif",
"width": 7.744,
"textWidth": 7.315
},
{
"text": "and ",
"font": "serif",
"width": 3.472,
"textWidth": 3.041
},
{
"text": "allows ",
"font": "serif",
"width": 5.612,
"textWidth": 5.183
},
{
"text": "certain ",
"font": "serif",
"width": 5.849,
"textWidth": 5.418
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.889,
"textWidth": 4.454
},
{
"text": "such ",
"font": "serif",
"width": 3.687,
"textWidth": 3.687
}
]
},
{
"left": 11.905,
"top": 69.857,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "as ",
"font": "serif",
"width": 2.143,
"textWidth": 1.687
},
{
"text": "generating ",
"font": "serif",
"width": 9.119,
"textWidth": 8.663
},
{
"text": "search ",
"font": "serif",
"width": 5.578,
"textWidth": 5.122
},
{
"text": "queries ",
"font": "serif",
"width": 6.354,
"textWidth": 5.897
},
{
"text": "and ",
"font": "serif",
"width": 3.547,
"textWidth": 3.09
},
{
"text": "determining ",
"font": "serif",
"width": 10.45,
"textWidth": 9.993
},
{
"text": "authority ",
"font": "serif",
"width": 7.986,
"textWidth": 7.529
},
{
"text": "and ",
"font": "serif",
"width": 3.547,
"textWidth": 3.09
},
{
"text": "domain, ",
"font": "serif",
"width": 7.142,
"textWidth": 6.686
},
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.592
},
{
"text": "be ",
"font": "serif",
"width": 2.34,
"textWidth": 1.884
},
{
"text": "executed ",
"font": "serif",
"width": 7.642,
"textWidth": 7.186
},
{
"text": "in ",
"font": "serif",
"width": 2.05,
"textWidth": 1.593
},
{
"text": "parallel. ",
"font": "serif",
"width": 6.566,
"textWidth": 6.566
}
]
},
{
"left": 11.905,
"top": 71.466,
"width": 76.374,
"height": 1.296,
"words": [
{
"text": "Consequently, ",
"font": "serif",
"width": 11.866,
"textWidth": 11.408
},
{
"text": "this ",
"font": "serif",
"width": 3.41,
"textWidth": 2.951
},
{
"text": "approach ",
"font": "serif",
"width": 8.004,
"textWidth": 7.546
},
{
"text": "significantly ",
"font": "serif",
"width": 10.362,
"textWidth": 9.904
},
{
"text": "reduces ",
"font": "serif",
"width": 6.67,
"textWidth": 6.212
},
{
"text": "the ",
"font": "serif",
"width": 2.981,
"textWidth": 2.521
},
{
"text": "user-perceived ",
"font": "serif",
"width": 12.351,
"textWidth": 11.891
},
{
"text": "time-to-first-token ",
"font": "serif",
"width": 15.164,
"textWidth": 14.705
},
{
"text": "(TTFT) ",
"font": "serif",
"width": 5.565,
"textWidth": 5.565
}
]
},
{
"left": 11.905,
"top": 73.075,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.482,
"textWidth": 3.041
},
{
"text": "eliminates ",
"font": "serif",
"width": 8.606,
"textWidth": 8.164
},
{
"text": "the ",
"font": "serif",
"width": 2.933,
"textWidth": 2.491
},
{
"text": "engineering ",
"font": "serif",
"width": 9.908,
"textWidth": 9.468
},
{
"text": "overhead ",
"font": "serif",
"width": 7.875,
"textWidth": 7.433
},
{
"text": "of ",
"font": "serif",
"width": 2.02,
"textWidth": 1.579
},
{
"text": "maintaining ",
"font": "serif",
"width": 10.111,
"textWidth": 9.669
},
{
"text": "and ",
"font": "serif",
"width": 3.482,
"textWidth": 3.041
},
{
"text": "iterating ",
"font": "serif",
"width": 7.168,
"textWidth": 6.728
},
{
"text": "an ",
"font": "serif",
"width": 2.385,
"textWidth": 1.943
},
{
"text": "extra ",
"font": "serif",
"width": 4.422,
"textWidth": 3.98
},
{
"text": "small ",
"font": "serif",
"width": 4.732,
"textWidth": 4.291
},
{
"text": "model. ",
"font": "serif",
"width": 6.058,
"textWidth": 5.496
},
{
"text": "The ",
"font": "serif",
"width": 3.006,
"textWidth": 3.006
}
]
},
{
"left": 11.905,
"top": 74.685,
"width": 51.165,
"height": 1.296,
"words": [
{
"text": "supported ",
"font": "serif",
"width": 8.863,
"textWidth": 8.404
},
{
"text": "Quick ",
"font": "serif",
"width": 5.37,
"textWidth": 4.911
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.343,
"textWidth": 8.885
},
{
"text": "tokens ",
"font": "serif",
"width": 5.797,
"textWidth": 5.338
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "summarized ",
"font": "serif",
"width": 10.664,
"textWidth": 10.206
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "5. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 78.237,
"width": 23.824,
"height": 1.296,
"words": [
{
"text": "5.1.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "On-Policy ",
"font": "serif-bold-italic",
"width": 9.011,
"textWidth": 8.553
},
{
"text": "Distillation ",
"font": "serif-bold-italic",
"width": 9.773,
"textWidth": 9.773
}
]
},
{
"left": 11.833,
"top": 80.922,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "After ",
"font": "serif",
"width": 4.741,
"textWidth": 4.282
},
{
"text": "training ",
"font": "serif",
"width": 6.987,
"textWidth": 6.527
},
{
"text": "multiple ",
"font": "serif",
"width": 7.435,
"textWidth": 6.976
},
{
"text": "domain-specific ",
"font": "serif",
"width": 13.49,
"textWidth": 13.031
},
{
"text": "experts ",
"font": "serif",
"width": 6.425,
"textWidth": 5.966
},
{
"text": "via ",
"font": "serif",
"width": 2.972,
"textWidth": 2.512
},
{
"text": "specialized ",
"font": "serif",
"width": 9.558,
"textWidth": 9.099
},
{
"text": "fine-tuning ",
"font": "serif",
"width": 9.61,
"textWidth": 9.151
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.137
},
{
"text": "reinforcement ",
"font": "serif",
"width": 11.446,
"textWidth": 11.446
}
]
},
{
"left": 11.905,
"top": 82.531,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "learning, ",
"font": "serif",
"width": 7.76,
"textWidth": 7.303
},
{
"text": "we ",
"font": "serif",
"width": 2.9,
"textWidth": 2.442
},
{
"text": "employ ",
"font": "serif",
"width": 6.7,
"textWidth": 6.242
},
{
"text": "multi-teacher ",
"font": "serif",
"width": 11.492,
"textWidth": 11.034
},
{
"text": "On-Policy ",
"font": "serif",
"width": 8.703,
"textWidth": 8.246
},
{
"text": "Distillation ",
"font": "serif",
"width": 9.632,
"textWidth": 9.176
},
{
"text": "(OPD) ",
"font": "serif",
"width": 5.722,
"textWidth": 5.264
},
{
"text": "as ",
"font": "serif",
"width": 2.176,
"textWidth": 1.719
},
{
"text": "the ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "primary ",
"font": "serif",
"width": 7.193,
"textWidth": 6.735
},
{
"text": "technique ",
"font": "serif",
"width": 8.542,
"textWidth": 8.084
},
{
"text": "for ",
"font": "serif",
"width": 2.37,
"textWidth": 2.37
}
]
},
{
"left": 11.905,
"top": 84.14,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "merging ",
"font": "serif",
"width": 7.208,
"textWidth": 6.75
},
{
"text": "expert ",
"font": "serif",
"width": 5.526,
"textWidth": 5.068
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.505,
"textWidth": 9.046
},
{
"text": "into ",
"font": "serif",
"width": 3.621,
"textWidth": 3.163
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.514
},
{
"text": "final ",
"font": "serif",
"width": 4.044,
"textWidth": 3.585
},
{
"text": "model. ",
"font": "serif",
"width": 6.115,
"textWidth": 5.546
},
{
"text": "OPD ",
"font": "serif",
"width": 4.383,
"textWidth": 3.922
},
{
"text": "has ",
"font": "serif",
"width": 3.188,
"textWidth": 2.73
},
{
"text": "emerged ",
"font": "serif",
"width": 7.462,
"textWidth": 7.003
},
{
"text": "as ",
"font": "serif",
"width": 2.133,
"textWidth": 1.675
},
{
"text": "an ",
"font": "serif",
"width": 2.42,
"textWidth": 1.961
},
{
"text": "effective ",
"font": "serif",
"width": 7.185,
"textWidth": 6.726
},
{
"text": "post-training ",
"font": "serif",
"width": 10.427,
"textWidth": 10.427
}
]
},
{
"left": 11.85,
"top": 85.75,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "paradigm ",
"font": "serif",
"width": 8.677,
"textWidth": 8.107
},
{
"text": "for ",
"font": "serif",
"width": 2.953,
"textWidth": 2.381
},
{
"text": "efficiently ",
"font": "serif",
"width": 8.735,
"textWidth": 8.163
},
{
"text": "transferring ",
"font": "serif",
"width": 10.399,
"textWidth": 9.829
},
{
"text": "the ",
"font": "serif",
"width": 3.163,
"textWidth": 2.593
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.793,
"textWidth": 9.223
},
{
"text": "and ",
"font": "serif",
"width": 3.737,
"textWidth": 3.165
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.9,
"textWidth": 9.329
},
{
"text": "of ",
"font": "serif",
"width": 2.213,
"textWidth": 1.643
},
{
"text": "domain ",
"font": "serif",
"width": 6.952,
"textWidth": 6.38
},
{
"text": "experts ",
"font": "serif",
"width": 6.589,
"textWidth": 6.017
},
{
"text": "to ",
"font": "serif",
"width": 2.2,
"textWidth": 1.63
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.905,
"top": 87.359,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "single, ",
"font": "serif",
"width": 5.591,
"textWidth": 5.16
},
{
"text": "unified ",
"font": "serif",
"width": 6.119,
"textWidth": 5.695
},
{
"text": "model. ",
"font": "serif",
"width": 6.051,
"textWidth": 5.496
},
{
"text": "This ",
"font": "serif",
"width": 3.854,
"textWidth": 3.43
},
{
"text": "is ",
"font": "serif",
"width": 1.708,
"textWidth": 1.284
},
{
"text": "achieved ",
"font": "serif",
"width": 7.52,
"textWidth": 7.096
},
{
"text": "by ",
"font": "serif",
"width": 2.416,
"textWidth": 1.992
},
{
"text": "having ",
"font": "serif",
"width": 5.948,
"textWidth": 5.524
},
{
"text": "the ",
"font": "serif",
"width": 2.915,
"textWidth": 2.491
},
{
"text": "student ",
"font": "serif",
"width": 6.44,
"textWidth": 6.016
},
{
"text": "learn ",
"font": "serif",
"width": 4.459,
"textWidth": 4.036
},
{
"text": "from ",
"font": "serif",
"width": 4.265,
"textWidth": 3.842
},
{
"text": "the ",
"font": "serif",
"width": 2.915,
"textWidth": 2.491
},
{
"text": "output ",
"font": "serif",
"width": 5.819,
"textWidth": 5.397
},
{
"text": "distributions ",
"font": "serif",
"width": 10.171,
"textWidth": 10.171
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 62.159,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.11,
"textWidth": 1.643
},
{
"text": "teacher ",
"font": "serif",
"width": 6.458,
"textWidth": 5.991
},
{
"text": "models ",
"font": "serif",
"width": 6.513,
"textWidth": 6.045
},
{
"text": "on ",
"font": "serif",
"width": 2.574,
"textWidth": 2.109
},
{
"text": "its ",
"font": "serif",
"width": 2.413,
"textWidth": 1.946
},
{
"text": "own ",
"font": "serif",
"width": 4.135,
"textWidth": 3.667
},
{
"text": "generated ",
"font": "serif",
"width": 8.705,
"textWidth": 8.238
},
{
"text": "trajectories. ",
"font": "serif",
"width": 10.107,
"textWidth": 9.513
},
{
"text": "Formally, ",
"font": "serif",
"width": 8.243,
"textWidth": 7.774
},
{
"text": "given ",
"font": "serif",
"width": 5.09,
"textWidth": 4.623
},
{
"text": "a ",
"font": "serif",
"width": 1.402,
"textWidth": 0.935
},
{
"text": "set ",
"font": "serif",
"width": 2.765,
"textWidth": 2.297
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 76.357,
"top": 88.969,
"width": 11.739,
"height": 1.296,
"words": [
{
"text": "expert ",
"font": "serif",
"width": 5.694,
"textWidth": 5.226
},
{
"text": "models ",
"font": "serif",
"width": 6.045,
"textWidth": 6.045
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "32 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"33": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 10.297,
"width": 48.641,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "5 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Quick ",
"font": "serif",
"width": 5.37,
"textWidth": 4.911
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.343,
"textWidth": 8.885
},
{
"text": "special ",
"font": "serif",
"width": 6.011,
"textWidth": 5.553
},
{
"text": "tokens ",
"font": "serif",
"width": 5.797,
"textWidth": 5.338
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "auxiliary ",
"font": "serif",
"width": 7.684,
"textWidth": 7.226
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 14.658,
"top": 13.485,
"width": 45.126,
"height": 1.183,
"words": [
{
"text": "Special ",
"font": "serif-bold",
"width": 5.995,
"textWidth": 5.576
},
{
"text": "Token ",
"font": "serif-bold",
"width": 10.299,
"textWidth": 4.743
},
{
"text": "Description ",
"font": "serif-bold",
"width": 23.437,
"textWidth": 9.016
},
{
"text": "Format ",
"font": "serif-bold",
"width": 5.394,
"textWidth": 5.394
}
]
},
{
"left": 14.658,
"top": 15.411,
"width": 9.665,
"height": 1.302,
"words": [
{
"text": "<|action|> ",
"font": "mono",
"width": 9.665,
"textWidth": 9.665
}
]
},
{
"left": 30.953,
"top": 15.574,
"width": 21.462,
"height": 1.183,
"words": [
{
"text": "Determines ",
"font": "serif",
"width": 8.972,
"textWidth": 8.555
},
{
"text": "whether ",
"font": "serif",
"width": 6.571,
"textWidth": 6.154
},
{
"text": "the ",
"font": "serif",
"width": 2.738,
"textWidth": 2.321
},
{
"text": "user ",
"font": "serif",
"width": 3.182,
"textWidth": 3.182
}
]
},
{
"left": 54.389,
"top": 15.411,
"width": 30.929,
"height": 1.302,
"words": [
{
"text": "...<|User|>{prompt}<|Assistant|> ",
"font": "mono",
"width": 30.929,
"textWidth": 30.929
}
]
},
{
"left": 30.902,
"top": 16.994,
"width": 21.479,
"height": 1.183,
"words": [
{
"text": "prompt ",
"font": "serif",
"width": 5.878,
"textWidth": 5.468
},
{
"text": "requires ",
"font": "serif",
"width": 6.296,
"textWidth": 5.886
},
{
"text": "a ",
"font": "serif",
"width": 1.232,
"textWidth": 0.82
},
{
"text": "web ",
"font": "serif",
"width": 3.471,
"textWidth": 3.06
},
{
"text": "search ",
"font": "serif",
"width": 4.602,
"textWidth": 4.602
}
]
},
{
"left": 54.196,
"top": 16.831,
"width": 16.431,
"height": 1.302,
"words": [
{
"text": "<|action|> ",
"font": "mono",
"width": 16.431,
"textWidth": 16.431
}
]
},
{
"left": 30.952,
"top": 18.414,
"width": 20.584,
"height": 1.183,
"words": [
{
"text": "or ",
"font": "serif",
"width": 1.993,
"textWidth": 1.575
},
{
"text": "can ",
"font": "serif",
"width": 2.972,
"textWidth": 2.554
},
{
"text": "be ",
"font": "serif",
"width": 2.146,
"textWidth": 1.727
},
{
"text": "answered ",
"font": "serif",
"width": 7.591,
"textWidth": 7.173
},
{
"text": "directly. ",
"font": "serif",
"width": 5.881,
"textWidth": 5.881
}
]
},
{
"left": 14.658,
"top": 20.315,
"width": 8.699,
"height": 1.302,
"words": [
{
"text": "<|title|> ",
"font": "mono",
"width": 8.699,
"textWidth": 8.699
}
]
},
{
"left": 30.952,
"top": 20.478,
"width": 21.706,
"height": 1.183,
"words": [
{
"text": "Generates ",
"font": "serif",
"width": 7.717,
"textWidth": 7.298
},
{
"text": "a ",
"font": "serif",
"width": 1.243,
"textWidth": 0.824
},
{
"text": "concise ",
"font": "serif",
"width": 5.71,
"textWidth": 5.292
},
{
"text": "conversa- ",
"font": "serif",
"width": 7.036,
"textWidth": 7.036
}
]
},
{
"left": 54.389,
"top": 20.315,
"width": 25.13,
"height": 1.302,
"words": [
{
"text": "...<|Assistant|>{response} ",
"font": "mono",
"width": 25.13,
"textWidth": 25.13
}
]
},
{
"left": 30.952,
"top": 21.898,
"width": 21.706,
"height": 1.183,
"words": [
{
"text": "tion ",
"font": "serif",
"width": 3.556,
"textWidth": 2.979
},
{
"text": "title ",
"font": "serif",
"width": 3.503,
"textWidth": 2.924
},
{
"text": "after ",
"font": "serif",
"width": 4.047,
"textWidth": 3.47
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.368
},
{
"text": "first ",
"font": "serif",
"width": 3.564,
"textWidth": 2.987
},
{
"text": "assis- ",
"font": "serif",
"width": 4.09,
"textWidth": 4.09
}
]
},
{
"left": 54.196,
"top": 21.735,
"width": 27.063,
"height": 1.302,
"words": [
{
"text": "<|end_of_sentence|><|title|> ",
"font": "mono",
"width": 27.063,
"textWidth": 27.063
}
]
},
{
"left": 30.952,
"top": 23.318,
"width": 10.286,
"height": 1.183,
"words": [
{
"text": "tant ",
"font": "serif",
"width": 3.32,
"textWidth": 2.902
},
{
"text": "response. ",
"font": "serif",
"width": 6.966,
"textWidth": 6.966
}
]
},
{
"left": 14.658,
"top": 25.219,
"width": 8.699,
"height": 1.302,
"words": [
{
"text": "<|query|> ",
"font": "mono",
"width": 8.699,
"textWidth": 8.699
}
]
},
{
"left": 30.952,
"top": 25.383,
"width": 21.461,
"height": 1.183,
"words": [
{
"text": "Generates ",
"font": "serif",
"width": 8.032,
"textWidth": 7.557
},
{
"text": "search ",
"font": "serif",
"width": 5.265,
"textWidth": 4.79
},
{
"text": "queries ",
"font": "serif",
"width": 5.99,
"textWidth": 5.516
},
{
"text": "for ",
"font": "serif",
"width": 2.175,
"textWidth": 2.175
}
]
},
{
"left": 54.389,
"top": 25.219,
"width": 27.063,
"height": 1.302,
"words": [
{
"text": "...<|User|>{prompt}<|query|> ",
"font": "mono",
"width": 27.063,
"textWidth": 27.063
}
]
},
{
"left": 30.952,
"top": 26.803,
"width": 12.338,
"height": 1.183,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.74,
"textWidth": 2.321
},
{
"text": "user ",
"font": "serif",
"width": 3.6,
"textWidth": 3.182
},
{
"text": "prompt. ",
"font": "serif",
"width": 5.998,
"textWidth": 5.998
}
]
},
{
"left": 14.658,
"top": 28.704,
"width": 12.565,
"height": 1.302,
"words": [
{
"text": "<|authority|> ",
"font": "mono",
"width": 12.565,
"textWidth": 12.565
}
]
},
{
"left": 30.952,
"top": 28.867,
"width": 21.429,
"height": 1.183,
"words": [
{
"text": "Classifies ",
"font": "serif",
"width": 7.694,
"textWidth": 7.079
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.368
},
{
"text": "user ",
"font": "serif",
"width": 3.86,
"textWidth": 3.245
},
{
"text": "prompt’s ",
"font": "serif",
"width": 6.891,
"textWidth": 6.891
}
]
},
{
"left": 54.389,
"top": 28.704,
"width": 30.929,
"height": 1.302,
"words": [
{
"text": "...<|User|>{prompt}<|authority|> ",
"font": "mono",
"width": 30.929,
"textWidth": 30.929
}
]
},
{
"left": 30.952,
"top": 30.287,
"width": 21.707,
"height": 1.183,
"words": [
{
"text": "demand ",
"font": "serif",
"width": 6.557,
"textWidth": 6.135
},
{
"text": "for ",
"font": "serif",
"width": 2.552,
"textWidth": 2.132
},
{
"text": "source ",
"font": "serif",
"width": 5.23,
"textWidth": 4.808
},
{
"text": "authorita- ",
"font": "serif",
"width": 7.367,
"textWidth": 7.367
}
]
},
{
"left": 30.952,
"top": 31.707,
"width": 6.393,
"height": 1.183,
"words": [
{
"text": "tiveness. ",
"font": "serif",
"width": 6.393,
"textWidth": 6.393
}
]
},
{
"left": 14.658,
"top": 33.608,
"width": 9.665,
"height": 1.302,
"words": [
{
"text": "<|domain|> ",
"font": "mono",
"width": 9.665,
"textWidth": 9.665
}
]
},
{
"left": 30.952,
"top": 33.771,
"width": 21.429,
"height": 1.183,
"words": [
{
"text": "Identifies ",
"font": "serif",
"width": 7.634,
"textWidth": 7.057
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.368
},
{
"text": "domain ",
"font": "serif",
"width": 6.405,
"textWidth": 5.826
},
{
"text": "of ",
"font": "serif",
"width": 2.078,
"textWidth": 1.501
},
{
"text": "the ",
"font": "serif",
"width": 2.368,
"textWidth": 2.368
}
]
},
{
"left": 54.389,
"top": 33.608,
"width": 28.029,
"height": 1.302,
"words": [
{
"text": "...<|User|>{prompt}<|domain|> ",
"font": "mono",
"width": 28.029,
"textWidth": 28.029
}
]
},
{
"left": 30.952,
"top": 35.191,
"width": 9.598,
"height": 1.183,
"words": [
{
"text": "user ",
"font": "serif",
"width": 3.6,
"textWidth": 3.182
},
{
"text": "prompt. ",
"font": "serif",
"width": 5.998,
"textWidth": 5.998
}
]
},
{
"left": 14.658,
"top": 37.092,
"width": 16.431,
"height": 1.302,
"words": [
{
"text": "<|extracted_url|> ",
"font": "mono",
"width": 16.431,
"textWidth": 16.431
}
]
},
{
"left": 30.952,
"top": 37.255,
"width": 21.429,
"height": 1.183,
"words": [
{
"text": "Determines ",
"font": "serif",
"width": 10.227,
"textWidth": 8.727
},
{
"text": "whether ",
"font": "serif",
"width": 7.779,
"textWidth": 6.277
},
{
"text": "each ",
"font": "serif",
"width": 3.423,
"textWidth": 3.423
}
]
},
{
"left": 54.389,
"top": 37.092,
"width": 18.364,
"height": 1.302,
"words": [
{
"text": "...<|User|>{prompt} ",
"font": "mono",
"width": 18.364,
"textWidth": 18.364
}
]
},
{
"left": 14.465,
"top": 38.512,
"width": 11.598,
"height": 1.302,
"words": [
{
"text": "<|read_url|> ",
"font": "mono",
"width": 11.598,
"textWidth": 11.598
}
]
},
{
"left": 30.952,
"top": 38.675,
"width": 21.429,
"height": 1.183,
"words": [
{
"text": "URL ",
"font": "serif",
"width": 4.792,
"textWidth": 3.511
},
{
"text": "in ",
"font": "serif",
"width": 2.771,
"textWidth": 1.49
},
{
"text": "the ",
"font": "serif",
"width": 3.648,
"textWidth": 2.368
},
{
"text": "user ",
"font": "serif",
"width": 4.525,
"textWidth": 3.245
},
{
"text": "prompt ",
"font": "serif",
"width": 5.693,
"textWidth": 5.693
}
]
},
{
"left": 54.196,
"top": 38.512,
"width": 21.263,
"height": 1.302,
"words": [
{
"text": "<|extracted_url|>{url} ",
"font": "mono",
"width": 21.263,
"textWidth": 21.263
}
]
},
{
"left": 30.952,
"top": 40.096,
"width": 20.507,
"height": 1.183,
"words": [
{
"text": "should ",
"font": "serif",
"width": 5.535,
"textWidth": 5.116
},
{
"text": "be ",
"font": "serif",
"width": 2.146,
"textWidth": 1.727
},
{
"text": "fetched ",
"font": "serif",
"width": 5.864,
"textWidth": 5.446
},
{
"text": "and ",
"font": "serif",
"width": 3.252,
"textWidth": 2.833
},
{
"text": "read. ",
"font": "serif",
"width": 3.71,
"textWidth": 3.71
}
]
},
{
"left": 54.196,
"top": 39.933,
"width": 11.598,
"height": 1.302,
"words": [
{
"text": "<|read_url|> ",
"font": "mono",
"width": 11.598,
"textWidth": 11.598
}
]
},
{
"left": 27.237,
"top": 44.436,
"width": 32.861,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "OPD ",
"font": "serif",
"width": 4.424,
"textWidth": 3.966
},
{
"text": "objective ",
"font": "serif",
"width": 7.636,
"textWidth": 7.178
},
{
"text": "function ",
"font": "serif",
"width": 7.252,
"textWidth": 6.793
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "defined ",
"font": "serif",
"width": 6.629,
"textWidth": 6.17
},
{
"text": "as: ",
"font": "serif",
"width": 2.151,
"textWidth": 2.151
}
]
},
{
"left": 14.633,
"top": 45.201,
"width": 3.835,
"height": 0.733,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 3.325,
"textWidth": 0.51
},
{
"text": "2 ",
"font": "serif",
"width": 0.51,
"textWidth": 0.51
}
]
},
{
"left": 51.349,
"top": 48.53,
"width": 1.418,
"height": 1.296,
"words": [
{
"text": "D ",
"font": "serif",
"width": 1.418,
"textWidth": 1.418
}
]
},
{
"left": 85.226,
"top": 48.53,
"width": 3.053,
"height": 1.296,
"words": [
{
"text": "(29) ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 38.059,
"top": 48.98,
"width": 16.499,
"height": 0.947,
"words": [
{
"text": "OPD ",
"font": "serif",
"width": 14.709,
"textWidth": 2.897
},
{
"text": "KL ",
"font": "serif",
"width": 1.79,
"textWidth": 1.79
}
]
},
{
"left": 47.097,
"top": 50.318,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 11.905,
"top": 52.562,
"width": 15.74,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.142,
"textWidth": 1.684
},
{
"text": "this ",
"font": "serif",
"width": 3.434,
"textWidth": 2.974
},
{
"text": "formulation, ",
"font": "serif",
"width": 10.164,
"textWidth": 10.164
}
]
},
{
"left": 30.348,
"top": 52.562,
"width": 57.819,
"height": 1.296,
"words": [
{
"text": "represents ",
"font": "serif",
"width": 8.793,
"textWidth": 8.335
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.542
},
{
"text": "assigned ",
"font": "serif",
"width": 7.545,
"textWidth": 7.087
},
{
"text": "weight ",
"font": "serif",
"width": 6.082,
"textWidth": 5.622
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "each ",
"font": "serif",
"width": 4.134,
"textWidth": 3.674
},
{
"text": "expert, ",
"font": "serif",
"width": 6.04,
"textWidth": 5.582
},
{
"text": "typically ",
"font": "serif",
"width": 7.525,
"textWidth": 7.067
},
{
"text": "determined ",
"font": "serif",
"width": 9.872,
"textWidth": 9.412
},
{
"text": "by ",
"font": "serif",
"width": 2.032,
"textWidth": 2.032
}
]
},
{
"left": 11.905,
"top": 54.171,
"width": 60.905,
"height": 1.396,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "relative ",
"font": "serif",
"width": 6.694,
"textWidth": 6.185
},
{
"text": "importance ",
"font": "serif",
"width": 9.943,
"textWidth": 9.434
},
{
"text": "of ",
"font": "serif",
"width": 2.152,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "expert. ",
"font": "serif",
"width": 6.415,
"textWidth": 5.694
},
{
"text": "Computing ",
"font": "serif",
"width": 10.036,
"textWidth": 9.528
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "reverse ",
"font": "serif",
"width": 6.488,
"textWidth": 5.978
},
{
"text": "KL ",
"font": "serif",
"width": 3.008,
"textWidth": 2.499
},
{
"text": "loss ",
"font": "serif",
"width": 3.658,
"textWidth": 3.15
},
{
"text": "D ",
"font": "serif",
"width": 1.418,
"textWidth": 1.418
},
{
"text": "KL ",
"font": "serif",
"width": 1.79,
"textWidth": 1.79
}
]
},
{
"left": 81.383,
"top": 54.171,
"width": 6.713,
"height": 1.296,
"words": [
{
"text": "requires ",
"font": "serif",
"width": 6.713,
"textWidth": 6.713
}
]
},
{
"left": 11.905,
"top": 55.781,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "sampling ",
"font": "serif",
"width": 7.979,
"textWidth": 7.52
},
{
"text": "training ",
"font": "serif",
"width": 6.877,
"textWidth": 6.418
},
{
"text": "trajectories ",
"font": "serif",
"width": 9.276,
"textWidth": 8.815
},
{
"text": "from ",
"font": "serif",
"width": 4.355,
"textWidth": 3.895
},
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.527
},
{
"text": "student ",
"font": "serif",
"width": 8.973,
"textWidth": 6.104
},
{
"text": "to ",
"font": "serif",
"width": 2.047,
"textWidth": 1.588
},
{
"text": "maintain ",
"font": "serif",
"width": 7.664,
"textWidth": 7.204
},
{
"text": "on-policy ",
"font": "serif",
"width": 8.093,
"textWidth": 7.633
},
{
"text": "learning. ",
"font": "serif",
"width": 7.724,
"textWidth": 7.152
},
{
"text": "The ",
"font": "serif",
"width": 3.508,
"textWidth": 3.049
},
{
"text": "underly- ",
"font": "serif",
"width": 7.013,
"textWidth": 7.013
}
]
},
{
"left": 11.905,
"top": 57.39,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 2.985,
"textWidth": 2.566
},
{
"text": "logic ",
"font": "serif",
"width": 4.24,
"textWidth": 3.822
},
{
"text": "ensures ",
"font": "serif",
"width": 6.467,
"textWidth": 6.049
},
{
"text": "that ",
"font": "serif",
"width": 3.533,
"textWidth": 3.114
},
{
"text": "the ",
"font": "serif",
"width": 2.911,
"textWidth": 2.491
},
{
"text": "unified ",
"font": "serif",
"width": 6.113,
"textWidth": 5.695
},
{
"text": "policy ",
"font": "serif",
"width": 7.688,
"textWidth": 4.901
},
{
"text": "selectively ",
"font": "serif",
"width": 8.725,
"textWidth": 8.306
},
{
"text": "learns ",
"font": "serif",
"width": 5.215,
"textWidth": 4.797
},
{
"text": "from ",
"font": "serif",
"width": 4.26,
"textWidth": 3.842
},
{
"text": "the ",
"font": "serif",
"width": 2.909,
"textWidth": 2.491
},
{
"text": "specialized ",
"font": "serif",
"width": 9.24,
"textWidth": 8.82
},
{
"text": "expert ",
"font": "serif",
"width": 5.44,
"textWidth": 5.022
},
{
"text": "relevant ",
"font": "serif",
"width": 6.462,
"textWidth": 6.462
}
]
},
{
"left": 11.905,
"top": 59.0,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.592
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.532
},
{
"text": "current ",
"font": "serif",
"width": 6.308,
"textWidth": 5.852
},
{
"text": "task ",
"font": "serif",
"width": 3.753,
"textWidth": 3.296
},
{
"text": "context ",
"font": "serif",
"width": 6.33,
"textWidth": 5.876
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.324,
"textWidth": 3.866
},
{
"text": "aligning ",
"font": "serif",
"width": 7.117,
"textWidth": 6.66
},
{
"text": "with ",
"font": "serif",
"width": 4.165,
"textWidth": 3.709
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.532
},
{
"text": "mathematics ",
"font": "serif",
"width": 10.747,
"textWidth": 10.291
},
{
"text": "expert ",
"font": "serif",
"width": 5.56,
"textWidth": 5.103
},
{
"text": "for ",
"font": "serif",
"width": 2.782,
"textWidth": 2.325
},
{
"text": "math ",
"font": "serif",
"width": 4.638,
"textWidth": 4.182
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.373,
"textWidth": 7.916
},
{
"text": "tasks ",
"font": "serif",
"width": 4.07,
"textWidth": 4.07
}
]
},
{
"left": 11.905,
"top": 60.609,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.57,
"textWidth": 3.109
},
{
"text": "the ",
"font": "serif",
"width": 3.006,
"textWidth": 2.547
},
{
"text": "coding ",
"font": "serif",
"width": 6.025,
"textWidth": 5.564
},
{
"text": "expert ",
"font": "serif",
"width": 5.593,
"textWidth": 5.134
},
{
"text": "for ",
"font": "serif",
"width": 2.8,
"textWidth": 2.339
},
{
"text": "programming ",
"font": "serif",
"width": 11.789,
"textWidth": 11.33
},
{
"text": "tasks). ",
"font": "serif",
"width": 5.74,
"textWidth": 5.165
},
{
"text": "Through ",
"font": "serif",
"width": 7.545,
"textWidth": 7.086
},
{
"text": "this ",
"font": "serif",
"width": 3.441,
"textWidth": 2.98
},
{
"text": "mechanism, ",
"font": "serif",
"width": 10.226,
"textWidth": 9.765
},
{
"text": "the ",
"font": "serif",
"width": 3.006,
"textWidth": 2.547
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.521,
"textWidth": 9.06
},
{
"text": "from ",
"font": "serif",
"width": 3.928,
"textWidth": 3.928
}
]
},
{
"left": 11.85,
"top": 62.218,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "physically ",
"font": "serif",
"width": 8.657,
"textWidth": 8.196
},
{
"text": "distinct ",
"font": "serif",
"width": 6.415,
"textWidth": 5.954
},
{
"text": "expert ",
"font": "serif",
"width": 5.513,
"textWidth": 5.052
},
{
"text": "weights ",
"font": "serif",
"width": 6.771,
"textWidth": 6.31
},
{
"text": "is ",
"font": "serif",
"width": 1.753,
"textWidth": 1.292
},
{
"text": "consolidated ",
"font": "serif",
"width": 10.672,
"textWidth": 10.211
},
{
"text": "into ",
"font": "serif",
"width": 3.614,
"textWidth": 3.153
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.903
},
{
"text": "unified ",
"font": "serif",
"width": 6.191,
"textWidth": 5.73
},
{
"text": "parameter ",
"font": "serif",
"width": 8.697,
"textWidth": 8.236
},
{
"text": "space ",
"font": "serif",
"width": 4.886,
"textWidth": 4.423
},
{
"text": "via ",
"font": "serif",
"width": 2.911,
"textWidth": 2.45
},
{
"text": "logits-level ",
"font": "serif",
"width": 8.803,
"textWidth": 8.803
}
]
},
{
"left": 11.905,
"top": 63.828,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "alignment, ",
"font": "serif",
"width": 9.393,
"textWidth": 8.86
},
{
"text": "practically ",
"font": "serif",
"width": 9.187,
"textWidth": 8.67
},
{
"text": "circumventing ",
"font": "serif",
"width": 12.524,
"textWidth": 12.006
},
{
"text": "the ",
"font": "serif",
"width": 3.11,
"textWidth": 2.593
},
{
"text": "performance ",
"font": "serif",
"width": 11.053,
"textWidth": 10.537
},
{
"text": "degradation ",
"font": "serif",
"width": 10.606,
"textWidth": 10.088
},
{
"text": "often ",
"font": "serif",
"width": 4.754,
"textWidth": 4.236
},
{
"text": "encountered ",
"font": "serif",
"width": 10.814,
"textWidth": 10.296
},
{
"text": "in ",
"font": "serif",
"width": 2.148,
"textWidth": 1.632
},
{
"text": "tra- ",
"font": "serif",
"width": 2.905,
"textWidth": 2.905
}
]
},
{
"left": 11.905,
"top": 65.437,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "ditional ",
"font": "serif",
"width": 6.843,
"textWidth": 6.382
},
{
"text": "weight-merging ",
"font": "serif",
"width": 13.686,
"textWidth": 13.227
},
{
"text": "or ",
"font": "serif",
"width": 2.207,
"textWidth": 1.747
},
{
"text": "mixed ",
"font": "serif",
"width": 5.621,
"textWidth": 5.161
},
{
"text": "RL ",
"font": "serif",
"width": 2.833,
"textWidth": 2.374
},
{
"text": "techniques. ",
"font": "serif",
"width": 9.893,
"textWidth": 9.319
},
{
"text": "In ",
"font": "serif",
"width": 2.165,
"textWidth": 1.706
},
{
"text": "this ",
"font": "serif",
"width": 3.473,
"textWidth": 3.013
},
{
"text": "stage, ",
"font": "serif",
"width": 5.166,
"textWidth": 4.706
},
{
"text": "more ",
"font": "serif",
"width": 4.702,
"textWidth": 4.242
},
{
"text": "than ",
"font": "serif",
"width": 4.153,
"textWidth": 3.692
},
{
"text": "ten ",
"font": "serif",
"width": 3.035,
"textWidth": 2.575
},
{
"text": "teacher ",
"font": "serif",
"width": 6.408,
"textWidth": 5.95
},
{
"text": "models ",
"font": "serif",
"width": 6.004,
"textWidth": 6.004
}
]
},
{
"left": 11.905,
"top": 67.047,
"width": 59.105,
"height": 1.296,
"words": [
{
"text": "covering ",
"font": "serif",
"width": 7.528,
"textWidth": 7.07
},
{
"text": "various ",
"font": "serif",
"width": 6.55,
"textWidth": 6.092
},
{
"text": "domains ",
"font": "serif",
"width": 7.49,
"textWidth": 7.032
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "employed ",
"font": "serif",
"width": 8.606,
"textWidth": 8.148
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "distill ",
"font": "serif",
"width": 5.085,
"textWidth": 4.627
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "single ",
"font": "serif",
"width": 5.265,
"textWidth": 4.807
},
{
"text": "student ",
"font": "serif",
"width": 6.599,
"textWidth": 6.141
},
{
"text": "model. ",
"font": "serif",
"width": 5.608,
"textWidth": 5.608
}
]
},
{
"left": 14.75,
"top": 69.461,
"width": 73.402,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.158,
"textWidth": 1.699
},
{
"text": "handling ",
"font": "serif",
"width": 7.844,
"textWidth": 7.387
},
{
"text": "the ",
"font": "serif",
"width": 3.023,
"textWidth": 2.565
},
{
"text": "above ",
"font": "serif",
"width": 5.346,
"textWidth": 4.887
},
{
"text": "OPD ",
"font": "serif",
"width": 4.458,
"textWidth": 4.001
},
{
"text": "objective, ",
"font": "serif",
"width": 8.164,
"textWidth": 7.705
},
{
"text": "prior ",
"font": "serif",
"width": 4.578,
"textWidth": 4.12
},
{
"text": "works ",
"font": "serif",
"width": 5.551,
"textWidth": 5.094
},
{
"text": "usually ",
"font": "serif",
"width": 6.501,
"textWidth": 6.043
},
{
"text": "simplify ",
"font": "serif",
"width": 7.245,
"textWidth": 6.786
},
{
"text": "the ",
"font": "serif",
"width": 3.021,
"textWidth": 2.565
},
{
"text": "full-vocabulary ",
"font": "serif",
"width": 13.04,
"textWidth": 12.581
},
{
"text": "KL ",
"font": "serif",
"width": 2.472,
"textWidth": 2.472
}
]
},
{
"left": 11.905,
"top": 71.07,
"width": 76.496,
"height": 1.296,
"words": [
{
"text": "loss ",
"font": "serif",
"width": 3.588,
"textWidth": 3.131
},
{
"text": "into ",
"font": "serif",
"width": 3.702,
"textWidth": 3.243
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.929
},
{
"text": "token-level ",
"font": "serif",
"width": 9.615,
"textWidth": 9.156
},
{
"text": "KL ",
"font": "serif",
"width": 2.942,
"textWidth": 2.485
},
{
"text": "estimate ",
"font": "serif",
"width": 7.348,
"textWidth": 6.89
},
{
"text": "at ",
"font": "serif",
"width": 1.994,
"textWidth": 1.535
},
{
"text": "each ",
"font": "serif",
"width": 4.183,
"textWidth": 3.726
},
{
"text": "token ",
"font": "serif",
"width": 5.084,
"textWidth": 4.625
},
{
"text": "position, ",
"font": "serif",
"width": 7.624,
"textWidth": 7.167
},
{
"text": "and ",
"font": "serif",
"width": 3.603,
"textWidth": 3.146
},
{
"text": "reuse ",
"font": "serif",
"width": 4.848,
"textWidth": 4.391
},
{
"text": "RL ",
"font": "serif",
"width": 2.836,
"textWidth": 2.377
},
{
"text": "framework ",
"font": "serif",
"width": 9.602,
"textWidth": 9.143
},
{
"text": "by ",
"font": "serif",
"width": 2.518,
"textWidth": 2.061
},
{
"text": "replac- ",
"font": "serif",
"width": 5.623,
"textWidth": 5.623
}
]
},
{
"left": 11.905,
"top": 73.028,
"width": 2.663,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 2.663,
"textWidth": 2.663
}
]
},
{
"left": 15.025,
"top": 72.85,
"width": 2.117,
"height": 1.425,
"words": [
{
"text": "sg ",
"font": "mono",
"width": 2.117,
"textWidth": 2.117
}
]
},
{
"left": 18.259,
"top": 73.028,
"width": 2.553,
"height": 1.296,
"words": [
{
"text": "log ",
"font": "serif",
"width": 2.553,
"textWidth": 2.553
}
]
},
{
"left": 30.838,
"top": 72.85,
"width": 2.117,
"height": 1.425,
"words": [
{
"text": "sg ",
"font": "mono",
"width": 2.117,
"textWidth": 2.117
}
]
},
{
"left": 33.412,
"top": 73.028,
"width": 54.683,
"height": 1.296,
"words": [
{
"text": "represents ",
"font": "serif",
"width": 8.935,
"textWidth": 8.478
},
{
"text": "the ",
"font": "serif",
"width": 3.04,
"textWidth": 2.585
},
{
"text": "stop ",
"font": "serif",
"width": 3.992,
"textWidth": 3.536
},
{
"text": "gradient ",
"font": "serif",
"width": 7.427,
"textWidth": 6.97
},
{
"text": "operation) ",
"font": "serif",
"width": 9.028,
"textWidth": 8.571
},
{
"text": "as ",
"font": "serif",
"width": 2.179,
"textWidth": 1.722
},
{
"text": "the ",
"font": "serif",
"width": 3.042,
"textWidth": 2.585
},
{
"text": "per-token ",
"font": "serif",
"width": 8.432,
"textWidth": 7.975
},
{
"text": "advantage ",
"font": "serif",
"width": 8.609,
"textWidth": 8.609
}
]
},
{
"left": 11.905,
"top": 74.638,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "estimate ",
"font": "serif",
"width": 7.494,
"textWidth": 6.931
},
{
"text": "in ",
"font": "serif",
"width": 2.196,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.155,
"textWidth": 2.593
},
{
"text": "policy ",
"font": "serif",
"width": 5.664,
"textWidth": 5.101
},
{
"text": "loss ",
"font": "serif",
"width": 3.712,
"textWidth": 3.15
},
{
"text": "calculation. ",
"font": "serif",
"width": 10.358,
"textWidth": 9.473
},
{
"text": "Although ",
"font": "serif",
"width": 8.533,
"textWidth": 7.971
},
{
"text": "this ",
"font": "serif",
"width": 3.596,
"textWidth": 3.034
},
{
"text": "approach ",
"font": "serif",
"width": 8.324,
"textWidth": 7.761
},
{
"text": "is ",
"font": "serif",
"width": 1.899,
"textWidth": 1.337
},
{
"text": "resource-efficient, ",
"font": "serif",
"width": 15.233,
"textWidth": 14.644
},
{
"text": "it ",
"font": "serif",
"width": 1.718,
"textWidth": 1.153
},
{
"text": "leads ",
"font": "serif",
"width": 4.309,
"textWidth": 4.309
}
]
},
{
"left": 11.905,
"top": 76.247,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.234,
"textWidth": 1.63
},
{
"text": "high ",
"font": "serif",
"width": 4.361,
"textWidth": 3.757
},
{
"text": "variance ",
"font": "serif",
"width": 7.623,
"textWidth": 7.021
},
{
"text": "in ",
"font": "serif",
"width": 2.236,
"textWidth": 1.632
},
{
"text": "gradient ",
"font": "serif",
"width": 7.593,
"textWidth": 6.991
},
{
"text": "estimation ",
"font": "serif",
"width": 9.292,
"textWidth": 8.688
},
{
"text": "and ",
"font": "serif",
"width": 3.767,
"textWidth": 3.165
},
{
"text": "often ",
"font": "serif",
"width": 4.84,
"textWidth": 4.236
},
{
"text": "causes ",
"font": "serif",
"width": 5.974,
"textWidth": 5.372
},
{
"text": "training ",
"font": "serif",
"width": 7.189,
"textWidth": 6.585
},
{
"text": "instability. ",
"font": "serif",
"width": 9.548,
"textWidth": 8.546
},
{
"text": "Therefore, ",
"font": "serif",
"width": 9.081,
"textWidth": 8.442
},
{
"text": "we ",
"font": "serif",
"width": 2.454,
"textWidth": 2.454
}
]
},
{
"left": 11.905,
"top": 77.857,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "adopt ",
"font": "serif",
"width": 5.106,
"textWidth": 4.645
},
{
"text": "full-vocabulary ",
"font": "serif",
"width": 12.692,
"textWidth": 12.232
},
{
"text": "logit ",
"font": "serif",
"width": 4.074,
"textWidth": 3.614
},
{
"text": "distillation ",
"font": "serif",
"width": 9.036,
"textWidth": 8.575
},
{
"text": "in ",
"font": "serif",
"width": 2.03,
"textWidth": 1.569
},
{
"text": "our ",
"font": "serif",
"width": 3.236,
"textWidth": 2.776
},
{
"text": "OPD. ",
"font": "serif",
"width": 4.8,
"textWidth": 4.34
},
{
"text": "Preserving ",
"font": "serif",
"width": 9.002,
"textWidth": 8.541
},
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.494
},
{
"text": "complete ",
"font": "serif",
"width": 7.739,
"textWidth": 7.279
},
{
"text": "logit ",
"font": "serif",
"width": 4.074,
"textWidth": 3.614
},
{
"text": "distribution ",
"font": "serif",
"width": 9.879,
"textWidth": 9.419
},
{
"text": "in ",
"font": "serif",
"width": 1.569,
"textWidth": 1.569
}
]
},
{
"left": 11.905,
"top": 79.466,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "calculating ",
"font": "serif",
"width": 9.106,
"textWidth": 8.671
},
{
"text": "reverse ",
"font": "serif",
"width": 6.178,
"textWidth": 5.743
},
{
"text": "KL ",
"font": "serif",
"width": 2.836,
"textWidth": 2.401
},
{
"text": "loss ",
"font": "serif",
"width": 3.461,
"textWidth": 3.026
},
{
"text": "yields ",
"font": "serif",
"width": 5.198,
"textWidth": 4.763
},
{
"text": "more ",
"font": "serif",
"width": 4.538,
"textWidth": 4.102
},
{
"text": "stable ",
"font": "serif",
"width": 5.056,
"textWidth": 4.619
},
{
"text": "gradient ",
"font": "serif",
"width": 7.152,
"textWidth": 6.717
},
{
"text": "estimates ",
"font": "serif",
"width": 7.856,
"textWidth": 7.421
},
{
"text": "and ",
"font": "serif",
"width": 3.475,
"textWidth": 3.041
},
{
"text": "ensures ",
"font": "serif",
"width": 6.482,
"textWidth": 6.047
},
{
"text": "faithful ",
"font": "serif",
"width": 6.288,
"textWidth": 5.853
},
{
"text": "distillation ",
"font": "serif",
"width": 8.567,
"textWidth": 8.567
}
]
},
{
"left": 11.905,
"top": 81.075,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.035,
"textWidth": 1.579
},
{
"text": "the ",
"font": "serif",
"width": 2.949,
"textWidth": 2.491
},
{
"text": "teachers’ ",
"font": "serif",
"width": 7.473,
"textWidth": 7.017
},
{
"text": "knowledge. ",
"font": "serif",
"width": 9.878,
"textWidth": 9.31
},
{
"text": "In ",
"font": "serif",
"width": 2.107,
"textWidth": 1.65
},
{
"text": "the ",
"font": "serif",
"width": 2.949,
"textWidth": 2.491
},
{
"text": "following ",
"font": "serif",
"width": 8.125,
"textWidth": 7.669
},
{
"text": "subsection, ",
"font": "serif",
"width": 9.298,
"textWidth": 8.84
},
{
"text": "we ",
"font": "serif",
"width": 2.814,
"textWidth": 2.358
},
{
"text": "describe ",
"font": "serif",
"width": 7.058,
"textWidth": 6.602
},
{
"text": "the ",
"font": "serif",
"width": 2.949,
"textWidth": 2.491
},
{
"text": "engineering ",
"font": "serif",
"width": 9.924,
"textWidth": 9.468
},
{
"text": "efforts ",
"font": "serif",
"width": 5.517,
"textWidth": 5.061
},
{
"text": "that ",
"font": "serif",
"width": 3.114,
"textWidth": 3.114
}
]
},
{
"left": 11.905,
"top": 82.685,
"width": 35.186,
"height": 1.296,
"words": [
{
"text": "make ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "full-vocabulary ",
"font": "serif",
"width": 12.927,
"textWidth": 12.469
},
{
"text": "OPD ",
"font": "serif",
"width": 4.424,
"textWidth": 3.966
},
{
"text": "feasible ",
"font": "serif",
"width": 6.597,
"textWidth": 6.139
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "scale. ",
"font": "serif",
"width": 4.376,
"textWidth": 4.376
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "33 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"34": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.452,
"width": 27.229,
"height": 1.296,
"words": [
{
"text": "5.2. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "RL ",
"font": "serif-bold",
"width": 2.901,
"textWidth": 2.443
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.614,
"textWidth": 3.156
},
{
"text": "OPD ",
"font": "serif-bold",
"width": 4.631,
"textWidth": 4.173
},
{
"text": "Infrastructures ",
"font": "serif-bold",
"width": 12.418,
"textWidth": 12.418
}
]
},
{
"left": 11.905,
"top": 13.123,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.714,
"textWidth": 3.256
},
{
"text": "post-training ",
"font": "serif",
"width": 10.959,
"textWidth": 10.501
},
{
"text": "infrastructure ",
"font": "serif",
"width": 11.536,
"textWidth": 11.079
},
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.305
},
{
"text": "built ",
"font": "serif",
"width": 4.226,
"textWidth": 3.767
},
{
"text": "upon ",
"font": "serif",
"width": 4.715,
"textWidth": 4.257
},
{
"text": "the ",
"font": "serif",
"width": 2.99,
"textWidth": 2.532
},
{
"text": "scalable ",
"font": "serif",
"width": 6.814,
"textWidth": 6.356
},
{
"text": "framework ",
"font": "serif",
"width": 9.44,
"textWidth": 8.982
},
{
"text": "developed ",
"font": "serif",
"width": 8.968,
"textWidth": 8.509
},
{
"text": "for ",
"font": "serif",
"width": 2.784,
"textWidth": 2.325
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.586,
"textWidth": 8.586
}
]
},
{
"left": 11.839,
"top": 14.732,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V3.2. ",
"font": "serif",
"width": 4.646,
"textWidth": 4.072
},
{
"text": "Specifically, ",
"font": "serif",
"width": 9.927,
"textWidth": 9.467
},
{
"text": "we ",
"font": "serif",
"width": 2.866,
"textWidth": 2.406
},
{
"text": "integrate ",
"font": "serif",
"width": 7.669,
"textWidth": 7.209
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.542
},
{
"text": "same ",
"font": "serif",
"width": 4.649,
"textWidth": 4.189
},
{
"text": "distributed ",
"font": "serif",
"width": 9.456,
"textWidth": 8.998
},
{
"text": "training ",
"font": "serif",
"width": 6.916,
"textWidth": 6.456
},
{
"text": "stack ",
"font": "serif",
"width": 4.583,
"textWidth": 4.123
},
{
"text": "described ",
"font": "serif",
"width": 8.316,
"textWidth": 7.856
},
{
"text": "in ",
"font": "serif",
"width": 2.06,
"textWidth": 1.6
},
{
"text": "Section ",
"font": "serif",
"width": 6.312,
"textWidth": 5.852
},
{
"text": "3.5 ",
"font": "serif",
"width": 2.751,
"textWidth": 2.291
},
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 11.905,
"top": 16.342,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "rollout ",
"font": "serif",
"width": 6.094,
"textWidth": 5.57
},
{
"text": "engine ",
"font": "serif",
"width": 6.071,
"textWidth": 5.548
},
{
"text": "introduced ",
"font": "serif",
"width": 9.627,
"textWidth": 9.103
},
{
"text": "earlier ",
"font": "serif",
"width": 5.813,
"textWidth": 5.29
},
{
"text": "for ",
"font": "serif",
"width": 2.903,
"textWidth": 2.381
},
{
"text": "efficient ",
"font": "serif",
"width": 7.105,
"textWidth": 6.582
},
{
"text": "auto-regressive ",
"font": "serif",
"width": 13.158,
"textWidth": 12.634
},
{
"text": "sampling. ",
"font": "serif",
"width": 8.944,
"textWidth": 8.184
},
{
"text": "Building ",
"font": "serif",
"width": 7.694,
"textWidth": 7.17
},
{
"text": "on ",
"font": "serif",
"width": 2.632,
"textWidth": 2.109
},
{
"text": "this ",
"font": "serif",
"width": 3.034,
"textWidth": 3.034
}
]
},
{
"left": 11.905,
"top": 17.951,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "foundation, ",
"font": "serif",
"width": 10.225,
"textWidth": 9.664
},
{
"text": "we ",
"font": "serif",
"width": 2.995,
"textWidth": 2.454
},
{
"text": "introduce ",
"font": "serif",
"width": 8.501,
"textWidth": 7.961
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "following ",
"font": "serif",
"width": 8.522,
"textWidth": 7.982
},
{
"text": "principal ",
"font": "serif",
"width": 8.01,
"textWidth": 7.47
},
{
"text": "enhancements ",
"font": "serif",
"width": 12.395,
"textWidth": 11.855
},
{
"text": "in ",
"font": "serif",
"width": 2.172,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "present ",
"font": "serif",
"width": 6.649,
"textWidth": 6.109
},
{
"text": "work. ",
"font": "serif",
"width": 5.64,
"textWidth": 4.825
},
{
"text": "These ",
"font": "serif",
"width": 4.817,
"textWidth": 4.817
}
]
},
{
"left": 11.905,
"top": 19.561,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "designs ",
"font": "serif",
"width": 6.721,
"textWidth": 6.263
},
{
"text": "enable ",
"font": "serif",
"width": 5.824,
"textWidth": 5.365
},
{
"text": "efficient ",
"font": "serif",
"width": 7.007,
"textWidth": 6.549
},
{
"text": "execution ",
"font": "serif",
"width": 8.393,
"textWidth": 7.935
},
{
"text": "of ",
"font": "serif",
"width": 2.093,
"textWidth": 1.635
},
{
"text": "ultra-long-context ",
"font": "serif",
"width": 15.294,
"textWidth": 14.834
},
{
"text": "RL ",
"font": "serif",
"width": 2.837,
"textWidth": 2.379
},
{
"text": "and ",
"font": "serif",
"width": 3.607,
"textWidth": 3.149
},
{
"text": "OPD ",
"font": "serif",
"width": 4.485,
"textWidth": 4.025
},
{
"text": "merging ",
"font": "serif",
"width": 7.385,
"textWidth": 6.927
},
{
"text": "tasks ",
"font": "serif",
"width": 4.607,
"textWidth": 4.148
},
{
"text": "involving ",
"font": "serif",
"width": 7.939,
"textWidth": 7.939
}
]
},
{
"left": 11.905,
"top": 21.17,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "over ",
"font": "serif",
"width": 4.048,
"textWidth": 3.59
},
{
"text": "ten ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "distinct ",
"font": "serif",
"width": 6.418,
"textWidth": 5.96
},
{
"text": "teacher ",
"font": "serif",
"width": 6.255,
"textWidth": 5.797
},
{
"text": "models, ",
"font": "serif",
"width": 6.761,
"textWidth": 6.302
},
{
"text": "thereby ",
"font": "serif",
"width": 6.521,
"textWidth": 6.061
},
{
"text": "substantially ",
"font": "serif",
"width": 10.708,
"textWidth": 10.25
},
{
"text": "accelerating ",
"font": "serif",
"width": 10.021,
"textWidth": 9.563
},
{
"text": "the ",
"font": "serif",
"width": 2.968,
"textWidth": 2.509
},
{
"text": "iteration ",
"font": "serif",
"width": 7.215,
"textWidth": 6.756
},
{
"text": "cycle ",
"font": "serif",
"width": 4.462,
"textWidth": 4.005
},
{
"text": "for ",
"font": "serif",
"width": 2.762,
"textWidth": 2.304
},
{
"text": "model ",
"font": "serif",
"width": 5.083,
"textWidth": 5.083
}
]
},
{
"left": 11.905,
"top": 22.779,
"width": 6.786,
"height": 1.296,
"words": [
{
"text": "releases. ",
"font": "serif",
"width": 6.786,
"textWidth": 6.786
}
]
},
{
"left": 11.905,
"top": 26.332,
"width": 29.584,
"height": 1.296,
"words": [
{
"text": "5.2.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "FP4 ",
"font": "serif-bold-italic",
"width": 3.616,
"textWidth": 3.158
},
{
"text": "Quantization ",
"font": "serif-bold-italic",
"width": 11.661,
"textWidth": 11.203
},
{
"text": "Integration ",
"font": "serif-bold-italic",
"width": 9.268,
"textWidth": 9.268
}
]
},
{
"left": 11.813,
"top": 29.017,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.008,
"textWidth": 2.552
},
{
"text": "apply ",
"font": "serif",
"width": 5.146,
"textWidth": 4.69
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.509,
"textWidth": 3.054
},
{
"text": "(MXFP4) ",
"font": "serif",
"width": 7.704,
"textWidth": 7.248
},
{
"text": "quantization ",
"font": "serif",
"width": 10.771,
"textWidth": 10.317
},
{
"text": "to ",
"font": "serif",
"width": 2.061,
"textWidth": 1.604
},
{
"text": "accelerate ",
"font": "serif",
"width": 8.436,
"textWidth": 7.98
},
{
"text": "both ",
"font": "serif",
"width": 4.147,
"textWidth": 3.693
},
{
"text": "rollouts ",
"font": "serif",
"width": 6.719,
"textWidth": 6.263
},
{
"text": "and ",
"font": "serif",
"width": 3.571,
"textWidth": 3.115
},
{
"text": "all ",
"font": "serif",
"width": 2.445,
"textWidth": 1.991
},
{
"text": "inference-only ",
"font": "serif",
"width": 12.147,
"textWidth": 11.691
},
{
"text": "forward ",
"font": "serif",
"width": 6.616,
"textWidth": 6.616
}
]
},
{
"left": 11.85,
"top": 30.626,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "passes, ",
"font": "serif",
"width": 6.187,
"textWidth": 5.73
},
{
"text": "including ",
"font": "serif",
"width": 8.307,
"textWidth": 7.853
},
{
"text": "those ",
"font": "serif",
"width": 4.81,
"textWidth": 4.354
},
{
"text": "of ",
"font": "serif",
"width": 2.078,
"textWidth": 1.624
},
{
"text": "teacher ",
"font": "serif",
"width": 6.377,
"textWidth": 5.921
},
{
"text": "and ",
"font": "serif",
"width": 3.584,
"textWidth": 3.127
},
{
"text": "reference ",
"font": "serif",
"width": 7.897,
"textWidth": 7.443
},
{
"text": "models, ",
"font": "serif",
"width": 6.892,
"textWidth": 6.436
},
{
"text": "thereby ",
"font": "serif",
"width": 6.648,
"textWidth": 6.192
},
{
"text": "reducing ",
"font": "serif",
"width": 7.74,
"textWidth": 7.284
},
{
"text": "memory ",
"font": "serif",
"width": 7.367,
"textWidth": 6.911
},
{
"text": "traffic ",
"font": "serif",
"width": 5.231,
"textWidth": 4.775
},
{
"text": "and ",
"font": "serif",
"width": 3.127,
"textWidth": 3.127
}
]
},
{
"left": 11.905,
"top": 32.236,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sampling ",
"font": "serif",
"width": 8.285,
"textWidth": 7.716
},
{
"text": "latency. ",
"font": "serif",
"width": 7.101,
"textWidth": 6.204
},
{
"text": "As ",
"font": "serif",
"width": 2.813,
"textWidth": 2.247
},
{
"text": "detailed ",
"font": "serif",
"width": 7.275,
"textWidth": 6.707
},
{
"text": "in ",
"font": "serif",
"width": 2.2,
"textWidth": 1.632
},
{
"text": "Section ",
"font": "serif",
"width": 6.535,
"textWidth": 5.969
},
{
"text": "3.4, ",
"font": "serif",
"width": 3.4,
"textWidth": 2.804
},
{
"text": "we ",
"font": "serif",
"width": 3.021,
"textWidth": 2.454
},
{
"text": "directly ",
"font": "serif",
"width": 6.877,
"textWidth": 6.311
},
{
"text": "use ",
"font": "serif",
"width": 3.383,
"textWidth": 2.815
},
{
"text": "native ",
"font": "serif",
"width": 5.696,
"textWidth": 5.127
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.669,
"textWidth": 3.103
},
{
"text": "weights ",
"font": "serif",
"width": 7.096,
"textWidth": 6.527
},
{
"text": "during ",
"font": "serif",
"width": 6.247,
"textWidth": 5.679
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 33.845,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "rollout ",
"font": "serif",
"width": 6.086,
"textWidth": 5.57
},
{
"text": "and ",
"font": "serif",
"width": 3.679,
"textWidth": 3.165
},
{
"text": "inference ",
"font": "serif",
"width": 8.079,
"textWidth": 7.563
},
{
"text": "phases. ",
"font": "serif",
"width": 6.832,
"textWidth": 6.094
},
{
"text": "For ",
"font": "serif",
"width": 3.312,
"textWidth": 2.798
},
{
"text": "training ",
"font": "serif",
"width": 7.099,
"textWidth": 6.585
},
{
"text": "steps, ",
"font": "serif",
"width": 5.21,
"textWidth": 4.681
},
{
"text": "FP4 ",
"font": "serif",
"width": 3.619,
"textWidth": 3.103
},
{
"text": "quantization ",
"font": "serif",
"width": 10.995,
"textWidth": 10.481
},
{
"text": "is ",
"font": "serif",
"width": 1.852,
"textWidth": 1.337
},
{
"text": "simulated ",
"font": "serif",
"width": 8.754,
"textWidth": 8.238
},
{
"text": "via ",
"font": "serif",
"width": 3.049,
"textWidth": 2.535
},
{
"text": "a ",
"font": "serif",
"width": 1.451,
"textWidth": 0.935
},
{
"text": "lossless ",
"font": "serif",
"width": 6.174,
"textWidth": 6.174
}
]
},
{
"left": 11.905,
"top": 35.454,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "FP4-to-FP8 ",
"font": "serif",
"width": 9.533,
"textWidth": 9.072
},
{
"text": "dequantization ",
"font": "serif",
"width": 12.966,
"textWidth": 12.506
},
{
"text": "step, ",
"font": "serif",
"width": 4.347,
"textWidth": 3.884
},
{
"text": "allowing ",
"font": "serif",
"width": 7.726,
"textWidth": 7.266
},
{
"text": "seamless ",
"font": "serif",
"width": 7.752,
"textWidth": 7.29
},
{
"text": "reuse ",
"font": "serif",
"width": 4.872,
"textWidth": 4.411
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.641
},
{
"text": "the ",
"font": "serif",
"width": 3.051,
"textWidth": 2.59
},
{
"text": "existing ",
"font": "serif",
"width": 6.932,
"textWidth": 6.471
},
{
"text": "FP8 ",
"font": "serif",
"width": 3.559,
"textWidth": 3.1
},
{
"text": "mixed-precision ",
"font": "serif",
"width": 13.35,
"textWidth": 13.35
}
]
},
{
"left": 11.905,
"top": 37.064,
"width": 76.405,
"height": 1.296,
"words": [
{
"text": "framework ",
"font": "serif",
"width": 9.476,
"textWidth": 9.018
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "FP32 ",
"font": "serif",
"width": 4.417,
"textWidth": 3.958
},
{
"text": "master ",
"font": "serif",
"width": 5.969,
"textWidth": 5.511
},
{
"text": "weights ",
"font": "serif",
"width": 6.858,
"textWidth": 6.399
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "requiring ",
"font": "serif",
"width": 8.034,
"textWidth": 7.576
},
{
"text": "no ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "modification ",
"font": "serif",
"width": 10.767,
"textWidth": 10.308
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "backward ",
"font": "serif",
"width": 8.476,
"textWidth": 8.018
},
{
"text": "pipeline. ",
"font": "serif",
"width": 7.083,
"textWidth": 7.083
}
]
},
{
"left": 11.905,
"top": 40.617,
"width": 48.839,
"height": 1.296,
"words": [
{
"text": "5.2.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Efficient ",
"font": "serif-bold-italic",
"width": 7.209,
"textWidth": 6.751
},
{
"text": "Teacher ",
"font": "serif-bold-italic",
"width": 6.566,
"textWidth": 6.108
},
{
"text": "Scheduling ",
"font": "serif-bold-italic",
"width": 9.317,
"textWidth": 8.859
},
{
"text": "for ",
"font": "serif-bold-italic",
"width": 2.8,
"textWidth": 2.342
},
{
"text": "Full-Vocabulary ",
"font": "serif-bold-italic",
"width": 13.732,
"textWidth": 13.274
},
{
"text": "OPD ",
"font": "serif-bold-italic",
"width": 4.175,
"textWidth": 4.175
}
]
},
{
"left": 11.905,
"top": 43.301,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 4.062,
"textWidth": 3.335
},
{
"text": "framework ",
"font": "serif",
"width": 9.926,
"textWidth": 9.199
},
{
"text": "supports ",
"font": "serif",
"width": 8.055,
"textWidth": 7.328
},
{
"text": "full-vocabulary ",
"font": "serif",
"width": 13.446,
"textWidth": 12.718
},
{
"text": "On-Policy ",
"font": "serif",
"width": 9.012,
"textWidth": 8.286
},
{
"text": "Distillation ",
"font": "serif",
"width": 9.948,
"textWidth": 9.221
},
{
"text": "(OPD) ",
"font": "serif",
"width": 6.017,
"textWidth": 5.29
},
{
"text": "with ",
"font": "serif",
"width": 4.527,
"textWidth": 3.8
},
{
"text": "an ",
"font": "serif",
"width": 2.75,
"textWidth": 2.023
},
{
"text": "effectively ",
"font": "serif",
"width": 8.52,
"textWidth": 8.52
}
]
},
{
"left": 11.905,
"top": 44.911,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "unbounded ",
"font": "serif",
"width": 9.941,
"textWidth": 9.484
},
{
"text": "number ",
"font": "serif",
"width": 6.87,
"textWidth": 6.411
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.612
},
{
"text": "teachers, ",
"font": "serif",
"width": 7.574,
"textWidth": 7.116
},
{
"text": "each ",
"font": "serif",
"width": 4.135,
"textWidth": 3.678
},
{
"text": "potentially ",
"font": "serif",
"width": 9.244,
"textWidth": 8.785
},
{
"text": "comprising ",
"font": "serif",
"width": 9.653,
"textWidth": 9.196
},
{
"text": "trillions ",
"font": "serif",
"width": 6.764,
"textWidth": 6.305
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.612
},
{
"text": "parameters. ",
"font": "serif",
"width": 10.166,
"textWidth": 9.598
},
{
"text": "To ",
"font": "serif",
"width": 2.414,
"textWidth": 1.957
},
{
"text": "enable ",
"font": "serif",
"width": 5.291,
"textWidth": 5.291
}
]
},
{
"left": 11.905,
"top": 46.52,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "this, ",
"font": "serif",
"width": 4.038,
"textWidth": 3.501
},
{
"text": "all ",
"font": "serif",
"width": 2.544,
"textWidth": 2.023
},
{
"text": "teacher ",
"font": "serif",
"width": 6.513,
"textWidth": 5.991
},
{
"text": "weights ",
"font": "serif",
"width": 7.049,
"textWidth": 6.527
},
{
"text": "are ",
"font": "serif",
"width": 3.058,
"textWidth": 2.537
},
{
"text": "offloaded ",
"font": "serif",
"width": 8.402,
"textWidth": 7.881
},
{
"text": "to ",
"font": "serif",
"width": 2.152,
"textWidth": 1.63
},
{
"text": "a ",
"font": "serif",
"width": 1.456,
"textWidth": 0.935
},
{
"text": "centralized ",
"font": "serif",
"width": 9.675,
"textWidth": 9.156
},
{
"text": "distributed ",
"font": "serif",
"width": 9.7,
"textWidth": 9.178
},
{
"text": "storage ",
"font": "serif",
"width": 6.552,
"textWidth": 6.03
},
{
"text": "and ",
"font": "serif",
"width": 3.686,
"textWidth": 3.165
},
{
"text": "are ",
"font": "serif",
"width": 3.058,
"textWidth": 2.537
},
{
"text": "loaded ",
"font": "serif",
"width": 6.2,
"textWidth": 5.679
},
{
"text": "on ",
"font": "serif",
"width": 2.109,
"textWidth": 2.109
}
]
},
{
"left": 11.905,
"top": 48.129,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "demand ",
"font": "serif",
"width": 7.189,
"textWidth": 6.732
},
{
"text": "during ",
"font": "serif",
"width": 6.036,
"textWidth": 5.579
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.547
},
{
"text": "teacher ",
"font": "serif",
"width": 6.343,
"textWidth": 5.885
},
{
"text": "forward ",
"font": "serif",
"width": 7.06,
"textWidth": 6.603
},
{
"text": "pass ",
"font": "serif",
"width": 4.036,
"textWidth": 3.579
},
{
"text": "with ",
"font": "serif",
"width": 4.19,
"textWidth": 3.733
},
{
"text": "ZeRO-like ",
"font": "serif",
"width": 8.812,
"textWidth": 8.355
},
{
"text": "parameter ",
"font": "serif",
"width": 8.825,
"textWidth": 8.37
},
{
"text": "sharding ",
"font": "serif",
"width": 7.661,
"textWidth": 7.204
},
{
"text": "to ",
"font": "serif",
"width": 2.058,
"textWidth": 1.601
},
{
"text": "alleviate ",
"font": "serif",
"width": 7.292,
"textWidth": 6.835
},
{
"text": "both ",
"font": "serif",
"width": 3.685,
"textWidth": 3.685
}
]
},
{
"left": 11.905,
"top": 49.739,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "I/O ",
"font": "serif",
"width": 3.905,
"textWidth": 3.232
},
{
"text": "and ",
"font": "serif",
"width": 3.839,
"textWidth": 3.165
},
{
"text": "DRAM ",
"font": "serif",
"width": 6.591,
"textWidth": 5.918
},
{
"text": "pressure. ",
"font": "serif",
"width": 8.718,
"textWidth": 7.505
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.703,
"textWidth": 10.976
},
{
"text": "naively ",
"font": "serif",
"width": 6.774,
"textWidth": 6.101
},
{
"text": "materializing ",
"font": "serif",
"width": 11.674,
"textWidth": 11.001
},
{
"text": "logits ",
"font": "serif",
"width": 5.225,
"textWidth": 4.55
},
{
"text": "for ",
"font": "serif",
"width": 3.054,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 1.608,
"textWidth": 0.935
},
{
"text": "vocabulary ",
"font": "serif",
"width": 9.933,
"textWidth": 9.258
},
{
"text": "size ",
"font": "serif",
"width": 3.167,
"textWidth": 3.167
}
]
},
{
"left": 16.541,
"top": 51.348,
"width": 71.626,
"height": 1.296,
"words": [
{
"text": "100k ",
"font": "serif",
"width": 4.38,
"textWidth": 3.823
},
{
"text": "across ",
"font": "serif",
"width": 5.632,
"textWidth": 5.075
},
{
"text": "all ",
"font": "serif",
"width": 2.58,
"textWidth": 2.023
},
{
"text": "teachers ",
"font": "serif",
"width": 7.341,
"textWidth": 6.784
},
{
"text": "is ",
"font": "serif",
"width": 1.894,
"textWidth": 1.337
},
{
"text": "prohibitive, ",
"font": "serif",
"width": 10.212,
"textWidth": 9.63
},
{
"text": "even ",
"font": "serif",
"width": 4.492,
"textWidth": 3.935
},
{
"text": "when ",
"font": "serif",
"width": 5.187,
"textWidth": 4.63
},
{
"text": "spooled ",
"font": "serif",
"width": 7.096,
"textWidth": 6.539
},
{
"text": "to ",
"font": "serif",
"width": 2.185,
"textWidth": 1.63
},
{
"text": "disk. ",
"font": "serif",
"width": 4.851,
"textWidth": 3.985
},
{
"text": "We ",
"font": "serif",
"width": 3.152,
"textWidth": 2.596
},
{
"text": "address ",
"font": "serif",
"width": 6.963,
"textWidth": 6.406
},
{
"text": "this ",
"font": "serif",
"width": 3.591,
"textWidth": 3.034
},
{
"text": "by ",
"font": "serif",
"width": 2.073,
"textWidth": 2.073
}
]
},
{
"left": 11.905,
"top": 52.958,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "caching ",
"font": "serif",
"width": 6.942,
"textWidth": 6.354
},
{
"text": "only ",
"font": "serif",
"width": 4.281,
"textWidth": 3.692
},
{
"text": "the ",
"font": "serif",
"width": 3.181,
"textWidth": 2.593
},
{
"text": "last-layer ",
"font": "serif",
"width": 8.242,
"textWidth": 7.655
},
{
"text": "teacher ",
"font": "serif",
"width": 6.58,
"textWidth": 5.991
},
{
"text": "hidden ",
"font": "serif",
"width": 6.488,
"textWidth": 5.899
},
{
"text": "states ",
"font": "serif",
"width": 5.223,
"textWidth": 4.634
},
{
"text": "in ",
"font": "serif",
"width": 2.221,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.523,
"textWidth": 0.935
},
{
"text": "centralized ",
"font": "serif",
"width": 9.744,
"textWidth": 9.156
},
{
"text": "buffer ",
"font": "serif",
"width": 5.595,
"textWidth": 5.006
},
{
"text": "during ",
"font": "serif",
"width": 6.266,
"textWidth": 5.679
},
{
"text": "the ",
"font": "serif",
"width": 3.181,
"textWidth": 2.593
},
{
"text": "forward ",
"font": "serif",
"width": 6.724,
"textWidth": 6.724
}
]
},
{
"left": 11.85,
"top": 54.567,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "pass. ",
"font": "serif",
"width": 4.592,
"textWidth": 4.022
},
{
"text": "At ",
"font": "serif",
"width": 2.476,
"textWidth": 2.019
},
{
"text": "training ",
"font": "serif",
"width": 6.902,
"textWidth": 6.443
},
{
"text": "time, ",
"font": "serif",
"width": 4.536,
"textWidth": 4.077
},
{
"text": "these ",
"font": "serif",
"width": 4.647,
"textWidth": 4.188
},
{
"text": "cached ",
"font": "serif",
"width": 6.056,
"textWidth": 5.597
},
{
"text": "states ",
"font": "serif",
"width": 4.993,
"textWidth": 4.534
},
{
"text": "are ",
"font": "serif",
"width": 2.937,
"textWidth": 2.478
},
{
"text": "retrieved ",
"font": "serif",
"width": 7.779,
"textWidth": 7.319
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "passed ",
"font": "serif",
"width": 6.017,
"textWidth": 5.558
},
{
"text": "through ",
"font": "serif",
"width": 6.99,
"textWidth": 6.533
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "corresponding ",
"font": "serif",
"width": 11.767,
"textWidth": 11.767
}
]
},
{
"left": 11.85,
"top": 56.176,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "prediction ",
"font": "serif",
"width": 8.987,
"textWidth": 8.501
},
{
"text": "head ",
"font": "serif",
"width": 4.546,
"textWidth": 4.06
},
{
"text": "module ",
"font": "serif",
"width": 6.866,
"textWidth": 6.38
},
{
"text": "to ",
"font": "serif",
"width": 2.114,
"textWidth": 1.63
},
{
"text": "reconstruct ",
"font": "serif",
"width": 9.718,
"textWidth": 9.232
},
{
"text": "the ",
"font": "serif",
"width": 3.077,
"textWidth": 2.593
},
{
"text": "full ",
"font": "serif",
"width": 3.324,
"textWidth": 2.838
},
{
"text": "logits ",
"font": "serif",
"width": 5.036,
"textWidth": 4.55
},
{
"text": "on ",
"font": "serif",
"width": 2.595,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.079,
"textWidth": 2.593
},
{
"text": "fly. ",
"font": "serif",
"width": 3.09,
"textWidth": 2.439
},
{
"text": "This ",
"font": "serif",
"width": 4.056,
"textWidth": 3.57
},
{
"text": "design ",
"font": "serif",
"width": 5.985,
"textWidth": 5.501
},
{
"text": "incurs ",
"font": "serif",
"width": 5.606,
"textWidth": 5.12
},
{
"text": "negligible ",
"font": "serif",
"width": 8.167,
"textWidth": 8.167
}
]
},
{
"left": 11.905,
"top": 57.786,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "recomputation ",
"font": "serif",
"width": 12.369,
"textWidth": 11.907
},
{
"text": "overhead ",
"font": "serif",
"width": 8.037,
"textWidth": 7.578
},
{
"text": "while ",
"font": "serif",
"width": 4.996,
"textWidth": 4.535
},
{
"text": "completely ",
"font": "serif",
"width": 9.425,
"textWidth": 8.963
},
{
"text": "circumventing ",
"font": "serif",
"width": 12.22,
"textWidth": 11.759
},
{
"text": "the ",
"font": "serif",
"width": 2.999,
"textWidth": 2.537
},
{
"text": "memory ",
"font": "serif",
"width": 7.312,
"textWidth": 6.851
},
{
"text": "burden ",
"font": "serif",
"width": 6.329,
"textWidth": 5.868
},
{
"text": "associated ",
"font": "serif",
"width": 8.78,
"textWidth": 8.321
},
{
"text": "with ",
"font": "serif",
"width": 3.722,
"textWidth": 3.722
}
]
},
{
"left": 11.905,
"top": 59.395,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "explicit ",
"font": "serif",
"width": 6.383,
"textWidth": 5.924
},
{
"text": "logits ",
"font": "serif",
"width": 4.911,
"textWidth": 4.452
},
{
"text": "materialization. ",
"font": "serif",
"width": 13.285,
"textWidth": 12.713
},
{
"text": "To ",
"font": "serif",
"width": 2.411,
"textWidth": 1.951
},
{
"text": "mitigate ",
"font": "serif",
"width": 7.14,
"textWidth": 6.679
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "GPU ",
"font": "serif",
"width": 4.382,
"textWidth": 3.923
},
{
"text": "memory ",
"font": "serif",
"width": 7.303,
"textWidth": 6.844
},
{
"text": "footprint ",
"font": "serif",
"width": 7.678,
"textWidth": 7.217
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "teacher ",
"font": "serif",
"width": 6.321,
"textWidth": 5.862
},
{
"text": "prediction ",
"font": "serif",
"width": 8.318,
"textWidth": 8.318
}
]
},
{
"left": 11.905,
"top": 61.004,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "head, ",
"font": "serif",
"width": 4.949,
"textWidth": 4.487
},
{
"text": "we ",
"font": "serif",
"width": 2.892,
"textWidth": 2.433
},
{
"text": "order ",
"font": "serif",
"width": 4.921,
"textWidth": 4.461
},
{
"text": "training ",
"font": "serif",
"width": 6.989,
"textWidth": 6.527
},
{
"text": "samples ",
"font": "serif",
"width": 7.133,
"textWidth": 6.674
},
{
"text": "by ",
"font": "serif",
"width": 2.514,
"textWidth": 2.055
},
{
"text": "teacher ",
"font": "serif",
"width": 6.399,
"textWidth": 5.938
},
{
"text": "index ",
"font": "serif",
"width": 5.053,
"textWidth": 4.593
},
{
"text": "during ",
"font": "serif",
"width": 6.088,
"textWidth": 5.629
},
{
"text": "data ",
"font": "serif",
"width": 4.05,
"textWidth": 3.589
},
{
"text": "dispatching. ",
"font": "serif",
"width": 10.685,
"textWidth": 10.111
},
{
"text": "This ",
"font": "serif",
"width": 4.0,
"textWidth": 3.539
},
{
"text": "arrangement ",
"font": "serif",
"width": 10.516,
"textWidth": 10.516
}
]
},
{
"left": 11.905,
"top": 62.614,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "ensures ",
"font": "serif",
"width": 6.858,
"textWidth": 6.296
},
{
"text": "that ",
"font": "serif",
"width": 3.804,
"textWidth": 3.241
},
{
"text": "each ",
"font": "serif",
"width": 4.309,
"textWidth": 3.748
},
{
"text": "distinct ",
"font": "serif",
"width": 6.722,
"textWidth": 6.159
},
{
"text": "teacher ",
"font": "serif",
"width": 6.552,
"textWidth": 5.991
},
{
"text": "head ",
"font": "serif",
"width": 4.623,
"textWidth": 4.06
},
{
"text": "is ",
"font": "serif",
"width": 1.899,
"textWidth": 1.337
},
{
"text": "loaded ",
"font": "serif",
"width": 6.24,
"textWidth": 5.679
},
{
"text": "only ",
"font": "serif",
"width": 4.254,
"textWidth": 3.692
},
{
"text": "once ",
"font": "serif",
"width": 4.397,
"textWidth": 3.834
},
{
"text": "per ",
"font": "serif",
"width": 3.318,
"textWidth": 2.757
},
{
"text": "mini-batch ",
"font": "serif",
"width": 9.507,
"textWidth": 8.944
},
{
"text": "and ",
"font": "serif",
"width": 3.725,
"textWidth": 3.165
},
{
"text": "that ",
"font": "serif",
"width": 3.804,
"textWidth": 3.241
},
{
"text": "at ",
"font": "serif",
"width": 2.107,
"textWidth": 1.544
},
{
"text": "most ",
"font": "serif",
"width": 4.073,
"textWidth": 4.073
}
]
},
{
"left": 11.905,
"top": 64.223,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "one ",
"font": "serif",
"width": 3.388,
"textWidth": 2.93
},
{
"text": "teacher ",
"font": "serif",
"width": 6.3,
"textWidth": 5.844
},
{
"text": "head ",
"font": "serif",
"width": 4.418,
"textWidth": 3.961
},
{
"text": "resides ",
"font": "serif",
"width": 6.081,
"textWidth": 5.625
},
{
"text": "in ",
"font": "serif",
"width": 2.05,
"textWidth": 1.592
},
{
"text": "device ",
"font": "serif",
"width": 5.687,
"textWidth": 5.231
},
{
"text": "memory ",
"font": "serif",
"width": 7.281,
"textWidth": 6.823
},
{
"text": "at ",
"font": "serif",
"width": 1.962,
"textWidth": 1.506
},
{
"text": "any ",
"font": "serif",
"width": 3.444,
"textWidth": 2.987
},
{
"text": "given ",
"font": "serif",
"width": 4.965,
"textWidth": 4.509
},
{
"text": "time. ",
"font": "serif",
"width": 4.633,
"textWidth": 4.064
},
{
"text": "All ",
"font": "serif",
"width": 2.936,
"textWidth": 2.48
},
{
"text": "parameters ",
"font": "serif",
"width": 9.542,
"textWidth": 9.084
},
{
"text": "and ",
"font": "serif",
"width": 3.543,
"textWidth": 3.087
},
{
"text": "hidden ",
"font": "serif",
"width": 6.212,
"textWidth": 5.755
},
{
"text": "state ",
"font": "serif",
"width": 3.747,
"textWidth": 3.747
}
]
},
{
"left": 11.905,
"top": 65.833,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "loading/offloading ",
"font": "serif",
"width": 16.357,
"textWidth": 15.897
},
{
"text": "operations ",
"font": "serif",
"width": 9.192,
"textWidth": 8.732
},
{
"text": "proceed ",
"font": "serif",
"width": 7.046,
"textWidth": 6.586
},
{
"text": "asynchronously ",
"font": "serif",
"width": 13.52,
"textWidth": 13.06
},
{
"text": "in ",
"font": "serif",
"width": 2.085,
"textWidth": 1.625
},
{
"text": "the ",
"font": "serif",
"width": 3.042,
"textWidth": 2.583
},
{
"text": "background, ",
"font": "serif",
"width": 10.846,
"textWidth": 10.386
},
{
"text": "without ",
"font": "serif",
"width": 6.992,
"textWidth": 6.532
},
{
"text": "blocking ",
"font": "serif",
"width": 7.111,
"textWidth": 7.111
}
]
},
{
"left": 11.905,
"top": 67.442,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "computation ",
"font": "serif",
"width": 10.65,
"textWidth": 10.195
},
{
"text": "on ",
"font": "serif",
"width": 2.493,
"textWidth": 2.036
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.504
},
{
"text": "critical ",
"font": "serif",
"width": 5.838,
"textWidth": 5.383
},
{
"text": "path. ",
"font": "serif",
"width": 4.646,
"textWidth": 4.078
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.24,
"textWidth": 5.784
},
{
"text": "the ",
"font": "serif",
"width": 2.959,
"textWidth": 2.504
},
{
"text": "exact ",
"font": "serif",
"width": 4.543,
"textWidth": 4.089
},
{
"text": "KL ",
"font": "serif",
"width": 2.87,
"textWidth": 2.413
},
{
"text": "divergences ",
"font": "serif",
"width": 9.999,
"textWidth": 9.542
},
{
"text": "between ",
"font": "serif",
"width": 7.192,
"textWidth": 6.737
},
{
"text": "teacher ",
"font": "serif",
"width": 6.242,
"textWidth": 5.785
},
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.056
},
{
"text": "student ",
"font": "serif",
"width": 6.049,
"textWidth": 6.049
}
]
},
{
"left": 11.905,
"top": 69.051,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "logits ",
"font": "serif",
"width": 4.841,
"textWidth": 4.38
},
{
"text": "are ",
"font": "serif",
"width": 2.899,
"textWidth": 2.438
},
{
"text": "computed ",
"font": "serif",
"width": 8.545,
"textWidth": 8.086
},
{
"text": "using ",
"font": "serif",
"width": 4.881,
"textWidth": 4.42
},
{
"text": "a ",
"font": "serif",
"width": 1.359,
"textWidth": 0.9
},
{
"text": "specialized ",
"font": "serif",
"width": 9.299,
"textWidth": 8.838
},
{
"text": "TileLang ",
"font": "serif",
"width": 7.418,
"textWidth": 6.959
},
{
"text": "kernel, ",
"font": "serif",
"width": 5.917,
"textWidth": 5.456
},
{
"text": "which ",
"font": "serif",
"width": 5.377,
"textWidth": 4.918
},
{
"text": "accelerates ",
"font": "serif",
"width": 9.029,
"textWidth": 8.568
},
{
"text": "the ",
"font": "serif",
"width": 2.955,
"textWidth": 2.496
},
{
"text": "computation ",
"font": "serif",
"width": 10.625,
"textWidth": 10.164
},
{
"text": "and ",
"font": "serif",
"width": 3.047,
"textWidth": 3.047
}
]
},
{
"left": 11.905,
"top": 70.661,
"width": 29.688,
"height": 1.296,
"words": [
{
"text": "curtails ",
"font": "serif",
"width": 6.458,
"textWidth": 6.0
},
{
"text": "dynamic ",
"font": "serif",
"width": 7.545,
"textWidth": 7.087
},
{
"text": "memory ",
"font": "serif",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "allocation. ",
"font": "serif",
"width": 8.37,
"textWidth": 8.37
}
]
},
{
"left": 11.905,
"top": 74.214,
"width": 43.766,
"height": 1.296,
"words": [
{
"text": "5.2.3. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Preemptible ",
"font": "serif-bold-italic",
"width": 10.264,
"textWidth": 9.806
},
{
"text": "and ",
"font": "serif-bold-italic",
"width": 3.515,
"textWidth": 3.057
},
{
"text": "Fault-Tolerant ",
"font": "serif-bold-italic",
"width": 12.374,
"textWidth": 11.916
},
{
"text": "Rollout ",
"font": "serif-bold-italic",
"width": 6.772,
"textWidth": 6.313
},
{
"text": "Service ",
"font": "serif-bold-italic",
"width": 5.802,
"textWidth": 5.802
}
]
},
{
"left": 11.848,
"top": 76.898,
"width": 76.552,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.488,
"textWidth": 1.998
},
{
"text": "maximize ",
"font": "serif",
"width": 8.606,
"textWidth": 8.118
},
{
"text": "GPU ",
"font": "serif",
"width": 4.499,
"textWidth": 4.01
},
{
"text": "resource ",
"font": "serif",
"width": 7.462,
"textWidth": 6.972
},
{
"text": "utilization ",
"font": "serif",
"width": 8.987,
"textWidth": 8.498
},
{
"text": "while ",
"font": "serif",
"width": 5.12,
"textWidth": 4.63
},
{
"text": "enabling ",
"font": "serif",
"width": 7.657,
"textWidth": 7.167
},
{
"text": "rapid ",
"font": "serif",
"width": 4.97,
"textWidth": 4.482
},
{
"text": "hardware ",
"font": "serif",
"width": 8.455,
"textWidth": 7.965
},
{
"text": "provisioning ",
"font": "serif",
"width": 11.055,
"textWidth": 10.565
},
{
"text": "for ",
"font": "serif",
"width": 2.871,
"textWidth": 2.381
},
{
"text": "high- ",
"font": "serif",
"width": 4.382,
"textWidth": 4.382
}
]
},
{
"left": 11.85,
"top": 78.508,
"width": 76.316,
"height": 1.296,
"words": [
{
"text": "priority ",
"font": "serif",
"width": 6.786,
"textWidth": 6.326
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.072,
"textWidth": 4.613
},
{
"text": "our ",
"font": "serif",
"width": 3.331,
"textWidth": 2.872
},
{
"text": "GPU ",
"font": "serif",
"width": 4.449,
"textWidth": 3.99
},
{
"text": "cluster ",
"font": "serif",
"width": 5.967,
"textWidth": 5.51
},
{
"text": "employs ",
"font": "serif",
"width": 7.491,
"textWidth": 7.031
},
{
"text": "a ",
"font": "serif",
"width": 1.389,
"textWidth": 0.93
},
{
"text": "cluster-wide ",
"font": "serif",
"width": 10.675,
"textWidth": 10.216
},
{
"text": "preemptive ",
"font": "serif",
"width": 9.911,
"textWidth": 9.451
},
{
"text": "task ",
"font": "serif",
"width": 3.819,
"textWidth": 3.359
},
{
"text": "scheduler, ",
"font": "serif",
"width": 8.802,
"textWidth": 8.343
},
{
"text": "where ",
"font": "serif",
"width": 5.577,
"textWidth": 5.119
},
{
"text": "any ",
"font": "serif",
"width": 3.047,
"textWidth": 3.047
}
]
},
{
"left": 11.905,
"top": 80.117,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "running ",
"font": "serif",
"width": 6.886,
"textWidth": 6.435
},
{
"text": "task ",
"font": "serif",
"width": 3.696,
"textWidth": 3.244
},
{
"text": "may ",
"font": "serif",
"width": 3.935,
"textWidth": 3.482
},
{
"text": "be ",
"font": "serif",
"width": 2.304,
"textWidth": 1.853
},
{
"text": "preempted ",
"font": "serif",
"width": 9.138,
"textWidth": 8.685
},
{
"text": "at ",
"font": "serif",
"width": 1.934,
"textWidth": 1.483
},
{
"text": "any ",
"font": "serif",
"width": 3.394,
"textWidth": 2.942
},
{
"text": "time. ",
"font": "serif",
"width": 4.569,
"textWidth": 4.003
},
{
"text": "Also, ",
"font": "serif",
"width": 4.564,
"textWidth": 4.111
},
{
"text": "hardware ",
"font": "serif",
"width": 8.102,
"textWidth": 7.651
},
{
"text": "failures ",
"font": "serif",
"width": 6.376,
"textWidth": 5.923
},
{
"text": "are ",
"font": "serif",
"width": 2.886,
"textWidth": 2.434
},
{
"text": "prevalent ",
"font": "serif",
"width": 7.994,
"textWidth": 7.541
},
{
"text": "in ",
"font": "serif",
"width": 2.02,
"textWidth": 1.568
},
{
"text": "large-scale ",
"font": "serif",
"width": 8.393,
"textWidth": 8.393
}
]
},
{
"left": 11.905,
"top": 81.726,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "GPU ",
"font": "serif",
"width": 4.593,
"textWidth": 4.01
},
{
"text": "clusters. ",
"font": "serif",
"width": 7.737,
"textWidth": 6.797
},
{
"text": "To ",
"font": "serif",
"width": 2.581,
"textWidth": 1.998
},
{
"text": "this ",
"font": "serif",
"width": 3.615,
"textWidth": 3.034
},
{
"text": "end, ",
"font": "serif",
"width": 4.208,
"textWidth": 3.593
},
{
"text": "we ",
"font": "serif",
"width": 3.036,
"textWidth": 2.454
},
{
"text": "implement ",
"font": "serif",
"width": 9.584,
"textWidth": 9.001
},
{
"text": "a ",
"font": "serif",
"width": 1.518,
"textWidth": 0.935
},
{
"text": "preemptible ",
"font": "serif",
"width": 10.602,
"textWidth": 10.019
},
{
"text": "and ",
"font": "serif",
"width": 3.746,
"textWidth": 3.165
},
{
"text": "fault-tolerant ",
"font": "serif",
"width": 11.483,
"textWidth": 10.9
},
{
"text": "LLM ",
"font": "serif",
"width": 4.636,
"textWidth": 4.053
},
{
"text": "generation ",
"font": "serif",
"width": 8.853,
"textWidth": 8.853
}
]
},
{
"left": 11.905,
"top": 83.336,
"width": 22.688,
"height": 1.296,
"words": [
{
"text": "service ",
"font": "serif",
"width": 6.097,
"textWidth": 5.639
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "RL/OPD ",
"font": "serif",
"width": 7.878,
"textWidth": 7.42
},
{
"text": "rollout. ",
"font": "serif",
"width": 5.919,
"textWidth": 5.919
}
]
},
{
"left": 14.75,
"top": 85.75,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "Specifically, ",
"font": "serif",
"width": 10.107,
"textWidth": 9.651
},
{
"text": "we ",
"font": "serif",
"width": 2.909,
"textWidth": 2.452
},
{
"text": "implement ",
"font": "serif",
"width": 9.447,
"textWidth": 8.992
},
{
"text": "a ",
"font": "serif",
"width": 1.389,
"textWidth": 0.934
},
{
"text": "token-granular ",
"font": "serif",
"width": 12.863,
"textWidth": 12.407
},
{
"text": "Write-Ahead ",
"font": "serif",
"width": 11.104,
"textWidth": 10.646
},
{
"text": "Log ",
"font": "serif",
"width": 3.655,
"textWidth": 3.199
},
{
"text": "(WAL) ",
"font": "serif",
"width": 5.993,
"textWidth": 5.535
},
{
"text": "for ",
"font": "serif",
"width": 2.835,
"textWidth": 2.379
},
{
"text": "each ",
"font": "serif",
"width": 4.2,
"textWidth": 3.744
},
{
"text": "generation ",
"font": "serif",
"width": 8.844,
"textWidth": 8.844
}
]
},
{
"left": 11.905,
"top": 87.359,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "request. ",
"font": "serif",
"width": 7.169,
"textWidth": 6.539
},
{
"text": "Whenever ",
"font": "serif",
"width": 9.004,
"textWidth": 8.526
},
{
"text": "a ",
"font": "serif",
"width": 1.413,
"textWidth": 0.935
},
{
"text": "new ",
"font": "serif",
"width": 4.021,
"textWidth": 3.542
},
{
"text": "token ",
"font": "serif",
"width": 5.129,
"textWidth": 4.653
},
{
"text": "is ",
"font": "serif",
"width": 1.815,
"textWidth": 1.337
},
{
"text": "generated ",
"font": "serif",
"width": 8.716,
"textWidth": 8.238
},
{
"text": "for ",
"font": "serif",
"width": 2.86,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 1.413,
"textWidth": 0.935
},
{
"text": "request, ",
"font": "serif",
"width": 7.023,
"textWidth": 6.539
},
{
"text": "we ",
"font": "serif",
"width": 2.933,
"textWidth": 2.454
},
{
"text": "immediately ",
"font": "serif",
"width": 10.928,
"textWidth": 10.449
},
{
"text": "append ",
"font": "serif",
"width": 6.785,
"textWidth": 6.307
},
{
"text": "it ",
"font": "serif",
"width": 1.632,
"textWidth": 1.153
},
{
"text": "to ",
"font": "serif",
"width": 2.109,
"textWidth": 1.63
},
{
"text": "that ",
"font": "serif",
"width": 3.241,
"textWidth": 3.241
}
]
},
{
"left": 11.905,
"top": 88.969,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "request’s ",
"font": "serif",
"width": 7.851,
"textWidth": 7.384
},
{
"text": "WAL. ",
"font": "serif",
"width": 5.232,
"textWidth": 4.765
},
{
"text": "During ",
"font": "serif",
"width": 6.449,
"textWidth": 5.984
},
{
"text": "preemption, ",
"font": "serif",
"width": 10.593,
"textWidth": 10.124
},
{
"text": "we ",
"font": "serif",
"width": 2.92,
"textWidth": 2.454
},
{
"text": "pause ",
"font": "serif",
"width": 5.34,
"textWidth": 4.873
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "inference ",
"font": "serif",
"width": 8.03,
"textWidth": 7.563
},
{
"text": "engine ",
"font": "serif",
"width": 6.017,
"textWidth": 5.55
},
{
"text": "and ",
"font": "serif",
"width": 3.632,
"textWidth": 3.165
},
{
"text": "save ",
"font": "serif",
"width": 4.144,
"textWidth": 3.679
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "KV ",
"font": "serif",
"width": 3.174,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.045,
"textWidth": 4.578
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "34 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"35": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "unfinished ",
"font": "serif",
"width": 9.472,
"textWidth": 8.896
},
{
"text": "requests. ",
"font": "serif",
"width": 8.255,
"textWidth": 7.333
},
{
"text": "Upon ",
"font": "serif",
"width": 5.264,
"textWidth": 4.686
},
{
"text": "resumption, ",
"font": "serif",
"width": 10.629,
"textWidth": 10.023
},
{
"text": "we ",
"font": "serif",
"width": 3.03,
"textWidth": 2.454
},
{
"text": "use ",
"font": "serif",
"width": 3.393,
"textWidth": 2.815
},
{
"text": "the ",
"font": "serif",
"width": 3.168,
"textWidth": 2.593
},
{
"text": "persisted ",
"font": "serif",
"width": 8.109,
"textWidth": 7.533
},
{
"text": "WALs ",
"font": "serif",
"width": 5.666,
"textWidth": 5.09
},
{
"text": "and ",
"font": "serif",
"width": 3.742,
"textWidth": 3.165
},
{
"text": "saved ",
"font": "serif",
"width": 5.397,
"textWidth": 4.821
},
{
"text": "KV ",
"font": "serif",
"width": 3.282,
"textWidth": 2.707
},
{
"text": "cache ",
"font": "serif",
"width": 5.155,
"textWidth": 4.578
},
{
"text": "to ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "continue ",
"font": "serif",
"width": 7.673,
"textWidth": 7.202
},
{
"text": "decoding. ",
"font": "serif",
"width": 8.772,
"textWidth": 8.169
},
{
"text": "Even ",
"font": "serif",
"width": 4.653,
"textWidth": 4.182
},
{
"text": "when ",
"font": "serif",
"width": 5.099,
"textWidth": 4.63
},
{
"text": "a ",
"font": "serif",
"width": 1.406,
"textWidth": 0.935
},
{
"text": "fatal ",
"font": "serif",
"width": 4.114,
"textWidth": 3.645
},
{
"text": "hardware ",
"font": "serif",
"width": 8.436,
"textWidth": 7.965
},
{
"text": "error ",
"font": "serif",
"width": 4.568,
"textWidth": 4.097
},
{
"text": "occurs, ",
"font": "serif",
"width": 6.279,
"textWidth": 5.806
},
{
"text": "we ",
"font": "serif",
"width": 2.924,
"textWidth": 2.454
},
{
"text": "can ",
"font": "serif",
"width": 3.324,
"textWidth": 2.852
},
{
"text": "re-run ",
"font": "serif",
"width": 5.632,
"textWidth": 5.163
},
{
"text": "the ",
"font": "serif",
"width": 3.064,
"textWidth": 2.593
},
{
"text": "prefill ",
"font": "serif",
"width": 5.413,
"textWidth": 4.942
},
{
"text": "phase ",
"font": "serif",
"width": 4.834,
"textWidth": 4.834
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 50.947,
"height": 1.296,
"words": [
{
"text": "using ",
"font": "serif",
"width": 4.959,
"textWidth": 4.501
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "persisted ",
"font": "serif",
"width": 7.844,
"textWidth": 7.385
},
{
"text": "tokens ",
"font": "serif",
"width": 5.797,
"textWidth": 5.338
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "WAL ",
"font": "serif",
"width": 4.668,
"textWidth": 4.21
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "reconstruct ",
"font": "serif",
"width": 9.508,
"textWidth": 9.049
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "KV ",
"font": "serif",
"width": 3.112,
"textWidth": 2.654
},
{
"text": "cache. ",
"font": "serif",
"width": 4.946,
"textWidth": 4.946
}
]
},
{
"left": 14.75,
"top": 16.105,
"width": 73.574,
"height": 1.296,
"words": [
{
"text": "Importantly, ",
"font": "serif",
"width": 10.679,
"textWidth": 10.221
},
{
"text": "it ",
"font": "serif",
"width": 1.61,
"textWidth": 1.15
},
{
"text": "is ",
"font": "serif",
"width": 1.791,
"textWidth": 1.333
},
{
"text": "mathematically ",
"font": "serif",
"width": 13.231,
"textWidth": 12.771
},
{
"text": "incorrect ",
"font": "serif",
"width": 7.697,
"textWidth": 7.239
},
{
"text": "to ",
"font": "serif",
"width": 2.086,
"textWidth": 1.625
},
{
"text": "regenerate ",
"font": "serif",
"width": 9.129,
"textWidth": 8.67
},
{
"text": "unfinished ",
"font": "serif",
"width": 9.33,
"textWidth": 8.87
},
{
"text": "requests ",
"font": "serif",
"width": 7.302,
"textWidth": 6.844
},
{
"text": "from ",
"font": "serif",
"width": 4.447,
"textWidth": 3.988
},
{
"text": "scratch, ",
"font": "serif",
"width": 6.272,
"textWidth": 6.272
}
]
},
{
"left": 11.905,
"top": 17.715,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "as ",
"font": "serif",
"width": 2.223,
"textWidth": 1.727
},
{
"text": "this ",
"font": "serif",
"width": 3.527,
"textWidth": 3.034
},
{
"text": "introduces ",
"font": "serif",
"width": 9.249,
"textWidth": 8.756
},
{
"text": "length ",
"font": "serif",
"width": 5.759,
"textWidth": 5.264
},
{
"text": "bias. ",
"font": "serif",
"width": 4.449,
"textWidth": 3.772
},
{
"text": "Because ",
"font": "serif",
"width": 7.113,
"textWidth": 6.617
},
{
"text": "shorter ",
"font": "serif",
"width": 6.378,
"textWidth": 5.883
},
{
"text": "responses ",
"font": "serif",
"width": 8.6,
"textWidth": 8.105
},
{
"text": "are ",
"font": "serif",
"width": 3.03,
"textWidth": 2.535
},
{
"text": "more ",
"font": "serif",
"width": 4.765,
"textWidth": 4.271
},
{
"text": "likely ",
"font": "serif",
"width": 5.101,
"textWidth": 4.606
},
{
"text": "to ",
"font": "serif",
"width": 2.125,
"textWidth": 1.63
},
{
"text": "survive ",
"font": "serif",
"width": 6.703,
"textWidth": 6.21
},
{
"text": "interrup- ",
"font": "serif",
"width": 7.471,
"textWidth": 7.471
}
]
},
{
"left": 11.905,
"top": 19.324,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tion, ",
"font": "serif",
"width": 4.183,
"textWidth": 3.726
},
{
"text": "regenerating ",
"font": "serif",
"width": 10.917,
"textWidth": 10.461
},
{
"text": "from ",
"font": "serif",
"width": 4.452,
"textWidth": 3.996
},
{
"text": "scratch ",
"font": "serif",
"width": 6.275,
"textWidth": 5.817
},
{
"text": "makes ",
"font": "serif",
"width": 5.763,
"textWidth": 5.307
},
{
"text": "the ",
"font": "serif",
"width": 3.048,
"textWidth": 2.59
},
{
"text": "model ",
"font": "serif",
"width": 5.703,
"textWidth": 5.247
},
{
"text": "more ",
"font": "serif",
"width": 4.725,
"textWidth": 4.269
},
{
"text": "prone ",
"font": "serif",
"width": 5.285,
"textWidth": 4.827
},
{
"text": "to ",
"font": "serif",
"width": 2.084,
"textWidth": 1.628
},
{
"text": "producing ",
"font": "serif",
"width": 9.068,
"textWidth": 8.613
},
{
"text": "shorter ",
"font": "serif",
"width": 6.334,
"textWidth": 5.877
},
{
"text": "sequences ",
"font": "serif",
"width": 8.355,
"textWidth": 8.355
}
]
},
{
"left": 11.828,
"top": 20.933,
"width": 76.496,
"height": 1.296,
"words": [
{
"text": "whenever ",
"font": "serif",
"width": 8.756,
"textWidth": 8.215
},
{
"text": "an ",
"font": "serif",
"width": 2.563,
"textWidth": 2.023
},
{
"text": "interruption ",
"font": "serif",
"width": 10.653,
"textWidth": 10.111
},
{
"text": "occurs. ",
"font": "serif",
"width": 6.621,
"textWidth": 5.806
},
{
"text": "If ",
"font": "serif",
"width": 1.793,
"textWidth": 1.252
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "inference ",
"font": "serif",
"width": 8.105,
"textWidth": 7.565
},
{
"text": "stack ",
"font": "serif",
"width": 4.746,
"textWidth": 4.206
},
{
"text": "is ",
"font": "serif",
"width": 1.877,
"textWidth": 1.337
},
{
"text": "batch-invariant ",
"font": "serif",
"width": 13.195,
"textWidth": 12.655
},
{
"text": "and ",
"font": "serif",
"width": 3.705,
"textWidth": 3.165
},
{
"text": "deterministic, ",
"font": "serif",
"width": 11.35,
"textWidth": 11.35
}
]
},
{
"left": 11.905,
"top": 22.543,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "this ",
"font": "serif",
"width": 3.55,
"textWidth": 3.034
},
{
"text": "correctness ",
"font": "serif",
"width": 9.715,
"textWidth": 9.199
},
{
"text": "issue ",
"font": "serif",
"width": 4.668,
"textWidth": 4.152
},
{
"text": "could ",
"font": "serif",
"width": 5.182,
"textWidth": 4.664
},
{
"text": "also ",
"font": "serif",
"width": 3.808,
"textWidth": 3.292
},
{
"text": "be ",
"font": "serif",
"width": 2.445,
"textWidth": 1.929
},
{
"text": "addressed ",
"font": "serif",
"width": 8.959,
"textWidth": 8.443
},
{
"text": "by ",
"font": "serif",
"width": 2.589,
"textWidth": 2.073
},
{
"text": "regenerating ",
"font": "serif",
"width": 10.989,
"textWidth": 10.473
},
{
"text": "with ",
"font": "serif",
"width": 4.316,
"textWidth": 3.8
},
{
"text": "a ",
"font": "serif",
"width": 1.452,
"textWidth": 0.935
},
{
"text": "consistent ",
"font": "serif",
"width": 8.786,
"textWidth": 8.27
},
{
"text": "seed ",
"font": "serif",
"width": 4.241,
"textWidth": 3.725
},
{
"text": "for ",
"font": "serif",
"width": 2.899,
"textWidth": 2.381
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.85,
"top": 24.152,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "pseudorandom ",
"font": "serif",
"width": 12.9,
"textWidth": 12.439
},
{
"text": "number ",
"font": "serif",
"width": 6.872,
"textWidth": 6.411
},
{
"text": "generator ",
"font": "serif",
"width": 8.272,
"textWidth": 7.811
},
{
"text": "used ",
"font": "serif",
"width": 4.344,
"textWidth": 3.884
},
{
"text": "in ",
"font": "serif",
"width": 2.062,
"textWidth": 1.601
},
{
"text": "the ",
"font": "serif",
"width": 3.005,
"textWidth": 2.544
},
{
"text": "sampler. ",
"font": "serif",
"width": 7.452,
"textWidth": 6.877
},
{
"text": "However, ",
"font": "serif",
"width": 8.36,
"textWidth": 7.899
},
{
"text": "this ",
"font": "serif",
"width": 3.438,
"textWidth": 2.977
},
{
"text": "approach ",
"font": "serif",
"width": 8.075,
"textWidth": 7.615
},
{
"text": "still ",
"font": "serif",
"width": 3.438,
"textWidth": 2.977
},
{
"text": "incurs ",
"font": "serif",
"width": 5.485,
"textWidth": 5.025
},
{
"text": "the ",
"font": "serif",
"width": 2.544,
"textWidth": 2.544
}
]
},
{
"left": 11.905,
"top": 25.761,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "extra ",
"font": "serif",
"width": 4.479,
"textWidth": 4.02
},
{
"text": "cost ",
"font": "serif",
"width": 3.614,
"textWidth": 3.157
},
{
"text": "of ",
"font": "serif",
"width": 2.054,
"textWidth": 1.595
},
{
"text": "re-running ",
"font": "serif",
"width": 9.115,
"textWidth": 8.656
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.516
},
{
"text": "decoding ",
"font": "serif",
"width": 7.934,
"textWidth": 7.475
},
{
"text": "phase, ",
"font": "serif",
"width": 5.603,
"textWidth": 5.145
},
{
"text": "making ",
"font": "serif",
"width": 6.57,
"textWidth": 6.111
},
{
"text": "it ",
"font": "serif",
"width": 1.577,
"textWidth": 1.119
},
{
"text": "far ",
"font": "serif",
"width": 2.687,
"textWidth": 2.228
},
{
"text": "less ",
"font": "serif",
"width": 3.395,
"textWidth": 2.936
},
{
"text": "efficient ",
"font": "serif",
"width": 6.845,
"textWidth": 6.386
},
{
"text": "than ",
"font": "serif",
"width": 4.069,
"textWidth": 3.61
},
{
"text": "our ",
"font": "serif",
"width": 3.258,
"textWidth": 2.801
},
{
"text": "token-granular ",
"font": "serif",
"width": 12.054,
"textWidth": 12.054
}
]
},
{
"left": 11.813,
"top": 27.371,
"width": 11.406,
"height": 1.296,
"words": [
{
"text": "WAL ",
"font": "serif",
"width": 4.668,
"textWidth": 4.21
},
{
"text": "method. ",
"font": "serif",
"width": 6.739,
"textWidth": 6.739
}
]
},
{
"left": 11.905,
"top": 30.967,
"width": 45.649,
"height": 1.296,
"words": [
{
"text": "5.2.4. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Scaling ",
"font": "serif-bold-italic",
"width": 6.465,
"textWidth": 6.007
},
{
"text": "RL ",
"font": "serif-bold-italic",
"width": 2.901,
"textWidth": 2.443
},
{
"text": "Framework ",
"font": "serif-bold-italic",
"width": 9.826,
"textWidth": 9.368
},
{
"text": "for ",
"font": "serif-bold-italic",
"width": 2.8,
"textWidth": 2.342
},
{
"text": "Million-Token ",
"font": "serif-bold-italic",
"width": 12.167,
"textWidth": 11.709
},
{
"text": "Context ",
"font": "serif-bold-italic",
"width": 6.449,
"textWidth": 6.449
}
]
},
{
"left": 11.813,
"top": 33.651,
"width": 76.602,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.239,
"textWidth": 2.596
},
{
"text": "introduce ",
"font": "serif",
"width": 8.606,
"textWidth": 7.963
},
{
"text": "targeted ",
"font": "serif",
"width": 7.475,
"textWidth": 6.832
},
{
"text": "optimizations ",
"font": "serif",
"width": 12.06,
"textWidth": 11.416
},
{
"text": "for ",
"font": "serif",
"width": 3.026,
"textWidth": 2.381
},
{
"text": "efficient ",
"font": "serif",
"width": 7.225,
"textWidth": 6.582
},
{
"text": "RL ",
"font": "serif",
"width": 3.036,
"textWidth": 2.391
},
{
"text": "and ",
"font": "serif",
"width": 3.808,
"textWidth": 3.165
},
{
"text": "OPD ",
"font": "serif",
"width": 4.69,
"textWidth": 4.045
},
{
"text": "on ",
"font": "serif",
"width": 2.753,
"textWidth": 2.109
},
{
"text": "million-token ",
"font": "serif",
"width": 11.853,
"textWidth": 11.21
},
{
"text": "sequences. ",
"font": "serif",
"width": 8.83,
"textWidth": 8.83
}
]
},
{
"left": 11.905,
"top": 35.26,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "During ",
"font": "serif",
"width": 6.305,
"textWidth": 5.849
},
{
"text": "the ",
"font": "serif",
"width": 2.991,
"textWidth": 2.534
},
{
"text": "rollout ",
"font": "serif",
"width": 5.9,
"textWidth": 5.443
},
{
"text": "phase, ",
"font": "serif",
"width": 5.638,
"textWidth": 5.182
},
{
"text": "we ",
"font": "serif",
"width": 2.856,
"textWidth": 2.399
},
{
"text": "adopt ",
"font": "serif",
"width": 5.178,
"textWidth": 4.721
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.914
},
{
"text": "preemptible ",
"font": "serif",
"width": 10.25,
"textWidth": 9.793
},
{
"text": "and ",
"font": "serif",
"width": 3.55,
"textWidth": 3.093
},
{
"text": "fault-tolerant ",
"font": "serif",
"width": 11.111,
"textWidth": 10.654
},
{
"text": "rollout ",
"font": "serif",
"width": 5.9,
"textWidth": 5.443
},
{
"text": "service, ",
"font": "serif",
"width": 6.536,
"textWidth": 6.079
},
{
"text": "detailed ",
"font": "serif",
"width": 7.012,
"textWidth": 6.556
},
{
"text": "in ",
"font": "serif",
"width": 1.595,
"textWidth": 1.595
}
]
},
{
"left": 11.905,
"top": 36.87,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Section ",
"font": "serif",
"width": 6.346,
"textWidth": 5.887
},
{
"text": "5.2.3. ",
"font": "serif",
"width": 4.718,
"textWidth": 4.148
},
{
"text": "For ",
"font": "serif",
"width": 3.219,
"textWidth": 2.76
},
{
"text": "the ",
"font": "serif",
"width": 3.016,
"textWidth": 2.557
},
{
"text": "inference ",
"font": "serif",
"width": 7.916,
"textWidth": 7.459
},
{
"text": "and ",
"font": "serif",
"width": 3.58,
"textWidth": 3.121
},
{
"text": "training ",
"font": "serif",
"width": 6.954,
"textWidth": 6.495
},
{
"text": "phase, ",
"font": "serif",
"width": 5.688,
"textWidth": 5.228
},
{
"text": "we ",
"font": "serif",
"width": 2.88,
"textWidth": 2.421
},
{
"text": "decompose ",
"font": "serif",
"width": 9.701,
"textWidth": 9.242
},
{
"text": "the ",
"font": "serif",
"width": 3.014,
"textWidth": 2.557
},
{
"text": "rollout ",
"font": "serif",
"width": 5.953,
"textWidth": 5.494
},
{
"text": "data ",
"font": "serif",
"width": 4.03,
"textWidth": 3.571
},
{
"text": "format ",
"font": "serif",
"width": 5.959,
"textWidth": 5.499
},
{
"text": "into ",
"font": "serif",
"width": 3.217,
"textWidth": 3.217
}
]
},
{
"left": 11.905,
"top": 38.479,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "lightweight ",
"font": "serif",
"width": 9.639,
"textWidth": 9.185
},
{
"text": "metadata ",
"font": "serif",
"width": 7.863,
"textWidth": 7.408
},
{
"text": "and ",
"font": "serif",
"width": 3.497,
"textWidth": 3.041
},
{
"text": "heavy ",
"font": "serif",
"width": 5.271,
"textWidth": 4.817
},
{
"text": "per-token ",
"font": "serif",
"width": 8.139,
"textWidth": 7.685
},
{
"text": "fields. ",
"font": "serif",
"width": 5.343,
"textWidth": 4.777
},
{
"text": "During ",
"font": "serif",
"width": 6.205,
"textWidth": 5.749
},
{
"text": "data ",
"font": "serif",
"width": 3.933,
"textWidth": 3.479
},
{
"text": "dispatching, ",
"font": "serif",
"width": 10.259,
"textWidth": 9.802
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.491
},
{
"text": "metadata ",
"font": "serif",
"width": 7.863,
"textWidth": 7.408
},
{
"text": "for ",
"font": "serif",
"width": 2.742,
"textWidth": 2.288
},
{
"text": "the ",
"font": "serif",
"width": 2.491,
"textWidth": 2.491
}
]
},
{
"left": 11.905,
"top": 40.089,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "entire ",
"font": "serif",
"width": 5.139,
"textWidth": 4.681
},
{
"text": "rollout ",
"font": "serif",
"width": 5.965,
"textWidth": 5.505
},
{
"text": "data ",
"font": "serif",
"width": 4.036,
"textWidth": 3.578
},
{
"text": "can ",
"font": "serif",
"width": 3.277,
"textWidth": 2.819
},
{
"text": "be ",
"font": "serif",
"width": 2.365,
"textWidth": 1.906
},
{
"text": "loaded ",
"font": "serif",
"width": 6.07,
"textWidth": 5.612
},
{
"text": "to ",
"font": "serif",
"width": 2.071,
"textWidth": 1.611
},
{
"text": "perform ",
"font": "serif",
"width": 7.167,
"textWidth": 6.707
},
{
"text": "global ",
"font": "serif",
"width": 5.514,
"textWidth": 5.056
},
{
"text": "shuffling ",
"font": "serif",
"width": 7.775,
"textWidth": 7.317
},
{
"text": "and ",
"font": "serif",
"width": 3.586,
"textWidth": 3.127
},
{
"text": "packing ",
"font": "serif",
"width": 6.979,
"textWidth": 6.521
},
{
"text": "layout ",
"font": "serif",
"width": 5.673,
"textWidth": 5.213
},
{
"text": "computation. ",
"font": "serif",
"width": 10.893,
"textWidth": 10.893
}
]
},
{
"left": 11.905,
"top": 41.698,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Heavy ",
"font": "serif",
"width": 6.017,
"textWidth": 5.481
},
{
"text": "per-token ",
"font": "serif",
"width": 8.535,
"textWidth": 7.999
},
{
"text": "fields ",
"font": "serif",
"width": 5.041,
"textWidth": 4.505
},
{
"text": "are ",
"font": "serif",
"width": 3.071,
"textWidth": 2.535
},
{
"text": "loaded ",
"font": "serif",
"width": 6.215,
"textWidth": 5.679
},
{
"text": "via ",
"font": "serif",
"width": 3.071,
"textWidth": 2.535
},
{
"text": "a ",
"font": "serif",
"width": 1.469,
"textWidth": 0.935
},
{
"text": "shared-memory ",
"font": "serif",
"width": 13.711,
"textWidth": 13.176
},
{
"text": "data ",
"font": "serif",
"width": 4.157,
"textWidth": 3.621
},
{
"text": "loader ",
"font": "serif",
"width": 5.812,
"textWidth": 5.275
},
{
"text": "to ",
"font": "serif",
"width": 2.166,
"textWidth": 1.63
},
{
"text": "eliminate ",
"font": "serif",
"width": 8.242,
"textWidth": 7.705
},
{
"text": "intra-node ",
"font": "serif",
"width": 8.683,
"textWidth": 8.683
}
]
},
{
"left": 11.905,
"top": 43.307,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "data ",
"font": "serif",
"width": 3.921,
"textWidth": 3.479
},
{
"text": "redundancy ",
"font": "serif",
"width": 10.039,
"textWidth": 9.598
},
{
"text": "and ",
"font": "serif",
"width": 3.481,
"textWidth": 3.041
},
{
"text": "are ",
"font": "serif",
"width": 2.877,
"textWidth": 2.435
},
{
"text": "released ",
"font": "serif",
"width": 6.977,
"textWidth": 6.535
},
{
"text": "immediately ",
"font": "serif",
"width": 10.479,
"textWidth": 10.039
},
{
"text": "upon ",
"font": "serif",
"width": 4.63,
"textWidth": 4.188
},
{
"text": "consumption ",
"font": "serif",
"width": 10.907,
"textWidth": 10.467
},
{
"text": "at ",
"font": "serif",
"width": 1.925,
"textWidth": 1.483
},
{
"text": "the ",
"font": "serif",
"width": 2.933,
"textWidth": 2.491
},
{
"text": "mini-batch ",
"font": "serif",
"width": 9.034,
"textWidth": 8.594
},
{
"text": "granularity, ",
"font": "serif",
"width": 9.217,
"textWidth": 9.217
}
]
},
{
"left": 11.905,
"top": 44.917,
"width": 76.496,
"height": 1.296,
"words": [
{
"text": "substantially ",
"font": "serif",
"width": 11.011,
"textWidth": 10.552
},
{
"text": "reducing ",
"font": "serif",
"width": 7.802,
"textWidth": 7.342
},
{
"text": "both ",
"font": "serif",
"width": 4.197,
"textWidth": 3.737
},
{
"text": "CPU ",
"font": "serif",
"width": 4.353,
"textWidth": 3.893
},
{
"text": "and ",
"font": "serif",
"width": 3.61,
"textWidth": 3.152
},
{
"text": "GPU ",
"font": "serif",
"width": 4.454,
"textWidth": 3.994
},
{
"text": "memory ",
"font": "serif",
"width": 7.427,
"textWidth": 6.967
},
{
"text": "pressure. ",
"font": "serif",
"width": 8.047,
"textWidth": 7.476
},
{
"text": "The ",
"font": "serif",
"width": 3.577,
"textWidth": 3.117
},
{
"text": "number ",
"font": "serif",
"width": 6.967,
"textWidth": 6.507
},
{
"text": "of ",
"font": "serif",
"width": 2.097,
"textWidth": 1.637
},
{
"text": "on-device ",
"font": "serif",
"width": 8.522,
"textWidth": 8.062
},
{
"text": "mini- ",
"font": "serif",
"width": 4.431,
"textWidth": 4.431
}
]
},
{
"left": 11.905,
"top": 46.526,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "batches ",
"font": "serif",
"width": 6.501,
"textWidth": 6.044
},
{
"text": "is ",
"font": "serif",
"width": 1.763,
"textWidth": 1.306
},
{
"text": "dynamically ",
"font": "serif",
"width": 10.513,
"textWidth": 10.058
},
{
"text": "determined ",
"font": "serif",
"width": 9.841,
"textWidth": 9.384
},
{
"text": "based ",
"font": "serif",
"width": 5.147,
"textWidth": 4.69
},
{
"text": "on ",
"font": "serif",
"width": 2.518,
"textWidth": 2.061
},
{
"text": "workload, ",
"font": "serif",
"width": 8.732,
"textWidth": 8.275
},
{
"text": "allowing ",
"font": "serif",
"width": 7.566,
"textWidth": 7.109
},
{
"text": "an ",
"font": "serif",
"width": 2.432,
"textWidth": 1.977
},
{
"text": "efficient ",
"font": "serif",
"width": 6.89,
"textWidth": 6.433
},
{
"text": "trade-off ",
"font": "serif",
"width": 7.469,
"textWidth": 7.012
},
{
"text": "between ",
"font": "serif",
"width": 6.819,
"textWidth": 6.819
}
]
},
{
"left": 11.905,
"top": 48.136,
"width": 35.901,
"height": 1.296,
"words": [
{
"text": "computational ",
"font": "serif",
"width": 12.258,
"textWidth": 11.8
},
{
"text": "throughput ",
"font": "serif",
"width": 9.808,
"textWidth": 9.35
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "I/O ",
"font": "serif",
"width": 3.627,
"textWidth": 3.169
},
{
"text": "overlap. ",
"font": "serif",
"width": 6.647,
"textWidth": 6.647
}
]
},
{
"left": 11.905,
"top": 51.731,
"width": 35.826,
"height": 1.296,
"words": [
{
"text": "5.2.5. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Sandbox ",
"font": "serif-bold-italic",
"width": 7.453,
"textWidth": 6.995
},
{
"text": "Infrastructure ",
"font": "serif-bold-italic",
"width": 11.83,
"textWidth": 11.371
},
{
"text": "for ",
"font": "serif-bold-italic",
"width": 2.8,
"textWidth": 2.342
},
{
"text": "Agentic ",
"font": "serif-bold-italic",
"width": 6.667,
"textWidth": 6.209
},
{
"text": "AI ",
"font": "serif-bold-italic",
"width": 2.036,
"textWidth": 2.036
}
]
},
{
"left": 11.848,
"top": 54.416,
"width": 76.477,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.638,
"textWidth": 1.998
},
{
"text": "meet ",
"font": "serif",
"width": 4.688,
"textWidth": 4.051
},
{
"text": "the ",
"font": "serif",
"width": 3.232,
"textWidth": 2.593
},
{
"text": "diverse ",
"font": "serif",
"width": 6.703,
"textWidth": 6.064
},
{
"text": "execution ",
"font": "serif",
"width": 8.614,
"textWidth": 7.974
},
{
"text": "demands ",
"font": "serif",
"width": 8.283,
"textWidth": 7.643
},
{
"text": "of ",
"font": "serif",
"width": 2.282,
"textWidth": 1.643
},
{
"text": "agentic ",
"font": "serif",
"width": 6.58,
"textWidth": 5.941
},
{
"text": "AI ",
"font": "serif",
"width": 2.722,
"textWidth": 2.084
},
{
"text": "during ",
"font": "serif",
"width": 6.318,
"textWidth": 5.679
},
{
"text": "post-training ",
"font": "serif",
"width": 11.393,
"textWidth": 10.754
},
{
"text": "and ",
"font": "serif",
"width": 3.804,
"textWidth": 3.165
},
{
"text": "evaluation, ",
"font": "serif",
"width": 9.221,
"textWidth": 9.221
}
]
},
{
"left": 11.828,
"top": 56.025,
"width": 40.148,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 3.075,
"textWidth": 2.454
},
{
"text": "build ",
"font": "serif",
"width": 5.01,
"textWidth": 4.389
},
{
"text": "a ",
"font": "serif",
"width": 1.555,
"textWidth": 0.935
},
{
"text": "production-grade ",
"font": "serif",
"width": 15.201,
"textWidth": 14.582
},
{
"text": "sandbox ",
"font": "serif",
"width": 7.597,
"textWidth": 6.976
},
{
"text": "platform, ",
"font": "serif",
"width": 7.711,
"textWidth": 7.711
}
]
},
{
"left": 52.636,
"top": 56.004,
"width": 29.787,
"height": 1.296,
"words": [
{
"text": "DeepSeek ",
"font": "serif-bold",
"width": 9.343,
"textWidth": 8.722
},
{
"text": "Elastic ",
"font": "serif-bold",
"width": 6.223,
"textWidth": 5.604
},
{
"text": "Compute ",
"font": "serif-bold",
"width": 8.513,
"textWidth": 7.892
},
{
"text": "(DSec) ",
"font": "serif-bold",
"width": 5.709,
"textWidth": 5.709
}
]
},
{
"left": 83.942,
"top": 56.025,
"width": 4.154,
"height": 1.296,
"words": [
{
"text": "DSec ",
"font": "serif",
"width": 4.154,
"textWidth": 4.154
}
]
},
{
"left": 11.905,
"top": 57.635,
"width": 42.809,
"height": 1.296,
"words": [
{
"text": "comprises ",
"font": "serif",
"width": 8.527,
"textWidth": 8.067
},
{
"text": "three ",
"font": "serif",
"width": 4.491,
"textWidth": 4.031
},
{
"text": "Rust ",
"font": "serif",
"width": 4.094,
"textWidth": 3.633
},
{
"text": "components ",
"font": "serif",
"width": 12.45,
"textWidth": 9.731
},
{
"text": "the ",
"font": "serif",
"width": 2.954,
"textWidth": 2.494
},
{
"text": "API ",
"font": "serif",
"width": 3.551,
"textWidth": 3.09
},
{
"text": "gateway ",
"font": "serif",
"width": 6.744,
"textWidth": 6.744
}
]
},
{
"left": 55.772,
"top": 57.456,
"width": 9.525,
"height": 1.425,
"words": [
{
"text": "Apiserver ",
"font": "mono",
"width": 9.525,
"textWidth": 9.525
}
]
},
{
"left": 66.805,
"top": 57.635,
"width": 11.447,
"height": 1.296,
"words": [
{
"text": "per-host ",
"font": "serif",
"width": 7.055,
"textWidth": 6.594
},
{
"text": "agent ",
"font": "serif",
"width": 4.392,
"textWidth": 4.392
}
]
},
{
"left": 79.31,
"top": 57.456,
"width": 4.233,
"height": 1.425,
"words": [
{
"text": "Edge ",
"font": "mono",
"width": 4.233,
"textWidth": 4.233
}
]
},
{
"left": 85.051,
"top": 57.635,
"width": 3.044,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.044,
"textWidth": 3.044
}
]
},
{
"left": 11.905,
"top": 59.244,
"width": 15.64,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.036,
"textWidth": 2.58
},
{
"text": "cluster ",
"font": "serif",
"width": 5.965,
"textWidth": 5.51
},
{
"text": "monitor ",
"font": "serif",
"width": 6.639,
"textWidth": 6.639
}
]
},
{
"left": 28.62,
"top": 59.065,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": "Watcher ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 39.419,
"top": 59.244,
"width": 48.677,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.681,
"textWidth": 3.225
},
{
"text": "are ",
"font": "serif",
"width": 2.98,
"textWidth": 2.524
},
{
"text": "interconnected ",
"font": "serif",
"width": 12.636,
"textWidth": 12.18
},
{
"text": "by ",
"font": "serif",
"width": 2.519,
"textWidth": 2.063
},
{
"text": "a ",
"font": "serif",
"width": 1.386,
"textWidth": 0.93
},
{
"text": "custom ",
"font": "serif",
"width": 6.456,
"textWidth": 6.001
},
{
"text": "RPC ",
"font": "serif",
"width": 4.141,
"textWidth": 3.685
},
{
"text": "protocol ",
"font": "serif",
"width": 7.295,
"textWidth": 6.84
},
{
"text": "and ",
"font": "serif",
"width": 3.607,
"textWidth": 3.149
},
{
"text": "scale ",
"font": "serif",
"width": 3.977,
"textWidth": 3.977
}
]
},
{
"left": 11.905,
"top": 60.853,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "horizontally ",
"font": "serif",
"width": 10.574,
"textWidth": 10.105
},
{
"text": "atop ",
"font": "serif",
"width": 4.157,
"textWidth": 3.688
},
{
"text": "the ",
"font": "serif",
"width": 3.06,
"textWidth": 2.593
},
{
"text": "3FS ",
"font": "serif",
"width": 3.424,
"textWidth": 2.955
},
{
"text": "distributed ",
"font": "serif",
"width": 9.647,
"textWidth": 9.178
},
{
"text": "filesystem ",
"font": "serif",
"width": 8.819,
"textWidth": 8.35
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.436,
"textWidth": 11.969
},
{
"text": "2025). ",
"font": "serif",
"width": 5.428,
"textWidth": 4.828
},
{
"text": "In ",
"font": "serif",
"width": 2.187,
"textWidth": 1.718
},
{
"text": "production, ",
"font": "serif",
"width": 10.15,
"textWidth": 9.679
},
{
"text": "a ",
"font": "serif",
"width": 1.404,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 4.903,
"textWidth": 4.903
}
]
},
{
"left": 11.905,
"top": 62.463,
"width": 63.766,
"height": 1.296,
"words": [
{
"text": "DSec ",
"font": "serif",
"width": 4.53,
"textWidth": 4.072
},
{
"text": "cluster ",
"font": "serif",
"width": 5.886,
"textWidth": 5.428
},
{
"text": "manages ",
"font": "serif",
"width": 7.649,
"textWidth": 7.191
},
{
"text": "hundreds ",
"font": "serif",
"width": 8.282,
"textWidth": 7.823
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "thousands ",
"font": "serif",
"width": 8.885,
"textWidth": 8.426
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "concurrent ",
"font": "serif",
"width": 9.214,
"textWidth": 8.756
},
{
"text": "sandbox ",
"font": "serif",
"width": 7.297,
"textWidth": 6.839
},
{
"text": "instances. ",
"font": "serif",
"width": 7.884,
"textWidth": 7.884
}
]
},
{
"left": 14.75,
"top": 64.877,
"width": 73.417,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.712,
"textWidth": 3.129
},
{
"text": "design ",
"font": "serif",
"width": 6.086,
"textWidth": 5.501
},
{
"text": "of ",
"font": "serif",
"width": 2.226,
"textWidth": 1.643
},
{
"text": "DSec ",
"font": "serif",
"width": 4.739,
"textWidth": 4.154
},
{
"text": "is ",
"font": "serif",
"width": 1.92,
"textWidth": 1.337
},
{
"text": "motivated ",
"font": "serif",
"width": 9.045,
"textWidth": 8.462
},
{
"text": "by ",
"font": "serif",
"width": 2.658,
"textWidth": 2.073
},
{
"text": "four ",
"font": "serif",
"width": 4.092,
"textWidth": 3.509
},
{
"text": "observations: ",
"font": "serif",
"width": 11.814,
"textWidth": 10.993
},
{
"text": "(1) ",
"font": "serif",
"width": 2.763,
"textWidth": 2.18
},
{
"text": "agentic ",
"font": "serif",
"width": 6.526,
"textWidth": 5.941
},
{
"text": "workloads ",
"font": "serif",
"width": 9.374,
"textWidth": 8.791
},
{
"text": "are ",
"font": "serif",
"width": 3.12,
"textWidth": 2.535
},
{
"text": "highly ",
"font": "serif",
"width": 5.342,
"textWidth": 5.342
}
]
},
{
"left": 11.905,
"top": 66.486,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "heterogeneous, ",
"font": "serif",
"width": 12.702,
"textWidth": 12.244
},
{
"text": "spanning ",
"font": "serif",
"width": 7.975,
"textWidth": 7.517
},
{
"text": "lightweight ",
"font": "serif",
"width": 9.793,
"textWidth": 9.334
},
{
"text": "function ",
"font": "serif",
"width": 7.224,
"textWidth": 6.766
},
{
"text": "calls ",
"font": "serif",
"width": 4.017,
"textWidth": 3.559
},
{
"text": "to ",
"font": "serif",
"width": 2.05,
"textWidth": 1.592
},
{
"text": "full ",
"font": "serif",
"width": 3.229,
"textWidth": 2.771
},
{
"text": "software-engineering ",
"font": "serif",
"width": 17.66,
"textWidth": 17.201
},
{
"text": "pipelines ",
"font": "serif",
"width": 7.83,
"textWidth": 7.372
},
{
"text": "with ",
"font": "serif",
"width": 3.711,
"textWidth": 3.711
}
]
},
{
"left": 11.905,
"top": 68.095,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "diverse ",
"font": "serif",
"width": 6.234,
"textWidth": 5.826
},
{
"text": "OS ",
"font": "serif",
"width": 2.76,
"textWidth": 2.355
},
{
"text": "and ",
"font": "serif",
"width": 3.448,
"textWidth": 3.041
},
{
"text": "security ",
"font": "serif",
"width": 6.726,
"textWidth": 6.318
},
{
"text": "requirements; ",
"font": "serif",
"width": 11.395,
"textWidth": 10.972
},
{
"text": "(2) ",
"font": "serif",
"width": 2.502,
"textWidth": 2.094
},
{
"text": "environment ",
"font": "serif",
"width": 10.628,
"textWidth": 10.223
},
{
"text": "images ",
"font": "serif",
"width": 6.034,
"textWidth": 5.627
},
{
"text": "are ",
"font": "serif",
"width": 2.841,
"textWidth": 2.435
},
{
"text": "numerous ",
"font": "serif",
"width": 8.484,
"textWidth": 8.076
},
{
"text": "and ",
"font": "serif",
"width": 3.448,
"textWidth": 3.041
},
{
"text": "large, ",
"font": "serif",
"width": 4.822,
"textWidth": 4.404
},
{
"text": "yet ",
"font": "serif",
"width": 2.85,
"textWidth": 2.444
},
{
"text": "must ",
"font": "serif",
"width": 4.016,
"textWidth": 4.016
}
]
},
{
"left": 11.905,
"top": 69.705,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "load ",
"font": "serif",
"width": 3.868,
"textWidth": 3.499
},
{
"text": "quickly ",
"font": "serif",
"width": 6.298,
"textWidth": 5.928
},
{
"text": "and ",
"font": "serif",
"width": 3.411,
"textWidth": 3.041
},
{
"text": "support ",
"font": "serif",
"width": 6.649,
"textWidth": 6.279
},
{
"text": "iterative ",
"font": "serif",
"width": 6.931,
"textWidth": 6.559
},
{
"text": "customization; ",
"font": "serif",
"width": 12.094,
"textWidth": 11.693
},
{
"text": "(3) ",
"font": "serif",
"width": 2.464,
"textWidth": 2.094
},
{
"text": "high-density ",
"font": "serif",
"width": 10.451,
"textWidth": 10.081
},
{
"text": "deployment ",
"font": "serif",
"width": 9.986,
"textWidth": 9.616
},
{
"text": "demands ",
"font": "serif",
"width": 7.715,
"textWidth": 7.345
},
{
"text": "efficient ",
"font": "serif",
"width": 6.324,
"textWidth": 6.324
}
]
},
{
"left": 11.905,
"top": 71.314,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "CPU ",
"font": "serif",
"width": 4.288,
"textWidth": 3.828
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.1
},
{
"text": "memory ",
"font": "serif",
"width": 7.31,
"textWidth": 6.851
},
{
"text": "utilization; ",
"font": "serif",
"width": 9.244,
"textWidth": 8.782
},
{
"text": "(4) ",
"font": "serif",
"width": 2.596,
"textWidth": 2.135
},
{
"text": "sandbox ",
"font": "serif",
"width": 7.292,
"textWidth": 6.832
},
{
"text": "lifecycles ",
"font": "serif",
"width": 7.843,
"textWidth": 7.382
},
{
"text": "must ",
"font": "serif",
"width": 4.553,
"textWidth": 4.094
},
{
"text": "coordinate ",
"font": "serif",
"width": 9.068,
"textWidth": 8.608
},
{
"text": "with ",
"font": "serif",
"width": 4.183,
"textWidth": 3.722
},
{
"text": "GPU ",
"font": "serif",
"width": 4.387,
"textWidth": 3.927
},
{
"text": "training ",
"font": "serif",
"width": 6.911,
"textWidth": 6.45
},
{
"text": "sched- ",
"font": "serif",
"width": 5.26,
"textWidth": 5.26
}
]
},
{
"left": 11.905,
"top": 72.924,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "ules, ",
"font": "serif",
"width": 4.163,
"textWidth": 3.706
},
{
"text": "including ",
"font": "serif",
"width": 8.151,
"textWidth": 7.695
},
{
"text": "preemption ",
"font": "serif",
"width": 9.806,
"textWidth": 9.35
},
{
"text": "and ",
"font": "serif",
"width": 3.52,
"textWidth": 3.065
},
{
"text": "checkpoint-based ",
"font": "serif",
"width": 14.489,
"textWidth": 14.034
},
{
"text": "resumption. ",
"font": "serif",
"width": 10.275,
"textWidth": 9.709
},
{
"text": "Based ",
"font": "serif",
"width": 5.207,
"textWidth": 4.753
},
{
"text": "on ",
"font": "serif",
"width": 2.497,
"textWidth": 2.042
},
{
"text": "these ",
"font": "serif",
"width": 4.601,
"textWidth": 4.146
},
{
"text": "observations, ",
"font": "serif",
"width": 11.105,
"textWidth": 10.648
},
{
"text": "we ",
"font": "serif",
"width": 2.377,
"textWidth": 2.377
}
]
},
{
"left": 11.905,
"top": 74.533,
"width": 58.255,
"height": 1.296,
"words": [
{
"text": "elaborate ",
"font": "serif",
"width": 7.915,
"textWidth": 7.457
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "four ",
"font": "serif",
"width": 3.898,
"textWidth": 3.44
},
{
"text": "core ",
"font": "serif",
"width": 3.841,
"textWidth": 3.383
},
{
"text": "designs ",
"font": "serif",
"width": 6.629,
"textWidth": 6.17
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DSec ",
"font": "serif",
"width": 4.53,
"textWidth": 4.072
},
{
"text": "individually ",
"font": "serif",
"width": 10.506,
"textWidth": 10.048
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "following. ",
"font": "serif",
"width": 8.283,
"textWidth": 8.283
}
]
},
{
"left": 11.905,
"top": 78.739,
"width": 49.405,
"height": 1.296,
"words": [
{
"text": "Four ",
"font": "serif-bold",
"width": 4.576,
"textWidth": 3.948
},
{
"text": "Execution ",
"font": "serif-bold",
"width": 9.038,
"textWidth": 8.41
},
{
"text": "Substrates ",
"font": "serif-bold",
"width": 9.558,
"textWidth": 8.928
},
{
"text": "Behind ",
"font": "serif-bold",
"width": 6.858,
"textWidth": 6.23
},
{
"text": "One ",
"font": "serif-bold",
"width": 4.262,
"textWidth": 3.634
},
{
"text": "Unified ",
"font": "serif-bold",
"width": 7.066,
"textWidth": 6.438
},
{
"text": "Interface. ",
"font": "serif-bold",
"width": 8.047,
"textWidth": 8.047
}
]
},
{
"left": 63.132,
"top": 78.76,
"width": 24.964,
"height": 1.296,
"words": [
{
"text": "DSec ",
"font": "serif",
"width": 4.782,
"textWidth": 4.154
},
{
"text": "exposes ",
"font": "serif",
"width": 7.113,
"textWidth": 6.484
},
{
"text": "a ",
"font": "serif",
"width": 1.565,
"textWidth": 0.935
},
{
"text": "single ",
"font": "serif",
"width": 5.531,
"textWidth": 4.901
},
{
"text": "Python ",
"font": "serif",
"width": 5.974,
"textWidth": 5.974
}
]
},
{
"left": 11.905,
"top": 80.369,
"width": 3.785,
"height": 1.296,
"words": [
{
"text": "SDK ",
"font": "serif",
"width": 3.785,
"textWidth": 3.785
}
]
},
{
"left": 16.899,
"top": 80.191,
"width": 7.408,
"height": 1.425,
"words": [
{
"text": "libdsec ",
"font": "mono",
"width": 7.408,
"textWidth": 7.408
}
]
},
{
"left": 25.517,
"top": 80.369,
"width": 33.138,
"height": 1.296,
"words": [
{
"text": "that ",
"font": "serif",
"width": 3.828,
"textWidth": 3.241
},
{
"text": "abstracts ",
"font": "serif",
"width": 7.86,
"textWidth": 7.275
},
{
"text": "four ",
"font": "serif",
"width": 4.096,
"textWidth": 3.509
},
{
"text": "execution ",
"font": "serif",
"width": 8.561,
"textWidth": 7.974
},
{
"text": "substrates. ",
"font": "serif",
"width": 8.793,
"textWidth": 8.793
}
]
},
{
"left": 59.608,
"top": 80.348,
"width": 11.696,
"height": 1.296,
"words": [
{
"text": "Function ",
"font": "serif-bold",
"width": 8.167,
"textWidth": 7.58
},
{
"text": "Call ",
"font": "serif-bold",
"width": 3.529,
"textWidth": 3.529
}
]
},
{
"left": 71.891,
"top": 80.369,
"width": 16.205,
"height": 1.296,
"words": [
{
"text": "dispatches ",
"font": "serif",
"width": 9.339,
"textWidth": 8.752
},
{
"text": "stateless ",
"font": "serif",
"width": 6.866,
"textWidth": 6.866
}
]
},
{
"left": 11.905,
"top": 81.979,
"width": 61.498,
"height": 1.296,
"words": [
{
"text": "invocations ",
"font": "serif",
"width": 9.671,
"textWidth": 9.21
},
{
"text": "to ",
"font": "serif",
"width": 2.035,
"textWidth": 1.576
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.903
},
{
"text": "pre-warmed ",
"font": "serif",
"width": 10.383,
"textWidth": 9.924
},
{
"text": "container ",
"font": "serif",
"width": 7.951,
"textWidth": 7.49
},
{
"text": "pool, ",
"font": "serif",
"width": 4.498,
"textWidth": 4.037
},
{
"text": "eliminating ",
"font": "serif",
"width": 9.624,
"textWidth": 9.165
},
{
"text": "cold-start ",
"font": "serif",
"width": 8.043,
"textWidth": 7.582
},
{
"text": "overhead. ",
"font": "serif",
"width": 7.931,
"textWidth": 7.931
}
]
},
{
"left": 73.975,
"top": 81.958,
"width": 8.231,
"height": 1.296,
"words": [
{
"text": "Container ",
"font": "serif-bold",
"width": 8.231,
"textWidth": 8.231
}
]
},
{
"left": 82.667,
"top": 81.979,
"width": 5.5,
"height": 1.296,
"words": [
{
"text": "is ",
"font": "serif",
"width": 1.753,
"textWidth": 1.292
},
{
"text": "fully ",
"font": "serif",
"width": 3.748,
"textWidth": 3.748
}
]
},
{
"left": 11.905,
"top": 83.588,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Docker-compatible ",
"font": "serif",
"width": 16.334,
"textWidth": 15.745
},
{
"text": "and ",
"font": "serif",
"width": 3.752,
"textWidth": 3.165
},
{
"text": "leverages ",
"font": "serif",
"width": 8.38,
"textWidth": 7.791
},
{
"text": "EROFS ",
"font": "serif",
"width": 6.468,
"textWidth": 5.881
},
{
"text": "(Gao ",
"font": "serif",
"width": 4.593,
"textWidth": 4.004
},
{
"text": "et ",
"font": "serif",
"width": 2.092,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.002,
"textWidth": 2.413
},
{
"text": "2019) ",
"font": "serif",
"width": 4.948,
"textWidth": 4.361
},
{
"text": "on-demand ",
"font": "serif",
"width": 10.173,
"textWidth": 9.584
},
{
"text": "loading ",
"font": "serif",
"width": 6.899,
"textWidth": 6.313
},
{
"text": "for ",
"font": "serif",
"width": 2.97,
"textWidth": 2.381
},
{
"text": "efficient ",
"font": "serif",
"width": 6.582,
"textWidth": 6.582
}
]
},
{
"left": 11.905,
"top": 85.197,
"width": 12.904,
"height": 1.296,
"words": [
{
"text": "image ",
"font": "serif",
"width": 5.278,
"textWidth": 4.865
},
{
"text": "assembly. ",
"font": "serif",
"width": 7.626,
"textWidth": 7.626
}
]
},
{
"left": 25.362,
"top": 85.177,
"width": 7.882,
"height": 1.296,
"words": [
{
"text": "microVM ",
"font": "serif-bold",
"width": 7.882,
"textWidth": 7.882
}
]
},
{
"left": 34.106,
"top": 85.197,
"width": 54.026,
"height": 1.296,
"words": [
{
"text": "built ",
"font": "serif",
"width": 4.118,
"textWidth": 3.707
},
{
"text": "on ",
"font": "serif",
"width": 2.439,
"textWidth": 2.026
},
{
"text": "Firecracker ",
"font": "serif",
"width": 9.24,
"textWidth": 8.827
},
{
"text": "(Agache ",
"font": "serif",
"width": 7.006,
"textWidth": 6.595
},
{
"text": "et ",
"font": "serif",
"width": 1.859,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.73,
"textWidth": 2.319
},
{
"text": "2020), ",
"font": "serif",
"width": 5.061,
"textWidth": 4.639
},
{
"text": "adds ",
"font": "serif",
"width": 4.267,
"textWidth": 3.854
},
{
"text": "VM-level ",
"font": "serif",
"width": 7.785,
"textWidth": 7.374
},
{
"text": "isolation ",
"font": "serif",
"width": 7.232,
"textWidth": 6.819
},
{
"text": "for ",
"font": "serif",
"width": 2.288,
"textWidth": 2.288
}
]
},
{
"left": 11.905,
"top": 86.807,
"width": 36.305,
"height": 1.296,
"words": [
{
"text": "security-sensitive, ",
"font": "serif",
"width": 14.833,
"textWidth": 14.372
},
{
"text": "high-density ",
"font": "serif",
"width": 10.591,
"textWidth": 10.13
},
{
"text": "deployments. ",
"font": "serif",
"width": 10.881,
"textWidth": 10.881
}
]
},
{
"left": 48.78,
"top": 86.786,
"width": 6.217,
"height": 1.296,
"words": [
{
"text": "fullVM ",
"font": "serif-bold",
"width": 6.217,
"textWidth": 6.217
}
]
},
{
"left": 55.908,
"top": 86.807,
"width": 32.187,
"height": 1.296,
"words": [
{
"text": "built ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "on ",
"font": "serif",
"width": 2.496,
"textWidth": 2.036
},
{
"text": "QEMU ",
"font": "serif",
"width": 6.092,
"textWidth": 5.634
},
{
"text": "(Bellard, ",
"font": "serif",
"width": 7.215,
"textWidth": 6.757
},
{
"text": "2005), ",
"font": "serif",
"width": 5.123,
"textWidth": 4.663
},
{
"text": "supports ",
"font": "serif",
"width": 7.076,
"textWidth": 7.076
}
]
},
{
"left": 11.905,
"top": 88.416,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "arbitrary ",
"font": "serif",
"width": 7.48,
"textWidth": 7.024
},
{
"text": "guest ",
"font": "serif",
"width": 4.745,
"textWidth": 4.289
},
{
"text": "operating ",
"font": "serif",
"width": 8.136,
"textWidth": 7.68
},
{
"text": "systems. ",
"font": "serif",
"width": 7.331,
"textWidth": 6.764
},
{
"text": "All ",
"font": "serif",
"width": 2.899,
"textWidth": 2.443
},
{
"text": "four ",
"font": "serif",
"width": 3.827,
"textWidth": 3.371
},
{
"text": "share ",
"font": "serif",
"width": 4.698,
"textWidth": 4.242
},
{
"text": "a ",
"font": "serif",
"width": 1.354,
"textWidth": 0.898
},
{
"text": "common ",
"font": "serif",
"width": 7.432,
"textWidth": 6.976
},
{
"text": "API ",
"font": "serif",
"width": 3.545,
"textWidth": 3.087
},
{
"text": "surface ",
"font": "serif",
"width": 8.416,
"textWidth": 5.708
},
{
"text": "command ",
"font": "serif",
"width": 8.446,
"textWidth": 7.99
},
{
"text": "execution, ",
"font": "serif",
"width": 8.111,
"textWidth": 8.111
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "35 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"36": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "file ",
"font": "serif",
"width": 2.972,
"textWidth": 2.515
},
{
"text": "transfer, ",
"font": "serif",
"width": 7.062,
"textWidth": 6.602
},
{
"text": "and ",
"font": "serif",
"width": 3.554,
"textWidth": 3.096
},
{
"text": "TTY ",
"font": "serif",
"width": 3.921,
"textWidth": 3.462
},
{
"text": "access ",
"font": "serif",
"width": 7.711,
"textWidth": 4.966
},
{
"text": "and ",
"font": "serif",
"width": 3.554,
"textWidth": 3.096
},
{
"text": "switching ",
"font": "serif",
"width": 8.378,
"textWidth": 7.919
},
{
"text": "between ",
"font": "serif",
"width": 7.283,
"textWidth": 6.826
},
{
"text": "them ",
"font": "serif",
"width": 4.611,
"textWidth": 4.152
},
{
"text": "requires ",
"font": "serif",
"width": 7.023,
"textWidth": 6.564
},
{
"text": "only ",
"font": "serif",
"width": 4.069,
"textWidth": 3.612
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.914
},
{
"text": "parameter ",
"font": "serif",
"width": 8.794,
"textWidth": 8.336
},
{
"text": "change. ",
"font": "serif",
"width": 6.206,
"textWidth": 6.206
}
]
},
{
"left": 11.905,
"top": 14.678,
"width": 32.753,
"height": 1.296,
"words": [
{
"text": "Fast ",
"font": "serif-bold",
"width": 3.666,
"textWidth": 3.292
},
{
"text": "Image ",
"font": "serif-bold",
"width": 5.463,
"textWidth": 5.09
},
{
"text": "Loading ",
"font": "serif-bold",
"width": 7.159,
"textWidth": 6.785
},
{
"text": "via ",
"font": "serif-bold",
"width": 2.87,
"textWidth": 2.495
},
{
"text": "Layered ",
"font": "serif-bold",
"width": 6.959,
"textWidth": 6.586
},
{
"text": "Storage. ",
"font": "serif-bold",
"width": 6.636,
"textWidth": 6.636
}
]
},
{
"left": 46.479,
"top": 14.699,
"width": 41.616,
"height": 1.296,
"words": [
{
"text": "DSec ",
"font": "serif",
"width": 4.364,
"textWidth": 3.991
},
{
"text": "reconciles ",
"font": "serif",
"width": 8.199,
"textWidth": 7.825
},
{
"text": "fast ",
"font": "serif",
"width": 3.217,
"textWidth": 2.843
},
{
"text": "startup ",
"font": "serif",
"width": 6.076,
"textWidth": 5.702
},
{
"text": "with ",
"font": "serif",
"width": 4.027,
"textWidth": 3.651
},
{
"text": "a ",
"font": "serif",
"width": 1.272,
"textWidth": 0.898
},
{
"text": "large ",
"font": "serif",
"width": 4.33,
"textWidth": 3.955
},
{
"text": "and ",
"font": "serif",
"width": 3.414,
"textWidth": 3.041
},
{
"text": "growing ",
"font": "serif",
"width": 6.719,
"textWidth": 6.719
}
]
},
{
"left": 11.905,
"top": 16.309,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "corpus ",
"font": "serif",
"width": 5.79,
"textWidth": 5.411
},
{
"text": "of ",
"font": "serif",
"width": 1.959,
"textWidth": 1.579
},
{
"text": "environment ",
"font": "serif",
"width": 10.602,
"textWidth": 10.221
},
{
"text": "images ",
"font": "serif",
"width": 6.006,
"textWidth": 5.627
},
{
"text": "through ",
"font": "serif",
"width": 6.794,
"textWidth": 6.415
},
{
"text": "layered, ",
"font": "serif",
"width": 6.758,
"textWidth": 6.363
},
{
"text": "on-demand ",
"font": "serif",
"width": 9.589,
"textWidth": 9.208
},
{
"text": "loading. ",
"font": "serif",
"width": 7.055,
"textWidth": 6.514
},
{
"text": "For ",
"font": "serif",
"width": 3.069,
"textWidth": 2.689
},
{
"text": "containers, ",
"font": "serif",
"width": 9.05,
"textWidth": 8.655
},
{
"text": "base ",
"font": "serif",
"width": 3.892,
"textWidth": 3.513
},
{
"text": "images ",
"font": "serif",
"width": 5.627,
"textWidth": 5.627
}
]
},
{
"left": 11.905,
"top": 17.918,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.075
},
{
"text": "filesystem ",
"font": "serif",
"width": 8.568,
"textWidth": 8.113
},
{
"text": "commits ",
"font": "serif",
"width": 7.352,
"textWidth": 6.896
},
{
"text": "are ",
"font": "serif",
"width": 2.919,
"textWidth": 2.463
},
{
"text": "stored ",
"font": "serif",
"width": 5.474,
"textWidth": 5.018
},
{
"text": "as ",
"font": "serif",
"width": 2.134,
"textWidth": 1.678
},
{
"text": "3FS-backed ",
"font": "serif",
"width": 9.64,
"textWidth": 9.184
},
{
"text": "readonly ",
"font": "serif",
"width": 7.615,
"textWidth": 7.159
},
{
"text": "EROFS ",
"font": "serif",
"width": 6.169,
"textWidth": 5.714
},
{
"text": "layers ",
"font": "serif",
"width": 5.259,
"textWidth": 4.804
},
{
"text": "mounted ",
"font": "serif",
"width": 7.777,
"textWidth": 7.319
},
{
"text": "directly ",
"font": "serif",
"width": 6.583,
"textWidth": 6.128
},
{
"text": "into ",
"font": "serif",
"width": 3.169,
"textWidth": 3.169
}
]
},
{
"left": 11.905,
"top": 19.527,
"width": 6.228,
"height": 1.296,
"words": [
{
"text": "overlay ",
"font": "serif",
"width": 6.228,
"textWidth": 6.228
}
]
},
{
"left": 18.628,
"top": 19.349,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": "lowerdir ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 27.094,
"top": 19.527,
"width": 61.23,
"height": 1.296,
"words": [
{
"text": "s. ",
"font": "serif",
"width": 1.938,
"textWidth": 1.26
},
{
"text": "We ",
"font": "serif",
"width": 3.09,
"textWidth": 2.596
},
{
"text": "keep ",
"font": "serif",
"width": 4.449,
"textWidth": 3.953
},
{
"text": "file ",
"font": "serif",
"width": 3.066,
"textWidth": 2.57
},
{
"text": "metadata ",
"font": "serif",
"width": 8.204,
"textWidth": 7.711
},
{
"text": "readily ",
"font": "serif",
"width": 6.299,
"textWidth": 5.806
},
{
"text": "available ",
"font": "serif",
"width": 7.916,
"textWidth": 7.421
},
{
"text": "on ",
"font": "serif",
"width": 2.604,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.086,
"textWidth": 2.593
},
{
"text": "local ",
"font": "serif",
"width": 4.368,
"textWidth": 3.873
},
{
"text": "disk ",
"font": "serif",
"width": 4.013,
"textWidth": 3.518
},
{
"text": "at ",
"font": "serif",
"width": 2.037,
"textWidth": 1.544
},
{
"text": "mount ",
"font": "serif",
"width": 5.991,
"textWidth": 5.496
},
{
"text": "time; ",
"font": "serif",
"width": 4.167,
"textWidth": 4.167
}
]
},
{
"left": 11.905,
"top": 21.137,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "meanwhile, ",
"font": "serif",
"width": 10.352,
"textWidth": 9.666
},
{
"text": "data ",
"font": "serif",
"width": 4.262,
"textWidth": 3.621
},
{
"text": "blocks ",
"font": "serif",
"width": 5.899,
"textWidth": 5.26
},
{
"text": "are ",
"font": "serif",
"width": 3.176,
"textWidth": 2.537
},
{
"text": "fetched ",
"font": "serif",
"width": 6.724,
"textWidth": 6.083
},
{
"text": "from ",
"font": "serif",
"width": 4.64,
"textWidth": 3.998
},
{
"text": "3FS ",
"font": "serif",
"width": 3.596,
"textWidth": 2.955
},
{
"text": "upon ",
"font": "serif",
"width": 4.998,
"textWidth": 4.359
},
{
"text": "request. ",
"font": "serif",
"width": 7.655,
"textWidth": 6.541
},
{
"text": "For ",
"font": "serif",
"width": 3.439,
"textWidth": 2.798
},
{
"text": "microVMs, ",
"font": "serif",
"width": 9.814,
"textWidth": 9.128
},
{
"text": "DSec ",
"font": "serif",
"width": 4.795,
"textWidth": 4.154
},
{
"text": "uses ",
"font": "serif",
"width": 4.249,
"textWidth": 3.608
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 22.568,
"width": 9.525,
"height": 1.425,
"words": [
{
"text": "overlaybd ",
"font": "mono",
"width": 9.525,
"textWidth": 9.525
}
]
},
{
"left": 22.105,
"top": 22.746,
"width": 66.295,
"height": 1.296,
"words": [
{
"text": "(Li ",
"font": "serif",
"width": 2.983,
"textWidth": 2.309
},
{
"text": "et ",
"font": "serif",
"width": 2.18,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 3.088,
"textWidth": 2.413
},
{
"text": "2020) ",
"font": "serif",
"width": 5.038,
"textWidth": 4.361
},
{
"text": "disk ",
"font": "serif",
"width": 4.193,
"textWidth": 3.518
},
{
"text": "format: ",
"font": "serif",
"width": 7.045,
"textWidth": 6.043
},
{
"text": "the ",
"font": "serif",
"width": 3.267,
"textWidth": 2.593
},
{
"text": "read-only ",
"font": "serif",
"width": 8.666,
"textWidth": 7.991
},
{
"text": "base ",
"font": "serif",
"width": 4.331,
"textWidth": 3.656
},
{
"text": "layer ",
"font": "serif",
"width": 4.828,
"textWidth": 4.152
},
{
"text": "resides ",
"font": "serif",
"width": 6.441,
"textWidth": 5.767
},
{
"text": "on ",
"font": "serif",
"width": 2.783,
"textWidth": 2.109
},
{
"text": "3FS ",
"font": "serif",
"width": 3.63,
"textWidth": 2.955
},
{
"text": "for ",
"font": "serif",
"width": 3.056,
"textWidth": 2.381
},
{
"text": "cross- ",
"font": "serif",
"width": 4.765,
"textWidth": 4.765
}
]
},
{
"left": 11.905,
"top": 24.355,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "instance ",
"font": "serif",
"width": 7.169,
"textWidth": 6.709
},
{
"text": "sharing, ",
"font": "serif",
"width": 7.078,
"textWidth": 6.62
},
{
"text": "while ",
"font": "serif",
"width": 5.041,
"textWidth": 4.58
},
{
"text": "writes ",
"font": "serif",
"width": 5.544,
"textWidth": 5.083
},
{
"text": "go ",
"font": "serif",
"width": 2.496,
"textWidth": 2.038
},
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.612
},
{
"text": "a ",
"font": "serif",
"width": 1.383,
"textWidth": 0.925
},
{
"text": "local ",
"font": "serif",
"width": 4.292,
"textWidth": 3.831
},
{
"text": "copy-on-write ",
"font": "serif",
"width": 12.047,
"textWidth": 11.586
},
{
"text": "layer. ",
"font": "serif",
"width": 5.006,
"textWidth": 4.432
},
{
"text": "Such ",
"font": "serif",
"width": 4.443,
"textWidth": 3.983
},
{
"text": "snapshots ",
"font": "serif",
"width": 8.611,
"textWidth": 8.153
},
{
"text": "are ",
"font": "serif",
"width": 2.968,
"textWidth": 2.507
},
{
"text": "chainable, ",
"font": "serif",
"width": 8.269,
"textWidth": 8.269
}
]
},
{
"left": 11.905,
"top": 25.965,
"width": 52.911,
"height": 1.296,
"words": [
{
"text": "facilitating ",
"font": "serif",
"width": 9.128,
"textWidth": 8.67
},
{
"text": "efficient ",
"font": "serif",
"width": 6.911,
"textWidth": 6.453
},
{
"text": "versioning ",
"font": "serif",
"width": 9.092,
"textWidth": 8.633
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "millisecond-scale ",
"font": "serif",
"width": 14.393,
"textWidth": 13.935
},
{
"text": "resumption. ",
"font": "serif",
"width": 9.826,
"textWidth": 9.826
}
]
},
{
"left": 11.905,
"top": 30.171,
"width": 42.483,
"height": 1.296,
"words": [
{
"text": "Density ",
"font": "serif-bold",
"width": 6.834,
"textWidth": 6.483
},
{
"text": "Optimizations ",
"font": "serif-bold",
"width": 12.22,
"textWidth": 11.869
},
{
"text": "Under ",
"font": "serif-bold",
"width": 5.541,
"textWidth": 5.189
},
{
"text": "Massive ",
"font": "serif-bold",
"width": 7.134,
"textWidth": 6.783
},
{
"text": "Concurrency. ",
"font": "serif-bold",
"width": 10.756,
"textWidth": 10.756
}
]
},
{
"left": 56.211,
"top": 30.192,
"width": 31.884,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.263,
"textWidth": 1.913
},
{
"text": "accommodate ",
"font": "serif",
"width": 11.417,
"textWidth": 11.067
},
{
"text": "hundreds ",
"font": "serif",
"width": 8.017,
"textWidth": 7.667
},
{
"text": "of ",
"font": "serif",
"width": 1.929,
"textWidth": 1.579
},
{
"text": "thousands ",
"font": "serif",
"width": 8.258,
"textWidth": 8.258
}
]
},
{
"left": 11.905,
"top": 31.801,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.181,
"textWidth": 1.643
},
{
"text": "sandboxes ",
"font": "serif",
"width": 9.201,
"textWidth": 8.664
},
{
"text": "per ",
"font": "serif",
"width": 3.296,
"textWidth": 2.757
},
{
"text": "cluster, ",
"font": "serif",
"width": 6.427,
"textWidth": 5.868
},
{
"text": "DSec ",
"font": "serif",
"width": 4.69,
"textWidth": 4.154
},
{
"text": "tackles ",
"font": "serif",
"width": 6.184,
"textWidth": 5.645
},
{
"text": "two ",
"font": "serif",
"width": 3.725,
"textWidth": 3.189
},
{
"text": "resource ",
"font": "serif",
"width": 7.511,
"textWidth": 6.972
},
{
"text": "bottlenecks. ",
"font": "serif",
"width": 10.631,
"textWidth": 9.825
},
{
"text": "First, ",
"font": "serif",
"width": 4.748,
"textWidth": 4.191
},
{
"text": "it ",
"font": "serif",
"width": 1.692,
"textWidth": 1.153
},
{
"text": "mitigates ",
"font": "serif",
"width": 8.157,
"textWidth": 7.619
},
{
"text": "duplicate ",
"font": "serif",
"width": 7.75,
"textWidth": 7.75
}
]
},
{
"left": 11.85,
"top": 33.41,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "page-cache ",
"font": "serif",
"width": 9.56,
"textWidth": 9.103
},
{
"text": "footprints ",
"font": "serif",
"width": 8.544,
"textWidth": 8.089
},
{
"text": "in ",
"font": "serif",
"width": 2.073,
"textWidth": 1.616
},
{
"text": "virtualized ",
"font": "serif",
"width": 9.438,
"textWidth": 8.981
},
{
"text": "environments ",
"font": "serif",
"width": 11.776,
"textWidth": 11.32
},
{
"text": "and ",
"font": "serif",
"width": 3.591,
"textWidth": 3.134
},
{
"text": "applies ",
"font": "serif",
"width": 6.356,
"textWidth": 5.899
},
{
"text": "memory ",
"font": "serif",
"width": 7.382,
"textWidth": 6.926
},
{
"text": "reclamation ",
"font": "serif",
"width": 10.117,
"textWidth": 9.662
},
{
"text": "to ",
"font": "serif",
"width": 2.071,
"textWidth": 1.614
},
{
"text": "enable ",
"font": "serif",
"width": 5.338,
"textWidth": 5.338
}
]
},
{
"left": 11.905,
"top": 35.02,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "safe ",
"font": "serif",
"width": 3.72,
"textWidth": 3.245
},
{
"text": "overcommitment. ",
"font": "serif",
"width": 15.313,
"textWidth": 14.692
},
{
"text": "Second, ",
"font": "serif",
"width": 6.903,
"textWidth": 6.425
},
{
"text": "it ",
"font": "serif",
"width": 1.628,
"textWidth": 1.153
},
{
"text": "alleviates ",
"font": "serif",
"width": 8.227,
"textWidth": 7.75
},
{
"text": "spinlock ",
"font": "serif",
"width": 7.456,
"textWidth": 6.98
},
{
"text": "contention ",
"font": "serif",
"width": 9.268,
"textWidth": 8.793
},
{
"text": "in ",
"font": "serif",
"width": 2.107,
"textWidth": 1.632
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "container ",
"font": "serif",
"width": 8.223,
"textWidth": 7.748
},
{
"text": "runtime ",
"font": "serif",
"width": 7.114,
"textWidth": 6.638
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 36.629,
"width": 76.507,
"height": 1.296,
"words": [
{
"text": "therefore, ",
"font": "serif",
"width": 8.066,
"textWidth": 7.607
},
{
"text": "reduces ",
"font": "serif",
"width": 6.606,
"textWidth": 6.149
},
{
"text": "per-sandbox ",
"font": "serif",
"width": 10.395,
"textWidth": 9.938
},
{
"text": "CPU ",
"font": "serif",
"width": 4.222,
"textWidth": 3.763
},
{
"text": "overhead, ",
"font": "serif",
"width": 8.356,
"textWidth": 7.897
},
{
"text": "significantly ",
"font": "serif",
"width": 10.263,
"textWidth": 9.804
},
{
"text": "increasing ",
"font": "serif",
"width": 8.602,
"textWidth": 8.143
},
{
"text": "per-host ",
"font": "serif",
"width": 7.058,
"textWidth": 6.599
},
{
"text": "packing ",
"font": "serif",
"width": 6.81,
"textWidth": 6.353
},
{
"text": "density. ",
"font": "serif",
"width": 6.13,
"textWidth": 6.13
}
]
},
{
"left": 11.905,
"top": 40.835,
"width": 45.988,
"height": 1.296,
"words": [
{
"text": "Trajectory ",
"font": "serif-bold",
"width": 8.995,
"textWidth": 8.52
},
{
"text": "Logging ",
"font": "serif-bold",
"width": 7.541,
"textWidth": 7.064
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.694,
"textWidth": 3.219
},
{
"text": "Preemption-Safe ",
"font": "serif-bold",
"width": 14.805,
"textWidth": 14.33
},
{
"text": "Resumption. ",
"font": "serif-bold",
"width": 10.954,
"textWidth": 10.954
}
]
},
{
"left": 59.715,
"top": 40.856,
"width": 28.381,
"height": 1.296,
"words": [
{
"text": "DSec ",
"font": "serif",
"width": 4.628,
"textWidth": 4.154
},
{
"text": "maintains ",
"font": "serif",
"width": 8.66,
"textWidth": 8.186
},
{
"text": "a ",
"font": "serif",
"width": 1.411,
"textWidth": 0.935
},
{
"text": "globally ",
"font": "serif",
"width": 7.174,
"textWidth": 6.699
},
{
"text": "ordered ",
"font": "serif",
"width": 6.507,
"textWidth": 6.507
}
]
},
{
"left": 11.905,
"top": 42.465,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "trajectory ",
"font": "serif",
"width": 7.965,
"textWidth": 7.545
},
{
"text": "log ",
"font": "serif",
"width": 2.92,
"textWidth": 2.502
},
{
"text": "for ",
"font": "serif",
"width": 2.708,
"textWidth": 2.288
},
{
"text": "each ",
"font": "serif",
"width": 4.019,
"textWidth": 3.601
},
{
"text": "sandbox, ",
"font": "serif",
"width": 7.579,
"textWidth": 7.152
},
{
"text": "persistently ",
"font": "serif",
"width": 9.713,
"textWidth": 9.292
},
{
"text": "recording ",
"font": "serif",
"width": 8.073,
"textWidth": 7.654
},
{
"text": "every ",
"font": "serif",
"width": 4.863,
"textWidth": 4.443
},
{
"text": "command ",
"font": "serif",
"width": 8.41,
"textWidth": 7.99
},
{
"text": "invocation ",
"font": "serif",
"width": 8.811,
"textWidth": 8.391
},
{
"text": "and ",
"font": "serif",
"width": 3.461,
"textWidth": 3.041
},
{
"text": "its ",
"font": "serif",
"width": 2.288,
"textWidth": 1.87
},
{
"text": "results. ",
"font": "serif",
"width": 5.7,
"textWidth": 5.7
}
]
},
{
"left": 11.848,
"top": 44.075,
"width": 34.153,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.778,
"textWidth": 3.129
},
{
"text": "trajectory ",
"font": "serif",
"width": 8.503,
"textWidth": 7.853
},
{
"text": "serves ",
"font": "serif",
"width": 5.819,
"textWidth": 5.169
},
{
"text": "three ",
"font": "serif",
"width": 4.841,
"textWidth": 4.193
},
{
"text": "purposes: ",
"font": "serif",
"width": 9.032,
"textWidth": 8.081
},
{
"text": "(1) ",
"font": "serif",
"width": 2.18,
"textWidth": 2.18
}
]
},
{
"left": 46.65,
"top": 44.054,
"width": 18.818,
"height": 1.296,
"words": [
{
"text": "client ",
"font": "serif-bold",
"width": 5.423,
"textWidth": 4.774
},
{
"text": "fast-forwarding ",
"font": "serif-bold",
"width": 13.395,
"textWidth": 13.395
}
]
},
{
"left": 68.636,
"top": 44.075,
"width": 19.459,
"height": 1.296,
"words": [
{
"text": "when ",
"font": "serif",
"width": 5.279,
"textWidth": 4.63
},
{
"text": "a ",
"font": "serif",
"width": 1.583,
"textWidth": 0.935
},
{
"text": "training ",
"font": "serif",
"width": 7.236,
"textWidth": 6.585
},
{
"text": "task ",
"font": "serif",
"width": 4.025,
"textWidth": 3.376
},
{
"text": "is ",
"font": "serif",
"width": 1.337,
"textWidth": 1.337
}
]
},
{
"left": 11.85,
"top": 45.684,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "preempted, ",
"font": "serif",
"width": 9.657,
"textWidth": 9.199
},
{
"text": "sandbox ",
"font": "serif",
"width": 7.21,
"textWidth": 6.75
},
{
"text": "resources ",
"font": "serif",
"width": 7.97,
"textWidth": 7.51
},
{
"text": "are ",
"font": "serif",
"width": 2.91,
"textWidth": 2.451
},
{
"text": "retained ",
"font": "serif",
"width": 7.051,
"textWidth": 6.593
},
{
"text": "nonetheless; ",
"font": "serif",
"width": 10.306,
"textWidth": 9.847
},
{
"text": "upon ",
"font": "serif",
"width": 4.676,
"textWidth": 4.216
},
{
"text": "resumption, ",
"font": "serif",
"width": 10.156,
"textWidth": 9.699
},
{
"text": "DSec ",
"font": "serif",
"width": 4.479,
"textWidth": 4.019
},
{
"text": "replays ",
"font": "serif",
"width": 6.296,
"textWidth": 5.837
},
{
"text": "cached ",
"font": "serif",
"width": 5.535,
"textWidth": 5.535
}
]
},
{
"left": 11.905,
"top": 47.294,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "results ",
"font": "serif",
"width": 5.828,
"textWidth": 5.369
},
{
"text": "for ",
"font": "serif",
"width": 2.797,
"textWidth": 2.339
},
{
"text": "previously ",
"font": "serif",
"width": 9.15,
"textWidth": 8.691
},
{
"text": "completed ",
"font": "serif",
"width": 9.016,
"textWidth": 8.557
},
{
"text": "commands, ",
"font": "serif",
"width": 9.864,
"textWidth": 9.407
},
{
"text": "accelerating ",
"font": "serif",
"width": 10.167,
"textWidth": 9.708
},
{
"text": "task ",
"font": "serif",
"width": 3.775,
"textWidth": 3.316
},
{
"text": "recovery ",
"font": "serif",
"width": 7.51,
"textWidth": 7.053
},
{
"text": "whilst ",
"font": "serif",
"width": 5.505,
"textWidth": 5.046
},
{
"text": "also ",
"font": "serif",
"width": 3.693,
"textWidth": 3.234
},
{
"text": "preventing ",
"font": "serif",
"width": 8.884,
"textWidth": 8.884
}
]
},
{
"left": 11.905,
"top": 48.903,
"width": 49.13,
"height": 1.296,
"words": [
{
"text": "errors ",
"font": "serif",
"width": 5.479,
"textWidth": 4.89
},
{
"text": "from ",
"font": "serif",
"width": 4.585,
"textWidth": 3.998
},
{
"text": "re-execution ",
"font": "serif",
"width": 10.786,
"textWidth": 10.197
},
{
"text": "of ",
"font": "serif",
"width": 2.23,
"textWidth": 1.643
},
{
"text": "non-idempotent ",
"font": "serif",
"width": 13.984,
"textWidth": 13.397
},
{
"text": "operations; ",
"font": "serif",
"width": 9.887,
"textWidth": 9.234
},
{
"text": "(2) ",
"font": "serif",
"width": 2.18,
"textWidth": 2.18
}
]
},
{
"left": 61.622,
"top": 48.882,
"width": 20.837,
"height": 1.296,
"words": [
{
"text": "fine-grained ",
"font": "serif-bold",
"width": 10.971,
"textWidth": 10.384
},
{
"text": "provenance ",
"font": "serif-bold",
"width": 9.866,
"textWidth": 9.866
}
]
},
{
"left": 85.503,
"top": 48.903,
"width": 2.593,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 50.512,
"width": 59.038,
"height": 1.296,
"words": [
{
"text": "origin ",
"font": "serif",
"width": 5.312,
"textWidth": 4.852
},
{
"text": "and ",
"font": "serif",
"width": 3.547,
"textWidth": 3.087
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.19,
"textWidth": 11.73
},
{
"text": "outcomes ",
"font": "serif",
"width": 8.211,
"textWidth": 7.751
},
{
"text": "of ",
"font": "serif",
"width": 2.062,
"textWidth": 1.603
},
{
"text": "each ",
"font": "serif",
"width": 4.114,
"textWidth": 3.656
},
{
"text": "state ",
"font": "serif",
"width": 4.207,
"textWidth": 3.747
},
{
"text": "change ",
"font": "serif",
"width": 6.191,
"textWidth": 5.731
},
{
"text": "are ",
"font": "serif",
"width": 2.932,
"textWidth": 2.473
},
{
"text": "traceable; ",
"font": "serif",
"width": 8.147,
"textWidth": 7.688
},
{
"text": "(3) ",
"font": "serif",
"width": 2.126,
"textWidth": 2.126
}
]
},
{
"left": 71.402,
"top": 50.491,
"width": 16.765,
"height": 1.296,
"words": [
{
"text": "deterministic ",
"font": "serif-bold",
"width": 11.497,
"textWidth": 11.037
},
{
"text": "replay ",
"font": "serif-bold",
"width": 5.268,
"textWidth": 5.268
}
]
},
{
"left": 13.829,
"top": 52.122,
"width": 55.821,
"height": 1.296,
"words": [
{
"text": "any ",
"font": "serif",
"width": 3.46,
"textWidth": 3.002
},
{
"text": "historical ",
"font": "serif",
"width": 7.954,
"textWidth": 7.495
},
{
"text": "session ",
"font": "serif",
"width": 6.268,
"textWidth": 5.809
},
{
"text": "can ",
"font": "serif",
"width": 3.255,
"textWidth": 2.797
},
{
"text": "be ",
"font": "serif",
"width": 2.349,
"textWidth": 1.891
},
{
"text": "faithfully ",
"font": "serif",
"width": 7.983,
"textWidth": 7.525
},
{
"text": "reproduced ",
"font": "serif",
"width": 9.856,
"textWidth": 9.398
},
{
"text": "from ",
"font": "serif",
"width": 4.378,
"textWidth": 3.92
},
{
"text": "its ",
"font": "serif",
"width": 2.366,
"textWidth": 1.908
},
{
"text": "trajectory. ",
"font": "serif",
"width": 7.954,
"textWidth": 7.954
}
]
},
{
"left": 11.905,
"top": 56.034,
"width": 30.847,
"height": 1.296,
"words": [
{
"text": "5.3. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Standard ",
"font": "serif-bold",
"width": 8.093,
"textWidth": 7.635
},
{
"text": "Benchmark ",
"font": "serif-bold",
"width": 10.028,
"textWidth": 9.57
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 9.06,
"textWidth": 9.06
}
]
},
{
"left": 11.905,
"top": 58.672,
"width": 19.248,
"height": 1.296,
"words": [
{
"text": "5.3.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Evaluation ",
"font": "serif-bold-italic",
"width": 9.625,
"textWidth": 9.167
},
{
"text": "Setup ",
"font": "serif-bold-italic",
"width": 4.583,
"textWidth": 4.583
}
]
},
{
"left": 11.905,
"top": 61.336,
"width": 23.322,
"height": 1.296,
"words": [
{
"text": "Knowledge ",
"font": "serif-bold",
"width": 10.245,
"textWidth": 9.789
},
{
"text": "and ",
"font": "serif-bold",
"width": 3.65,
"textWidth": 3.194
},
{
"text": "Reasoning. ",
"font": "serif-bold",
"width": 9.427,
"textWidth": 9.427
}
]
},
{
"left": 37.049,
"top": 61.357,
"width": 51.046,
"height": 1.296,
"words": [
{
"text": "Knowledge ",
"font": "serif",
"width": 9.922,
"textWidth": 9.466
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.14
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.502,
"textWidth": 8.045
},
{
"text": "datasets ",
"font": "serif",
"width": 7.114,
"textWidth": 6.658
},
{
"text": "include ",
"font": "serif",
"width": 6.578,
"textWidth": 6.122
},
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 9.993,
"textWidth": 9.535
},
{
"text": "(Wang ",
"font": "serif",
"width": 5.341,
"textWidth": 5.341
}
]
},
{
"left": 11.905,
"top": 62.966,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.951,
"textWidth": 1.491
},
{
"text": "al., ",
"font": "serif",
"width": 2.85,
"textWidth": 2.392
},
{
"text": "2024b), ",
"font": "serif",
"width": 6.27,
"textWidth": 5.81
},
{
"text": "GPQA ",
"font": "serif",
"width": 5.89,
"textWidth": 5.43
},
{
"text": "(Rein ",
"font": "serif",
"width": 4.819,
"textWidth": 4.36
},
{
"text": "et ",
"font": "serif",
"width": 1.949,
"textWidth": 1.491
},
{
"text": "al., ",
"font": "serif",
"width": 2.851,
"textWidth": 2.392
},
{
"text": "2023), ",
"font": "serif",
"width": 5.245,
"textWidth": 4.786
},
{
"text": "Human ",
"font": "serif",
"width": 6.759,
"textWidth": 6.299
},
{
"text": "Last ",
"font": "serif",
"width": 3.906,
"textWidth": 3.446
},
{
"text": "Exam ",
"font": "serif",
"width": 5.11,
"textWidth": 4.65
},
{
"text": "(Phan ",
"font": "serif",
"width": 5.279,
"textWidth": 4.819
},
{
"text": "et ",
"font": "serif",
"width": 1.949,
"textWidth": 1.491
},
{
"text": "al., ",
"font": "serif",
"width": 2.851,
"textWidth": 2.392
},
{
"text": "2025), ",
"font": "serif",
"width": 5.245,
"textWidth": 4.786
},
{
"text": "Simple-QA ",
"font": "serif",
"width": 9.66,
"textWidth": 9.203
},
{
"text": "Veri- ",
"font": "serif",
"width": 3.911,
"textWidth": 3.911
}
]
},
{
"left": 11.905,
"top": 64.575,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "fied ",
"font": "serif",
"width": 3.507,
"textWidth": 3.05
},
{
"text": "(Haas ",
"font": "serif",
"width": 5.118,
"textWidth": 4.659
},
{
"text": "et ",
"font": "serif",
"width": 1.906,
"textWidth": 1.449
},
{
"text": "al., ",
"font": "serif",
"width": 2.78,
"textWidth": 2.323
},
{
"text": "2025), ",
"font": "serif",
"width": 5.107,
"textWidth": 4.648
},
{
"text": "Chinese-SimpleQA ",
"font": "serif",
"width": 15.777,
"textWidth": 15.318
},
{
"text": "(He ",
"font": "serif",
"width": 3.416,
"textWidth": 2.959
},
{
"text": "et ",
"font": "serif",
"width": 1.906,
"textWidth": 1.449
},
{
"text": "al., ",
"font": "serif",
"width": 2.782,
"textWidth": 2.323
},
{
"text": "2024), ",
"font": "serif",
"width": 5.106,
"textWidth": 4.648
},
{
"text": "LiveCodeBench-v6 ",
"font": "serif",
"width": 15.551,
"textWidth": 15.093
},
{
"text": "(Jain ",
"font": "serif",
"width": 4.128,
"textWidth": 3.669
},
{
"text": "et ",
"font": "serif",
"width": 1.906,
"textWidth": 1.449
},
{
"text": "al., ",
"font": "serif",
"width": 2.78,
"textWidth": 2.323
},
{
"text": "2024), ",
"font": "serif",
"width": 4.648,
"textWidth": 4.648
}
]
},
{
"left": 11.905,
"top": 66.185,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "CodeForces ",
"font": "serif",
"width": 9.946,
"textWidth": 9.486
},
{
"text": "(Internal ",
"font": "serif",
"width": 7.477,
"textWidth": 7.017
},
{
"text": "Benchmark), ",
"font": "serif",
"width": 10.761,
"textWidth": 10.3
},
{
"text": "HMMT ",
"font": "serif",
"width": 6.582,
"textWidth": 6.122
},
{
"text": "2026 ",
"font": "serif",
"width": 4.129,
"textWidth": 3.669
},
{
"text": "Feb, ",
"font": "serif",
"width": 3.834,
"textWidth": 3.372
},
{
"text": "Apex ",
"font": "serif",
"width": 4.815,
"textWidth": 4.355
},
{
"text": "(Balunovi ́ ",
"font": "serif",
"width": 8.642,
"textWidth": 8.642
},
{
"text": "c ",
"font": "serif",
"width": 1.275,
"textWidth": 0.814
},
{
"text": "et ",
"font": "serif",
"width": 1.937,
"textWidth": 1.477
},
{
"text": "al., ",
"font": "serif",
"width": 2.829,
"textWidth": 2.368
},
{
"text": "2025), ",
"font": "serif",
"width": 5.199,
"textWidth": 4.738
},
{
"text": "Apex ",
"font": "serif",
"width": 4.815,
"textWidth": 4.355
},
{
"text": "Short- ",
"font": "serif",
"width": 4.966,
"textWidth": 4.966
}
]
},
{
"left": 11.905,
"top": 67.794,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "list ",
"font": "serif",
"width": 2.823,
"textWidth": 2.392
},
{
"text": "(Balunovi ́ ",
"font": "serif",
"width": 8.463,
"textWidth": 8.463
},
{
"text": "c ",
"font": "serif",
"width": 1.23,
"textWidth": 0.797
},
{
"text": "et ",
"font": "serif",
"width": 1.877,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.75,
"textWidth": 2.319
},
{
"text": "2025), ",
"font": "serif",
"width": 5.077,
"textWidth": 4.639
},
{
"text": "IMOAnswerBench ",
"font": "serif",
"width": 15.264,
"textWidth": 14.833
},
{
"text": "(Luong ",
"font": "serif",
"width": 6.234,
"textWidth": 5.803
},
{
"text": "et ",
"font": "serif",
"width": 1.879,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.75,
"textWidth": 2.319
},
{
"text": "2025), ",
"font": "serif",
"width": 5.075,
"textWidth": 4.639
},
{
"text": "and ",
"font": "serif",
"width": 3.473,
"textWidth": 3.041
},
{
"text": "PutnamBench ",
"font": "serif",
"width": 11.559,
"textWidth": 11.128
},
{
"text": "(Tsoukalas ",
"font": "serif",
"width": 8.437,
"textWidth": 8.437
}
]
},
{
"left": 11.905,
"top": 69.403,
"width": 9.491,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2024). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 14.75,
"top": 71.817,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.152,
"textWidth": 2.691
},
{
"text": "code, ",
"font": "serif",
"width": 4.647,
"textWidth": 4.189
},
{
"text": "we ",
"font": "serif",
"width": 2.821,
"textWidth": 2.361
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.189,
"textWidth": 6.729
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.114,
"textWidth": 10.656
},
{
"text": "series ",
"font": "serif",
"width": 4.94,
"textWidth": 4.48
},
{
"text": "on ",
"font": "serif",
"width": 2.486,
"textWidth": 2.028
},
{
"text": "LiveCodeBench-v6 ",
"font": "serif",
"width": 15.538,
"textWidth": 15.078
},
{
"text": "and ",
"font": "serif",
"width": 3.504,
"textWidth": 3.044
},
{
"text": "an ",
"font": "serif",
"width": 2.404,
"textWidth": 1.945
},
{
"text": "internal ",
"font": "serif",
"width": 6.655,
"textWidth": 6.195
},
{
"text": "Codeforces ",
"font": "serif",
"width": 8.894,
"textWidth": 8.894
}
]
},
{
"left": 11.905,
"top": 73.427,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "benchmark. ",
"font": "serif",
"width": 11.042,
"textWidth": 9.765
},
{
"text": "For ",
"font": "serif",
"width": 3.494,
"textWidth": 2.798
},
{
"text": "Codeforces, ",
"font": "serif",
"width": 10.47,
"textWidth": 9.716
},
{
"text": "we ",
"font": "serif",
"width": 3.15,
"textWidth": 2.454
},
{
"text": "collect ",
"font": "serif",
"width": 5.967,
"textWidth": 5.273
},
{
"text": "14 ",
"font": "serif",
"width": 2.565,
"textWidth": 1.869
},
{
"text": "Codeforces ",
"font": "serif",
"width": 9.944,
"textWidth": 9.249
},
{
"text": "Division ",
"font": "serif",
"width": 7.729,
"textWidth": 7.036
},
{
"text": "1 ",
"font": "serif",
"width": 1.63,
"textWidth": 0.935
},
{
"text": "contests ",
"font": "serif",
"width": 7.331,
"textWidth": 6.638
},
{
"text": "comprising ",
"font": "serif",
"width": 10.066,
"textWidth": 9.371
},
{
"text": "114 ",
"font": "serif",
"width": 2.804,
"textWidth": 2.804
}
]
},
{
"left": 11.85,
"top": 75.036,
"width": 76.474,
"height": 1.296,
"words": [
{
"text": "problems ",
"font": "serif",
"width": 7.957,
"textWidth": 7.498
},
{
"text": "(May ",
"font": "serif",
"width": 4.673,
"textWidth": 4.215
},
{
"text": "2025 ",
"font": "serif",
"width": 5.128,
"textWidth": 3.61
},
{
"text": "November ",
"font": "serif",
"width": 8.997,
"textWidth": 8.538
},
{
"text": "2025). ",
"font": "serif",
"width": 5.233,
"textWidth": 4.663
},
{
"text": "The ",
"font": "serif",
"width": 3.48,
"textWidth": 3.022
},
{
"text": "Elo ",
"font": "serif",
"width": 3.072,
"textWidth": 2.614
},
{
"text": "rating ",
"font": "serif",
"width": 5.24,
"textWidth": 4.782
},
{
"text": "is ",
"font": "serif",
"width": 1.749,
"textWidth": 1.291
},
{
"text": "computed ",
"font": "serif",
"width": 8.569,
"textWidth": 8.11
},
{
"text": "as ",
"font": "serif",
"width": 2.126,
"textWidth": 1.668
},
{
"text": "follows. ",
"font": "serif",
"width": 6.914,
"textWidth": 6.345
},
{
"text": "For ",
"font": "serif",
"width": 3.161,
"textWidth": 2.702
},
{
"text": "each ",
"font": "serif",
"width": 4.078,
"textWidth": 3.619
},
{
"text": "contest, ",
"font": "serif",
"width": 6.096,
"textWidth": 6.096
}
]
},
{
"left": 11.828,
"top": 76.646,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.883,
"textWidth": 2.423
},
{
"text": "generate ",
"font": "serif",
"width": 7.467,
"textWidth": 7.005
},
{
"text": "32 ",
"font": "serif",
"width": 2.305,
"textWidth": 1.845
},
{
"text": "candidate ",
"font": "serif",
"width": 8.476,
"textWidth": 8.017
},
{
"text": "solutions ",
"font": "serif",
"width": 7.902,
"textWidth": 7.443
},
{
"text": "per ",
"font": "serif",
"width": 3.183,
"textWidth": 2.722
},
{
"text": "problem. ",
"font": "serif",
"width": 7.919,
"textWidth": 7.345
},
{
"text": "For ",
"font": "serif",
"width": 3.222,
"textWidth": 2.763
},
{
"text": "each ",
"font": "serif",
"width": 4.161,
"textWidth": 3.7
},
{
"text": "problem ",
"font": "serif",
"width": 7.343,
"textWidth": 6.883
},
{
"text": "independently, ",
"font": "serif",
"width": 12.658,
"textWidth": 12.198
},
{
"text": "we ",
"font": "serif",
"width": 2.884,
"textWidth": 2.423
},
{
"text": "sample ",
"font": "serif",
"width": 5.865,
"textWidth": 5.865
}
]
},
{
"left": 11.813,
"top": 78.255,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "10 ",
"font": "serif",
"width": 2.439,
"textWidth": 1.869
},
{
"text": "of ",
"font": "serif",
"width": 2.213,
"textWidth": 1.643
},
{
"text": "these ",
"font": "serif",
"width": 4.851,
"textWidth": 4.281
},
{
"text": "solutions ",
"font": "serif",
"width": 8.107,
"textWidth": 7.539
},
{
"text": "without ",
"font": "serif",
"width": 7.128,
"textWidth": 6.557
},
{
"text": "replacement ",
"font": "serif",
"width": 10.741,
"textWidth": 10.173
},
{
"text": "and ",
"font": "serif",
"width": 3.735,
"textWidth": 3.165
},
{
"text": "arrange ",
"font": "serif",
"width": 6.939,
"textWidth": 6.369
},
{
"text": "them ",
"font": "serif",
"width": 4.813,
"textWidth": 4.243
},
{
"text": "in ",
"font": "serif",
"width": 2.202,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.505,
"textWidth": 0.935
},
{
"text": "random ",
"font": "serif",
"width": 7.144,
"textWidth": 6.574
},
{
"text": "order ",
"font": "serif",
"width": 5.071,
"textWidth": 4.501
},
{
"text": "to ",
"font": "serif",
"width": 2.2,
"textWidth": 1.63
},
{
"text": "form ",
"font": "serif",
"width": 4.602,
"textWidth": 4.032
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 79.864,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "submission ",
"font": "serif",
"width": 9.9,
"textWidth": 9.386
},
{
"text": "sequence. ",
"font": "serif",
"width": 8.774,
"textWidth": 8.038
},
{
"text": "Each ",
"font": "serif",
"width": 4.509,
"textWidth": 3.995
},
{
"text": "submission ",
"font": "serif",
"width": 9.9,
"textWidth": 9.386
},
{
"text": "is ",
"font": "serif",
"width": 1.852,
"textWidth": 1.337
},
{
"text": "judged ",
"font": "serif",
"width": 6.298,
"textWidth": 5.784
},
{
"text": "against ",
"font": "serif",
"width": 6.456,
"textWidth": 5.942
},
{
"text": "a ",
"font": "serif",
"width": 1.449,
"textWidth": 0.935
},
{
"text": "test ",
"font": "serif",
"width": 3.421,
"textWidth": 2.907
},
{
"text": "suite ",
"font": "serif",
"width": 4.482,
"textWidth": 3.968
},
{
"text": "constructed ",
"font": "serif",
"width": 10.184,
"textWidth": 9.668
},
{
"text": "by ",
"font": "serif",
"width": 2.587,
"textWidth": 2.073
},
{
"text": "domain ",
"font": "serif",
"width": 6.38,
"textWidth": 6.38
}
]
},
{
"left": 11.905,
"top": 81.474,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "experts. ",
"font": "serif",
"width": 6.792,
"textWidth": 6.232
},
{
"text": "The ",
"font": "serif",
"width": 3.439,
"textWidth": 3.006
},
{
"text": "score ",
"font": "serif",
"width": 4.51,
"textWidth": 4.077
},
{
"text": "for ",
"font": "serif",
"width": 2.721,
"textWidth": 2.288
},
{
"text": "a ",
"font": "serif",
"width": 1.331,
"textWidth": 0.898
},
{
"text": "solved ",
"font": "serif",
"width": 5.67,
"textWidth": 5.237
},
{
"text": "problem ",
"font": "serif",
"width": 7.132,
"textWidth": 6.699
},
{
"text": "follows ",
"font": "serif",
"width": 6.298,
"textWidth": 5.864
},
{
"text": "the ",
"font": "serif",
"width": 2.924,
"textWidth": 2.491
},
{
"text": "penalty ",
"font": "serif",
"width": 6.422,
"textWidth": 5.99
},
{
"text": "scheme ",
"font": "serif",
"width": 6.343,
"textWidth": 5.911
},
{
"text": "of ",
"font": "serif",
"width": 2.011,
"textWidth": 1.579
},
{
"text": "OpenAI ",
"font": "serif",
"width": 6.834,
"textWidth": 6.399
},
{
"text": "(2025): ",
"font": "serif",
"width": 5.792,
"textWidth": 5.237
},
{
"text": "the ",
"font": "serif",
"width": 2.924,
"textWidth": 2.491
},
{
"text": "model ",
"font": "serif",
"width": 5.047,
"textWidth": 5.047
}
]
},
{
"left": 11.905,
"top": 83.083,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "receives ",
"font": "serif",
"width": 6.982,
"textWidth": 6.523
},
{
"text": "the ",
"font": "serif",
"width": 3.016,
"textWidth": 2.557
},
{
"text": "median ",
"font": "serif",
"width": 6.63,
"textWidth": 6.169
},
{
"text": "score ",
"font": "serif",
"width": 4.644,
"textWidth": 4.185
},
{
"text": "of ",
"font": "serif",
"width": 2.08,
"textWidth": 1.621
},
{
"text": "human ",
"font": "serif",
"width": 6.266,
"textWidth": 5.807
},
{
"text": "participants ",
"font": "serif",
"width": 10.195,
"textWidth": 9.736
},
{
"text": "who ",
"font": "serif",
"width": 4.078,
"textWidth": 3.617
},
{
"text": "solved ",
"font": "serif",
"width": 5.835,
"textWidth": 5.376
},
{
"text": "the ",
"font": "serif",
"width": 3.016,
"textWidth": 2.557
},
{
"text": "same ",
"font": "serif",
"width": 4.674,
"textWidth": 4.214
},
{
"text": "problem ",
"font": "serif",
"width": 7.338,
"textWidth": 6.877
},
{
"text": "with ",
"font": "serif",
"width": 4.207,
"textWidth": 3.746
},
{
"text": "the ",
"font": "serif",
"width": 3.016,
"textWidth": 2.557
},
{
"text": "same ",
"font": "serif",
"width": 4.214,
"textWidth": 4.214
}
]
},
{
"left": 11.905,
"top": 84.692,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "number ",
"font": "serif",
"width": 6.907,
"textWidth": 6.45
},
{
"text": "of ",
"font": "serif",
"width": 2.078,
"textWidth": 1.622
},
{
"text": "prior ",
"font": "serif",
"width": 4.569,
"textWidth": 4.112
},
{
"text": "failed ",
"font": "serif",
"width": 5.08,
"textWidth": 4.623
},
{
"text": "attempts. ",
"font": "serif",
"width": 8.161,
"textWidth": 7.592
},
{
"text": "This ",
"font": "serif",
"width": 3.982,
"textWidth": 3.525
},
{
"text": "yields ",
"font": "serif",
"width": 5.35,
"textWidth": 4.894
},
{
"text": "a ",
"font": "serif",
"width": 1.38,
"textWidth": 0.923
},
{
"text": "total ",
"font": "serif",
"width": 4.128,
"textWidth": 3.671
},
{
"text": "contest ",
"font": "serif",
"width": 6.227,
"textWidth": 5.771
},
{
"text": "score ",
"font": "serif",
"width": 4.647,
"textWidth": 4.189
},
{
"text": "for ",
"font": "serif",
"width": 2.809,
"textWidth": 2.351
},
{
"text": "each ",
"font": "serif",
"width": 4.156,
"textWidth": 3.7
},
{
"text": "sampled ",
"font": "serif",
"width": 7.45,
"textWidth": 6.992
},
{
"text": "submission ",
"font": "serif",
"width": 9.266,
"textWidth": 9.266
}
]
},
{
"left": 11.905,
"top": 86.302,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "sequence, ",
"font": "serif",
"width": 8.173,
"textWidth": 7.723
},
{
"text": "which ",
"font": "serif",
"width": 5.359,
"textWidth": 4.908
},
{
"text": "is ",
"font": "serif",
"width": 1.733,
"textWidth": 1.284
},
{
"text": "then ",
"font": "serif",
"width": 3.985,
"textWidth": 3.536
},
{
"text": "converted ",
"font": "serif",
"width": 8.402,
"textWidth": 7.951
},
{
"text": "into ",
"font": "serif",
"width": 3.583,
"textWidth": 3.132
},
{
"text": "a ",
"font": "serif",
"width": 1.347,
"textWidth": 0.898
},
{
"text": "contest ",
"font": "serif",
"width": 6.065,
"textWidth": 5.616
},
{
"text": "rank ",
"font": "serif",
"width": 4.102,
"textWidth": 3.651
},
{
"text": "and ",
"font": "serif",
"width": 3.49,
"textWidth": 3.041
},
{
"text": "subsequently ",
"font": "serif",
"width": 11.009,
"textWidth": 10.56
},
{
"text": "into ",
"font": "serif",
"width": 3.585,
"textWidth": 3.134
},
{
"text": "an ",
"font": "serif",
"width": 2.392,
"textWidth": 1.943
},
{
"text": "estimated ",
"font": "serif",
"width": 8.206,
"textWidth": 7.757
},
{
"text": "rating ",
"font": "serif",
"width": 4.759,
"textWidth": 4.759
}
]
},
{
"left": 11.853,
"top": 87.911,
"width": 76.241,
"height": 1.296,
"words": [
{
"text": "via ",
"font": "serif",
"width": 2.975,
"textWidth": 2.515
},
{
"text": "the ",
"font": "serif",
"width": 3.03,
"textWidth": 2.57
},
{
"text": "standard ",
"font": "serif",
"width": 7.75,
"textWidth": 7.29
},
{
"text": "Codeforces ",
"font": "serif",
"width": 9.637,
"textWidth": 9.177
},
{
"text": "rating ",
"font": "serif",
"width": 5.373,
"textWidth": 4.913
},
{
"text": "system. ",
"font": "serif",
"width": 6.769,
"textWidth": 6.198
},
{
"text": "The ",
"font": "serif",
"width": 3.563,
"textWidth": 3.105
},
{
"text": "contest-level ",
"font": "serif",
"width": 10.781,
"textWidth": 10.321
},
{
"text": "expected ",
"font": "serif",
"width": 7.756,
"textWidth": 7.298
},
{
"text": "rating ",
"font": "serif",
"width": 5.375,
"textWidth": 4.915
},
{
"text": "is ",
"font": "serif",
"width": 1.784,
"textWidth": 1.326
},
{
"text": "defined ",
"font": "serif",
"width": 6.704,
"textWidth": 6.244
},
{
"text": "as ",
"font": "serif",
"width": 2.172,
"textWidth": 1.714
},
{
"text": "the ",
"font": "serif",
"width": 2.572,
"textWidth": 2.572
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "36 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"37": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "expectation ",
"font": "serif",
"width": 10.017,
"textWidth": 9.515
},
{
"text": "of ",
"font": "serif",
"width": 2.146,
"textWidth": 1.643
},
{
"text": "this ",
"font": "serif",
"width": 3.539,
"textWidth": 3.034
},
{
"text": "estimated ",
"font": "serif",
"width": 8.576,
"textWidth": 8.071
},
{
"text": "rating ",
"font": "serif",
"width": 5.456,
"textWidth": 4.954
},
{
"text": "over ",
"font": "serif",
"width": 4.213,
"textWidth": 3.71
},
{
"text": "all ",
"font": "serif",
"width": 2.525,
"textWidth": 2.023
},
{
"text": "possible ",
"font": "serif",
"width": 7.249,
"textWidth": 6.746
},
{
"text": "random ",
"font": "serif",
"width": 7.079,
"textWidth": 6.574
},
{
"text": "selections ",
"font": "serif",
"width": 8.514,
"textWidth": 8.012
},
{
"text": "and ",
"font": "serif",
"width": 3.667,
"textWidth": 3.165
},
{
"text": "orderings ",
"font": "serif",
"width": 8.468,
"textWidth": 7.965
},
{
"text": "of ",
"font": "serif",
"width": 2.148,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.813,
"top": 12.082,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "10 ",
"font": "serif",
"width": 2.383,
"textWidth": 1.869
},
{
"text": "submissions ",
"font": "serif",
"width": 10.692,
"textWidth": 10.178
},
{
"text": "per ",
"font": "serif",
"width": 3.271,
"textWidth": 2.757
},
{
"text": "problem. ",
"font": "serif",
"width": 8.178,
"textWidth": 7.442
},
{
"text": "The ",
"font": "serif",
"width": 3.643,
"textWidth": 3.129
},
{
"text": "model’s ",
"font": "serif",
"width": 7.079,
"textWidth": 6.565
},
{
"text": "overall ",
"font": "serif",
"width": 6.247,
"textWidth": 5.733
},
{
"text": "rating ",
"font": "serif",
"width": 5.468,
"textWidth": 4.954
},
{
"text": "is ",
"font": "serif",
"width": 1.851,
"textWidth": 1.337
},
{
"text": "the ",
"font": "serif",
"width": 3.107,
"textWidth": 2.593
},
{
"text": "average ",
"font": "serif",
"width": 7.008,
"textWidth": 6.494
},
{
"text": "of ",
"font": "serif",
"width": 2.159,
"textWidth": 1.643
},
{
"text": "these ",
"font": "serif",
"width": 4.795,
"textWidth": 4.281
},
{
"text": "contest-level ",
"font": "serif",
"width": 10.402,
"textWidth": 10.402
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 30.892,
"height": 1.296,
"words": [
{
"text": "expected ",
"font": "serif",
"width": 7.669,
"textWidth": 7.211
},
{
"text": "ratings ",
"font": "serif",
"width": 6.092,
"textWidth": 5.633
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "all ",
"font": "serif",
"width": 2.441,
"textWidth": 1.983
},
{
"text": "14 ",
"font": "serif",
"width": 2.291,
"textWidth": 1.833
},
{
"text": "contests. ",
"font": "serif",
"width": 6.966,
"textWidth": 6.966
}
]
},
{
"left": 14.75,
"top": 16.105,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.111,
"textWidth": 2.689
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.211,
"textWidth": 7.789
},
{
"text": "and ",
"font": "serif",
"width": 3.463,
"textWidth": 3.041
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.283,
"textWidth": 8.861
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.883,
"textWidth": 4.454
},
{
"text": "we ",
"font": "serif",
"width": 2.78,
"textWidth": 2.358
},
{
"text": "set ",
"font": "serif",
"width": 2.629,
"textWidth": 2.207
},
{
"text": "the ",
"font": "serif",
"width": 2.915,
"textWidth": 2.491
},
{
"text": "temperature ",
"font": "serif",
"width": 10.205,
"textWidth": 9.783
},
{
"text": "to ",
"font": "serif",
"width": 1.988,
"textWidth": 1.566
},
{
"text": "1.0 ",
"font": "serif",
"width": 2.669,
"textWidth": 2.245
},
{
"text": "and ",
"font": "serif",
"width": 3.463,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.913,
"textWidth": 2.491
},
{
"text": "context ",
"font": "serif",
"width": 6.203,
"textWidth": 5.781
},
{
"text": "window ",
"font": "serif",
"width": 7.064,
"textWidth": 6.641
},
{
"text": "to ",
"font": "serif",
"width": 1.566,
"textWidth": 1.566
}
]
},
{
"left": 11.905,
"top": 17.715,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "8K, ",
"font": "serif",
"width": 3.028,
"textWidth": 2.651
},
{
"text": "128K, ",
"font": "serif",
"width": 4.826,
"textWidth": 4.447
},
{
"text": "and ",
"font": "serif",
"width": 3.418,
"textWidth": 3.041
},
{
"text": "384K ",
"font": "serif",
"width": 4.377,
"textWidth": 3.998
},
{
"text": "tokens ",
"font": "serif",
"width": 5.609,
"textWidth": 5.232
},
{
"text": "for ",
"font": "serif",
"width": 2.665,
"textWidth": 2.288
},
{
"text": "the ",
"font": "serif",
"width": 2.87,
"textWidth": 2.491
},
{
"text": "Non-think, ",
"font": "serif",
"width": 9.156,
"textWidth": 8.762
},
{
"text": "High, ",
"font": "serif",
"width": 4.905,
"textWidth": 4.51
},
{
"text": "and ",
"font": "serif",
"width": 3.418,
"textWidth": 3.041
},
{
"text": "Max ",
"font": "serif",
"width": 3.901,
"textWidth": 3.524
},
{
"text": "modes, ",
"font": "serif",
"width": 6.13,
"textWidth": 5.734
},
{
"text": "respectively. ",
"font": "serif",
"width": 10.325,
"textWidth": 9.784
},
{
"text": "For ",
"font": "serif",
"width": 3.067,
"textWidth": 2.689
},
{
"text": "math ",
"font": "serif",
"width": 4.492,
"textWidth": 4.115
},
{
"text": "tasks ",
"font": "serif",
"width": 4.005,
"textWidth": 4.005
}
]
},
{
"left": 11.844,
"top": 19.324,
"width": 76.48,
"height": 1.296,
"words": [
{
"text": "(e.g., ",
"font": "serif",
"width": 4.399,
"textWidth": 3.94
},
{
"text": "HMMT, ",
"font": "serif",
"width": 6.996,
"textWidth": 6.536
},
{
"text": "IMOAnswerBench, ",
"font": "serif",
"width": 16.287,
"textWidth": 15.828
},
{
"text": "Apex, ",
"font": "serif",
"width": 5.34,
"textWidth": 4.881
},
{
"text": "and ",
"font": "serif",
"width": 3.609,
"textWidth": 3.149
},
{
"text": "HLE), ",
"font": "serif",
"width": 5.365,
"textWidth": 4.905
},
{
"text": "we ",
"font": "serif",
"width": 2.902,
"textWidth": 2.442
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.422,
"textWidth": 6.962
},
{
"text": "using ",
"font": "serif",
"width": 5.028,
"textWidth": 4.568
},
{
"text": "the ",
"font": "serif",
"width": 3.039,
"textWidth": 2.58
},
{
"text": "following ",
"font": "serif",
"width": 8.402,
"textWidth": 7.943
},
{
"text": "template: ",
"font": "serif",
"width": 7.692,
"textWidth": 7.692
}
]
},
{
"left": 11.905,
"top": 20.755,
"width": 77.259,
"height": 1.425,
"words": [
{
"text": "\"{question}\\nPlease ",
"font": "mono",
"width": 21.167,
"textWidth": 20.108
},
{
"text": "reason ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "step ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "by ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "step, ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "and ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "put ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "your ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "final ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "answer ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "within ",
"font": "mono",
"width": 6.35,
"textWidth": 6.35
}
]
},
{
"left": 11.799,
"top": 22.364,
"width": 10.583,
"height": 1.425,
"words": [
{
"text": "\\boxed{}.\" ",
"font": "mono",
"width": 10.583,
"textWidth": 10.583
}
]
},
{
"left": 22.839,
"top": 22.543,
"width": 65.257,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.203,
"textWidth": 2.746
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.952,
"textWidth": 18.495
},
{
"text": "on ",
"font": "serif",
"width": 2.526,
"textWidth": 2.069
},
{
"text": "math ",
"font": "serif",
"width": 4.659,
"textWidth": 4.203
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.006,
"textWidth": 4.549
},
{
"text": "we ",
"font": "serif",
"width": 2.865,
"textWidth": 2.409
},
{
"text": "use ",
"font": "serif",
"width": 3.221,
"textWidth": 2.763
},
{
"text": "the ",
"font": "serif",
"width": 3.001,
"textWidth": 2.544
},
{
"text": "following ",
"font": "serif",
"width": 8.29,
"textWidth": 7.833
},
{
"text": "template ",
"font": "serif",
"width": 7.584,
"textWidth": 7.127
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.6
},
{
"text": "elicit ",
"font": "serif",
"width": 3.893,
"textWidth": 3.893
}
]
},
{
"left": 11.905,
"top": 24.152,
"width": 14.915,
"height": 1.296,
"words": [
{
"text": "deeper ",
"font": "serif",
"width": 6.339,
"textWidth": 5.69
},
{
"text": "reasoning: ",
"font": "serif",
"width": 8.576,
"textWidth": 8.576
}
]
},
{
"left": 27.77,
"top": 23.974,
"width": 60.325,
"height": 1.425,
"words": [
{
"text": "\"Solve ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "the ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "following ",
"font": "mono",
"width": 10.583,
"textWidth": 9.525
},
{
"text": "problem. ",
"font": "mono",
"width": 10.583,
"textWidth": 8.467
},
{
"text": "The ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "problem ",
"font": "mono",
"width": 8.467,
"textWidth": 7.408
},
{
"text": "may ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "ask ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "you ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "to ",
"font": "mono",
"width": 2.117,
"textWidth": 2.117
}
]
},
{
"left": 11.905,
"top": 25.583,
"width": 79.376,
"height": 1.425,
"words": [
{
"text": "prove ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "a ",
"font": "mono",
"width": 2.117,
"textWidth": 1.058
},
{
"text": "statement, ",
"font": "mono",
"width": 11.642,
"textWidth": 10.583
},
{
"text": "or ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "ask ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "for ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "an ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "answer. ",
"font": "mono",
"width": 9.525,
"textWidth": 7.408
},
{
"text": "If ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "finding ",
"font": "mono",
"width": 8.467,
"textWidth": 7.408
},
{
"text": "an ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "answer ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "is ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "required, ",
"font": "mono",
"width": 9.525,
"textWidth": 9.525
}
]
},
{
"left": 11.905,
"top": 27.192,
"width": 78.317,
"height": 1.425,
"words": [
{
"text": "you ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "should ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "come ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "up ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "with ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "the ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "answer, ",
"font": "mono",
"width": 8.467,
"textWidth": 7.408
},
{
"text": "and ",
"font": "mono",
"width": 4.233,
"textWidth": 3.175
},
{
"text": "your ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "final ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "solution ",
"font": "mono",
"width": 9.525,
"textWidth": 8.467
},
{
"text": "should ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "also ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "be ",
"font": "mono",
"width": 2.117,
"textWidth": 2.117
}
]
},
{
"left": 11.905,
"top": 28.802,
"width": 62.442,
"height": 1.425,
"words": [
{
"text": "a ",
"font": "mono",
"width": 2.117,
"textWidth": 1.058
},
{
"text": "rigorous ",
"font": "mono",
"width": 9.525,
"textWidth": 8.467
},
{
"text": "proof ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "of ",
"font": "mono",
"width": 3.175,
"textWidth": 2.117
},
{
"text": "that ",
"font": "mono",
"width": 5.292,
"textWidth": 4.233
},
{
"text": "answer ",
"font": "mono",
"width": 7.408,
"textWidth": 6.35
},
{
"text": "being ",
"font": "mono",
"width": 6.35,
"textWidth": 5.292
},
{
"text": "valid.\\n\\n{question}\" ",
"font": "mono",
"width": 22.225,
"textWidth": 22.225
}
]
},
{
"left": 14.75,
"top": 31.394,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.307,
"textWidth": 2.798
},
{
"text": "formal ",
"font": "serif",
"width": 6.019,
"textWidth": 5.511
},
{
"text": "math ",
"font": "serif",
"width": 4.791,
"textWidth": 4.282
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.155,
"textWidth": 4.636
},
{
"text": "we ",
"font": "serif",
"width": 2.963,
"textWidth": 2.454
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.505,
"textWidth": 6.997
},
{
"text": "in ",
"font": "serif",
"width": 2.14,
"textWidth": 1.632
},
{
"text": "an ",
"font": "serif",
"width": 2.531,
"textWidth": 2.023
},
{
"text": "agentic ",
"font": "serif",
"width": 6.449,
"textWidth": 5.941
},
{
"text": "setting ",
"font": "serif",
"width": 6.086,
"textWidth": 5.578
},
{
"text": "on ",
"font": "serif",
"width": 2.615,
"textWidth": 2.109
},
{
"text": "Lean ",
"font": "serif",
"width": 4.568,
"textWidth": 4.06
},
{
"text": "v4.28.0-rc1 ",
"font": "serif",
"width": 9.331,
"textWidth": 8.823
},
{
"text": "(Moura ",
"font": "serif",
"width": 6.72,
"textWidth": 6.212
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 33.004,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Ullrich, ",
"font": "serif",
"width": 6.701,
"textWidth": 6.21
},
{
"text": "2021), ",
"font": "serif",
"width": 5.326,
"textWidth": 4.826
},
{
"text": "with ",
"font": "serif",
"width": 4.292,
"textWidth": 3.8
},
{
"text": "access ",
"font": "serif",
"width": 5.565,
"textWidth": 5.075
},
{
"text": "to ",
"font": "serif",
"width": 2.122,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.593
},
{
"text": "Lean ",
"font": "serif",
"width": 4.55,
"textWidth": 4.06
},
{
"text": "compiler ",
"font": "serif",
"width": 7.838,
"textWidth": 7.346
},
{
"text": "and ",
"font": "serif",
"width": 3.654,
"textWidth": 3.165
},
{
"text": "a ",
"font": "serif",
"width": 1.426,
"textWidth": 0.935
},
{
"text": "semantic ",
"font": "serif",
"width": 7.834,
"textWidth": 7.344
},
{
"text": "tactic ",
"font": "serif",
"width": 4.849,
"textWidth": 4.357
},
{
"text": "search ",
"font": "serif",
"width": 5.737,
"textWidth": 5.245
},
{
"text": "engine, ",
"font": "serif",
"width": 6.516,
"textWidth": 6.017
},
{
"text": "running ",
"font": "serif",
"width": 6.698,
"textWidth": 6.698
}
]
},
{
"left": 11.905,
"top": 34.613,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "up ",
"font": "serif",
"width": 2.931,
"textWidth": 2.251
},
{
"text": "to ",
"font": "serif",
"width": 2.312,
"textWidth": 1.63
},
{
"text": "500 ",
"font": "serif",
"width": 3.484,
"textWidth": 2.804
},
{
"text": "tool ",
"font": "serif",
"width": 3.875,
"textWidth": 3.195
},
{
"text": "calls ",
"font": "serif",
"width": 4.325,
"textWidth": 3.645
},
{
"text": "with ",
"font": "serif",
"width": 4.482,
"textWidth": 3.8
},
{
"text": "max ",
"font": "serif",
"width": 4.23,
"textWidth": 3.55
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.787,
"textWidth": 8.107
},
{
"text": "effort. ",
"font": "serif",
"width": 6.18,
"textWidth": 4.942
},
{
"text": "In ",
"font": "serif",
"width": 2.398,
"textWidth": 1.718
},
{
"text": "addition, ",
"font": "serif",
"width": 8.229,
"textWidth": 7.492
},
{
"text": "we ",
"font": "serif",
"width": 3.135,
"textWidth": 2.454
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.679,
"textWidth": 6.997
},
{
"text": "a ",
"font": "serif",
"width": 1.615,
"textWidth": 0.935
},
{
"text": "more ",
"font": "serif",
"width": 4.952,
"textWidth": 4.271
},
{
"text": "compute- ",
"font": "serif",
"width": 7.879,
"textWidth": 7.879
}
]
},
{
"left": 11.905,
"top": 36.222,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "intensive ",
"font": "serif",
"width": 7.682,
"textWidth": 7.225
},
{
"text": "pipeline ",
"font": "serif",
"width": 6.956,
"textWidth": 6.499
},
{
"text": "in ",
"font": "serif",
"width": 2.026,
"textWidth": 1.569
},
{
"text": "which ",
"font": "serif",
"width": 5.37,
"textWidth": 4.913
},
{
"text": "candidate ",
"font": "serif",
"width": 8.264,
"textWidth": 7.81
},
{
"text": "natural-language ",
"font": "serif",
"width": 14.114,
"textWidth": 13.658
},
{
"text": "solutions ",
"font": "serif",
"width": 7.707,
"textWidth": 7.25
},
{
"text": "are ",
"font": "serif",
"width": 2.894,
"textWidth": 2.438
},
{
"text": "first ",
"font": "serif",
"width": 3.603,
"textWidth": 3.146
},
{
"text": "generated ",
"font": "serif",
"width": 8.38,
"textWidth": 7.923
},
{
"text": "and ",
"font": "serif",
"width": 3.499,
"textWidth": 3.044
},
{
"text": "filtered ",
"font": "serif",
"width": 5.695,
"textWidth": 5.695
}
]
},
{
"left": 11.905,
"top": 37.832,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "by ",
"font": "serif",
"width": 2.492,
"textWidth": 2.032
},
{
"text": "self-verification(Shao ",
"font": "serif",
"width": 17.632,
"textWidth": 17.172
},
{
"text": "et ",
"font": "serif",
"width": 1.935,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.826,
"textWidth": 2.366
},
{
"text": "2025), ",
"font": "serif",
"width": 5.194,
"textWidth": 4.734
},
{
"text": "and ",
"font": "serif",
"width": 3.563,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.542
},
{
"text": "retained ",
"font": "serif",
"width": 7.14,
"textWidth": 6.68
},
{
"text": "solutions ",
"font": "serif",
"width": 7.851,
"textWidth": 7.391
},
{
"text": "are ",
"font": "serif",
"width": 2.945,
"textWidth": 2.485
},
{
"text": "then ",
"font": "serif",
"width": 4.068,
"textWidth": 3.608
},
{
"text": "provided ",
"font": "serif",
"width": 7.939,
"textWidth": 7.479
},
{
"text": "as ",
"font": "serif",
"width": 2.153,
"textWidth": 1.693
},
{
"text": "guidance ",
"font": "serif",
"width": 7.451,
"textWidth": 7.451
}
]
},
{
"left": 11.905,
"top": 39.441,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.187,
"textWidth": 1.63
},
{
"text": "a ",
"font": "serif",
"width": 1.49,
"textWidth": 0.935
},
{
"text": "formal ",
"font": "serif",
"width": 6.068,
"textWidth": 5.511
},
{
"text": "agent ",
"font": "serif",
"width": 5.122,
"textWidth": 4.567
},
{
"text": "for ",
"font": "serif",
"width": 2.938,
"textWidth": 2.381
},
{
"text": "proving ",
"font": "serif",
"width": 7.133,
"textWidth": 6.576
},
{
"text": "the ",
"font": "serif",
"width": 3.148,
"textWidth": 2.593
},
{
"text": "corresponding ",
"font": "serif",
"width": 12.584,
"textWidth": 12.029
},
{
"text": "Lean ",
"font": "serif",
"width": 4.617,
"textWidth": 4.06
},
{
"text": "statement. ",
"font": "serif",
"width": 9.414,
"textWidth": 8.552
},
{
"text": "This ",
"font": "serif",
"width": 4.127,
"textWidth": 3.57
},
{
"text": "design ",
"font": "serif",
"width": 6.056,
"textWidth": 5.501
},
{
"text": "uses ",
"font": "serif",
"width": 4.165,
"textWidth": 3.608
},
{
"text": "informal ",
"font": "serif",
"width": 7.142,
"textWidth": 7.142
}
]
},
{
"left": 11.905,
"top": 41.051,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "reasoning ",
"font": "serif",
"width": 8.225,
"textWidth": 7.789
},
{
"text": "to ",
"font": "serif",
"width": 2.002,
"textWidth": 1.566
},
{
"text": "improve ",
"font": "serif",
"width": 7.157,
"textWidth": 6.72
},
{
"text": "exploration ",
"font": "serif",
"width": 9.549,
"textWidth": 9.111
},
{
"text": "while ",
"font": "serif",
"width": 4.885,
"textWidth": 4.449
},
{
"text": "preserving ",
"font": "serif",
"width": 8.965,
"textWidth": 8.529
},
{
"text": "strict ",
"font": "serif",
"width": 4.4,
"textWidth": 3.962
},
{
"text": "correctness ",
"font": "serif",
"width": 9.273,
"textWidth": 8.834
},
{
"text": "through ",
"font": "serif",
"width": 6.852,
"textWidth": 6.413
},
{
"text": "formal ",
"font": "serif",
"width": 5.731,
"textWidth": 5.294
},
{
"text": "verification. ",
"font": "serif",
"width": 9.472,
"textWidth": 9.472
}
]
},
{
"left": 11.833,
"top": 42.66,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "A ",
"font": "serif",
"width": 2.058,
"textWidth": 1.454
},
{
"text": "submission ",
"font": "serif",
"width": 9.987,
"textWidth": 9.386
},
{
"text": "is ",
"font": "serif",
"width": 1.94,
"textWidth": 1.337
},
{
"text": "counted ",
"font": "serif",
"width": 7.314,
"textWidth": 6.713
},
{
"text": "as ",
"font": "serif",
"width": 2.331,
"textWidth": 1.727
},
{
"text": "correct ",
"font": "serif",
"width": 6.232,
"textWidth": 5.628
},
{
"text": "only ",
"font": "serif",
"width": 4.296,
"textWidth": 3.692
},
{
"text": "if ",
"font": "serif",
"width": 1.768,
"textWidth": 1.166
},
{
"text": "the ",
"font": "serif",
"width": 3.196,
"textWidth": 2.593
},
{
"text": "strict ",
"font": "serif",
"width": 4.727,
"textWidth": 4.124
},
{
"text": "verifier ",
"font": "serif",
"width": 6.6,
"textWidth": 5.998
},
{
"text": "Comparator ",
"font": "serif",
"width": 10.7,
"textWidth": 10.096
},
{
"text": "accepts ",
"font": "serif",
"width": 6.619,
"textWidth": 6.015
},
{
"text": "it ",
"font": "serif",
"width": 1.755,
"textWidth": 1.153
},
{
"text": "for ",
"font": "serif",
"width": 2.985,
"textWidth": 2.381
},
{
"text": "both ",
"font": "serif",
"width": 3.752,
"textWidth": 3.752
}
]
},
{
"left": 11.905,
"top": 44.269,
"width": 6.704,
"height": 1.296,
"words": [
{
"text": "settings. ",
"font": "serif",
"width": 6.704,
"textWidth": 6.704
}
]
},
{
"left": 14.75,
"top": 46.683,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.959,
"textWidth": 2.502
},
{
"text": "have ",
"font": "serif",
"width": 4.294,
"textWidth": 3.838
},
{
"text": "left ",
"font": "serif",
"width": 3.038,
"textWidth": 2.58
},
{
"text": "some ",
"font": "serif",
"width": 4.666,
"textWidth": 4.21
},
{
"text": "entries ",
"font": "serif",
"width": 5.831,
"textWidth": 5.372
},
{
"text": "blank ",
"font": "serif",
"width": 4.937,
"textWidth": 4.48
},
{
"text": "for ",
"font": "serif",
"width": 2.758,
"textWidth": 2.3
},
{
"text": "K2.6 ",
"font": "serif",
"width": 4.024,
"textWidth": 3.567
},
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "GLM-5.1, ",
"font": "serif",
"width": 7.953,
"textWidth": 7.497
},
{
"text": "as ",
"font": "serif",
"width": 2.126,
"textWidth": 1.668
},
{
"text": "their ",
"font": "serif",
"width": 4.199,
"textWidth": 3.742
},
{
"text": "APIs ",
"font": "serif",
"width": 4.327,
"textWidth": 3.868
},
{
"text": "were ",
"font": "serif",
"width": 4.372,
"textWidth": 3.914
},
{
"text": "too ",
"font": "serif",
"width": 3.016,
"textWidth": 2.56
},
{
"text": "busy ",
"font": "serif",
"width": 4.314,
"textWidth": 3.856
},
{
"text": "to ",
"font": "serif",
"width": 2.031,
"textWidth": 1.574
},
{
"text": "return ",
"font": "serif",
"width": 4.986,
"textWidth": 4.986
}
]
},
{
"left": 11.905,
"top": 48.293,
"width": 20.128,
"height": 1.296,
"words": [
{
"text": "responses ",
"font": "serif",
"width": 8.404,
"textWidth": 7.946
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "queries. ",
"font": "serif",
"width": 6.379,
"textWidth": 6.379
}
]
},
{
"left": 11.905,
"top": 52.499,
"width": 15.661,
"height": 1.296,
"words": [
{
"text": "1M-Token ",
"font": "serif-bold",
"width": 8.827,
"textWidth": 8.378
},
{
"text": "Context. ",
"font": "serif-bold",
"width": 6.834,
"textWidth": 6.834
}
]
},
{
"left": 29.387,
"top": 52.52,
"width": 58.708,
"height": 1.296,
"words": [
{
"text": "Since ",
"font": "serif",
"width": 4.619,
"textWidth": 4.168
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.094,
"textWidth": 10.645
},
{
"text": "series ",
"font": "serif",
"width": 4.925,
"textWidth": 4.476
},
{
"text": "supports ",
"font": "serif",
"width": 7.489,
"textWidth": 7.04
},
{
"text": "1M-token ",
"font": "serif",
"width": 8.114,
"textWidth": 7.665
},
{
"text": "contexts, ",
"font": "serif",
"width": 7.442,
"textWidth": 6.992
},
{
"text": "we ",
"font": "serif",
"width": 2.807,
"textWidth": 2.358
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.171,
"textWidth": 6.722
},
{
"text": "model ",
"font": "serif",
"width": 5.047,
"textWidth": 5.047
}
]
},
{
"left": 11.85,
"top": 54.129,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "performance ",
"font": "serif",
"width": 11.264,
"textWidth": 10.537
},
{
"text": "in ",
"font": "serif",
"width": 2.357,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.662,
"textWidth": 0.935
},
{
"text": "long ",
"font": "serif",
"width": 4.419,
"textWidth": 3.692
},
{
"text": "context ",
"font": "serif",
"width": 6.742,
"textWidth": 6.017
},
{
"text": "scenario ",
"font": "serif",
"width": 7.571,
"textWidth": 6.843
},
{
"text": "by ",
"font": "serif",
"width": 2.8,
"textWidth": 2.073
},
{
"text": "selecting ",
"font": "serif",
"width": 7.963,
"textWidth": 7.238
},
{
"text": "OpenAI ",
"font": "serif",
"width": 7.387,
"textWidth": 6.66
},
{
"text": "MRCR ",
"font": "serif",
"width": 6.318,
"textWidth": 5.591
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 8.475,
"textWidth": 7.75
},
{
"text": "2024b) ",
"font": "serif",
"width": 6.122,
"textWidth": 5.395
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 55.738,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "CorpusQA ",
"font": "serif",
"width": 9.244,
"textWidth": 8.785
},
{
"text": "(Lu ",
"font": "serif",
"width": 3.268,
"textWidth": 2.807
},
{
"text": "et ",
"font": "serif",
"width": 1.92,
"textWidth": 1.461
},
{
"text": "al., ",
"font": "serif",
"width": 2.801,
"textWidth": 2.342
},
{
"text": "2026) ",
"font": "serif",
"width": 4.692,
"textWidth": 4.233
},
{
"text": "as ",
"font": "serif",
"width": 2.137,
"textWidth": 1.676
},
{
"text": "the ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "benchmarks. ",
"font": "serif",
"width": 10.819,
"textWidth": 10.247
},
{
"text": "We ",
"font": "serif",
"width": 2.975,
"textWidth": 2.516
},
{
"text": "re-evaluate ",
"font": "serif",
"width": 9.407,
"textWidth": 8.948
},
{
"text": "Claude ",
"font": "serif",
"width": 6.252,
"textWidth": 5.793
},
{
"text": "Opus ",
"font": "serif",
"width": 4.839,
"textWidth": 4.38
},
{
"text": "4.6 ",
"font": "serif",
"width": 2.729,
"textWidth": 2.268
},
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "Gemini ",
"font": "serif",
"width": 6.426,
"textWidth": 5.967
},
{
"text": "3.1 ",
"font": "serif",
"width": 2.268,
"textWidth": 2.268
}
]
},
{
"left": 11.905,
"top": 57.348,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Pro ",
"font": "serif",
"width": 3.309,
"textWidth": 2.852
},
{
"text": "on ",
"font": "serif",
"width": 2.564,
"textWidth": 2.106
},
{
"text": "these ",
"font": "serif",
"width": 4.736,
"textWidth": 4.276
},
{
"text": "tasks ",
"font": "serif",
"width": 4.622,
"textWidth": 4.164
},
{
"text": "with ",
"font": "serif",
"width": 4.254,
"textWidth": 3.796
},
{
"text": "the ",
"font": "serif",
"width": 3.048,
"textWidth": 2.59
},
{
"text": "goal ",
"font": "serif",
"width": 3.993,
"textWidth": 3.535
},
{
"text": "of ",
"font": "serif",
"width": 2.099,
"textWidth": 1.641
},
{
"text": "standardizing ",
"font": "serif",
"width": 11.944,
"textWidth": 11.487
},
{
"text": "the ",
"font": "serif",
"width": 3.048,
"textWidth": 2.59
},
{
"text": "configuration ",
"font": "serif",
"width": 11.617,
"textWidth": 11.16
},
{
"text": "across ",
"font": "serif",
"width": 5.529,
"textWidth": 5.072
},
{
"text": "all ",
"font": "serif",
"width": 2.478,
"textWidth": 2.021
},
{
"text": "models. ",
"font": "serif",
"width": 7.074,
"textWidth": 6.506
},
{
"text": "We ",
"font": "serif",
"width": 3.051,
"textWidth": 2.594
},
{
"text": "did ",
"font": "serif",
"width": 2.825,
"textWidth": 2.825
}
]
},
{
"left": 11.905,
"top": 58.957,
"width": 70.482,
"height": 1.296,
"words": [
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.318,
"textWidth": 6.859
},
{
"text": "GPT-5.4 ",
"font": "serif",
"width": 6.887,
"textWidth": 6.429
},
{
"text": "because ",
"font": "serif",
"width": 6.839,
"textWidth": 6.381
},
{
"text": "its ",
"font": "serif",
"width": 2.366,
"textWidth": 1.908
},
{
"text": "API ",
"font": "serif",
"width": 3.608,
"textWidth": 3.15
},
{
"text": "failed ",
"font": "serif",
"width": 5.049,
"textWidth": 4.591
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "respond ",
"font": "serif",
"width": 7.092,
"textWidth": 6.634
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "large ",
"font": "serif",
"width": 4.495,
"textWidth": 4.037
},
{
"text": "portion ",
"font": "serif",
"width": 6.482,
"textWidth": 6.024
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "queries. ",
"font": "serif",
"width": 6.379,
"textWidth": 6.379
}
]
},
{
"left": 11.905,
"top": 63.163,
"width": 5.438,
"height": 1.296,
"words": [
{
"text": "Agent. ",
"font": "serif-bold",
"width": 5.438,
"textWidth": 5.438
}
]
},
{
"left": 19.166,
"top": 63.184,
"width": 69.159,
"height": 1.296,
"words": [
{
"text": "Agent ",
"font": "serif",
"width": 5.347,
"textWidth": 4.887
},
{
"text": "datasets ",
"font": "serif",
"width": 6.909,
"textWidth": 6.447
},
{
"text": "include ",
"font": "serif",
"width": 6.39,
"textWidth": 5.928
},
{
"text": "Terminal ",
"font": "serif",
"width": 7.538,
"textWidth": 7.076
},
{
"text": "Bench ",
"font": "serif",
"width": 5.305,
"textWidth": 4.845
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.707,
"textWidth": 2.245
},
{
"text": "(Merrill ",
"font": "serif",
"width": 6.606,
"textWidth": 6.144
},
{
"text": "et ",
"font": "serif",
"width": 1.907,
"textWidth": 1.446
},
{
"text": "al., ",
"font": "serif",
"width": 2.778,
"textWidth": 2.319
},
{
"text": "2026), ",
"font": "serif",
"width": 5.101,
"textWidth": 4.639
},
{
"text": "SWE-Verified ",
"font": "serif",
"width": 11.126,
"textWidth": 10.664
},
{
"text": "(OpenAI, ",
"font": "serif",
"width": 7.446,
"textWidth": 7.446
}
]
},
{
"left": 11.905,
"top": 64.793,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "2024e), ",
"font": "serif",
"width": 6.208,
"textWidth": 5.724
},
{
"text": "SWE ",
"font": "serif",
"width": 4.473,
"textWidth": 3.993
},
{
"text": "Multilingual ",
"font": "serif",
"width": 10.892,
"textWidth": 10.414
},
{
"text": "(Yang ",
"font": "serif",
"width": 5.241,
"textWidth": 4.763
},
{
"text": "et ",
"font": "serif",
"width": 1.983,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.894,
"textWidth": 2.413
},
{
"text": "2025), ",
"font": "serif",
"width": 5.312,
"textWidth": 4.828
},
{
"text": "SWE-Pro ",
"font": "serif",
"width": 7.95,
"textWidth": 7.47
},
{
"text": "(Deng ",
"font": "serif",
"width": 5.57,
"textWidth": 5.092
},
{
"text": "et ",
"font": "serif",
"width": 1.985,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.892,
"textWidth": 2.413
},
{
"text": "2025), ",
"font": "serif",
"width": 5.312,
"textWidth": 4.828
},
{
"text": "BrowseComp ",
"font": "serif",
"width": 11.715,
"textWidth": 11.234
},
{
"text": "(Wei ",
"font": "serif",
"width": 3.763,
"textWidth": 3.763
}
]
},
{
"left": 11.905,
"top": 66.403,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.949,
"textWidth": 1.493
},
{
"text": "al., ",
"font": "serif",
"width": 2.852,
"textWidth": 2.394
},
{
"text": "2025), ",
"font": "serif",
"width": 5.247,
"textWidth": 4.79
},
{
"text": "the ",
"font": "serif",
"width": 3.03,
"textWidth": 2.572
},
{
"text": "public ",
"font": "serif",
"width": 5.618,
"textWidth": 5.161
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.143,
"textWidth": 8.685
},
{
"text": "set ",
"font": "serif",
"width": 2.736,
"textWidth": 2.277
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.63
},
{
"text": "MCPAtlas ",
"font": "serif",
"width": 8.78,
"textWidth": 8.322
},
{
"text": "(Bandi ",
"font": "serif",
"width": 5.887,
"textWidth": 5.43
},
{
"text": "et ",
"font": "serif",
"width": 1.951,
"textWidth": 1.493
},
{
"text": "al., ",
"font": "serif",
"width": 2.851,
"textWidth": 2.394
},
{
"text": "2026), ",
"font": "serif",
"width": 5.249,
"textWidth": 4.79
},
{
"text": "GDPval-AA ",
"font": "serif",
"width": 10.445,
"textWidth": 9.989
},
{
"text": "(AA, ",
"font": "serif",
"width": 4.423,
"textWidth": 3.967
},
{
"text": "2025; ",
"font": "serif",
"width": 4.173,
"textWidth": 4.173
}
]
},
{
"left": 11.905,
"top": 68.012,
"width": 48.955,
"height": 1.296,
"words": [
{
"text": "Patwardhan ",
"font": "serif",
"width": 10.384,
"textWidth": 9.925
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025), ",
"font": "serif",
"width": 5.192,
"textWidth": 4.734
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Tool-Decathlon ",
"font": "serif",
"width": 12.848,
"textWidth": 12.39
},
{
"text": "(Li ",
"font": "serif",
"width": 2.721,
"textWidth": 2.263
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 14.75,
"top": 70.426,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.18,
"textWidth": 2.719
},
{
"text": "code ",
"font": "serif",
"width": 4.239,
"textWidth": 3.778
},
{
"text": "agent ",
"font": "serif",
"width": 4.898,
"textWidth": 4.437
},
{
"text": "tasks ",
"font": "serif",
"width": 4.511,
"textWidth": 4.05
},
{
"text": "(SWE-Verified, ",
"font": "serif",
"width": 12.308,
"textWidth": 11.845
},
{
"text": "Terminal-Bench, ",
"font": "serif",
"width": 13.577,
"textWidth": 13.116
},
{
"text": "SWE-Pro, ",
"font": "serif",
"width": 8.174,
"textWidth": 7.711
},
{
"text": "SWE ",
"font": "serif",
"width": 4.341,
"textWidth": 3.879
},
{
"text": "Multilingual), ",
"font": "serif",
"width": 11.638,
"textWidth": 11.176
},
{
"text": "we ",
"font": "serif",
"width": 2.846,
"textWidth": 2.385
},
{
"text": "eval- ",
"font": "serif",
"width": 3.937,
"textWidth": 3.937
}
]
},
{
"left": 11.905,
"top": 72.035,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "uate ",
"font": "serif",
"width": 3.915,
"textWidth": 3.455
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.191,
"textWidth": 10.732
},
{
"text": "series ",
"font": "serif",
"width": 4.972,
"textWidth": 4.512
},
{
"text": "using ",
"font": "serif",
"width": 4.907,
"textWidth": 4.447
},
{
"text": "an ",
"font": "serif",
"width": 2.419,
"textWidth": 1.959
},
{
"text": "internally ",
"font": "serif",
"width": 8.233,
"textWidth": 7.773
},
{
"text": "developed ",
"font": "serif",
"width": 8.901,
"textWidth": 8.441
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.939,
"textWidth": 8.479
},
{
"text": "framework. ",
"font": "serif",
"width": 9.937,
"textWidth": 9.363
},
{
"text": "This ",
"font": "serif",
"width": 3.918,
"textWidth": 3.458
},
{
"text": "framework ",
"font": "serif",
"width": 8.91,
"textWidth": 8.91
}
]
},
{
"left": 11.85,
"top": 73.645,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "provides ",
"font": "serif",
"width": 7.814,
"textWidth": 7.279
},
{
"text": "a ",
"font": "serif",
"width": 1.467,
"textWidth": 0.935
},
{
"text": "minimal ",
"font": "serif",
"width": 7.488,
"textWidth": 6.956
},
{
"text": "set ",
"font": "serif",
"width": 2.832,
"textWidth": 2.297
},
{
"text": "of ",
"font": "serif",
"width": 2.176,
"textWidth": 1.643
},
{
"text": "tools ",
"font": "serif",
"width": 6.924,
"textWidth": 3.987
},
{
"text": "a ",
"font": "serif",
"width": 1.467,
"textWidth": 0.935
},
{
"text": "bash ",
"font": "serif",
"width": 4.383,
"textWidth": 3.849
},
{
"text": "tool ",
"font": "serif",
"width": 3.727,
"textWidth": 3.195
},
{
"text": "and ",
"font": "serif",
"width": 3.697,
"textWidth": 3.165
},
{
"text": "a ",
"font": "serif",
"width": 1.469,
"textWidth": 0.935
},
{
"text": "file-edit ",
"font": "serif",
"width": 6.916,
"textWidth": 6.384
},
{
"text": "tool. ",
"font": "serif",
"width": 4.456,
"textWidth": 3.662
},
{
"text": "The ",
"font": "serif",
"width": 3.662,
"textWidth": 3.129
},
{
"text": "maximum ",
"font": "serif",
"width": 9.057,
"textWidth": 8.522
},
{
"text": "number ",
"font": "serif",
"width": 7.066,
"textWidth": 6.533
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 11.905,
"top": 75.254,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "interaction ",
"font": "serif",
"width": 9.054,
"textWidth": 8.596
},
{
"text": "steps ",
"font": "serif",
"width": 4.527,
"textWidth": 4.069
},
{
"text": "is ",
"font": "serif",
"width": 1.749,
"textWidth": 1.291
},
{
"text": "set ",
"font": "serif",
"width": 2.677,
"textWidth": 2.218
},
{
"text": "to ",
"font": "serif",
"width": 2.033,
"textWidth": 1.574
},
{
"text": "500, ",
"font": "serif",
"width": 3.619,
"textWidth": 3.159
},
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "the ",
"font": "serif",
"width": 2.962,
"textWidth": 2.504
},
{
"text": "maximum ",
"font": "serif",
"width": 8.688,
"textWidth": 8.23
},
{
"text": "context ",
"font": "serif",
"width": 6.269,
"textWidth": 5.811
},
{
"text": "length ",
"font": "serif",
"width": 5.542,
"textWidth": 5.083
},
{
"text": "is ",
"font": "serif",
"width": 1.749,
"textWidth": 1.291
},
{
"text": "set ",
"font": "serif",
"width": 2.677,
"textWidth": 2.218
},
{
"text": "to ",
"font": "serif",
"width": 2.033,
"textWidth": 1.574
},
{
"text": "512K ",
"font": "serif",
"width": 4.479,
"textWidth": 4.018
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.278,
"textWidth": 5.71
},
{
"text": "Regarding ",
"font": "serif",
"width": 8.34,
"textWidth": 8.34
}
]
},
{
"left": 11.848,
"top": 76.864,
"width": 76.551,
"height": 1.296,
"words": [
{
"text": "Terminal-Bench ",
"font": "serif",
"width": 13.093,
"textWidth": 12.636
},
{
"text": "2.0, ",
"font": "serif",
"width": 3.177,
"textWidth": 2.719
},
{
"text": "we ",
"font": "serif",
"width": 2.836,
"textWidth": 2.38
},
{
"text": "acknowledge ",
"font": "serif",
"width": 11.11,
"textWidth": 10.654
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "environment-related ",
"font": "serif",
"width": 16.927,
"textWidth": 16.47
},
{
"text": "issues ",
"font": "serif",
"width": 5.252,
"textWidth": 4.794
},
{
"text": "noted ",
"font": "serif",
"width": 5.068,
"textWidth": 4.611
},
{
"text": "by ",
"font": "serif",
"width": 2.467,
"textWidth": 2.01
},
{
"text": "GLM-5.1. ",
"font": "serif",
"width": 8.096,
"textWidth": 7.527
},
{
"text": "Never- ",
"font": "serif",
"width": 5.552,
"textWidth": 5.552
}
]
},
{
"left": 11.905,
"top": 78.473,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "theless, ",
"font": "serif",
"width": 6.487,
"textWidth": 6.031
},
{
"text": "we ",
"font": "serif",
"width": 2.888,
"textWidth": 2.433
},
{
"text": "report ",
"font": "serif",
"width": 5.505,
"textWidth": 5.049
},
{
"text": "our ",
"font": "serif",
"width": 3.316,
"textWidth": 2.861
},
{
"text": "performance ",
"font": "serif",
"width": 10.9,
"textWidth": 10.444
},
{
"text": "on ",
"font": "serif",
"width": 2.546,
"textWidth": 2.09
},
{
"text": "the ",
"font": "serif",
"width": 3.026,
"textWidth": 2.57
},
{
"text": "original ",
"font": "serif",
"width": 6.852,
"textWidth": 6.396
},
{
"text": "Terminal-Bench ",
"font": "serif",
"width": 13.377,
"textWidth": 12.921
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.772,
"textWidth": 2.316
},
{
"text": "dataset ",
"font": "serif",
"width": 6.322,
"textWidth": 5.866
},
{
"text": "for ",
"font": "serif",
"width": 2.816,
"textWidth": 2.36
},
{
"text": "consistency. ",
"font": "serif",
"width": 9.707,
"textWidth": 9.707
}
]
},
{
"left": 11.905,
"top": 80.082,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "On ",
"font": "serif",
"width": 2.945,
"textWidth": 2.487
},
{
"text": "the ",
"font": "serif",
"width": 2.981,
"textWidth": 2.521
},
{
"text": "Terminal-Bench ",
"font": "serif",
"width": 13.133,
"textWidth": 12.675
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.732,
"textWidth": 2.272
},
{
"text": "Verified ",
"font": "serif",
"width": 6.766,
"textWidth": 6.308
},
{
"text": "subset, ",
"font": "serif",
"width": 6.021,
"textWidth": 5.561
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.615,
"textWidth": 14.156
},
{
"text": "achieves ",
"font": "serif",
"width": 7.303,
"textWidth": 6.843
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.909
},
{
"text": "score ",
"font": "serif",
"width": 4.585,
"textWidth": 4.127
},
{
"text": "of ",
"font": "serif",
"width": 2.058,
"textWidth": 1.598
},
{
"text": "approximately ",
"font": "serif",
"width": 11.755,
"textWidth": 11.755
}
]
},
{
"left": 11.905,
"top": 81.692,
"width": 3.665,
"height": 1.296,
"words": [
{
"text": "72.0. ",
"font": "serif",
"width": 3.665,
"textWidth": 3.665
}
]
},
{
"left": 14.75,
"top": 84.106,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "For ",
"font": "serif",
"width": 3.22,
"textWidth": 2.763
},
{
"text": "search ",
"font": "serif",
"width": 5.634,
"textWidth": 5.178
},
{
"text": "agent ",
"font": "serif",
"width": 4.966,
"textWidth": 4.508
},
{
"text": "tasks ",
"font": "serif",
"width": 4.573,
"textWidth": 4.115
},
{
"text": "(BrowseComp, ",
"font": "serif",
"width": 12.625,
"textWidth": 12.167
},
{
"text": "HLE ",
"font": "serif",
"width": 4.246,
"textWidth": 3.791
},
{
"text": "w/ ",
"font": "serif",
"width": 3.115,
"textWidth": 2.657
},
{
"text": "tool), ",
"font": "serif",
"width": 4.687,
"textWidth": 4.23
},
{
"text": "we ",
"font": "serif",
"width": 2.881,
"textWidth": 2.423
},
{
"text": "also ",
"font": "serif",
"width": 3.706,
"textWidth": 3.25
},
{
"text": "use ",
"font": "serif",
"width": 3.237,
"textWidth": 2.779
},
{
"text": "an ",
"font": "serif",
"width": 2.454,
"textWidth": 1.997
},
{
"text": "in-house ",
"font": "serif",
"width": 7.542,
"textWidth": 7.086
},
{
"text": "harness ",
"font": "serif",
"width": 6.706,
"textWidth": 6.249
},
{
"text": "with ",
"font": "serif",
"width": 3.752,
"textWidth": 3.752
}
]
},
{
"left": 11.828,
"top": 85.715,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "websearch ",
"font": "serif",
"width": 8.802,
"textWidth": 8.391
},
{
"text": "and ",
"font": "serif",
"width": 3.454,
"textWidth": 3.041
},
{
"text": "Python ",
"font": "serif",
"width": 6.151,
"textWidth": 5.74
},
{
"text": "tool, ",
"font": "serif",
"width": 3.94,
"textWidth": 3.518
},
{
"text": "and ",
"font": "serif",
"width": 3.454,
"textWidth": 3.041
},
{
"text": "set ",
"font": "serif",
"width": 2.619,
"textWidth": 2.207
},
{
"text": "maximum ",
"font": "serif",
"width": 8.601,
"textWidth": 8.188
},
{
"text": "interaction ",
"font": "serif",
"width": 8.965,
"textWidth": 8.552
},
{
"text": "steps ",
"font": "serif",
"width": 4.459,
"textWidth": 4.046
},
{
"text": "to ",
"font": "serif",
"width": 1.979,
"textWidth": 1.566
},
{
"text": "500 ",
"font": "serif",
"width": 3.105,
"textWidth": 2.694
},
{
"text": "and ",
"font": "serif",
"width": 3.454,
"textWidth": 3.041
},
{
"text": "the ",
"font": "serif",
"width": 2.904,
"textWidth": 2.491
},
{
"text": "maximum ",
"font": "serif",
"width": 8.599,
"textWidth": 8.188
},
{
"text": "context ",
"font": "serif",
"width": 5.781,
"textWidth": 5.781
}
]
},
{
"left": 11.905,
"top": 87.325,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "length ",
"font": "serif",
"width": 5.823,
"textWidth": 5.264
},
{
"text": "to ",
"font": "serif",
"width": 2.189,
"textWidth": 1.63
},
{
"text": "512K ",
"font": "serif",
"width": 4.722,
"textWidth": 4.161
},
{
"text": "tokens. ",
"font": "serif",
"width": 6.784,
"textWidth": 5.912
},
{
"text": "For ",
"font": "serif",
"width": 3.357,
"textWidth": 2.798
},
{
"text": "BrowseComp, ",
"font": "serif",
"width": 12.287,
"textWidth": 11.702
},
{
"text": "we ",
"font": "serif",
"width": 3.013,
"textWidth": 2.454
},
{
"text": "use ",
"font": "serif",
"width": 3.376,
"textWidth": 2.815
},
{
"text": "the ",
"font": "serif",
"width": 3.152,
"textWidth": 2.593
},
{
"text": "same ",
"font": "serif",
"width": 4.832,
"textWidth": 4.273
},
{
"text": "discard-all ",
"font": "serif",
"width": 9.296,
"textWidth": 8.735
},
{
"text": "context ",
"font": "serif",
"width": 6.576,
"textWidth": 6.015
},
{
"text": "management ",
"font": "serif",
"width": 10.786,
"textWidth": 10.786
}
]
},
{
"left": 11.905,
"top": 88.934,
"width": 38.758,
"height": 1.296,
"words": [
{
"text": "strategy ",
"font": "serif",
"width": 6.986,
"textWidth": 6.528
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.693
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.695,
"textWidth": 12.236
},
{
"text": "(DeepSeek-AI, ",
"font": "serif",
"width": 12.192,
"textWidth": 11.734
},
{
"text": "2025). ",
"font": "serif",
"width": 4.734,
"textWidth": 4.734
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "37 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"38": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.439,
"width": 20.771,
"height": 1.296,
"words": [
{
"text": "5.3.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Evaluation ",
"font": "serif-bold-italic",
"width": 9.625,
"textWidth": 9.167
},
{
"text": "Results ",
"font": "serif-bold-italic",
"width": 6.106,
"textWidth": 6.106
}
]
},
{
"left": 11.848,
"top": 13.738,
"width": 76.476,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.769,
"textWidth": 4.313
},
{
"text": "6 ",
"font": "serif",
"width": 2.345,
"textWidth": 0.92
},
{
"text": "Comparison ",
"font": "serif",
"width": 10.534,
"textWidth": 10.077
},
{
"text": "between ",
"font": "serif",
"width": 7.321,
"textWidth": 6.867
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.007,
"textWidth": 18.55
},
{
"text": "and ",
"font": "serif",
"width": 3.571,
"textWidth": 3.115
},
{
"text": "closed/open ",
"font": "serif",
"width": 10.775,
"textWidth": 10.32
},
{
"text": "source ",
"font": "serif",
"width": 5.742,
"textWidth": 5.286
},
{
"text": "models. ",
"font": "serif",
"width": 6.977,
"textWidth": 6.41
},
{
"text": "\"Max\", ",
"font": "serif",
"width": 5.435,
"textWidth": 5.435
}
]
},
{
"left": 11.905,
"top": 15.348,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "\"xHigh\", ",
"font": "serif",
"width": 7.748,
"textWidth": 7.045
},
{
"text": "and ",
"font": "serif",
"width": 3.819,
"textWidth": 3.165
},
{
"text": "\"High\" ",
"font": "serif",
"width": 6.268,
"textWidth": 5.613
},
{
"text": "denote ",
"font": "serif",
"width": 6.305,
"textWidth": 5.651
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.761,
"textWidth": 8.107
},
{
"text": "effort. ",
"font": "serif",
"width": 6.098,
"textWidth": 4.942
},
{
"text": "The ",
"font": "serif",
"width": 3.783,
"textWidth": 3.129
},
{
"text": "best ",
"font": "serif",
"width": 3.985,
"textWidth": 3.331
},
{
"text": "results ",
"font": "serif",
"width": 6.12,
"textWidth": 5.466
},
{
"text": "are ",
"font": "serif",
"width": 3.191,
"textWidth": 2.537
},
{
"text": "highlighted ",
"font": "serif",
"width": 10.273,
"textWidth": 9.621
},
{
"text": "in ",
"font": "serif",
"width": 2.286,
"textWidth": 1.632
},
{
"text": "bold; ",
"font": "serif",
"width": 4.961,
"textWidth": 4.208
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 16.957,
"width": 28.231,
"height": 1.296,
"words": [
{
"text": "second-best ",
"font": "serif",
"width": 9.99,
"textWidth": 9.531
},
{
"text": "results ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "underlined. ",
"font": "serif",
"width": 9.482,
"textWidth": 9.482
}
]
},
{
"left": 35.226,
"top": 20.252,
"width": 52.4,
"height": 1.25,
"words": [
{
"text": "Opus-4.6 ",
"font": "serif-bold",
"width": 7.688,
"textWidth": 7.216
},
{
"text": "GPT-5.4 ",
"font": "serif-bold",
"width": 6.838,
"textWidth": 6.367
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif-bold",
"width": 14.91,
"textWidth": 12.323
},
{
"text": "K2.6 ",
"font": "serif-bold",
"width": 6.364,
"textWidth": 3.585
},
{
"text": "GLM-5.1 ",
"font": "serif-bold",
"width": 7.861,
"textWidth": 7.119
},
{
"text": "DS-V4-Pro ",
"font": "serif-bold",
"width": 8.74,
"textWidth": 8.74
}
]
},
{
"left": 14.595,
"top": 21.016,
"width": 13.992,
"height": 1.25,
"words": [
{
"text": "Benchmark ",
"font": "serif-bold",
"width": 9.673,
"textWidth": 9.231
},
{
"text": "(Metric) ",
"font": "serif-bold",
"width": 4.319,
"textWidth": 4.319
}
]
},
{
"left": 37.066,
"top": 21.78,
"width": 47.957,
"height": 1.25,
"words": [
{
"text": "Max ",
"font": "serif-bold",
"width": 6.526,
"textWidth": 3.535
},
{
"text": "xHigh ",
"font": "serif-bold",
"width": 10.258,
"textWidth": 5.008
},
{
"text": "High ",
"font": "serif-bold",
"width": 8.774,
"textWidth": 4.124
},
{
"text": "Thinking ",
"font": "serif-bold",
"width": 8.131,
"textWidth": 7.66
},
{
"text": "Thinking ",
"font": "serif-bold",
"width": 10.732,
"textWidth": 7.66
},
{
"text": "Max ",
"font": "serif-bold",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 14.595,
"top": 24.09,
"width": 33.048,
"height": 1.25,
"words": [
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 9.53,
"textWidth": 9.088
},
{
"text": "(EM) ",
"font": "serif",
"width": 13.162,
"textWidth": 2.62
},
{
"text": "89.1 ",
"font": "serif",
"width": 7.263,
"textWidth": 3.094
},
{
"text": "87.5 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 24.07,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "91.0 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 24.09,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "87.1 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "86.0 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "87.5 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 25.211,
"width": 1.768,
"height": 0.695,
"words": [
{
"text": "g ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 25.618,
"width": 35.287,
"height": 1.25,
"words": [
{
"text": "n ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "SimpleQA-Verified ",
"font": "serif",
"width": 15.358,
"textWidth": 14.916
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 7.334,
"textWidth": 4.555
},
{
"text": "46.2 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "45.3 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 25.598,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "75.6 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 25.618,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "36.9 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "38.1 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "57.9 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 26.633,
"width": 1.768,
"height": 0.364,
"words": [
{
"text": "i ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 26.997,
"width": 35.287,
"height": 1.41,
"words": [
{
"text": "n ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
},
{
"text": "o ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "Chinese-SimpleQA ",
"font": "serif",
"width": 15.49,
"textWidth": 15.049
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 7.201,
"textWidth": 4.555
},
{
"text": "76.4 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "76.8 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 27.126,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "85.9 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 27.146,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "75.9 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "75.0 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "84.4 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 28.407,
"width": 1.768,
"height": 0.53,
"words": [
{
"text": "s ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 28.673,
"width": 35.287,
"height": 1.25,
"words": [
{
"text": "a ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "GPQA ",
"font": "serif",
"width": 5.623,
"textWidth": 5.181
},
{
"text": "Diamond ",
"font": "serif",
"width": 7.843,
"textWidth": 7.401
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.225,
"textWidth": 4.555
},
{
"text": "91.3 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "93.0 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 28.653,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "94.3 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 28.673,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "90.5 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "86.2 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "90.1 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 29.561,
"width": 1.768,
"height": 0.599,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 30.16,
"width": 35.287,
"height": 1.291,
"words": [
{
"text": "R ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "HLE ",
"font": "serif",
"width": 4.073,
"textWidth": 3.631
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 18.619,
"textWidth": 4.555
},
{
"text": "40.0 ",
"font": "serif",
"width": 7.263,
"textWidth": 3.094
},
{
"text": "39.8 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 30.181,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "44.4 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 30.201,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "36.4 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "34.7 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "37.7 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 31.729,
"width": 53.405,
"height": 1.25,
"words": [
{
"text": "LiveCodeBench ",
"font": "serif",
"width": 12.796,
"textWidth": 12.355
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.895,
"textWidth": 4.555
},
{
"text": "88.8 ",
"font": "serif",
"width": 17.08,
"textWidth": 3.094
},
{
"text": "91.7 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "89.6 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 81.709,
"top": 31.709,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "93.5 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 32.592,
"width": 1.768,
"height": 0.599,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 33.191,
"width": 45.324,
"height": 1.315,
"words": [
{
"text": "g ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "Codeforces ",
"font": "serif",
"width": 9.189,
"textWidth": 8.747
},
{
"text": "(Rating) ",
"font": "serif",
"width": 20.545,
"textWidth": 4.23
},
{
"text": "3168 ",
"font": "serif",
"width": 9.817,
"textWidth": 3.535
},
{
"text": "3052 ",
"font": "serif",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 81.487,
"top": 33.236,
"width": 3.535,
"height": 1.25,
"words": [
{
"text": "3206 ",
"font": "serif-bold",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 12.356,
"top": 33.886,
"width": 1.768,
"height": 0.764,
"words": [
{
"text": "d ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 34.65,
"width": 1.768,
"height": 0.599,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 34.784,
"width": 28.024,
"height": 1.25,
"words": [
{
"text": "l ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "HMMT ",
"font": "serif",
"width": 6.341,
"textWidth": 5.899
},
{
"text": "2026 ",
"font": "serif",
"width": 3.977,
"textWidth": 3.535
},
{
"text": "Feb ",
"font": "serif",
"width": 3.249,
"textWidth": 2.807
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.124,
"textWidth": 4.555
},
{
"text": "96.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 44.55,
"top": 34.764,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "97.7 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 34.784,
"width": 30.437,
"height": 1.25,
"words": [
{
"text": "94.7 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "92.7 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "89.4 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "95.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 35.612,
"width": 1.768,
"height": 1.042,
"words": [
{
"text": "w ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 36.312,
"width": 28.024,
"height": 1.25,
"words": [
{
"text": "o ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "IMOAnswerBench ",
"font": "serif",
"width": 15.041,
"textWidth": 14.6
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 7.65,
"textWidth": 4.555
},
{
"text": "75.3 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 44.55,
"top": 36.292,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "91.4 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 36.312,
"width": 30.436,
"height": 1.25,
"words": [
{
"text": "81.0 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "86.0 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "83.8 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "89.8 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.356,
"top": 37.337,
"width": 1.768,
"height": 0.727,
"words": [
{
"text": "n ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.356,
"top": 37.839,
"width": 35.287,
"height": 1.25,
"words": [
{
"text": "K ",
"font": "serif",
"width": 2.239,
"textWidth": 1.768
},
{
"text": "Apex ",
"font": "serif",
"width": 4.638,
"textWidth": 4.197
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 18.053,
"textWidth": 4.555
},
{
"text": "34.5 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "54.1 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 37.819,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "60.9 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 37.839,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "24.0 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "11.5 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "38.3 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 39.367,
"width": 61.537,
"height": 1.25,
"words": [
{
"text": "Apex ",
"font": "serif",
"width": 4.638,
"textWidth": 4.197
},
{
"text": "Shortlist ",
"font": "serif",
"width": 6.993,
"textWidth": 6.551
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.06,
"textWidth": 4.555
},
{
"text": "85.9 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "78.1 ",
"font": "serif",
"width": 9.816,
"textWidth": 3.094
},
{
"text": "89.1 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "75.5 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "72.4 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 81.709,
"top": 39.347,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "90.2 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 41.485,
"width": 1.768,
"height": 0.695,
"words": [
{
"text": "g ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.329,
"top": 41.657,
"width": 14.795,
"height": 1.25,
"words": [
{
"text": "n ",
"font": "serif",
"width": 2.266,
"textWidth": 1.768
},
{
"text": "MRCR ",
"font": "serif",
"width": 5.729,
"textWidth": 5.287
},
{
"text": "1M ",
"font": "serif",
"width": 2.998,
"textWidth": 2.556
},
{
"text": "(MMR) ",
"font": "serif",
"width": 3.802,
"textWidth": 3.802
}
]
},
{
"left": 37.287,
"top": 41.637,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "92.9 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 41.657,
"width": 30.435,
"height": 1.25,
"words": [
{
"text": "76.3 ",
"font": "serif",
"width": 27.342,
"textWidth": 3.094
},
{
"text": "83.5 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 42.908,
"width": 1.768,
"height": 0.682,
"words": [
{
"text": "o ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.329,
"top": 43.185,
"width": 17.638,
"height": 1.25,
"words": [
{
"text": "L ",
"font": "serif",
"width": 2.266,
"textWidth": 1.768
},
{
"text": "CorpusQA ",
"font": "serif",
"width": 9.001,
"textWidth": 8.559
},
{
"text": "1M ",
"font": "serif",
"width": 2.998,
"textWidth": 2.556
},
{
"text": "(ACC) ",
"font": "serif",
"width": 3.373,
"textWidth": 3.373
}
]
},
{
"left": 37.287,
"top": 43.165,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "71.7 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 43.185,
"width": 30.435,
"height": 1.25,
"words": [
{
"text": "53.8 ",
"font": "serif",
"width": 27.342,
"textWidth": 3.094
},
{
"text": "62.0 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 45.476,
"width": 25.785,
"height": 1.25,
"words": [
{
"text": "Terminal ",
"font": "serif",
"width": 7.41,
"textWidth": 6.968
},
{
"text": "Bench ",
"font": "serif",
"width": 5.211,
"textWidth": 4.769
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.652,
"textWidth": 2.21
},
{
"text": "(Acc) ",
"font": "serif",
"width": 7.418,
"textWidth": 2.748
},
{
"text": "65.4 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 44.55,
"top": 45.456,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "75.1 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 45.476,
"width": 30.436,
"height": 1.25,
"words": [
{
"text": "68.5 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "66.7 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "63.5 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "67.9 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 47.003,
"width": 16.368,
"height": 1.25,
"words": [
{
"text": "SWE ",
"font": "serif",
"width": 4.218,
"textWidth": 3.776
},
{
"text": "Verified ",
"font": "serif",
"width": 6.578,
"textWidth": 6.136
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 5.573,
"textWidth": 5.573
}
]
},
{
"left": 37.287,
"top": 46.983,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "80.8 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 47.003,
"width": 30.436,
"height": 1.25,
"words": [
{
"text": "80.6 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "80.2 ",
"font": "serif",
"width": 16.802,
"textWidth": 3.094
},
{
"text": "80.6 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 48.531,
"width": 42.865,
"height": 1.25,
"words": [
{
"text": "SWE ",
"font": "serif",
"width": 4.218,
"textWidth": 3.776
},
{
"text": "Pro ",
"font": "serif",
"width": 3.141,
"textWidth": 2.699
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 15.332,
"textWidth": 5.573
},
{
"text": "57.3 ",
"font": "serif",
"width": 7.264,
"textWidth": 3.094
},
{
"text": "57.7 ",
"font": "serif",
"width": 9.816,
"textWidth": 3.094
},
{
"text": "54.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 48.511,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "58.6 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 73.039,
"top": 48.531,
"width": 11.764,
"height": 1.25,
"words": [
{
"text": "58.4 ",
"font": "serif",
"width": 8.67,
"textWidth": 3.094
},
{
"text": "55.4 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 50.059,
"width": 22.347,
"height": 1.25,
"words": [
{
"text": "c ",
"font": "serif",
"width": 2.266,
"textWidth": 1.768
},
{
"text": "SWE ",
"font": "serif",
"width": 4.218,
"textWidth": 3.776
},
{
"text": "Multilingual ",
"font": "serif",
"width": 10.29,
"textWidth": 9.848
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 5.573,
"textWidth": 5.573
}
]
},
{
"left": 37.287,
"top": 50.039,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "77.5 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 50.059,
"width": 19.895,
"height": 1.25,
"words": [
{
"text": "76.7 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "73.3 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "76.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 51.108,
"width": 1.768,
"height": 0.771,
"words": [
{
"text": "i ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
},
{
"text": "t ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.329,
"top": 51.586,
"width": 35.314,
"height": 1.25,
"words": [
{
"text": "n ",
"font": "serif",
"width": 2.266,
"textWidth": 1.768
},
{
"text": "BrowseComp ",
"font": "serif",
"width": 11.066,
"textWidth": 10.624
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.626,
"textWidth": 4.555
},
{
"text": "83.7 ",
"font": "serif",
"width": 7.263,
"textWidth": 3.094
},
{
"text": "82.7 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.366,
"top": 51.566,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "85.9 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 51.586,
"width": 19.896,
"height": 1.25,
"words": [
{
"text": "83.2 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "79.3 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "83.4 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 52.607,
"width": 1.768,
"height": 0.599,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 12.329,
"top": 53.114,
"width": 45.13,
"height": 1.25,
"words": [
{
"text": "g ",
"font": "serif",
"width": 2.266,
"textWidth": 1.768
},
{
"text": "HLE ",
"font": "serif",
"width": 4.073,
"textWidth": 3.631
},
{
"text": "w/ ",
"font": "serif",
"width": 2.987,
"textWidth": 2.546
},
{
"text": "tools ",
"font": "serif",
"width": 4.212,
"textWidth": 3.771
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.419,
"textWidth": 4.555
},
{
"text": "53.1 ",
"font": "serif",
"width": 7.263,
"textWidth": 3.094
},
{
"text": "52.0 ",
"font": "serif",
"width": 9.816,
"textWidth": 3.094
},
{
"text": "51.6 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 64.907,
"top": 53.094,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "54.0 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 73.039,
"top": 53.114,
"width": 11.764,
"height": 1.25,
"words": [
{
"text": "50.4 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "48.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 12.329,
"top": 53.9,
"width": 1.768,
"height": 0.972,
"words": [
{
"text": "A ",
"font": "serif",
"width": 1.768,
"textWidth": 1.768
}
]
},
{
"left": 14.595,
"top": 54.642,
"width": 26.006,
"height": 1.25,
"words": [
{
"text": "GDPval-AA ",
"font": "serif",
"width": 9.963,
"textWidth": 9.521
},
{
"text": "(Elo) ",
"font": "serif",
"width": 12.508,
"textWidth": 2.491
},
{
"text": "1619 ",
"font": "serif",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 44.329,
"top": 54.622,
"width": 3.535,
"height": 1.25,
"words": [
{
"text": "1674 ",
"font": "serif-bold",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 54.145,
"top": 54.642,
"width": 30.879,
"height": 1.25,
"words": [
{
"text": "1314 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.535
},
{
"text": "1482 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.535
},
{
"text": "1535 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.535
},
{
"text": "1554 ",
"font": "serif",
"width": 3.535,
"textWidth": 3.535
}
]
},
{
"left": 14.595,
"top": 56.169,
"width": 17.852,
"height": 1.25,
"words": [
{
"text": "MCPAtlas ",
"font": "serif",
"width": 8.372,
"textWidth": 7.93
},
{
"text": "Public(Pass@1) ",
"font": "serif",
"width": 9.48,
"textWidth": 9.48
}
]
},
{
"left": 37.287,
"top": 56.149,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "73.8 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 44.55,
"top": 56.169,
"width": 40.252,
"height": 1.25,
"words": [
{
"text": "67.2 ",
"font": "serif",
"width": 9.816,
"textWidth": 3.094
},
{
"text": "69.2 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "66.6 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "71.8 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "73.6 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.595,
"top": 57.697,
"width": 25.785,
"height": 1.25,
"words": [
{
"text": "Toolathlon ",
"font": "serif",
"width": 8.805,
"textWidth": 8.363
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 13.886,
"textWidth": 4.555
},
{
"text": "47.2 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 44.55,
"top": 57.677,
"width": 3.094,
"height": 1.25,
"words": [
{
"text": "54.6 ",
"font": "serif-bold",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 54.367,
"top": 57.697,
"width": 30.436,
"height": 1.25,
"words": [
{
"text": "48.8 ",
"font": "serif",
"width": 10.541,
"textWidth": 3.094
},
{
"text": "50.0 ",
"font": "serif",
"width": 8.131,
"textWidth": 3.094
},
{
"text": "40.7 ",
"font": "serif",
"width": 8.671,
"textWidth": 3.094
},
{
"text": "51.8 ",
"font": "serif",
"width": 3.094,
"textWidth": 3.094
}
]
},
{
"left": 14.75,
"top": 61.052,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.398,
"textWidth": 3.006
},
{
"text": "comparison ",
"font": "serif",
"width": 9.754,
"textWidth": 9.361
},
{
"text": "of ",
"font": "serif",
"width": 1.97,
"textWidth": 1.579
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.498,
"textWidth": 18.105
},
{
"text": "and ",
"font": "serif",
"width": 3.432,
"textWidth": 3.041
},
{
"text": "other ",
"font": "serif",
"width": 4.574,
"textWidth": 4.181
},
{
"text": "closed/open ",
"font": "serif",
"width": 10.465,
"textWidth": 10.072
},
{
"text": "source ",
"font": "serif",
"width": 5.551,
"textWidth": 5.158
},
{
"text": "models ",
"font": "serif",
"width": 6.2,
"textWidth": 5.808
},
{
"text": "is ",
"font": "serif",
"width": 1.676,
"textWidth": 1.284
},
{
"text": "presented ",
"font": "serif",
"width": 7.827,
"textWidth": 7.827
}
]
},
{
"left": 11.905,
"top": 62.661,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.05,
"textWidth": 1.592
},
{
"text": "Table ",
"font": "serif",
"width": 4.73,
"textWidth": 4.272
},
{
"text": "6. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.368
},
{
"text": "Also, ",
"font": "serif",
"width": 4.632,
"textWidth": 4.174
},
{
"text": "we ",
"font": "serif",
"width": 2.852,
"textWidth": 2.394
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.283,
"textWidth": 6.825
},
{
"text": "different ",
"font": "serif",
"width": 7.372,
"textWidth": 6.915
},
{
"text": "modes ",
"font": "serif",
"width": 5.824,
"textWidth": 5.366
},
{
"text": "of ",
"font": "serif",
"width": 2.06,
"textWidth": 1.603
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.163,
"textWidth": 15.705
},
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.087
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.657,
"textWidth": 14.199
},
{
"text": "and ",
"font": "serif",
"width": 3.087,
"textWidth": 3.087
}
]
},
{
"left": 11.905,
"top": 64.271,
"width": 21.834,
"height": 1.296,
"words": [
{
"text": "show ",
"font": "serif",
"width": 4.831,
"textWidth": 4.373
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "results ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "7. ",
"font": "serif",
"width": 1.374,
"textWidth": 1.374
}
]
},
{
"left": 11.905,
"top": 68.477,
"width": 10.131,
"height": 1.296,
"words": [
{
"text": "Knowledge. ",
"font": "serif-bold",
"width": 10.131,
"textWidth": 10.131
}
]
},
{
"left": 23.857,
"top": 68.497,
"width": 64.543,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.144,
"textWidth": 1.684
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.542
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.04,
"textWidth": 8.582
},
{
"text": "of ",
"font": "serif",
"width": 2.071,
"textWidth": 1.611
},
{
"text": "general ",
"font": "serif",
"width": 6.475,
"textWidth": 6.015
},
{
"text": "world ",
"font": "serif",
"width": 5.366,
"textWidth": 4.906
},
{
"text": "knowledge, ",
"font": "serif",
"width": 9.958,
"textWidth": 9.498
},
{
"text": "DeepSeek-V4-Pro-Max, ",
"font": "serif",
"width": 19.395,
"textWidth": 18.935
},
{
"text": "the ",
"font": "serif",
"width": 3.002,
"textWidth": 2.542
},
{
"text": "max- ",
"font": "serif",
"width": 4.09,
"textWidth": 4.09
}
]
},
{
"left": 11.905,
"top": 70.107,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "imum ",
"font": "serif",
"width": 5.559,
"textWidth": 4.972
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.694,
"textWidth": 8.107
},
{
"text": "effort ",
"font": "serif",
"width": 5.062,
"textWidth": 4.475
},
{
"text": "mode ",
"font": "serif",
"width": 5.296,
"textWidth": 4.709
},
{
"text": "of ",
"font": "serif",
"width": 2.23,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.644,
"textWidth": 15.025
},
{
"text": "establishes ",
"font": "serif",
"width": 9.509,
"textWidth": 8.922
},
{
"text": "a ",
"font": "serif",
"width": 1.522,
"textWidth": 0.935
},
{
"text": "new ",
"font": "serif",
"width": 4.129,
"textWidth": 3.542
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.814,
"textWidth": 12.227
},
{
"text": "among ",
"font": "serif",
"width": 5.733,
"textWidth": 5.733
}
]
},
{
"left": 11.905,
"top": 71.716,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "open-source ",
"font": "serif",
"width": 10.244,
"textWidth": 9.783
},
{
"text": "large ",
"font": "serif",
"width": 4.441,
"textWidth": 3.979
},
{
"text": "language ",
"font": "serif",
"width": 7.81,
"textWidth": 7.349
},
{
"text": "models. ",
"font": "serif",
"width": 6.872,
"textWidth": 6.295
},
{
"text": "As ",
"font": "serif",
"width": 2.633,
"textWidth": 2.172
},
{
"text": "demonstrated ",
"font": "serif",
"width": 11.595,
"textWidth": 11.134
},
{
"text": "by ",
"font": "serif",
"width": 2.465,
"textWidth": 2.004
},
{
"text": "the ",
"font": "serif",
"width": 2.967,
"textWidth": 2.506
},
{
"text": "SimpleQA-Verified, ",
"font": "serif",
"width": 16.158,
"textWidth": 15.695
},
{
"text": "DeepSeek-V4- ",
"font": "serif",
"width": 11.31,
"textWidth": 11.31
}
]
},
{
"left": 11.905,
"top": 73.326,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Pro-Max ",
"font": "serif",
"width": 7.352,
"textWidth": 6.892
},
{
"text": "significantly ",
"font": "serif",
"width": 10.286,
"textWidth": 9.824
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.436,
"textWidth": 9.974
},
{
"text": "all ",
"font": "serif",
"width": 2.411,
"textWidth": 1.951
},
{
"text": "existing ",
"font": "serif",
"width": 6.71,
"textWidth": 6.248
},
{
"text": "open-source ",
"font": "serif",
"width": 10.223,
"textWidth": 9.763
},
{
"text": "baselines ",
"font": "serif",
"width": 7.716,
"textWidth": 7.255
},
{
"text": "by ",
"font": "serif",
"width": 2.46,
"textWidth": 2.0
},
{
"text": "a ",
"font": "serif",
"width": 1.363,
"textWidth": 0.902
},
{
"text": "margin ",
"font": "serif",
"width": 6.212,
"textWidth": 5.751
},
{
"text": "of ",
"font": "serif",
"width": 2.045,
"textWidth": 1.585
},
{
"text": "20 ",
"font": "serif",
"width": 2.265,
"textWidth": 1.803
},
{
"text": "absolute ",
"font": "serif",
"width": 6.712,
"textWidth": 6.712
}
]
},
{
"left": 11.85,
"top": 74.935,
"width": 76.475,
"height": 1.296,
"words": [
{
"text": "percentage ",
"font": "serif",
"width": 9.556,
"textWidth": 9.015
},
{
"text": "points. ",
"font": "serif",
"width": 6.455,
"textWidth": 5.645
},
{
"text": "Despite ",
"font": "serif",
"width": 6.847,
"textWidth": 6.307
},
{
"text": "these ",
"font": "serif",
"width": 4.819,
"textWidth": 4.281
},
{
"text": "advances, ",
"font": "serif",
"width": 8.7,
"textWidth": 8.141
},
{
"text": "it ",
"font": "serif",
"width": 1.692,
"textWidth": 1.153
},
{
"text": "currently ",
"font": "serif",
"width": 8.116,
"textWidth": 7.578
},
{
"text": "trails ",
"font": "serif",
"width": 4.701,
"textWidth": 4.163
},
{
"text": "the ",
"font": "serif",
"width": 3.133,
"textWidth": 2.593
},
{
"text": "leading ",
"font": "serif",
"width": 6.726,
"textWidth": 6.187
},
{
"text": "proprietary ",
"font": "serif",
"width": 10.012,
"textWidth": 9.472
},
{
"text": "model, ",
"font": "serif",
"width": 5.72,
"textWidth": 5.72
}
]
},
{
"left": 11.905,
"top": 76.544,
"width": 76.239,
"height": 1.296,
"words": [
{
"text": "Gemini-3.1-Pro. ",
"font": "serif",
"width": 13.122,
"textWidth": 12.552
},
{
"text": "In ",
"font": "serif",
"width": 2.111,
"textWidth": 1.652
},
{
"text": "the ",
"font": "serif",
"width": 2.952,
"textWidth": 2.494
},
{
"text": "domain ",
"font": "serif",
"width": 6.594,
"textWidth": 6.136
},
{
"text": "of ",
"font": "serif",
"width": 2.04,
"textWidth": 1.58
},
{
"text": "educational ",
"font": "serif",
"width": 9.758,
"textWidth": 9.298
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.329,
"textWidth": 8.87
},
{
"text": "and ",
"font": "serif",
"width": 3.502,
"textWidth": 3.044
},
{
"text": "reasoning, ",
"font": "serif",
"width": 8.705,
"textWidth": 8.246
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.125,
"textWidth": 18.125
}
]
},
{
"left": 11.905,
"top": 78.154,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "marginally ",
"font": "serif",
"width": 9.377,
"textWidth": 8.917
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.677,
"textWidth": 10.217
},
{
"text": "Kimi ",
"font": "serif",
"width": 4.507,
"textWidth": 4.047
},
{
"text": "and ",
"font": "serif",
"width": 3.586,
"textWidth": 3.127
},
{
"text": "GLM ",
"font": "serif",
"width": 4.746,
"textWidth": 4.286
},
{
"text": "across ",
"font": "serif",
"width": 5.475,
"textWidth": 5.015
},
{
"text": "the ",
"font": "serif",
"width": 3.022,
"textWidth": 2.562
},
{
"text": "MMLU-Pro, ",
"font": "serif",
"width": 10.419,
"textWidth": 9.959
},
{
"text": "GPQA, ",
"font": "serif",
"width": 6.336,
"textWidth": 5.876
},
{
"text": "and ",
"font": "serif",
"width": 3.587,
"textWidth": 3.127
},
{
"text": "HLE ",
"font": "serif",
"width": 4.254,
"textWidth": 3.794
},
{
"text": "benchmarks, ",
"font": "serif",
"width": 10.433,
"textWidth": 10.433
}
]
},
{
"left": 11.905,
"top": 79.763,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "although ",
"font": "serif",
"width": 7.897,
"textWidth": 7.444
},
{
"text": "it ",
"font": "serif",
"width": 1.606,
"textWidth": 1.152
},
{
"text": "lags ",
"font": "serif",
"width": 3.763,
"textWidth": 3.307
},
{
"text": "behind ",
"font": "serif",
"width": 6.239,
"textWidth": 5.785
},
{
"text": "leading ",
"font": "serif",
"width": 6.635,
"textWidth": 6.181
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.916,
"textWidth": 9.462
},
{
"text": "models. ",
"font": "serif",
"width": 7.074,
"textWidth": 6.506
},
{
"text": "Broadly, ",
"font": "serif",
"width": 7.24,
"textWidth": 6.784
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.281,
"textWidth": 18.827
},
{
"text": "marks ",
"font": "serif",
"width": 5.606,
"textWidth": 5.15
},
{
"text": "a ",
"font": "serif",
"width": 0.934,
"textWidth": 0.934
}
]
},
{
"left": 11.905,
"top": 81.372,
"width": 74.476,
"height": 1.296,
"words": [
{
"text": "significant ",
"font": "serif",
"width": 8.89,
"textWidth": 8.432
},
{
"text": "milestone ",
"font": "serif",
"width": 8.34,
"textWidth": 7.882
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "enhancing ",
"font": "serif",
"width": 8.885,
"textWidth": 8.426
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "world ",
"font": "serif",
"width": 5.364,
"textWidth": 4.906
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.5,
"textWidth": 9.042
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.605,
"textWidth": 9.147
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "open-source ",
"font": "serif",
"width": 10.38,
"textWidth": 9.922
},
{
"text": "models. ",
"font": "serif",
"width": 6.385,
"textWidth": 6.385
}
]
},
{
"left": 14.75,
"top": 83.786,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.096,
"textWidth": 1.65
},
{
"text": "addition, ",
"font": "serif",
"width": 7.647,
"textWidth": 7.198
},
{
"text": "a ",
"font": "serif",
"width": 1.343,
"textWidth": 0.898
},
{
"text": "significant ",
"font": "serif",
"width": 8.709,
"textWidth": 8.263
},
{
"text": "performance ",
"font": "serif",
"width": 10.569,
"textWidth": 10.124
},
{
"text": "gap ",
"font": "serif",
"width": 3.423,
"textWidth": 2.976
},
{
"text": "exists ",
"font": "serif",
"width": 4.863,
"textWidth": 4.418
},
{
"text": "between ",
"font": "serif",
"width": 7.148,
"textWidth": 6.703
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 15.914,
"textWidth": 15.469
},
{
"text": "and ",
"font": "serif",
"width": 3.486,
"textWidth": 3.041
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.45,
"textWidth": 8.45
}
]
},
{
"left": 11.839,
"top": 85.396,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V4-Pro ",
"font": "serif",
"width": 6.419,
"textWidth": 5.761
},
{
"text": "on ",
"font": "serif",
"width": 2.765,
"textWidth": 2.109
},
{
"text": "knowledge-based ",
"font": "serif",
"width": 15.302,
"textWidth": 14.644
},
{
"text": "tasks; ",
"font": "serif",
"width": 5.391,
"textWidth": 4.636
},
{
"text": "this ",
"font": "serif",
"width": 3.692,
"textWidth": 3.034
},
{
"text": "is ",
"font": "serif",
"width": 1.993,
"textWidth": 1.337
},
{
"text": "anticipated, ",
"font": "serif",
"width": 10.429,
"textWidth": 9.722
},
{
"text": "as ",
"font": "serif",
"width": 2.383,
"textWidth": 1.727
},
{
"text": "larger ",
"font": "serif",
"width": 5.514,
"textWidth": 4.858
},
{
"text": "parameter ",
"font": "serif",
"width": 9.178,
"textWidth": 8.52
},
{
"text": "counts ",
"font": "serif",
"width": 6.124,
"textWidth": 5.468
},
{
"text": "facilitate ",
"font": "serif",
"width": 7.068,
"textWidth": 7.068
}
]
},
{
"left": 11.905,
"top": 87.005,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "greater ",
"font": "serif",
"width": 6.125,
"textWidth": 5.663
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.439,
"textWidth": 8.977
},
{
"text": "retention ",
"font": "serif",
"width": 7.72,
"textWidth": 7.257
},
{
"text": "during ",
"font": "serif",
"width": 5.989,
"textWidth": 5.529
},
{
"text": "pre-training. ",
"font": "serif",
"width": 10.702,
"textWidth": 10.123
},
{
"text": "Notably, ",
"font": "serif",
"width": 7.27,
"textWidth": 6.808
},
{
"text": "both ",
"font": "serif",
"width": 4.115,
"textWidth": 3.652
},
{
"text": "models ",
"font": "serif",
"width": 6.346,
"textWidth": 5.885
},
{
"text": "demonstrate ",
"font": "serif",
"width": 10.564,
"textWidth": 10.102
},
{
"text": "improved ",
"font": "serif",
"width": 7.922,
"textWidth": 7.922
}
]
},
{
"left": 11.905,
"top": 88.615,
"width": 59.954,
"height": 1.296,
"words": [
{
"text": "results ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.5,
"textWidth": 9.042
},
{
"text": "benchmarks ",
"font": "serif",
"width": 10.351,
"textWidth": 9.892
},
{
"text": "when ",
"font": "serif",
"width": 4.998,
"textWidth": 4.539
},
{
"text": "allocated ",
"font": "serif",
"width": 7.767,
"textWidth": 7.308
},
{
"text": "higher ",
"font": "serif",
"width": 5.745,
"textWidth": 5.287
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "effort. ",
"font": "serif",
"width": 4.845,
"textWidth": 4.845
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "38 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"39": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 10.297,
"width": 76.476,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.875,
"textWidth": 4.385
},
{
"text": "7 ",
"font": "serif",
"width": 2.43,
"textWidth": 0.935
},
{
"text": "Comparison ",
"font": "serif",
"width": 10.73,
"textWidth": 10.238
},
{
"text": "among ",
"font": "serif",
"width": 6.223,
"textWidth": 5.733
},
{
"text": "different ",
"font": "serif",
"width": 7.582,
"textWidth": 7.09
},
{
"text": "sizes ",
"font": "serif",
"width": 4.451,
"textWidth": 3.959
},
{
"text": "and ",
"font": "serif",
"width": 3.654,
"textWidth": 3.165
},
{
"text": "modes ",
"font": "serif",
"width": 5.993,
"textWidth": 5.501
},
{
"text": "of ",
"font": "serif",
"width": 2.133,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.571,
"textWidth": 11.079
},
{
"text": "series. ",
"font": "serif",
"width": 5.791,
"textWidth": 5.126
},
{
"text": "\"Non-Think\", ",
"font": "serif",
"width": 11.044,
"textWidth": 11.044
}
]
},
{
"left": 11.905,
"top": 11.907,
"width": 34.644,
"height": 1.296,
"words": [
{
"text": "\"High\", ",
"font": "serif",
"width": 6.42,
"textWidth": 5.961
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "\"Max\" ",
"font": "serif",
"width": 5.414,
"textWidth": 4.955
},
{
"text": "denote ",
"font": "serif",
"width": 5.998,
"textWidth": 5.54
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "effort. ",
"font": "serif",
"width": 4.845,
"textWidth": 4.845
}
]
},
{
"left": 43.251,
"top": 15.094,
"width": 37.738,
"height": 1.183,
"words": [
{
"text": "DeepSeek-V4-Flash ",
"font": "serif-bold",
"width": 24.072,
"textWidth": 15.153
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif-bold",
"width": 13.667,
"textWidth": 13.667
}
]
},
{
"left": 18.909,
"top": 15.804,
"width": 12.839,
"height": 1.183,
"words": [
{
"text": "Benchmark ",
"font": "serif-bold",
"width": 9.158,
"textWidth": 8.74
},
{
"text": "(Metric) ",
"font": "serif-bold",
"width": 3.68,
"textWidth": 3.68
}
]
},
{
"left": 40.201,
"top": 16.514,
"width": 45.251,
"height": 1.183,
"words": [
{
"text": "Non-Think ",
"font": "serif-bold",
"width": 11.324,
"textWidth": 8.646
},
{
"text": "High ",
"font": "serif-bold",
"width": 6.582,
"textWidth": 3.905
},
{
"text": "Max ",
"font": "serif-bold",
"width": 6.092,
"textWidth": 3.347
},
{
"text": "Non-Think ",
"font": "serif-bold",
"width": 11.324,
"textWidth": 8.646
},
{
"text": "High ",
"font": "serif-bold",
"width": 6.582,
"textWidth": 3.905
},
{
"text": "Max ",
"font": "serif-bold",
"width": 3.347,
"textWidth": 3.347
}
]
},
{
"left": 18.909,
"top": 18.603,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "MMLU-Pro ",
"font": "serif",
"width": 9.023,
"textWidth": 8.604
},
{
"text": "(EM) ",
"font": "serif",
"width": 15.127,
"textWidth": 2.232
},
{
"text": "83.0 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "86.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "86.2 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "82.9 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "87.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "87.5 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 19.542,
"width": 1.674,
"height": 0.658,
"words": [
{
"text": "g ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 20.023,
"width": 70.685,
"height": 1.183,
"words": [
{
"text": "n ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "SimpleQA-Verified ",
"font": "serif",
"width": 14.541,
"textWidth": 14.122
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.609,
"textWidth": 3.881
},
{
"text": "23.1 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "28.9 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "34.1 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "45.0 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "46.2 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "57.9 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 20.888,
"width": 1.674,
"height": 1.033,
"words": [
{
"text": "ni ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 21.443,
"width": 70.685,
"height": 1.183,
"words": [
{
"text": "o ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "Chinese-SimpleQA ",
"font": "serif",
"width": 14.666,
"textWidth": 14.247
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.484,
"textWidth": 3.881
},
{
"text": "71.5 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "73.2 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "78.9 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "75.8 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "77.7 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "84.4 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 22.568,
"width": 1.674,
"height": 0.502,
"words": [
{
"text": "s ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 22.863,
"width": 70.685,
"height": 1.183,
"words": [
{
"text": "a ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "GPQA ",
"font": "serif",
"width": 5.324,
"textWidth": 4.905
},
{
"text": "Diamond ",
"font": "serif",
"width": 7.426,
"textWidth": 7.007
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.4,
"textWidth": 3.881
},
{
"text": "71.2 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "87.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "88.1 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "72.9 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "89.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "90.1 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 23.661,
"width": 1.674,
"height": 0.567,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 24.228,
"width": 70.685,
"height": 1.239,
"words": [
{
"text": "R ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "HLE ",
"font": "serif",
"width": 3.856,
"textWidth": 3.438
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 20.712,
"textWidth": 3.881
},
{
"text": "8.1 ",
"font": "serif",
"width": 8.534,
"textWidth": 2.092
},
{
"text": "29.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "34.8 ",
"font": "serif",
"width": 9.16,
"textWidth": 2.929
},
{
"text": "7.7 ",
"font": "serif",
"width": 8.535,
"textWidth": 2.092
},
{
"text": "34.5 ",
"font": "serif",
"width": 6.303,
"textWidth": 2.929
},
{
"text": "37.7 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 25.703,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "LiveCodeBench ",
"font": "serif",
"width": 12.116,
"textWidth": 11.697
},
{
"text": "(Pass@1-COT) ",
"font": "serif",
"width": 12.035,
"textWidth": 6.332
},
{
"text": "55.2 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "88.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "91.6 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "56.8 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "89.8 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "93.5 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 26.531,
"width": 1.674,
"height": 0.567,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 27.097,
"width": 70.895,
"height": 1.209,
"words": [
{
"text": "g ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "Codeforces ",
"font": "serif",
"width": 8.7,
"textWidth": 8.281
},
{
"text": "(Rating) ",
"font": "serif",
"width": 24.194,
"textWidth": 3.604
},
{
"text": "2816 ",
"font": "serif",
"width": 6.304,
"textWidth": 3.347
},
{
"text": "3052 ",
"font": "serif",
"width": 17.693,
"textWidth": 3.347
},
{
"text": "2919 ",
"font": "serif",
"width": 6.304,
"textWidth": 3.347
},
{
"text": "3206 ",
"font": "serif",
"width": 3.347,
"textWidth": 3.347
}
]
},
{
"left": 14.558,
"top": 27.755,
"width": 1.674,
"height": 0.723,
"words": [
{
"text": "d ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 28.478,
"width": 70.685,
"height": 1.249,
"words": [
{
"text": "e ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "HMMT ",
"font": "serif",
"width": 6.003,
"textWidth": 5.585
},
{
"text": "2026 ",
"font": "serif",
"width": 3.766,
"textWidth": 3.347
},
{
"text": "Feb ",
"font": "serif",
"width": 3.076,
"textWidth": 2.658
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.305,
"textWidth": 3.881
},
{
"text": "40.8 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "91.9 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "94.8 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "31.7 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "94.0 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "95.2 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 29.045,
"width": 1.674,
"height": 1.331,
"words": [
{
"text": "wl ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 29.964,
"width": 70.685,
"height": 1.183,
"words": [
{
"text": "o ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "IMOAnswerBench ",
"font": "serif",
"width": 14.241,
"textWidth": 13.822
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 9.909,
"textWidth": 3.881
},
{
"text": "41.9 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "85.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "88.4 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "35.3 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "88.0 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "89.8 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.558,
"top": 31.023,
"width": 1.674,
"height": 0.689,
"words": [
{
"text": "n ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.558,
"top": 31.384,
"width": 70.685,
"height": 1.187,
"words": [
{
"text": "K ",
"font": "serif",
"width": 4.351,
"textWidth": 1.674
},
{
"text": "Apex ",
"font": "serif",
"width": 4.392,
"textWidth": 3.973
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 20.177,
"textWidth": 3.881
},
{
"text": "1.0 ",
"font": "serif",
"width": 8.534,
"textWidth": 2.092
},
{
"text": "19.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "33.0 ",
"font": "serif",
"width": 9.16,
"textWidth": 2.929
},
{
"text": "0.4 ",
"font": "serif",
"width": 8.535,
"textWidth": 2.092
},
{
"text": "27.4 ",
"font": "serif",
"width": 6.303,
"textWidth": 2.929
},
{
"text": "38.3 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 32.804,
"width": 66.333,
"height": 1.183,
"words": [
{
"text": "Apex ",
"font": "serif",
"width": 4.392,
"textWidth": 3.973
},
{
"text": "Shortlist ",
"font": "serif",
"width": 6.621,
"textWidth": 6.202
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 13.556,
"textWidth": 3.881
},
{
"text": "9.3 ",
"font": "serif",
"width": 8.534,
"textWidth": 2.092
},
{
"text": "72.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "85.7 ",
"font": "serif",
"width": 9.16,
"textWidth": 2.929
},
{
"text": "9.2 ",
"font": "serif",
"width": 8.535,
"textWidth": 2.092
},
{
"text": "85.5 ",
"font": "serif",
"width": 6.303,
"textWidth": 2.929
},
{
"text": "90.2 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 34.729,
"width": 1.674,
"height": 0.658,
"words": [
{
"text": "g ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.532,
"top": 34.874,
"width": 70.71,
"height": 1.202,
"words": [
{
"text": "n ",
"font": "serif",
"width": 4.377,
"textWidth": 1.674
},
{
"text": "MRCR ",
"font": "serif",
"width": 5.424,
"textWidth": 5.006
},
{
"text": "1M(MMR) ",
"font": "serif",
"width": 18.726,
"textWidth": 5.66
},
{
"text": "37.5 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "76.9 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "78.7 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "44.7 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "83.3 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "83.5 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 36.076,
"width": 1.674,
"height": 0.646,
"words": [
{
"text": "o ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.532,
"top": 36.294,
"width": 70.71,
"height": 1.183,
"words": [
{
"text": "L ",
"font": "serif",
"width": 4.377,
"textWidth": 1.674
},
{
"text": "CorpusQA ",
"font": "serif",
"width": 8.522,
"textWidth": 8.104
},
{
"text": "1M(ACC) ",
"font": "serif",
"width": 15.628,
"textWidth": 5.294
},
{
"text": "15.5 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "59.3 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "60.5 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "35.6 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "56.5 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "62.0 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 38.364,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "Terminal ",
"font": "serif",
"width": 7.016,
"textWidth": 6.597
},
{
"text": "Bench ",
"font": "serif",
"width": 4.934,
"textWidth": 4.515
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.511,
"textWidth": 2.092
},
{
"text": "(Acc) ",
"font": "serif",
"width": 9.69,
"textWidth": 2.342
},
{
"text": "49.1 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "56.6 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "56.9 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "59.1 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "63.3 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "67.9 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 39.784,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "SWE ",
"font": "serif",
"width": 3.993,
"textWidth": 3.575
},
{
"text": "Verified ",
"font": "serif",
"width": 6.228,
"textWidth": 5.809
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 13.929,
"textWidth": 4.749
},
{
"text": "73.7 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "78.6 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "79.0 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "73.6 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "79.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "80.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 41.204,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "SWE ",
"font": "serif",
"width": 3.993,
"textWidth": 3.575
},
{
"text": "Pro ",
"font": "serif",
"width": 2.974,
"textWidth": 2.556
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 17.183,
"textWidth": 4.749
},
{
"text": "49.1 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "52.3 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "52.6 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "52.1 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "54.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "55.4 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 42.624,
"width": 70.71,
"height": 1.183,
"words": [
{
"text": "c ",
"font": "serif",
"width": 4.377,
"textWidth": 1.674
},
{
"text": "SWE ",
"font": "serif",
"width": 3.993,
"textWidth": 3.575
},
{
"text": "Multilingual ",
"font": "serif",
"width": 9.742,
"textWidth": 9.324
},
{
"text": "(Resolved) ",
"font": "serif",
"width": 10.414,
"textWidth": 4.749
},
{
"text": "69.7 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "70.2 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "73.3 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "69.8 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "74.1 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "76.2 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 43.587,
"width": 1.674,
"height": 0.73,
"words": [
{
"text": "ti ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.532,
"top": 44.044,
"width": 70.711,
"height": 1.183,
"words": [
{
"text": "n ",
"font": "serif",
"width": 4.377,
"textWidth": 1.674
},
{
"text": "BrowseComp ",
"font": "serif",
"width": 10.477,
"textWidth": 10.058
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 22.626,
"textWidth": 3.881
},
{
"text": "53.5 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "73.2 ",
"font": "serif",
"width": 17.693,
"textWidth": 2.929
},
{
"text": "80.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "83.4 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 45.006,
"width": 1.674,
"height": 0.567,
"words": [
{
"text": "e ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 14.532,
"top": 45.464,
"width": 70.711,
"height": 1.183,
"words": [
{
"text": "g ",
"font": "serif",
"width": 4.377,
"textWidth": 1.674
},
{
"text": "HLE ",
"font": "serif",
"width": 3.856,
"textWidth": 3.438
},
{
"text": "w/ ",
"font": "serif",
"width": 2.828,
"textWidth": 2.41
},
{
"text": "tools ",
"font": "serif",
"width": 3.989,
"textWidth": 3.57
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 22.43,
"textWidth": 3.881
},
{
"text": "40.3 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "45.1 ",
"font": "serif",
"width": 17.693,
"textWidth": 2.929
},
{
"text": "44.7 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "48.2 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 14.532,
"top": 46.231,
"width": 1.674,
"height": 0.921,
"words": [
{
"text": "A ",
"font": "serif",
"width": 1.674,
"textWidth": 1.674
}
]
},
{
"left": 18.909,
"top": 46.884,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "MCPAtlas ",
"font": "serif",
"width": 7.926,
"textWidth": 7.508
},
{
"text": "Public ",
"font": "serif",
"width": 5.081,
"textWidth": 4.663
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 11.143,
"textWidth": 3.881
},
{
"text": "64.0 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "67.4 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "69.0 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "69.4 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "74.2 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "73.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 18.909,
"top": 48.304,
"width": 66.543,
"height": 1.183,
"words": [
{
"text": "GDPval-AA ",
"font": "serif",
"width": 9.433,
"textWidth": 9.014
},
{
"text": "(Elo) ",
"font": "serif",
"width": 29.766,
"textWidth": 2.123
},
{
"text": "1395 ",
"font": "serif",
"width": 23.998,
"textWidth": 3.347
},
{
"text": "1554 ",
"font": "serif",
"width": 3.347,
"textWidth": 3.347
}
]
},
{
"left": 18.909,
"top": 49.724,
"width": 66.334,
"height": 1.183,
"words": [
{
"text": "Toolathlon ",
"font": "serif",
"width": 8.337,
"textWidth": 7.918
},
{
"text": "(Pass@1) ",
"font": "serif",
"width": 15.814,
"textWidth": 3.881
},
{
"text": "40.7 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "43.5 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "47.8 ",
"font": "serif",
"width": 8.741,
"textWidth": 2.929
},
{
"text": "46.3 ",
"font": "serif",
"width": 8.952,
"textWidth": 2.929
},
{
"text": "49.0 ",
"font": "serif",
"width": 6.304,
"textWidth": 2.929
},
{
"text": "51.8 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 11.905,
"top": 54.043,
"width": 9.147,
"height": 1.296,
"words": [
{
"text": "Reasoning. ",
"font": "serif-bold",
"width": 9.147,
"textWidth": 9.147
}
]
},
{
"left": 22.875,
"top": 54.064,
"width": 65.524,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.597,
"textWidth": 18.142
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.407,
"textWidth": 9.954
},
{
"text": "all ",
"font": "serif",
"width": 2.402,
"textWidth": 1.947
},
{
"text": "prior ",
"font": "serif",
"width": 4.465,
"textWidth": 4.01
},
{
"text": "open ",
"font": "serif",
"width": 4.429,
"textWidth": 3.974
},
{
"text": "models ",
"font": "serif",
"width": 6.273,
"textWidth": 5.82
},
{
"text": "across ",
"font": "serif",
"width": 5.341,
"textWidth": 4.886
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.258,
"textWidth": 7.803
},
{
"text": "bench- ",
"font": "serif",
"width": 5.35,
"textWidth": 5.35
}
]
},
{
"left": 11.905,
"top": 55.674,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "marks, ",
"font": "serif",
"width": 5.817,
"textWidth": 5.402
},
{
"text": "and ",
"font": "serif",
"width": 3.445,
"textWidth": 3.041
},
{
"text": "matches ",
"font": "serif",
"width": 6.938,
"textWidth": 6.534
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.151,
"textWidth": 11.747
},
{
"text": "closed ",
"font": "serif",
"width": 5.422,
"textWidth": 5.02
},
{
"text": "models ",
"font": "serif",
"width": 6.212,
"textWidth": 5.808
},
{
"text": "on ",
"font": "serif",
"width": 2.43,
"textWidth": 2.026
},
{
"text": "many ",
"font": "serif",
"width": 4.932,
"textWidth": 4.528
},
{
"text": "metrics, ",
"font": "serif",
"width": 6.686,
"textWidth": 6.271
},
{
"text": "while ",
"font": "serif",
"width": 4.853,
"textWidth": 4.449
},
{
"text": "the ",
"font": "serif",
"width": 2.895,
"textWidth": 2.491
},
{
"text": "smaller ",
"font": "serif",
"width": 6.264,
"textWidth": 5.86
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.45,
"textWidth": 8.45
}
]
},
{
"left": 11.839,
"top": 57.283,
"width": 76.257,
"height": 1.296,
"words": [
{
"text": "V4-Flash-Max ",
"font": "serif",
"width": 12.188,
"textWidth": 11.595
},
{
"text": "also ",
"font": "serif",
"width": 3.884,
"textWidth": 3.292
},
{
"text": "surpasses ",
"font": "serif",
"width": 8.582,
"textWidth": 7.989
},
{
"text": "the ",
"font": "serif",
"width": 3.187,
"textWidth": 2.593
},
{
"text": "previous ",
"font": "serif",
"width": 7.857,
"textWidth": 7.264
},
{
"text": "best ",
"font": "serif",
"width": 3.924,
"textWidth": 3.331
},
{
"text": "open-source ",
"font": "serif",
"width": 10.715,
"textWidth": 10.12
},
{
"text": "model, ",
"font": "serif",
"width": 6.346,
"textWidth": 5.72
},
{
"text": "K2.6-Thinking, ",
"font": "serif",
"width": 12.986,
"textWidth": 12.36
},
{
"text": "on ",
"font": "serif",
"width": 2.701,
"textWidth": 2.109
},
{
"text": "code ",
"font": "serif",
"width": 3.888,
"textWidth": 3.888
}
]
},
{
"left": 11.905,
"top": 58.892,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.564,
"textWidth": 3.106
},
{
"text": "math ",
"font": "serif",
"width": 4.659,
"textWidth": 4.203
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.415,
"textWidth": 7.956
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.116,
"textWidth": 4.549
},
{
"text": "Meanwhile, ",
"font": "serif",
"width": 10.06,
"textWidth": 9.601
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.742,
"textWidth": 14.285
},
{
"text": "and ",
"font": "serif",
"width": 3.564,
"textWidth": 3.106
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.257,
"textWidth": 15.8
},
{
"text": "excel ",
"font": "serif",
"width": 4.511,
"textWidth": 4.052
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.601
},
{
"text": "cod- ",
"font": "serif",
"width": 3.548,
"textWidth": 3.548
}
]
},
{
"left": 11.905,
"top": 60.502,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.198,
"textWidth": 2.671
},
{
"text": "competitions. ",
"font": "serif",
"width": 11.967,
"textWidth": 11.193
},
{
"text": "According ",
"font": "serif",
"width": 9.18,
"textWidth": 8.653
},
{
"text": "to ",
"font": "serif",
"width": 2.155,
"textWidth": 1.63
},
{
"text": "our ",
"font": "serif",
"width": 3.413,
"textWidth": 2.886
},
{
"text": "evaluation, ",
"font": "serif",
"width": 9.763,
"textWidth": 9.221
},
{
"text": "their ",
"font": "serif",
"width": 4.402,
"textWidth": 3.875
},
{
"text": "performance ",
"font": "serif",
"width": 11.062,
"textWidth": 10.537
},
{
"text": "is ",
"font": "serif",
"width": 1.864,
"textWidth": 1.337
},
{
"text": "comparable ",
"font": "serif",
"width": 10.232,
"textWidth": 9.705
},
{
"text": "to ",
"font": "serif",
"width": 2.155,
"textWidth": 1.63
},
{
"text": "GPT-5.4, ",
"font": "serif",
"width": 7.027,
"textWidth": 7.027
}
]
},
{
"left": 11.905,
"top": 62.111,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "making ",
"font": "serif",
"width": 6.885,
"textWidth": 6.296
},
{
"text": "this ",
"font": "serif",
"width": 3.623,
"textWidth": 3.034
},
{
"text": "the ",
"font": "serif",
"width": 3.181,
"textWidth": 2.593
},
{
"text": "first ",
"font": "serif",
"width": 3.86,
"textWidth": 3.271
},
{
"text": "time ",
"font": "serif",
"width": 4.288,
"textWidth": 3.699
},
{
"text": "an ",
"font": "serif",
"width": 2.611,
"textWidth": 2.023
},
{
"text": "open ",
"font": "serif",
"width": 4.716,
"textWidth": 4.127
},
{
"text": "model ",
"font": "serif",
"width": 5.841,
"textWidth": 5.253
},
{
"text": "has ",
"font": "serif",
"width": 3.404,
"textWidth": 2.815
},
{
"text": "matched ",
"font": "serif",
"width": 7.739,
"textWidth": 7.15
},
{
"text": "a ",
"font": "serif",
"width": 1.525,
"textWidth": 0.935
},
{
"text": "closed ",
"font": "serif",
"width": 5.813,
"textWidth": 5.225
},
{
"text": "model ",
"font": "serif",
"width": 5.841,
"textWidth": 5.253
},
{
"text": "on ",
"font": "serif",
"width": 2.697,
"textWidth": 2.109
},
{
"text": "this ",
"font": "serif",
"width": 3.623,
"textWidth": 3.034
},
{
"text": "task. ",
"font": "serif",
"width": 4.804,
"textWidth": 3.843
},
{
"text": "On ",
"font": "serif",
"width": 3.146,
"textWidth": 2.557
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 63.72,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "Codeforces ",
"font": "serif",
"width": 9.39,
"textWidth": 8.932
},
{
"text": "leaderboard, ",
"font": "serif",
"width": 10.551,
"textWidth": 10.092
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.658,
"textWidth": 18.199
},
{
"text": "currently ",
"font": "serif",
"width": 7.775,
"textWidth": 7.316
},
{
"text": "ranks ",
"font": "serif",
"width": 4.894,
"textWidth": 4.435
},
{
"text": "23rd ",
"font": "serif",
"width": 4.047,
"textWidth": 3.589
},
{
"text": "among ",
"font": "serif",
"width": 5.995,
"textWidth": 5.536
},
{
"text": "human ",
"font": "serif",
"width": 6.145,
"textWidth": 5.686
},
{
"text": "candidates. ",
"font": "serif",
"width": 9.058,
"textWidth": 9.058
}
]
},
{
"left": 11.905,
"top": 65.33,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.431,
"textWidth": 10.971
},
{
"text": "also ",
"font": "serif",
"width": 3.72,
"textWidth": 3.26
},
{
"text": "demonstrates ",
"font": "serif",
"width": 11.518,
"textWidth": 11.059
},
{
"text": "strong ",
"font": "serif",
"width": 5.664,
"textWidth": 5.205
},
{
"text": "performance ",
"font": "serif",
"width": 10.895,
"textWidth": 10.434
},
{
"text": "on ",
"font": "serif",
"width": 2.549,
"textWidth": 2.088
},
{
"text": "formal ",
"font": "serif",
"width": 5.917,
"textWidth": 5.457
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.576,
"textWidth": 11.115
},
{
"text": "task ",
"font": "serif",
"width": 3.802,
"textWidth": 3.343
},
{
"text": "under ",
"font": "serif",
"width": 5.403,
"textWidth": 4.942
},
{
"text": "both ",
"font": "serif",
"width": 3.715,
"textWidth": 3.715
}
]
},
{
"left": 11.905,
"top": 66.939,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "agentic ",
"font": "serif",
"width": 6.518,
"textWidth": 5.941
},
{
"text": "and ",
"font": "serif",
"width": 3.74,
"textWidth": 3.165
},
{
"text": "compute-intensive ",
"font": "serif",
"width": 15.967,
"textWidth": 15.392
},
{
"text": "settings. ",
"font": "serif",
"width": 7.763,
"textWidth": 6.838
},
{
"text": "Under ",
"font": "serif",
"width": 5.894,
"textWidth": 5.318
},
{
"text": "an ",
"font": "serif",
"width": 2.6,
"textWidth": 2.023
},
{
"text": "agentic ",
"font": "serif",
"width": 6.516,
"textWidth": 5.941
},
{
"text": "setup, ",
"font": "serif",
"width": 5.623,
"textWidth": 5.015
},
{
"text": "it ",
"font": "serif",
"width": 1.729,
"textWidth": 1.153
},
{
"text": "achieves ",
"font": "serif",
"width": 7.614,
"textWidth": 7.036
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.227,
"textWidth": 12.227
}
]
},
{
"left": 11.905,
"top": 68.549,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "results, ",
"font": "serif",
"width": 6.27,
"textWidth": 5.811
},
{
"text": "shown ",
"font": "serif",
"width": 5.893,
"textWidth": 5.434
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.598
},
{
"text": "Figure ",
"font": "serif",
"width": 5.699,
"textWidth": 5.24
},
{
"text": "8, ",
"font": "serif",
"width": 1.833,
"textWidth": 1.373
},
{
"text": "outperforming ",
"font": "serif",
"width": 12.426,
"textWidth": 11.966
},
{
"text": "prior ",
"font": "serif",
"width": 4.539,
"textWidth": 4.079
},
{
"text": "models ",
"font": "serif",
"width": 6.38,
"textWidth": 5.921
},
{
"text": "such ",
"font": "serif",
"width": 4.218,
"textWidth": 3.759
},
{
"text": "as ",
"font": "serif",
"width": 2.153,
"textWidth": 1.692
},
{
"text": "Seed ",
"font": "serif",
"width": 4.293,
"textWidth": 3.834
},
{
"text": "Prover ",
"font": "serif",
"width": 5.89,
"textWidth": 5.43
},
{
"text": "(Chen ",
"font": "serif",
"width": 5.375,
"textWidth": 4.916
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.474
},
{
"text": "al., ",
"font": "serif",
"width": 2.823,
"textWidth": 2.364
},
{
"text": "2025). ",
"font": "serif",
"width": 4.729,
"textWidth": 4.729
}
]
},
{
"left": 11.813,
"top": 70.158,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "With ",
"font": "serif",
"width": 4.486,
"textWidth": 4.01
},
{
"text": "a ",
"font": "serif",
"width": 1.409,
"textWidth": 0.935
},
{
"text": "more ",
"font": "serif",
"width": 4.75,
"textWidth": 4.273
},
{
"text": "compute-intensive ",
"font": "serif",
"width": 15.866,
"textWidth": 15.39
},
{
"text": "pipeline, ",
"font": "serif",
"width": 7.705,
"textWidth": 7.225
},
{
"text": "performance ",
"font": "serif",
"width": 11.014,
"textWidth": 10.537
},
{
"text": "further ",
"font": "serif",
"width": 6.296,
"textWidth": 5.819
},
{
"text": "improves, ",
"font": "serif",
"width": 8.735,
"textWidth": 8.255
},
{
"text": "surpassing ",
"font": "serif",
"width": 9.449,
"textWidth": 8.972
},
{
"text": "systems ",
"font": "serif",
"width": 6.572,
"textWidth": 6.572
}
]
},
{
"left": 11.905,
"top": 71.767,
"width": 76.372,
"height": 1.296,
"words": [
{
"text": "including ",
"font": "serif",
"width": 8.249,
"textWidth": 7.79
},
{
"text": "Aristotle(Achim ",
"font": "serif",
"width": 13.592,
"textWidth": 13.134
},
{
"text": "et ",
"font": "serif",
"width": 1.933,
"textWidth": 1.475
},
{
"text": "al., ",
"font": "serif",
"width": 2.824,
"textWidth": 2.366
},
{
"text": "2025) ",
"font": "serif",
"width": 4.734,
"textWidth": 4.275
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "matching ",
"font": "serif",
"width": 8.089,
"textWidth": 7.631
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "best ",
"font": "serif",
"width": 3.724,
"textWidth": 3.266
},
{
"text": "known ",
"font": "serif",
"width": 6.139,
"textWidth": 5.681
},
{
"text": "results ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "under ",
"font": "serif",
"width": 5.351,
"textWidth": 4.893
},
{
"text": "this ",
"font": "serif",
"width": 3.432,
"textWidth": 2.974
},
{
"text": "setting. ",
"font": "serif",
"width": 5.927,
"textWidth": 5.927
}
]
},
{
"left": 11.905,
"top": 75.973,
"width": 5.632,
"height": 1.296,
"words": [
{
"text": "Agent. ",
"font": "serif-bold",
"width": 5.632,
"textWidth": 5.632
}
]
},
{
"left": 19.36,
"top": 75.994,
"width": 68.772,
"height": 1.296,
"words": [
{
"text": "The ",
"font": "serif",
"width": 3.573,
"textWidth": 3.114
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.484,
"textWidth": 11.025
},
{
"text": "series ",
"font": "serif",
"width": 5.095,
"textWidth": 4.635
},
{
"text": "demonstrates ",
"font": "serif",
"width": 11.575,
"textWidth": 11.114
},
{
"text": "strong ",
"font": "serif",
"width": 5.688,
"textWidth": 5.229
},
{
"text": "agent ",
"font": "serif",
"width": 5.004,
"textWidth": 4.544
},
{
"text": "performance ",
"font": "serif",
"width": 10.947,
"textWidth": 10.485
},
{
"text": "in ",
"font": "serif",
"width": 2.083,
"textWidth": 1.624
},
{
"text": "evaluations. ",
"font": "serif",
"width": 10.537,
"textWidth": 9.965
},
{
"text": "For ",
"font": "serif",
"width": 2.785,
"textWidth": 2.785
}
]
},
{
"left": 11.905,
"top": 77.604,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "code ",
"font": "serif",
"width": 4.296,
"textWidth": 3.839
},
{
"text": "agent ",
"font": "serif",
"width": 4.966,
"textWidth": 4.508
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.034,
"textWidth": 4.577
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.828,
"textWidth": 14.37
},
{
"text": "achieves ",
"font": "serif",
"width": 7.402,
"textWidth": 6.946
},
{
"text": "results ",
"font": "serif",
"width": 5.854,
"textWidth": 5.398
},
{
"text": "comparable ",
"font": "serif",
"width": 10.039,
"textWidth": 9.582
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.609
},
{
"text": "K2.6 ",
"font": "serif",
"width": 4.104,
"textWidth": 3.647
},
{
"text": "and ",
"font": "serif",
"width": 3.582,
"textWidth": 3.124
},
{
"text": "GLM-5.1, ",
"font": "serif",
"width": 8.122,
"textWidth": 7.664
},
{
"text": "though ",
"font": "serif",
"width": 5.896,
"textWidth": 5.896
}
]
},
{
"left": 11.905,
"top": 79.213,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "all ",
"font": "serif",
"width": 2.608,
"textWidth": 2.023
},
{
"text": "these ",
"font": "serif",
"width": 4.864,
"textWidth": 4.281
},
{
"text": "open ",
"font": "serif",
"width": 4.712,
"textWidth": 4.127
},
{
"text": "models ",
"font": "serif",
"width": 6.628,
"textWidth": 6.045
},
{
"text": "still ",
"font": "serif",
"width": 3.619,
"textWidth": 3.034
},
{
"text": "lag ",
"font": "serif",
"width": 3.101,
"textWidth": 2.518
},
{
"text": "behind ",
"font": "serif",
"width": 6.376,
"textWidth": 5.791
},
{
"text": "their ",
"font": "serif",
"width": 4.46,
"textWidth": 3.875
},
{
"text": "closed-source ",
"font": "serif",
"width": 11.801,
"textWidth": 11.217
},
{
"text": "counterparts. ",
"font": "serif",
"width": 11.922,
"textWidth": 10.974
},
{
"text": "DeepSeek-V4-Flash ",
"font": "serif",
"width": 16.1,
"textWidth": 16.1
}
]
},
{
"left": 11.905,
"top": 80.822,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "underperforms ",
"font": "serif",
"width": 12.574,
"textWidth": 12.117
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.484,
"textWidth": 14.026
},
{
"text": "on ",
"font": "serif",
"width": 2.488,
"textWidth": 2.032
},
{
"text": "coding ",
"font": "serif",
"width": 5.916,
"textWidth": 5.458
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.925,
"textWidth": 4.468
},
{
"text": "particularly ",
"font": "serif",
"width": 9.811,
"textWidth": 9.355
},
{
"text": "on ",
"font": "serif",
"width": 2.49,
"textWidth": 2.032
},
{
"text": "Terminal ",
"font": "serif",
"width": 7.555,
"textWidth": 7.098
},
{
"text": "Bench ",
"font": "serif",
"width": 5.316,
"textWidth": 4.86
},
{
"text": "2.0. ",
"font": "serif",
"width": 3.271,
"textWidth": 2.702
},
{
"text": "A ",
"font": "serif",
"width": 1.857,
"textWidth": 1.402
},
{
"text": "similar ",
"font": "serif",
"width": 5.539,
"textWidth": 5.539
}
]
},
{
"left": 11.905,
"top": 82.432,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "trend ",
"font": "serif",
"width": 5.073,
"textWidth": 4.44
},
{
"text": "is ",
"font": "serif",
"width": 1.97,
"textWidth": 1.337
},
{
"text": "observed ",
"font": "serif",
"width": 8.206,
"textWidth": 7.572
},
{
"text": "across ",
"font": "serif",
"width": 5.709,
"textWidth": 5.075
},
{
"text": "other ",
"font": "serif",
"width": 4.985,
"textWidth": 4.352
},
{
"text": "agent ",
"font": "serif",
"width": 5.198,
"textWidth": 4.567
},
{
"text": "evaluations. ",
"font": "serif",
"width": 11.105,
"textWidth": 10.014
},
{
"text": "It ",
"font": "serif",
"width": 1.873,
"textWidth": 1.239
},
{
"text": "is ",
"font": "serif",
"width": 1.97,
"textWidth": 1.337
},
{
"text": "worth ",
"font": "serif",
"width": 5.647,
"textWidth": 5.015
},
{
"text": "noting ",
"font": "serif",
"width": 6.023,
"textWidth": 5.389
},
{
"text": "that ",
"font": "serif",
"width": 3.873,
"textWidth": 3.241
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.558,
"textWidth": 14.558
}
]
},
{
"left": 11.85,
"top": 84.041,
"width": 76.246,
"height": 1.296,
"words": [
{
"text": "performs ",
"font": "serif",
"width": 7.796,
"textWidth": 7.336
},
{
"text": "well ",
"font": "serif",
"width": 3.889,
"textWidth": 3.428
},
{
"text": "on ",
"font": "serif",
"width": 2.5,
"textWidth": 2.04
},
{
"text": "MCPAtlas ",
"font": "serif",
"width": 8.572,
"textWidth": 8.112
},
{
"text": "and ",
"font": "serif",
"width": 3.524,
"textWidth": 3.062
},
{
"text": "Toolathlon-two ",
"font": "serif",
"width": 13.91,
"textWidth": 13.45
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.93,
"textWidth": 8.471
},
{
"text": "test ",
"font": "serif",
"width": 3.274,
"textWidth": 2.813
},
{
"text": "sets ",
"font": "serif",
"width": 3.449,
"textWidth": 2.99
},
{
"text": "that ",
"font": "serif",
"width": 3.598,
"textWidth": 3.136
},
{
"text": "include ",
"font": "serif",
"width": 6.43,
"textWidth": 5.971
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.904
},
{
"text": "wide ",
"font": "serif",
"width": 4.468,
"textWidth": 4.006
},
{
"text": "range ",
"font": "serif",
"width": 4.544,
"textWidth": 4.544
}
]
},
{
"left": 11.905,
"top": 85.65,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "tools ",
"font": "serif",
"width": 4.447,
"textWidth": 3.987
},
{
"text": "and ",
"font": "serif",
"width": 3.625,
"textWidth": 3.165
},
{
"text": "MCP ",
"font": "serif",
"width": 4.683,
"textWidth": 4.223
},
{
"text": "services-indicating ",
"font": "serif",
"width": 17.236,
"textWidth": 16.777
},
{
"text": "that ",
"font": "serif",
"width": 3.703,
"textWidth": 3.241
},
{
"text": "our ",
"font": "serif",
"width": 3.346,
"textWidth": 2.886
},
{
"text": "model ",
"font": "serif",
"width": 5.712,
"textWidth": 5.253
},
{
"text": "has ",
"font": "serif",
"width": 3.275,
"textWidth": 2.815
},
{
"text": "excellent ",
"font": "serif",
"width": 7.726,
"textWidth": 7.266
},
{
"text": "generalization ",
"font": "serif",
"width": 12.27,
"textWidth": 11.81
},
{
"text": "capability ",
"font": "serif",
"width": 8.137,
"textWidth": 8.137
}
]
},
{
"left": 11.905,
"top": 87.26,
"width": 45.592,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "does ",
"font": "serif",
"width": 4.233,
"textWidth": 3.775
},
{
"text": "not ",
"font": "serif",
"width": 3.123,
"textWidth": 2.665
},
{
"text": "perform ",
"font": "serif",
"width": 7.114,
"textWidth": 6.656
},
{
"text": "well ",
"font": "serif",
"width": 3.931,
"textWidth": 3.473
},
{
"text": "only ",
"font": "serif",
"width": 4.078,
"textWidth": 3.619
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "internal ",
"font": "serif",
"width": 6.773,
"textWidth": 6.315
},
{
"text": "frameworks. ",
"font": "serif",
"width": 10.253,
"textWidth": 10.253
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "39 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"40": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 23.193,
"top": 10.057,
"width": 53.413,
"height": 1.325,
"words": [
{
"text": "Practical ",
"font": "serif-bold",
"width": 7.582,
"textWidth": 7.123
},
{
"text": "Regime ",
"font": "serif-bold",
"width": 32.239,
"textWidth": 6.414
},
{
"text": "Frontier ",
"font": "serif-bold",
"width": 7.178,
"textWidth": 6.72
},
{
"text": "Regime ",
"font": "serif-bold",
"width": 6.414,
"textWidth": 6.414
}
]
},
{
"left": 15.616,
"top": 11.902,
"width": 69.845,
"height": 1.213,
"words": [
{
"text": "Putnam-200 ",
"font": "serif",
"width": 9.34,
"textWidth": 8.922
},
{
"text": "Pass@8 ",
"font": "serif",
"width": 5.772,
"textWidth": 5.354
},
{
"text": "with ",
"font": "serif",
"width": 3.821,
"textWidth": 3.402
},
{
"text": "minimal ",
"font": "serif",
"width": 6.646,
"textWidth": 6.228
},
{
"text": "tools ",
"font": "serif",
"width": 12.963,
"textWidth": 3.57
},
{
"text": "Putnam-2025 ",
"font": "serif",
"width": 10.177,
"textWidth": 9.759
},
{
"text": "with ",
"font": "serif",
"width": 3.821,
"textWidth": 3.402
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.419,
"textWidth": 5.001
},
{
"text": "formal-informal ",
"font": "serif",
"width": 11.886,
"textWidth": 11.886
}
]
},
{
"left": 21.503,
"top": 13.323,
"width": 64.411,
"height": 1.212,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.252,
"textWidth": 2.833
},
{
"text": "bounded ",
"font": "serif",
"width": 7.088,
"textWidth": 6.669
},
{
"text": "sampling. ",
"font": "serif",
"width": 22.155,
"textWidth": 7.327
},
{
"text": "reasoning ",
"font": "serif",
"width": 7.677,
"textWidth": 7.258
},
{
"text": "and ",
"font": "serif",
"width": 3.252,
"textWidth": 2.833
},
{
"text": "substantial ",
"font": "serif",
"width": 8.485,
"textWidth": 8.067
},
{
"text": "compute ",
"font": "serif",
"width": 6.915,
"textWidth": 6.497
},
{
"text": "scaling. ",
"font": "serif",
"width": 5.587,
"textWidth": 5.587
}
]
},
{
"left": 17.89,
"top": 16.132,
"width": 63.996,
"height": 0.839,
"words": [
{
"text": "Seed-1.5-Prover ",
"font": "sans",
"width": 11.078,
"textWidth": 7.874
},
{
"text": "26.50 ",
"font": "sans",
"width": 28.011,
"textWidth": 2.479
},
{
"text": "Aristotle ",
"font": "sans",
"width": 21.323,
"textWidth": 3.881
},
{
"text": "100/120 ",
"font": "sans",
"width": 3.585,
"textWidth": 3.585
}
]
},
{
"left": 19.335,
"top": 17.651,
"width": 64.618,
"height": 0.838,
"words": [
{
"text": "Gemini-3-Pro ",
"font": "sans",
"width": 9.633,
"textWidth": 6.381
},
{
"text": "26.50 ",
"font": "sans",
"width": 24.044,
"textWidth": 2.479
},
{
"text": "Seed-1.5-Prover ",
"font": "sans",
"width": 27.356,
"textWidth": 7.883
},
{
"text": "110/120 ",
"font": "sans",
"width": 3.585,
"textWidth": 3.585
}
]
},
{
"left": 19.417,
"top": 19.171,
"width": 66.601,
"height": 0.836,
"words": [
{
"text": "Seed-2.0-Pro ",
"font": "sans",
"width": 11.378,
"textWidth": 6.383
},
{
"text": "35.50 ",
"font": "sans",
"width": 27.051,
"textWidth": 2.479
},
{
"text": "Axiom ",
"font": "sans",
"width": 24.587,
"textWidth": 2.985
},
{
"text": "120/120 ",
"font": "sans",
"width": 3.585,
"textWidth": 3.585
}
]
},
{
"left": 13.391,
"top": 20.617,
"width": 72.628,
"height": 0.877,
"words": [
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "sans-bold",
"width": 26.645,
"textWidth": 12.406
},
{
"text": "81.00 ",
"font": "sans-bold",
"width": 14.092,
"textWidth": 2.479
},
{
"text": "DeepSeek-V4 ",
"font": "sans-bold",
"width": 28.306,
"textWidth": 6.808
},
{
"text": "120/120 ",
"font": "sans-bold",
"width": 3.585,
"textWidth": 3.585
}
]
},
{
"left": 11.905,
"top": 23.4,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.909,
"textWidth": 5.35
},
{
"text": "8 ",
"font": "serif",
"width": 2.564,
"textWidth": 0.935
},
{
"text": "Formal ",
"font": "serif",
"width": 6.486,
"textWidth": 5.927
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.666,
"textWidth": 8.107
},
{
"text": "under ",
"font": "serif",
"width": 5.548,
"textWidth": 4.991
},
{
"text": "practical ",
"font": "serif",
"width": 7.647,
"textWidth": 7.088
},
{
"text": "and ",
"font": "serif",
"width": 3.722,
"textWidth": 3.165
},
{
"text": "frontier ",
"font": "serif",
"width": 6.782,
"textWidth": 6.225
},
{
"text": "regimes. ",
"font": "serif",
"width": 7.858,
"textWidth": 6.991
},
{
"text": "Left: ",
"font": "serif",
"width": 4.505,
"textWidth": 3.737
},
{
"text": "Putnam-200 ",
"font": "serif",
"width": 10.524,
"textWidth": 9.965
},
{
"text": "Pass@8 ",
"font": "serif",
"width": 5.98,
"textWidth": 5.98
}
]
},
{
"left": 11.905,
"top": 25.01,
"width": 76.245,
"height": 1.296,
"words": [
{
"text": "evaluates ",
"font": "serif",
"width": 8.262,
"textWidth": 7.789
},
{
"text": "a ",
"font": "serif",
"width": 1.408,
"textWidth": 0.935
},
{
"text": "fixed ",
"font": "serif",
"width": 4.606,
"textWidth": 4.133
},
{
"text": "random ",
"font": "serif",
"width": 7.047,
"textWidth": 6.574
},
{
"text": "subset ",
"font": "serif",
"width": 5.724,
"textWidth": 5.251
},
{
"text": "of ",
"font": "serif",
"width": 2.116,
"textWidth": 1.643
},
{
"text": "PutnamBench ",
"font": "serif",
"width": 12.055,
"textWidth": 11.582
},
{
"text": "(Tsoukalas ",
"font": "serif",
"width": 9.262,
"textWidth": 8.789
},
{
"text": "et ",
"font": "serif",
"width": 1.978,
"textWidth": 1.505
},
{
"text": "al., ",
"font": "serif",
"width": 2.886,
"textWidth": 2.413
},
{
"text": "2024) ",
"font": "serif",
"width": 4.834,
"textWidth": 4.361
},
{
"text": "following ",
"font": "serif",
"width": 8.455,
"textWidth": 7.982
},
{
"text": "the ",
"font": "serif",
"width": 3.066,
"textWidth": 2.593
},
{
"text": "setup ",
"font": "serif",
"width": 4.548,
"textWidth": 4.548
}
]
},
{
"left": 11.905,
"top": 26.619,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "introduced ",
"font": "serif",
"width": 9.366,
"textWidth": 8.907
},
{
"text": "by ",
"font": "serif",
"width": 2.489,
"textWidth": 2.028
},
{
"text": "Seed-Prover; ",
"font": "serif",
"width": 10.782,
"textWidth": 10.321
},
{
"text": "all ",
"font": "serif",
"width": 2.438,
"textWidth": 1.979
},
{
"text": "models ",
"font": "serif",
"width": 6.374,
"textWidth": 5.915
},
{
"text": "are ",
"font": "serif",
"width": 2.941,
"textWidth": 2.48
},
{
"text": "tested ",
"font": "serif",
"width": 5.297,
"textWidth": 4.838
},
{
"text": "on ",
"font": "serif",
"width": 2.524,
"textWidth": 2.063
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "same ",
"font": "serif",
"width": 4.642,
"textWidth": 4.181
},
{
"text": "problem ",
"font": "serif",
"width": 7.281,
"textWidth": 6.82
},
{
"text": "set. ",
"font": "serif",
"width": 3.277,
"textWidth": 2.705
},
{
"text": "We ",
"font": "serif",
"width": 2.998,
"textWidth": 2.537
},
{
"text": "follow ",
"font": "serif",
"width": 5.655,
"textWidth": 5.196
},
{
"text": "the ",
"font": "serif",
"width": 2.996,
"textWidth": 2.537
},
{
"text": "Seed- ",
"font": "serif",
"width": 4.439,
"textWidth": 4.439
}
]
},
{
"left": 11.905,
"top": 28.229,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Prover ",
"font": "serif",
"width": 5.891,
"textWidth": 5.43
},
{
"text": "protocol ",
"font": "serif",
"width": 7.193,
"textWidth": 6.732
},
{
"text": "but ",
"font": "serif",
"width": 3.175,
"textWidth": 2.713
},
{
"text": "replace ",
"font": "serif",
"width": 6.267,
"textWidth": 5.805
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.738,
"textWidth": 9.277
},
{
"text": "search ",
"font": "serif",
"width": 5.599,
"textWidth": 5.137
},
{
"text": "tools ",
"font": "serif",
"width": 4.366,
"textWidth": 3.905
},
{
"text": "with ",
"font": "serif",
"width": 4.183,
"textWidth": 3.722
},
{
"text": "the ",
"font": "serif",
"width": 3.001,
"textWidth": 2.539
},
{
"text": "open-source ",
"font": "serif",
"width": 10.373,
"textWidth": 9.912
},
{
"text": "LeanExplore ",
"font": "serif",
"width": 10.701,
"textWidth": 10.24
},
{
"text": "(Asher, ",
"font": "serif",
"width": 5.934,
"textWidth": 5.934
}
]
},
{
"left": 11.905,
"top": 29.838,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "2025), ",
"font": "serif",
"width": 5.284,
"textWidth": 4.828
},
{
"text": "yielding ",
"font": "serif",
"width": 7.292,
"textWidth": 6.836
},
{
"text": "a ",
"font": "serif",
"width": 1.391,
"textWidth": 0.935
},
{
"text": "lightweight ",
"font": "serif",
"width": 10.014,
"textWidth": 9.559
},
{
"text": "setting ",
"font": "serif",
"width": 6.034,
"textWidth": 5.578
},
{
"text": "with ",
"font": "serif",
"width": 4.256,
"textWidth": 3.8
},
{
"text": "minimal ",
"font": "serif",
"width": 7.412,
"textWidth": 6.956
},
{
"text": "agent ",
"font": "serif",
"width": 5.021,
"textWidth": 4.567
},
{
"text": "tools ",
"font": "serif",
"width": 4.443,
"textWidth": 3.987
},
{
"text": "and ",
"font": "serif",
"width": 3.621,
"textWidth": 3.165
},
{
"text": "bounded ",
"font": "serif",
"width": 7.905,
"textWidth": 7.449
},
{
"text": "sampling. ",
"font": "serif",
"width": 8.75,
"textWidth": 8.184
},
{
"text": "Right: ",
"font": "serif",
"width": 4.997,
"textWidth": 4.997
}
]
},
{
"left": 11.905,
"top": 31.447,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Putnam-2025 ",
"font": "serif",
"width": 11.109,
"textWidth": 10.654
},
{
"text": "probes ",
"font": "serif",
"width": 5.9,
"textWidth": 5.445
},
{
"text": "the ",
"font": "serif",
"width": 2.989,
"textWidth": 2.534
},
{
"text": "frontier ",
"font": "serif",
"width": 6.537,
"textWidth": 6.082
},
{
"text": "of ",
"font": "serif",
"width": 2.061,
"textWidth": 1.606
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.427,
"textWidth": 10.972
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.381,
"textWidth": 7.924
},
{
"text": "in ",
"font": "serif",
"width": 2.05,
"textWidth": 1.595
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.914
},
{
"text": "scaled ",
"font": "serif",
"width": 5.478,
"textWidth": 5.023
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.914,
"textWidth": 5.459
},
{
"text": "formal-informal ",
"font": "serif",
"width": 12.976,
"textWidth": 12.976
}
]
},
{
"left": 11.905,
"top": 33.057,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "regime, ",
"font": "serif",
"width": 6.806,
"textWidth": 6.197
},
{
"text": "where ",
"font": "serif",
"width": 5.724,
"textWidth": 5.144
},
{
"text": "informal ",
"font": "serif",
"width": 7.722,
"textWidth": 7.142
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.686,
"textWidth": 8.107
},
{
"text": "is ",
"font": "serif",
"width": 1.916,
"textWidth": 1.337
},
{
"text": "combined ",
"font": "serif",
"width": 8.782,
"textWidth": 8.204
},
{
"text": "with ",
"font": "serif",
"width": 4.38,
"textWidth": 3.8
},
{
"text": "formal ",
"font": "serif",
"width": 6.09,
"textWidth": 5.511
},
{
"text": "verification ",
"font": "serif",
"width": 9.971,
"textWidth": 9.391
},
{
"text": "to ",
"font": "serif",
"width": 2.209,
"textWidth": 1.63
},
{
"text": "expose ",
"font": "serif",
"width": 6.271,
"textWidth": 5.692
},
{
"text": "gaps ",
"font": "serif",
"width": 4.469,
"textWidth": 3.89
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 34.666,
"width": 49.547,
"height": 1.296,
"words": [
{
"text": "improve ",
"font": "serif",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "rigor; ",
"font": "serif",
"width": 4.917,
"textWidth": 4.459
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "reaches ",
"font": "serif",
"width": 6.478,
"textWidth": 6.02
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "proof-perfect ",
"font": "serif",
"width": 11.074,
"textWidth": 10.616
},
{
"text": "120/120. ",
"font": "serif",
"width": 7.067,
"textWidth": 7.067
}
]
},
{
"left": 45.069,
"top": 38.112,
"width": 14.7,
"height": 1.218,
"words": [
{
"text": "MRCR ",
"font": "sans-bold",
"width": 6.231,
"textWidth": 5.632
},
{
"text": "8-needle ",
"font": "sans-bold",
"width": 8.469,
"textWidth": 8.469
}
]
},
{
"left": 22.311,
"top": 41.093,
"width": 1.868,
"height": 0.831,
"words": [
{
"text": "1.0 ",
"font": "sans",
"width": 1.868,
"textWidth": 1.868
}
]
},
{
"left": 40.309,
"top": 40.942,
"width": 16.984,
"height": 1.319,
"words": [
{
"text": "0.94 ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 2.512
},
{
"text": "0.90 ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 2.512
},
{
"text": "0.92 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 25.838,
"top": 41.695,
"width": 2.512,
"height": 0.72,
"words": [
{
"text": "0.90 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 33.073,
"top": 42.378,
"width": 2.512,
"height": 0.72,
"words": [
{
"text": "0.85 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 62.016,
"top": 42.922,
"width": 2.512,
"height": 0.72,
"words": [
{
"text": "0.82 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 26.047,
"top": 43.682,
"width": 2.092,
"height": 0.664,
"words": [
{
"text": "0.91 ",
"font": "sans",
"width": 2.092,
"textWidth": 2.092
}
]
},
{
"left": 20.338,
"top": 44.469,
"width": 1.488,
"height": 0.81,
"words": [
{
"text": "R ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 22.311,
"top": 44.211,
"width": 34.771,
"height": 1.246,
"words": [
{
"text": "0.8 ",
"font": "sans",
"width": 10.972,
"textWidth": 1.868
},
{
"text": "0.84 ",
"font": "sans",
"width": 7.236,
"textWidth": 2.092
},
{
"text": "0.87 ",
"font": "sans",
"width": 7.236,
"textWidth": 2.092
},
{
"text": "0.85 ",
"font": "sans",
"width": 7.236,
"textWidth": 2.092
},
{
"text": "0.87 ",
"font": "sans",
"width": 2.092,
"textWidth": 2.092
}
]
},
{
"left": 20.338,
"top": 45.279,
"width": 51.426,
"height": 1.047,
"words": [
{
"text": "M ",
"font": "sans-bold",
"width": 48.914,
"textWidth": 1.488
},
{
"text": "0.66 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 20.338,
"top": 46.326,
"width": 1.488,
"height": 1.047,
"words": [
{
"text": "M ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 62.225,
"top": 46.119,
"width": 2.092,
"height": 0.664,
"words": [
{
"text": "0.76 ",
"font": "sans",
"width": 2.092,
"textWidth": 2.092
}
]
},
{
"left": 76.488,
"top": 46.576,
"width": 2.512,
"height": 0.72,
"words": [
{
"text": "0.59 ",
"font": "sans-bold",
"width": 2.512,
"textWidth": 2.512
}
]
},
{
"left": 20.338,
"top": 47.739,
"width": 1.488,
"height": 0.713,
"words": [
{
"text": "e ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 22.311,
"top": 47.594,
"width": 1.868,
"height": 0.831,
"words": [
{
"text": "0.6 ",
"font": "sans",
"width": 1.868,
"textWidth": 1.868
}
]
},
{
"left": 20.338,
"top": 48.452,
"width": 1.488,
"height": 0.753,
"words": [
{
"text": "g ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 69.461,
"top": 48.619,
"width": 2.092,
"height": 0.664,
"words": [
{
"text": "0.60 ",
"font": "sans",
"width": 2.092,
"textWidth": 2.092
}
]
},
{
"left": 20.338,
"top": 49.205,
"width": 1.488,
"height": 0.71,
"words": [
{
"text": "a ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 20.338,
"top": 49.915,
"width": 1.488,
"height": 0.519,
"words": [
{
"text": "r ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 20.338,
"top": 50.434,
"width": 1.488,
"height": 0.713,
"words": [
{
"text": "e ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 76.697,
"top": 50.425,
"width": 2.092,
"height": 0.664,
"words": [
{
"text": "0.49 ",
"font": "sans",
"width": 2.092,
"textWidth": 2.092
}
]
},
{
"left": 20.338,
"top": 51.147,
"width": 1.488,
"height": 0.686,
"words": [
{
"text": "v ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 22.311,
"top": 50.845,
"width": 1.868,
"height": 0.831,
"words": [
{
"text": "0.4 ",
"font": "sans",
"width": 1.868,
"textWidth": 1.868
}
]
},
{
"left": 20.338,
"top": 51.796,
"width": 1.488,
"height": 0.814,
"words": [
{
"text": "A ",
"font": "sans-bold",
"width": 1.488,
"textWidth": 1.488
}
]
},
{
"left": 22.311,
"top": 54.095,
"width": 1.868,
"height": 0.831,
"words": [
{
"text": "0.2 ",
"font": "sans",
"width": 1.868,
"textWidth": 1.868
}
]
},
{
"left": 29.269,
"top": 54.852,
"width": 14.699,
"height": 0.831,
"words": [
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "sans-bold",
"width": 14.699,
"textWidth": 14.699
}
]
},
{
"left": 29.269,
"top": 56.071,
"width": 15.985,
"height": 0.831,
"words": [
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "sans-bold",
"width": 15.985,
"textWidth": 15.985
}
]
},
{
"left": 22.311,
"top": 57.346,
"width": 1.868,
"height": 0.831,
"words": [
{
"text": "0.0 ",
"font": "sans",
"width": 1.868,
"textWidth": 1.868
}
]
},
{
"left": 26.294,
"top": 58.148,
"width": 53.475,
"height": 0.831,
"words": [
{
"text": "8k ",
"font": "sans-bold",
"width": 6.827,
"textWidth": 1.599
},
{
"text": "16k ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 2.416
},
{
"text": "32k ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 2.416
},
{
"text": "64k ",
"font": "sans-bold",
"width": 6.827,
"textWidth": 2.416
},
{
"text": "128k ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 3.234
},
{
"text": "256k ",
"font": "sans-bold",
"width": 7.236,
"textWidth": 3.234
},
{
"text": "512k ",
"font": "sans-bold",
"width": 6.827,
"textWidth": 3.234
},
{
"text": "1024k ",
"font": "sans-bold",
"width": 4.051,
"textWidth": 4.051
}
]
},
{
"left": 47.061,
"top": 59.545,
"width": 10.71,
"height": 1.052,
"words": [
{
"text": "Input ",
"font": "sans-bold",
"width": 4.966,
"textWidth": 4.448
},
{
"text": "Tokens ",
"font": "sans-bold",
"width": 5.743,
"textWidth": 5.743
}
]
},
{
"left": 11.905,
"top": 62.156,
"width": 50.415,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.703,
"textWidth": 5.245
},
{
"text": "9 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series ",
"font": "serif",
"width": 5.025,
"textWidth": 4.567
},
{
"text": "performance ",
"font": "serif",
"width": 10.789,
"textWidth": 10.33
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "MRCR ",
"font": "serif",
"width": 5.939,
"textWidth": 5.481
},
{
"text": "task. ",
"font": "serif",
"width": 3.768,
"textWidth": 3.768
}
]
},
{
"left": 11.905,
"top": 66.287,
"width": 15.89,
"height": 1.296,
"words": [
{
"text": "1M-Token ",
"font": "serif-bold",
"width": 8.959,
"textWidth": 8.5
},
{
"text": "Context. ",
"font": "serif-bold",
"width": 6.931,
"textWidth": 6.931
}
]
},
{
"left": 29.616,
"top": 66.308,
"width": 58.479,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.642,
"textWidth": 14.185
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.533,
"textWidth": 10.075
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.72,
"textWidth": 12.263
},
{
"text": "on ",
"font": "serif",
"width": 2.512,
"textWidth": 2.055
},
{
"text": "the ",
"font": "serif",
"width": 2.984,
"textWidth": 2.527
},
{
"text": "MRCR ",
"font": "serif",
"width": 5.908,
"textWidth": 5.448
},
{
"text": "task, ",
"font": "serif",
"width": 4.202,
"textWidth": 3.745
},
{
"text": "which ",
"font": "serif",
"width": 4.978,
"textWidth": 4.978
}
]
},
{
"left": 11.905,
"top": 67.917,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "measures ",
"font": "serif",
"width": 8.177,
"textWidth": 7.717
},
{
"text": "in-context ",
"font": "serif",
"width": 8.649,
"textWidth": 8.19
},
{
"text": "retrieval, ",
"font": "serif",
"width": 7.778,
"textWidth": 7.317
},
{
"text": "but ",
"font": "serif",
"width": 3.204,
"textWidth": 2.743
},
{
"text": "remains ",
"font": "serif",
"width": 7.004,
"textWidth": 6.545
},
{
"text": "behind ",
"font": "serif",
"width": 6.195,
"textWidth": 5.734
},
{
"text": "Claude ",
"font": "serif",
"width": 6.369,
"textWidth": 5.91
},
{
"text": "Opus ",
"font": "serif",
"width": 4.929,
"textWidth": 4.468
},
{
"text": "4.6. ",
"font": "serif",
"width": 3.35,
"textWidth": 2.776
},
{
"text": "As ",
"font": "serif",
"width": 2.684,
"textWidth": 2.225
},
{
"text": "illustrated ",
"font": "serif",
"width": 8.859,
"textWidth": 8.398
},
{
"text": "in ",
"font": "serif",
"width": 2.075,
"textWidth": 1.616
},
{
"text": "Figure ",
"font": "serif",
"width": 5.758,
"textWidth": 5.297
},
{
"text": "9, ",
"font": "serif",
"width": 1.388,
"textWidth": 1.388
}
]
},
{
"left": 11.905,
"top": 69.526,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "retrieval ",
"font": "serif",
"width": 7.029,
"textWidth": 6.65
},
{
"text": "performance ",
"font": "serif",
"width": 10.505,
"textWidth": 10.124
},
{
"text": "remains ",
"font": "serif",
"width": 6.731,
"textWidth": 6.351
},
{
"text": "highly ",
"font": "serif",
"width": 5.514,
"textWidth": 5.133
},
{
"text": "stable ",
"font": "serif",
"width": 5.0,
"textWidth": 4.619
},
{
"text": "within ",
"font": "serif",
"width": 5.6,
"textWidth": 5.219
},
{
"text": "a ",
"font": "serif",
"width": 1.279,
"textWidth": 0.898
},
{
"text": "128K ",
"font": "serif",
"width": 4.379,
"textWidth": 3.998
},
{
"text": "context ",
"font": "serif",
"width": 6.162,
"textWidth": 5.781
},
{
"text": "window. ",
"font": "serif",
"width": 7.464,
"textWidth": 6.922
},
{
"text": "While ",
"font": "serif",
"width": 5.126,
"textWidth": 4.747
},
{
"text": "a ",
"font": "serif",
"width": 1.279,
"textWidth": 0.898
},
{
"text": "performance ",
"font": "serif",
"width": 10.124,
"textWidth": 10.124
}
]
},
{
"left": 11.905,
"top": 71.136,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "degradation ",
"font": "serif",
"width": 10.597,
"textWidth": 10.088
},
{
"text": "becomes ",
"font": "serif",
"width": 7.627,
"textWidth": 7.118
},
{
"text": "visible ",
"font": "serif",
"width": 5.918,
"textWidth": 5.41
},
{
"text": "beyond ",
"font": "serif",
"width": 6.727,
"textWidth": 6.219
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "128K ",
"font": "serif",
"width": 4.669,
"textWidth": 4.161
},
{
"text": "mark, ",
"font": "serif",
"width": 5.352,
"textWidth": 4.83
},
{
"text": "the ",
"font": "serif",
"width": 3.101,
"textWidth": 2.593
},
{
"text": "model’s ",
"font": "serif",
"width": 7.073,
"textWidth": 6.565
},
{
"text": "retrieval ",
"font": "serif",
"width": 7.432,
"textWidth": 6.922
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.838,
"textWidth": 9.328
},
{
"text": "at ",
"font": "serif",
"width": 2.052,
"textWidth": 1.544
},
{
"text": "1M ",
"font": "serif",
"width": 2.703,
"textWidth": 2.703
}
]
},
{
"left": 11.905,
"top": 72.745,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "tokens ",
"font": "serif",
"width": 5.791,
"textWidth": 5.333
},
{
"text": "remain ",
"font": "serif",
"width": 6.155,
"textWidth": 5.697
},
{
"text": "remarkably ",
"font": "serif",
"width": 9.776,
"textWidth": 9.319
},
{
"text": "strong ",
"font": "serif",
"width": 5.604,
"textWidth": 5.146
},
{
"text": "compared ",
"font": "serif",
"width": 8.588,
"textWidth": 8.13
},
{
"text": "to ",
"font": "serif",
"width": 2.054,
"textWidth": 1.596
},
{
"text": "both ",
"font": "serif",
"width": 4.134,
"textWidth": 3.674
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.734,
"textWidth": 9.275
},
{
"text": "and ",
"font": "serif",
"width": 3.557,
"textWidth": 3.1
},
{
"text": "open-source ",
"font": "serif",
"width": 10.37,
"textWidth": 9.912
},
{
"text": "counterparts. ",
"font": "serif",
"width": 10.749,
"textWidth": 10.749
}
]
},
{
"left": 11.905,
"top": 74.354,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Unlike ",
"font": "serif",
"width": 5.952,
"textWidth": 5.494
},
{
"text": "MRCR, ",
"font": "serif",
"width": 6.439,
"textWidth": 5.981
},
{
"text": "CorpusQA ",
"font": "serif",
"width": 9.391,
"textWidth": 8.936
},
{
"text": "is ",
"font": "serif",
"width": 1.777,
"textWidth": 1.319
},
{
"text": "similar ",
"font": "serif",
"width": 6.132,
"textWidth": 5.675
},
{
"text": "to ",
"font": "serif",
"width": 2.067,
"textWidth": 1.609
},
{
"text": "real ",
"font": "serif",
"width": 3.497,
"textWidth": 3.039
},
{
"text": "scenarios. ",
"font": "serif",
"width": 8.568,
"textWidth": 8.0
},
{
"text": "The ",
"font": "serif",
"width": 3.545,
"textWidth": 3.089
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.1,
"textWidth": 8.642
},
{
"text": "results ",
"font": "serif",
"width": 5.854,
"textWidth": 5.396
},
{
"text": "also ",
"font": "serif",
"width": 3.707,
"textWidth": 3.25
},
{
"text": "indicate ",
"font": "serif",
"width": 6.961,
"textWidth": 6.503
},
{
"text": "that ",
"font": "serif",
"width": 3.2,
"textWidth": 3.2
}
]
},
{
"left": 11.905,
"top": 75.964,
"width": 38.543,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.729,
"textWidth": 14.271
},
{
"text": "is ",
"font": "serif",
"width": 1.768,
"textWidth": 1.31
},
{
"text": "better ",
"font": "serif",
"width": 5.146,
"textWidth": 4.688
},
{
"text": "than ",
"font": "serif",
"width": 4.105,
"textWidth": 3.647
},
{
"text": "Gemini-3.1-Pro. ",
"font": "serif",
"width": 12.795,
"textWidth": 12.795
}
]
},
{
"left": 11.905,
"top": 80.17,
"width": 14.88,
"height": 1.296,
"words": [
{
"text": "Reasoning ",
"font": "serif-bold",
"width": 9.472,
"textWidth": 9.016
},
{
"text": "Effort. ",
"font": "serif-bold",
"width": 5.408,
"textWidth": 5.408
}
]
},
{
"left": 28.607,
"top": 80.191,
"width": 59.488,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.698,
"textWidth": 2.242
},
{
"text": "shown ",
"font": "serif",
"width": 5.994,
"textWidth": 5.537
},
{
"text": "in ",
"font": "serif",
"width": 2.084,
"textWidth": 1.629
},
{
"text": "Table ",
"font": "serif",
"width": 4.832,
"textWidth": 4.377
},
{
"text": "7, ",
"font": "serif",
"width": 1.854,
"textWidth": 1.399
},
{
"text": "the ",
"font": "serif",
"width": 3.045,
"textWidth": 2.588
},
{
"text": "Max ",
"font": "serif",
"width": 4.116,
"textWidth": 3.66
},
{
"text": "mode, ",
"font": "serif",
"width": 5.623,
"textWidth": 5.166
},
{
"text": "which ",
"font": "serif",
"width": 5.554,
"textWidth": 5.099
},
{
"text": "employs ",
"font": "serif",
"width": 7.507,
"textWidth": 7.052
},
{
"text": "longer ",
"font": "serif",
"width": 5.77,
"textWidth": 5.315
},
{
"text": "contexts ",
"font": "serif",
"width": 7.253,
"textWidth": 6.796
},
{
"text": "and ",
"font": "serif",
"width": 3.158,
"textWidth": 3.158
}
]
},
{
"left": 11.905,
"top": 81.8,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "reduced ",
"font": "serif",
"width": 7.329,
"textWidth": 6.737
},
{
"text": "length ",
"font": "serif",
"width": 5.855,
"textWidth": 5.262
},
{
"text": "penalties ",
"font": "serif",
"width": 8.017,
"textWidth": 7.427
},
{
"text": "in ",
"font": "serif",
"width": 2.223,
"textWidth": 1.632
},
{
"text": "RL, ",
"font": "serif",
"width": 3.449,
"textWidth": 2.858
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.93,
"textWidth": 10.339
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.593
},
{
"text": "High ",
"font": "serif",
"width": 4.817,
"textWidth": 4.226
},
{
"text": "mode ",
"font": "serif",
"width": 5.301,
"textWidth": 4.709
},
{
"text": "on ",
"font": "serif",
"width": 2.699,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 3.183,
"textWidth": 2.593
},
{
"text": "most ",
"font": "serif",
"width": 4.664,
"textWidth": 4.073
},
{
"text": "challenging ",
"font": "serif",
"width": 10.225,
"textWidth": 9.634
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.636,
"textWidth": 4.636
}
]
},
{
"left": 11.905,
"top": 83.409,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.699,
"textWidth": 5.24
},
{
"text": "10 ",
"font": "serif",
"width": 2.29,
"textWidth": 1.831
},
{
"text": "presents ",
"font": "serif",
"width": 7.217,
"textWidth": 6.759
},
{
"text": "a ",
"font": "serif",
"width": 1.375,
"textWidth": 0.915
},
{
"text": "comparison ",
"font": "serif",
"width": 10.002,
"textWidth": 9.542
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.609
},
{
"text": "performance ",
"font": "serif",
"width": 10.778,
"textWidth": 10.32
},
{
"text": "and ",
"font": "serif",
"width": 3.559,
"textWidth": 3.1
},
{
"text": "cost ",
"font": "serif",
"width": 3.645,
"textWidth": 3.186
},
{
"text": "among ",
"font": "serif",
"width": 6.075,
"textWidth": 5.615
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 15.174,
"textWidth": 14.714
},
{
"text": "DeepSeek- ",
"font": "serif",
"width": 8.614,
"textWidth": 8.614
}
]
},
{
"left": 11.839,
"top": 85.019,
"width": 76.256,
"height": 1.296,
"words": [
{
"text": "V4-Flash, ",
"font": "serif",
"width": 7.904,
"textWidth": 7.468
},
{
"text": "and ",
"font": "serif",
"width": 3.47,
"textWidth": 3.041
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.423,
"textWidth": 11.992
},
{
"text": "on ",
"font": "serif",
"width": 2.457,
"textWidth": 2.026
},
{
"text": "representative ",
"font": "serif",
"width": 11.715,
"textWidth": 11.286
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.22,
"textWidth": 7.789
},
{
"text": "and ",
"font": "serif",
"width": 3.47,
"textWidth": 3.041
},
{
"text": "agentic ",
"font": "serif",
"width": 6.139,
"textWidth": 5.708
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.013,
"textWidth": 4.454
},
{
"text": "By ",
"font": "serif",
"width": 2.527,
"textWidth": 2.096
},
{
"text": "scaling ",
"font": "serif",
"width": 5.975,
"textWidth": 5.544
},
{
"text": "test-time ",
"font": "serif",
"width": 6.945,
"textWidth": 6.945
}
]
},
{
"left": 11.905,
"top": 86.628,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "compute, ",
"font": "serif",
"width": 7.998,
"textWidth": 7.542
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.273,
"textWidth": 10.817
},
{
"text": "series ",
"font": "serif",
"width": 5.003,
"textWidth": 4.549
},
{
"text": "achieve ",
"font": "serif",
"width": 6.551,
"textWidth": 6.096
},
{
"text": "substantial ",
"font": "serif",
"width": 9.252,
"textWidth": 8.798
},
{
"text": "improvements ",
"font": "serif",
"width": 12.202,
"textWidth": 11.748
},
{
"text": "over ",
"font": "serif",
"width": 4.078,
"textWidth": 3.623
},
{
"text": "the ",
"font": "serif",
"width": 2.986,
"textWidth": 2.532
},
{
"text": "predecessor. ",
"font": "serif",
"width": 10.488,
"textWidth": 9.92
},
{
"text": "Further- ",
"font": "serif",
"width": 6.662,
"textWidth": 6.662
}
]
},
{
"left": 11.905,
"top": 88.237,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "more, ",
"font": "serif",
"width": 5.028,
"textWidth": 4.571
},
{
"text": "on ",
"font": "serif",
"width": 2.489,
"textWidth": 2.034
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.277,
"textWidth": 7.821
},
{
"text": "tasks ",
"font": "serif",
"width": 4.476,
"textWidth": 4.021
},
{
"text": "like ",
"font": "serif",
"width": 3.372,
"textWidth": 2.916
},
{
"text": "HLE, ",
"font": "serif",
"width": 4.611,
"textWidth": 4.155
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.497,
"textWidth": 14.04
},
{
"text": "demonstrates ",
"font": "serif",
"width": 11.231,
"textWidth": 10.775
},
{
"text": "higher ",
"font": "serif",
"width": 5.659,
"textWidth": 5.202
},
{
"text": "token ",
"font": "serif",
"width": 4.943,
"textWidth": 4.487
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.021,
"textWidth": 7.565
},
{
"text": "than ",
"font": "serif",
"width": 3.589,
"textWidth": 3.589
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "40 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"41": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 32.756,
"top": 10.545,
"width": 43.913,
"height": 0.982,
"words": [
{
"text": "HLE ",
"font": "sans-bold",
"width": 29.459,
"textWidth": 2.994
},
{
"text": "TerminalBench ",
"font": "sans-bold",
"width": 11.994,
"textWidth": 11.511
},
{
"text": "2.0 ",
"font": "sans-bold",
"width": 2.46,
"textWidth": 2.46
}
]
},
{
"left": 17.928,
"top": 13.249,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "40 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 35.025,
"top": 13.203,
"width": 2.596,
"height": 0.793,
"words": [
{
"text": "Max ",
"font": "sans-bold",
"width": 2.596,
"textWidth": 2.596
}
]
},
{
"left": 53.115,
"top": 13.282,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "70 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 76.686,
"top": 13.031,
"width": 2.596,
"height": 0.793,
"words": [
{
"text": "Max ",
"font": "sans-bold",
"width": 2.596,
"textWidth": 2.596
}
]
},
{
"left": 29.121,
"top": 14.62,
"width": 42.039,
"height": 0.922,
"words": [
{
"text": "High ",
"font": "sans-bold",
"width": 39.115,
"textWidth": 2.924
},
{
"text": "High ",
"font": "sans-bold",
"width": 2.924,
"textWidth": 2.924
}
]
},
{
"left": 17.928,
"top": 15.445,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "35 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 45.189,
"top": 16.319,
"width": 20.865,
"height": 0.803,
"words": [
{
"text": "Max ",
"font": "sans-bold",
"width": 17.598,
"textWidth": 2.596
},
{
"text": "None ",
"font": "sans-bold",
"width": 3.267,
"textWidth": 3.267
}
]
},
{
"left": 31.277,
"top": 17.1,
"width": 5.321,
"height": 0.793,
"words": [
{
"text": "Speciale ",
"font": "sans-bold",
"width": 5.321,
"textWidth": 5.321
}
]
},
{
"left": 53.115,
"top": 17.03,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "60 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 17.928,
"top": 17.64,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "30 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 16.315,
"top": 18.69,
"width": 67.335,
"height": 1.273,
"words": [
{
"text": "1 ",
"font": "sans-bold",
"width": 8.239,
"textWidth": 1.228
},
{
"text": "Think ",
"font": "sans-bold",
"width": 4.587,
"textWidth": 3.492
},
{
"text": "High ",
"font": "sans-bold",
"width": 22.362,
"textWidth": 2.924
},
{
"text": "1 ",
"font": "sans-bold",
"width": 23.456,
"textWidth": 1.228
},
{
"text": "High ",
"font": "sans-bold",
"width": 6.096,
"textWidth": 2.924
},
{
"text": "Max ",
"font": "sans-bold",
"width": 2.596,
"textWidth": 2.596
}
]
},
{
"left": 17.928,
"top": 19.835,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "25 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 16.315,
"top": 20.831,
"width": 36.416,
"height": 0.517,
"words": [
{
"text": "s ",
"font": "sans-bold",
"width": 35.187,
"textWidth": 1.228
},
{
"text": "s ",
"font": "sans-bold",
"width": 1.228,
"textWidth": 1.228
}
]
},
{
"left": 53.115,
"top": 20.777,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "50 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 57.366,
"top": 21.088,
"width": 3.492,
"height": 0.793,
"words": [
{
"text": "Think ",
"font": "sans-bold",
"width": 3.492,
"textWidth": 3.492
}
]
},
{
"left": 16.315,
"top": 21.348,
"width": 36.416,
"height": 0.517,
"words": [
{
"text": "s ",
"font": "sans-bold",
"width": 35.187,
"textWidth": 1.228
},
{
"text": "s ",
"font": "sans-bold",
"width": 1.228,
"textWidth": 1.228
}
]
},
{
"left": 16.315,
"top": 21.865,
"width": 1.228,
"height": 0.586,
"words": [
{
"text": "a ",
"font": "sans-bold",
"width": 1.228,
"textWidth": 1.228
}
]
},
{
"left": 17.928,
"top": 22.031,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "20 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 51.502,
"top": 21.865,
"width": 20.422,
"height": 0.843,
"words": [
{
"text": "a ",
"font": "sans-bold",
"width": 17.154,
"textWidth": 1.228
},
{
"text": "None ",
"font": "sans-bold",
"width": 3.267,
"textWidth": 3.267
}
]
},
{
"left": 16.315,
"top": 22.428,
"width": 36.416,
"height": 0.636,
"words": [
{
"text": "P ",
"font": "sans-bold",
"width": 35.187,
"textWidth": 1.228
},
{
"text": "P ",
"font": "sans-bold",
"width": 1.228,
"textWidth": 1.228
}
]
},
{
"left": 17.928,
"top": 24.226,
"width": 36.546,
"height": 1.053,
"words": [
{
"text": "15 ",
"font": "sans",
"width": 35.187,
"textWidth": 1.358
},
{
"text": "40 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 35.503,
"top": 25.066,
"width": 46.157,
"height": 0.793,
"words": [
{
"text": "DeepSeek-V4-Pro ",
"font": "sans-bold",
"width": 35.187,
"textWidth": 10.97
},
{
"text": "DeepSeek-V4-Pro ",
"font": "sans-bold",
"width": 10.97,
"textWidth": 10.97
}
]
},
{
"left": 17.928,
"top": 26.422,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "10 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 35.503,
"top": 26.23,
"width": 47.385,
"height": 0.793,
"words": [
{
"text": "DeepSeek-V4-Flash ",
"font": "sans-bold",
"width": 35.187,
"textWidth": 12.198
},
{
"text": "DeepSeek-V4-Flash ",
"font": "sans-bold",
"width": 12.198,
"textWidth": 12.198
}
]
},
{
"left": 20.627,
"top": 27.174,
"width": 59.629,
"height": 1.013,
"words": [
{
"text": "None ",
"font": "sans-bold",
"width": 3.267,
"textWidth": 3.267
},
{
"text": "None ",
"font": "sans-bold",
"width": 14.759,
"textWidth": 3.267
},
{
"text": "DeepSeek-V3.2 ",
"font": "sans-bold",
"width": 19.393,
"textWidth": 9.566
},
{
"text": "None ",
"font": "sans-bold",
"width": 15.794,
"textWidth": 3.267
},
{
"text": "DeepSeek-V3.2 ",
"font": "sans-bold",
"width": 9.566,
"textWidth": 9.566
}
]
},
{
"left": 20.589,
"top": 28.042,
"width": 3.267,
"height": 0.793,
"words": [
{
"text": "None ",
"font": "sans-bold",
"width": 3.267,
"textWidth": 3.267
}
]
},
{
"left": 53.115,
"top": 28.271,
"width": 1.358,
"height": 0.755,
"words": [
{
"text": "30 ",
"font": "sans",
"width": 1.358,
"textWidth": 1.358
}
]
},
{
"left": 18.607,
"top": 28.617,
"width": 0.679,
"height": 0.755,
"words": [
{
"text": "5 ",
"font": "sans",
"width": 0.679,
"textWidth": 0.679
}
]
},
{
"left": 19.454,
"top": 29.263,
"width": 59.515,
"height": 0.755,
"words": [
{
"text": "0 ",
"font": "sans",
"width": 5.548,
"textWidth": 0.679
},
{
"text": "20k ",
"font": "sans",
"width": 6.196,
"textWidth": 1.977
},
{
"text": "40k ",
"font": "sans",
"width": 6.196,
"textWidth": 1.977
},
{
"text": "60k ",
"font": "sans",
"width": 6.196,
"textWidth": 1.977
},
{
"text": "80k ",
"font": "sans",
"width": 15.124,
"textWidth": 1.977
},
{
"text": "20k ",
"font": "sans",
"width": 6.093,
"textWidth": 1.977
},
{
"text": "30k ",
"font": "sans",
"width": 6.093,
"textWidth": 1.977
},
{
"text": "40k ",
"font": "sans",
"width": 6.093,
"textWidth": 1.977
},
{
"text": "50k ",
"font": "sans",
"width": 1.977,
"textWidth": 1.977
}
]
},
{
"left": 29.989,
"top": 30.43,
"width": 43.711,
"height": 0.868,
"words": [
{
"text": "Total ",
"font": "sans-bold",
"width": 3.783,
"textWidth": 3.356
},
{
"text": "Tokens ",
"font": "sans-bold",
"width": 31.405,
"textWidth": 4.74
},
{
"text": "Total ",
"font": "sans-bold",
"width": 3.783,
"textWidth": 3.356
},
{
"text": "Tokens ",
"font": "sans-bold",
"width": 4.74,
"textWidth": 4.74
}
]
},
{
"left": 11.905,
"top": 32.769,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.886,
"textWidth": 5.35
},
{
"text": "10 ",
"font": "serif",
"width": 3.455,
"textWidth": 1.869
},
{
"text": "HLE ",
"font": "serif",
"width": 4.376,
"textWidth": 3.839
},
{
"text": "and ",
"font": "serif",
"width": 3.701,
"textWidth": 3.165
},
{
"text": "Terminal ",
"font": "serif",
"width": 7.907,
"textWidth": 7.371
},
{
"text": "Bench ",
"font": "serif",
"width": 5.58,
"textWidth": 5.043
},
{
"text": "2.0 ",
"font": "serif",
"width": 2.873,
"textWidth": 2.337
},
{
"text": "performance ",
"font": "serif",
"width": 11.074,
"textWidth": 10.537
},
{
"text": "by ",
"font": "serif",
"width": 2.608,
"textWidth": 2.073
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.645,
"textWidth": 8.109
},
{
"text": "effort. ",
"font": "serif",
"width": 5.744,
"textWidth": 4.942
},
{
"text": "“None” ",
"font": "serif",
"width": 6.961,
"textWidth": 6.427
},
{
"text": "indicates ",
"font": "serif",
"width": 7.38,
"textWidth": 7.38
}
]
},
{
"left": 11.905,
"top": 34.379,
"width": 60.163,
"height": 1.296,
"words": [
{
"text": "Non-think ",
"font": "serif",
"width": 8.941,
"textWidth": 8.483
},
{
"text": "mode, ",
"font": "serif",
"width": 5.533,
"textWidth": 5.075
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "“Speciale” ",
"font": "serif",
"width": 8.906,
"textWidth": 8.448
},
{
"text": "indicates ",
"font": "serif",
"width": 7.693,
"textWidth": 7.235
},
{
"text": "DeepSeek-V3.2-Speciale ",
"font": "serif",
"width": 19.92,
"textWidth": 19.462
},
{
"text": "model. ",
"font": "serif",
"width": 5.608,
"textWidth": 5.608
}
]
},
{
"left": 11.905,
"top": 38.53,
"width": 12.695,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V3.2. ",
"font": "serif",
"width": 12.695,
"textWidth": 12.695
}
]
},
{
"left": 11.905,
"top": 42.443,
"width": 31.985,
"height": 1.296,
"words": [
{
"text": "5.4. ",
"font": "serif-bold",
"width": 3.665,
"textWidth": 2.749
},
{
"text": "Performance ",
"font": "serif-bold",
"width": 11.047,
"textWidth": 10.589
},
{
"text": "on ",
"font": "serif-bold",
"width": 2.597,
"textWidth": 2.139
},
{
"text": "Real-World ",
"font": "serif-bold",
"width": 9.993,
"textWidth": 9.535
},
{
"text": "Tasks ",
"font": "serif-bold",
"width": 4.682,
"textWidth": 4.682
}
]
},
{
"left": 11.905,
"top": 45.114,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Standardized ",
"font": "serif",
"width": 11.679,
"textWidth": 11.053
},
{
"text": "benchmarks ",
"font": "serif",
"width": 10.716,
"textWidth": 10.09
},
{
"text": "often ",
"font": "serif",
"width": 4.86,
"textWidth": 4.236
},
{
"text": "struggle ",
"font": "serif",
"width": 7.397,
"textWidth": 6.772
},
{
"text": "to ",
"font": "serif",
"width": 2.256,
"textWidth": 1.63
},
{
"text": "capture ",
"font": "serif",
"width": 6.851,
"textWidth": 6.225
},
{
"text": "the ",
"font": "serif",
"width": 3.219,
"textWidth": 2.593
},
{
"text": "complexities ",
"font": "serif",
"width": 11.038,
"textWidth": 10.414
},
{
"text": "of ",
"font": "serif",
"width": 2.269,
"textWidth": 1.643
},
{
"text": "diverse, ",
"font": "serif",
"width": 7.199,
"textWidth": 6.531
},
{
"text": "real-world ",
"font": "serif",
"width": 8.707,
"textWidth": 8.707
}
]
},
{
"left": 11.905,
"top": 46.723,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tasks, ",
"font": "serif",
"width": 5.107,
"textWidth": 4.636
},
{
"text": "creating ",
"font": "serif",
"width": 7.116,
"textWidth": 6.647
},
{
"text": "a ",
"font": "serif",
"width": 1.404,
"textWidth": 0.935
},
{
"text": "gap ",
"font": "serif",
"width": 3.567,
"textWidth": 3.097
},
{
"text": "between ",
"font": "serif",
"width": 7.443,
"textWidth": 6.974
},
{
"text": "test ",
"font": "serif",
"width": 3.376,
"textWidth": 2.907
},
{
"text": "results ",
"font": "serif",
"width": 5.937,
"textWidth": 5.468
},
{
"text": "and ",
"font": "serif",
"width": 3.634,
"textWidth": 3.165
},
{
"text": "actual ",
"font": "serif",
"width": 5.447,
"textWidth": 4.978
},
{
"text": "user ",
"font": "serif",
"width": 4.023,
"textWidth": 3.553
},
{
"text": "experience. ",
"font": "serif",
"width": 9.939,
"textWidth": 9.337
},
{
"text": "To ",
"font": "serif",
"width": 2.466,
"textWidth": 1.998
},
{
"text": "bridge ",
"font": "serif",
"width": 5.862,
"textWidth": 5.393
},
{
"text": "this, ",
"font": "serif",
"width": 3.974,
"textWidth": 3.501
},
{
"text": "we ",
"font": "serif",
"width": 2.924,
"textWidth": 2.454
},
{
"text": "have ",
"font": "serif",
"width": 3.974,
"textWidth": 3.974
}
]
},
{
"left": 11.905,
"top": 48.333,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "developed ",
"font": "serif",
"width": 8.854,
"textWidth": 8.398
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.584,
"textWidth": 9.128
},
{
"text": "internal ",
"font": "serif",
"width": 6.664,
"textWidth": 6.208
},
{
"text": "metrics ",
"font": "serif",
"width": 6.298,
"textWidth": 5.84
},
{
"text": "that ",
"font": "serif",
"width": 3.579,
"textWidth": 3.124
},
{
"text": "prioritize ",
"font": "serif",
"width": 7.869,
"textWidth": 7.413
},
{
"text": "real-world ",
"font": "serif",
"width": 8.845,
"textWidth": 8.389
},
{
"text": "usage ",
"font": "serif",
"width": 5.071,
"textWidth": 4.615
},
{
"text": "patterns ",
"font": "serif",
"width": 7.002,
"textWidth": 6.545
},
{
"text": "over ",
"font": "serif",
"width": 4.032,
"textWidth": 3.576
},
{
"text": "traditional ",
"font": "serif",
"width": 8.393,
"textWidth": 8.393
}
]
},
{
"left": 11.905,
"top": 49.942,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "benchmarks. ",
"font": "serif",
"width": 11.647,
"textWidth": 10.558
},
{
"text": "This ",
"font": "serif",
"width": 4.202,
"textWidth": 3.57
},
{
"text": "approach ",
"font": "serif",
"width": 8.391,
"textWidth": 7.759
},
{
"text": "ensures ",
"font": "serif",
"width": 6.927,
"textWidth": 6.296
},
{
"text": "that ",
"font": "serif",
"width": 3.873,
"textWidth": 3.241
},
{
"text": "our ",
"font": "serif",
"width": 3.518,
"textWidth": 2.886
},
{
"text": "optimizations ",
"font": "serif",
"width": 12.047,
"textWidth": 11.416
},
{
"text": "translate ",
"font": "serif",
"width": 7.778,
"textWidth": 7.146
},
{
"text": "into ",
"font": "serif",
"width": 3.894,
"textWidth": 3.262
},
{
"text": "tangible ",
"font": "serif",
"width": 7.32,
"textWidth": 6.688
},
{
"text": "benefits. ",
"font": "serif",
"width": 6.913,
"textWidth": 6.913
}
]
},
{
"left": 11.905,
"top": 51.552,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Our ",
"font": "serif",
"width": 3.744,
"textWidth": 3.286
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.082,
"textWidth": 8.623
},
{
"text": "framework ",
"font": "serif",
"width": 9.522,
"textWidth": 9.063
},
{
"text": "specifically ",
"font": "serif",
"width": 9.529,
"textWidth": 9.073
},
{
"text": "targets ",
"font": "serif",
"width": 5.962,
"textWidth": 5.503
},
{
"text": "the ",
"font": "serif",
"width": 3.011,
"textWidth": 2.555
},
{
"text": "primary ",
"font": "serif",
"width": 7.128,
"textWidth": 6.669
},
{
"text": "use ",
"font": "serif",
"width": 3.23,
"textWidth": 2.774
},
{
"text": "cases ",
"font": "serif",
"width": 4.641,
"textWidth": 4.183
},
{
"text": "of ",
"font": "serif",
"width": 2.076,
"textWidth": 1.619
},
{
"text": "the ",
"font": "serif",
"width": 3.013,
"textWidth": 2.555
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.509,
"textWidth": 8.052
},
{
"text": "API ",
"font": "serif",
"width": 3.625,
"textWidth": 3.166
},
{
"text": "and ",
"font": "serif",
"width": 3.118,
"textWidth": 3.118
}
]
},
{
"left": 11.905,
"top": 53.161,
"width": 50.494,
"height": 1.296,
"words": [
{
"text": "Chatbot, ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "aligning ",
"font": "serif",
"width": 7.145,
"textWidth": 6.687
},
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "performance ",
"font": "serif",
"width": 10.789,
"textWidth": 10.33
},
{
"text": "with ",
"font": "serif",
"width": 4.184,
"textWidth": 3.726
},
{
"text": "practical ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "demands. ",
"font": "serif",
"width": 7.954,
"textWidth": 7.954
}
]
},
{
"left": 11.905,
"top": 56.757,
"width": 18.202,
"height": 1.296,
"words": [
{
"text": "5.4.1. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Chinese ",
"font": "serif-bold-italic",
"width": 6.803,
"textWidth": 6.345
},
{
"text": "Writing ",
"font": "serif-bold-italic",
"width": 6.359,
"textWidth": 6.359
}
]
},
{
"left": 11.905,
"top": 59.441,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "One ",
"font": "serif",
"width": 4.15,
"textWidth": 3.453
},
{
"text": "of ",
"font": "serif",
"width": 2.342,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.29,
"textWidth": 2.593
},
{
"text": "primary ",
"font": "serif",
"width": 7.468,
"textWidth": 6.769
},
{
"text": "use ",
"font": "serif",
"width": 3.512,
"textWidth": 2.815
},
{
"text": "cases ",
"font": "serif",
"width": 4.944,
"textWidth": 4.245
},
{
"text": "for ",
"font": "serif",
"width": 3.079,
"textWidth": 2.381
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.87,
"textWidth": 8.172
},
{
"text": "is ",
"font": "serif",
"width": 2.036,
"textWidth": 1.337
},
{
"text": "Chinese ",
"font": "serif",
"width": 7.326,
"textWidth": 6.628
},
{
"text": "writing. ",
"font": "serif",
"width": 7.877,
"textWidth": 6.589
},
{
"text": "We ",
"font": "serif",
"width": 3.294,
"textWidth": 2.596
},
{
"text": "conducted ",
"font": "serif",
"width": 9.384,
"textWidth": 8.685
},
{
"text": "a ",
"font": "serif",
"width": 1.632,
"textWidth": 0.935
},
{
"text": "rigorous ",
"font": "serif",
"width": 6.989,
"textWidth": 6.989
}
]
},
{
"left": 11.905,
"top": 61.051,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "evaluation ",
"font": "serif",
"width": 8.972,
"textWidth": 8.513
},
{
"text": "on ",
"font": "serif",
"width": 2.509,
"textWidth": 2.051
},
{
"text": "functional ",
"font": "serif",
"width": 8.635,
"textWidth": 8.177
},
{
"text": "writing ",
"font": "serif",
"width": 6.412,
"textWidth": 5.954
},
{
"text": "and ",
"font": "serif",
"width": 3.536,
"textWidth": 3.078
},
{
"text": "creative ",
"font": "serif",
"width": 6.75,
"textWidth": 6.292
},
{
"text": "writing. ",
"font": "serif",
"width": 6.977,
"textWidth": 6.408
},
{
"text": "Table ",
"font": "serif",
"width": 4.718,
"textWidth": 4.259
},
{
"text": "12 ",
"font": "serif",
"width": 2.276,
"textWidth": 1.818
},
{
"text": "presents ",
"font": "serif",
"width": 7.17,
"textWidth": 6.712
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.909
},
{
"text": "pairwise ",
"font": "serif",
"width": 7.394,
"textWidth": 6.935
},
{
"text": "comparison ",
"font": "serif",
"width": 9.475,
"textWidth": 9.475
}
]
},
{
"left": 11.905,
"top": 62.66,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "between ",
"font": "serif",
"width": 7.27,
"textWidth": 6.812
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.672,
"textWidth": 14.213
},
{
"text": "and ",
"font": "serif",
"width": 3.55,
"textWidth": 3.09
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.746,
"textWidth": 12.286
},
{
"text": "on ",
"font": "serif",
"width": 2.517,
"textWidth": 2.059
},
{
"text": "functional ",
"font": "serif",
"width": 8.668,
"textWidth": 8.21
},
{
"text": "writing ",
"font": "serif",
"width": 6.436,
"textWidth": 5.978
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.096,
"textWidth": 4.527
},
{
"text": "These ",
"font": "serif",
"width": 5.164,
"textWidth": 4.704
},
{
"text": "tasks ",
"font": "serif",
"width": 4.529,
"textWidth": 4.07
},
{
"text": "consist ",
"font": "serif",
"width": 5.543,
"textWidth": 5.543
}
]
},
{
"left": 11.905,
"top": 64.269,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.2,
"textWidth": 1.643
},
{
"text": "common ",
"font": "serif",
"width": 7.817,
"textWidth": 7.26
},
{
"text": "daily ",
"font": "serif",
"width": 4.761,
"textWidth": 4.204
},
{
"text": "writing ",
"font": "serif",
"width": 6.679,
"textWidth": 6.122
},
{
"text": "queries, ",
"font": "serif",
"width": 7.09,
"textWidth": 6.507
},
{
"text": "where ",
"font": "serif",
"width": 5.699,
"textWidth": 5.142
},
{
"text": "prompts ",
"font": "serif",
"width": 7.582,
"textWidth": 7.025
},
{
"text": "are ",
"font": "serif",
"width": 3.094,
"textWidth": 2.537
},
{
"text": "typically ",
"font": "serif",
"width": 7.765,
"textWidth": 7.208
},
{
"text": "concise ",
"font": "serif",
"width": 6.557,
"textWidth": 6.0
},
{
"text": "and ",
"font": "serif",
"width": 3.722,
"textWidth": 3.165
},
{
"text": "straightforward. ",
"font": "serif",
"width": 13.545,
"textWidth": 13.545
}
]
},
{
"left": 11.905,
"top": 65.879,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.856,
"textWidth": 12.399
},
{
"text": "was ",
"font": "serif",
"width": 3.695,
"textWidth": 3.238
},
{
"text": "selected ",
"font": "serif",
"width": 6.962,
"textWidth": 6.507
},
{
"text": "as ",
"font": "serif",
"width": 2.159,
"textWidth": 1.702
},
{
"text": "the ",
"font": "serif",
"width": 3.011,
"textWidth": 2.555
},
{
"text": "baseline, ",
"font": "serif",
"width": 7.546,
"textWidth": 7.089
},
{
"text": "as ",
"font": "serif",
"width": 2.159,
"textWidth": 1.702
},
{
"text": "it ",
"font": "serif",
"width": 1.591,
"textWidth": 1.136
},
{
"text": "stands ",
"font": "serif",
"width": 5.737,
"textWidth": 5.28
},
{
"text": "as ",
"font": "serif",
"width": 2.159,
"textWidth": 1.702
},
{
"text": "the ",
"font": "serif",
"width": 3.011,
"textWidth": 2.555
},
{
"text": "top-performing ",
"font": "serif",
"width": 13.102,
"textWidth": 12.647
},
{
"text": "external ",
"font": "serif",
"width": 7.028,
"textWidth": 6.571
},
{
"text": "model ",
"font": "serif",
"width": 5.175,
"textWidth": 5.175
}
]
},
{
"left": 11.905,
"top": 67.488,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.775,
"textWidth": 2.318
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.912,
"textWidth": 6.453
},
{
"text": "writing ",
"font": "serif",
"width": 6.417,
"textWidth": 5.96
},
{
"text": "in ",
"font": "serif",
"width": 2.045,
"textWidth": 1.589
},
{
"text": "our ",
"font": "serif",
"width": 3.268,
"textWidth": 2.81
},
{
"text": "evaluations. ",
"font": "serif",
"width": 10.316,
"textWidth": 9.749
},
{
"text": "The ",
"font": "serif",
"width": 3.503,
"textWidth": 3.046
},
{
"text": "results ",
"font": "serif",
"width": 5.778,
"textWidth": 5.321
},
{
"text": "indicate ",
"font": "serif",
"width": 6.872,
"textWidth": 6.413
},
{
"text": "that ",
"font": "serif",
"width": 3.612,
"textWidth": 3.154
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.627,
"textWidth": 14.171
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.065,
"textWidth": 10.065
}
]
},
{
"left": 11.905,
"top": 69.097,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.051,
"textWidth": 2.593
},
{
"text": "baseline ",
"font": "serif",
"width": 7.185,
"textWidth": 6.727
},
{
"text": "with ",
"font": "serif",
"width": 4.258,
"textWidth": 3.8
},
{
"text": "an ",
"font": "serif",
"width": 2.481,
"textWidth": 2.023
},
{
"text": "overall ",
"font": "serif",
"width": 6.191,
"textWidth": 5.733
},
{
"text": "win ",
"font": "serif",
"width": 3.647,
"textWidth": 3.191
},
{
"text": "rate ",
"font": "serif",
"width": 3.636,
"textWidth": 3.178
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.643
},
{
"text": "62.7% ",
"font": "serif",
"width": 5.299,
"textWidth": 4.841
},
{
"text": "versus ",
"font": "serif",
"width": 5.86,
"textWidth": 5.402
},
{
"text": "34.1%; ",
"font": "serif",
"width": 5.767,
"textWidth": 5.309
},
{
"text": "this ",
"font": "serif",
"width": 3.492,
"textWidth": 3.034
},
{
"text": "is ",
"font": "serif",
"width": 1.794,
"textWidth": 1.337
},
{
"text": "primarily ",
"font": "serif",
"width": 8.314,
"textWidth": 7.857
},
{
"text": "because ",
"font": "serif",
"width": 6.967,
"textWidth": 6.509
},
{
"text": "Gemini ",
"font": "serif",
"width": 6.148,
"textWidth": 6.148
}
]
},
{
"left": 11.905,
"top": 70.707,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "occasionally ",
"font": "serif",
"width": 10.271,
"textWidth": 9.814
},
{
"text": "allows ",
"font": "serif",
"width": 5.687,
"textWidth": 5.231
},
{
"text": "its ",
"font": "serif",
"width": 2.345,
"textWidth": 1.887
},
{
"text": "inherent ",
"font": "serif",
"width": 7.159,
"textWidth": 6.701
},
{
"text": "stylistic ",
"font": "serif",
"width": 6.57,
"textWidth": 6.113
},
{
"text": "preferences ",
"font": "serif",
"width": 9.617,
"textWidth": 9.158
},
{
"text": "to ",
"font": "serif",
"width": 2.037,
"textWidth": 1.58
},
{
"text": "override ",
"font": "serif",
"width": 7.273,
"textWidth": 6.817
},
{
"text": "the ",
"font": "serif",
"width": 2.971,
"textWidth": 2.514
},
{
"text": "user’s ",
"font": "serif",
"width": 5.31,
"textWidth": 4.854
},
{
"text": "explicit ",
"font": "serif",
"width": 6.329,
"textWidth": 5.871
},
{
"text": "requirements ",
"font": "serif",
"width": 10.619,
"textWidth": 10.619
}
]
},
{
"left": 11.905,
"top": 72.316,
"width": 23.419,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.957,
"textWidth": 6.498
},
{
"text": "writing ",
"font": "serif",
"width": 6.46,
"textWidth": 6.002
},
{
"text": "scenarios. ",
"font": "serif",
"width": 7.944,
"textWidth": 7.944
}
]
},
{
"left": 14.75,
"top": 74.73,
"width": 73.574,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 5.094,
"textWidth": 4.385
},
{
"text": "13 ",
"font": "serif",
"width": 2.578,
"textWidth": 1.869
},
{
"text": "presents ",
"font": "serif",
"width": 7.612,
"textWidth": 6.903
},
{
"text": "the ",
"font": "serif",
"width": 3.301,
"textWidth": 2.593
},
{
"text": "creative ",
"font": "serif",
"width": 7.18,
"textWidth": 6.47
},
{
"text": "writing ",
"font": "serif",
"width": 6.83,
"textWidth": 6.122
},
{
"text": "comparison, ",
"font": "serif",
"width": 10.982,
"textWidth": 10.21
},
{
"text": "which ",
"font": "serif",
"width": 5.817,
"textWidth": 5.109
},
{
"text": "is ",
"font": "serif",
"width": 2.045,
"textWidth": 1.337
},
{
"text": "evaluated ",
"font": "serif",
"width": 8.849,
"textWidth": 8.139
},
{
"text": "along ",
"font": "serif",
"width": 5.335,
"textWidth": 4.626
},
{
"text": "two ",
"font": "serif",
"width": 3.897,
"textWidth": 3.189
},
{
"text": "axes: ",
"font": "serif",
"width": 4.054,
"textWidth": 4.054
}
]
},
{
"left": 11.905,
"top": 76.34,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "instruction ",
"font": "serif",
"width": 9.418,
"textWidth": 8.959
},
{
"text": "following ",
"font": "serif",
"width": 8.423,
"textWidth": 7.966
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.158
},
{
"text": "writing ",
"font": "serif",
"width": 6.567,
"textWidth": 6.11
},
{
"text": "quality. ",
"font": "serif",
"width": 6.664,
"textWidth": 6.097
},
{
"text": "Compared ",
"font": "serif",
"width": 9.238,
"textWidth": 8.781
},
{
"text": "with ",
"font": "serif",
"width": 4.252,
"textWidth": 3.793
},
{
"text": "Gemini-3.1-Pro, ",
"font": "serif",
"width": 13.483,
"textWidth": 13.026
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.529,
"textWidth": 14.529
}
]
},
{
"left": 11.905,
"top": 77.949,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "achieves ",
"font": "serif",
"width": 7.341,
"textWidth": 6.884
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.914
},
{
"text": "60.0% ",
"font": "serif",
"width": 5.194,
"textWidth": 4.737
},
{
"text": "win ",
"font": "serif",
"width": 3.579,
"textWidth": 3.122
},
{
"text": "rate ",
"font": "serif",
"width": 3.568,
"textWidth": 3.109
},
{
"text": "in ",
"font": "serif",
"width": 2.054,
"textWidth": 1.597
},
{
"text": "instruction ",
"font": "serif",
"width": 9.24,
"textWidth": 8.783
},
{
"text": "following ",
"font": "serif",
"width": 8.269,
"textWidth": 7.81
},
{
"text": "and ",
"font": "serif",
"width": 3.554,
"textWidth": 3.096
},
{
"text": "77.5% ",
"font": "serif",
"width": 5.194,
"textWidth": 4.737
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.597
},
{
"text": "writing ",
"font": "serif",
"width": 6.447,
"textWidth": 5.99
},
{
"text": "quality, ",
"font": "serif",
"width": 6.431,
"textWidth": 5.973
},
{
"text": "demonstrating ",
"font": "serif",
"width": 11.89,
"textWidth": 11.89
}
]
},
{
"left": 11.905,
"top": 79.558,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.58,
"textWidth": 0.935
},
{
"text": "marginal ",
"font": "serif",
"width": 8.085,
"textWidth": 7.44
},
{
"text": "improvement ",
"font": "serif",
"width": 11.883,
"textWidth": 11.238
},
{
"text": "in ",
"font": "serif",
"width": 2.275,
"textWidth": 1.63
},
{
"text": "instruction ",
"font": "serif",
"width": 9.621,
"textWidth": 8.976
},
{
"text": "following ",
"font": "serif",
"width": 8.625,
"textWidth": 7.982
},
{
"text": "and ",
"font": "serif",
"width": 3.81,
"textWidth": 3.165
},
{
"text": "a ",
"font": "serif",
"width": 1.58,
"textWidth": 0.935
},
{
"text": "substantial ",
"font": "serif",
"width": 9.653,
"textWidth": 9.01
},
{
"text": "gain ",
"font": "serif",
"width": 4.251,
"textWidth": 3.606
},
{
"text": "in ",
"font": "serif",
"width": 2.275,
"textWidth": 1.632
},
{
"text": "writing ",
"font": "serif",
"width": 6.767,
"textWidth": 6.122
},
{
"text": "quality. ",
"font": "serif",
"width": 6.109,
"textWidth": 6.109
}
]
},
{
"left": 11.833,
"top": 81.168,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Although ",
"font": "serif",
"width": 8.076,
"textWidth": 7.658
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.404,
"textWidth": 13.985
},
{
"text": "yields ",
"font": "serif",
"width": 5.181,
"textWidth": 4.763
},
{
"text": "superior ",
"font": "serif",
"width": 7.126,
"textWidth": 6.706
},
{
"text": "results ",
"font": "serif",
"width": 5.668,
"textWidth": 5.25
},
{
"text": "in ",
"font": "serif",
"width": 1.988,
"textWidth": 1.568
},
{
"text": "aggregate ",
"font": "serif",
"width": 8.193,
"textWidth": 7.773
},
{
"text": "user ",
"font": "serif",
"width": 3.833,
"textWidth": 3.414
},
{
"text": "case ",
"font": "serif",
"width": 3.736,
"textWidth": 3.317
},
{
"text": "analysis, ",
"font": "serif",
"width": 7.284,
"textWidth": 6.857
},
{
"text": "an ",
"font": "serif",
"width": 2.362,
"textWidth": 1.943
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.41,
"textWidth": 8.41
}
]
},
{
"left": 11.905,
"top": 82.777,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "restricted ",
"font": "serif",
"width": 8.41,
"textWidth": 7.761
},
{
"text": "to ",
"font": "serif",
"width": 2.279,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.239,
"textWidth": 2.593
},
{
"text": "most ",
"font": "serif",
"width": 4.722,
"textWidth": 4.073
},
{
"text": "challenging ",
"font": "serif",
"width": 10.283,
"textWidth": 9.634
},
{
"text": "prompts ",
"font": "serif",
"width": 10.189,
"textWidth": 7.025
},
{
"text": "specifically ",
"font": "serif",
"width": 9.857,
"textWidth": 9.208
},
{
"text": "those ",
"font": "serif",
"width": 5.053,
"textWidth": 4.406
},
{
"text": "involving ",
"font": "serif",
"width": 8.629,
"textWidth": 7.98
},
{
"text": "high-complexity ",
"font": "serif",
"width": 13.603,
"textWidth": 13.603
}
]
},
{
"left": 11.905,
"top": 84.386,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "constraints ",
"font": "serif",
"width": 9.739,
"textWidth": 9.047
},
{
"text": "or ",
"font": "serif",
"width": 2.451,
"textWidth": 1.759
},
{
"text": "multi-turn ",
"font": "serif",
"width": 9.35,
"textWidth": 8.66
},
{
"text": "scenarios ",
"font": "serif",
"width": 10.888,
"textWidth": 7.636
},
{
"text": "reveals ",
"font": "serif",
"width": 6.514,
"textWidth": 5.823
},
{
"text": "that ",
"font": "serif",
"width": 3.933,
"textWidth": 3.241
},
{
"text": "Claude ",
"font": "serif",
"width": 6.66,
"textWidth": 5.969
},
{
"text": "Opus ",
"font": "serif",
"width": 5.204,
"textWidth": 4.512
},
{
"text": "4.5 ",
"font": "serif",
"width": 3.028,
"textWidth": 2.337
},
{
"text": "retains ",
"font": "serif",
"width": 6.26,
"textWidth": 5.569
},
{
"text": "a ",
"font": "serif",
"width": 1.626,
"textWidth": 0.935
},
{
"text": "performance ",
"font": "serif",
"width": 10.537,
"textWidth": 10.537
}
]
},
{
"left": 11.905,
"top": 85.996,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "advantage ",
"font": "serif",
"width": 8.773,
"textWidth": 8.312
},
{
"text": "over ",
"font": "serif",
"width": 4.031,
"textWidth": 3.572
},
{
"text": "DeepSeek-V4-Pro. ",
"font": "serif",
"width": 15.038,
"textWidth": 14.464
},
{
"text": "As ",
"font": "serif",
"width": 2.624,
"textWidth": 2.163
},
{
"text": "shown ",
"font": "serif",
"width": 5.8,
"textWidth": 5.341
},
{
"text": "in ",
"font": "serif",
"width": 2.032,
"textWidth": 1.571
},
{
"text": "Table ",
"font": "serif",
"width": 4.675,
"textWidth": 4.215
},
{
"text": "14, ",
"font": "serif",
"width": 2.71,
"textWidth": 2.25
},
{
"text": "Claude ",
"font": "serif",
"width": 6.207,
"textWidth": 5.746
},
{
"text": "Opus ",
"font": "serif",
"width": 4.803,
"textWidth": 4.344
},
{
"text": "4.5 ",
"font": "serif",
"width": 2.71,
"textWidth": 2.25
},
{
"text": "achieves ",
"font": "serif",
"width": 7.234,
"textWidth": 6.774
},
{
"text": "a ",
"font": "serif",
"width": 1.359,
"textWidth": 0.9
},
{
"text": "52.0% ",
"font": "serif",
"width": 5.122,
"textWidth": 4.661
},
{
"text": "win ",
"font": "serif",
"width": 3.072,
"textWidth": 3.072
}
]
},
{
"left": 11.905,
"top": 87.605,
"width": 14.533,
"height": 1.296,
"words": [
{
"text": "rate ",
"font": "serif",
"width": 3.574,
"textWidth": 3.115
},
{
"text": "versus ",
"font": "serif",
"width": 5.754,
"textWidth": 5.296
},
{
"text": "45.9%. ",
"font": "serif",
"width": 5.205,
"textWidth": 5.205
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "41 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"42": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.439,
"width": 10.404,
"height": 1.296,
"words": [
{
"text": "5.4.2. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Search ",
"font": "serif-bold-italic",
"width": 5.364,
"textWidth": 5.364
}
]
},
{
"left": 11.905,
"top": 13.123,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Search-augmented ",
"font": "serif",
"width": 15.992,
"textWidth": 15.438
},
{
"text": "question ",
"font": "serif",
"width": 7.677,
"textWidth": 7.124
},
{
"text": "answering ",
"font": "serif",
"width": 9.232,
"textWidth": 8.679
},
{
"text": "is ",
"font": "serif",
"width": 1.89,
"textWidth": 1.337
},
{
"text": "a ",
"font": "serif",
"width": 1.488,
"textWidth": 0.935
},
{
"text": "core ",
"font": "serif",
"width": 4.004,
"textWidth": 3.451
},
{
"text": "capability ",
"font": "serif",
"width": 8.69,
"textWidth": 8.137
},
{
"text": "of ",
"font": "serif",
"width": 2.196,
"textWidth": 1.643
},
{
"text": "the ",
"font": "serif",
"width": 3.146,
"textWidth": 2.593
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.726,
"textWidth": 8.172
},
{
"text": "chatbot. ",
"font": "serif",
"width": 7.447,
"textWidth": 6.593
},
{
"text": "On ",
"font": "serif",
"width": 3.11,
"textWidth": 2.557
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 14.732,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.645,
"textWidth": 8.172
},
{
"text": "web ",
"font": "serif",
"width": 3.963,
"textWidth": 3.488
},
{
"text": "and ",
"font": "serif",
"width": 3.638,
"textWidth": 3.165
},
{
"text": "app, ",
"font": "serif",
"width": 4.125,
"textWidth": 3.649
},
{
"text": "the ",
"font": "serif",
"width": 3.067,
"textWidth": 2.593
},
{
"text": "\"non-think\" ",
"font": "serif",
"width": 10.047,
"textWidth": 9.573
},
{
"text": "mode ",
"font": "serif",
"width": 5.182,
"textWidth": 4.709
},
{
"text": "employs ",
"font": "serif",
"width": 7.539,
"textWidth": 7.066
},
{
"text": "Retrieval-Augmented ",
"font": "serif",
"width": 18.465,
"textWidth": 17.99
},
{
"text": "Search ",
"font": "serif",
"width": 5.907,
"textWidth": 5.434
},
{
"text": "(RAG), ",
"font": "serif",
"width": 5.841,
"textWidth": 5.841
}
]
},
{
"left": 11.828,
"top": 16.342,
"width": 42.201,
"height": 1.296,
"words": [
{
"text": "whereas ",
"font": "serif",
"width": 7.193,
"textWidth": 6.735
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "\"thinking\" ",
"font": "serif",
"width": 8.72,
"textWidth": 8.261
},
{
"text": "mode ",
"font": "serif",
"width": 5.075,
"textWidth": 4.616
},
{
"text": "utilizes ",
"font": "serif",
"width": 6.332,
"textWidth": 5.874
},
{
"text": "agentic ",
"font": "serif",
"width": 6.282,
"textWidth": 5.824
},
{
"text": "search. ",
"font": "serif",
"width": 5.6,
"textWidth": 5.6
}
]
},
{
"left": 11.905,
"top": 20.548,
"width": 24.363,
"height": 1.296,
"words": [
{
"text": "Retrieval ",
"font": "serif-bold",
"width": 8.052,
"textWidth": 7.596
},
{
"text": "Augmented ",
"font": "serif-bold",
"width": 10.284,
"textWidth": 9.827
},
{
"text": "Search. ",
"font": "serif-bold",
"width": 6.026,
"textWidth": 6.026
}
]
},
{
"left": 38.089,
"top": 20.569,
"width": 50.311,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.985,
"textWidth": 2.529
},
{
"text": "conducted ",
"font": "serif",
"width": 8.928,
"textWidth": 8.472
},
{
"text": "a ",
"font": "serif",
"width": 1.369,
"textWidth": 0.912
},
{
"text": "pairwise ",
"font": "serif",
"width": 7.412,
"textWidth": 6.956
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.995,
"textWidth": 8.539
},
{
"text": "comparing ",
"font": "serif",
"width": 9.207,
"textWidth": 8.749
},
{
"text": "DeepSeek-V4- ",
"font": "serif",
"width": 11.415,
"textWidth": 11.415
}
]
},
{
"left": 11.905,
"top": 22.178,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Pro ",
"font": "serif",
"width": 3.289,
"textWidth": 2.829
},
{
"text": "and ",
"font": "serif",
"width": 3.594,
"textWidth": 3.137
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.83,
"textWidth": 12.371
},
{
"text": "across ",
"font": "serif",
"width": 5.488,
"textWidth": 5.03
},
{
"text": "both ",
"font": "serif",
"width": 4.178,
"textWidth": 3.719
},
{
"text": "objective ",
"font": "serif",
"width": 7.715,
"textWidth": 7.257
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.137
},
{
"text": "subjective ",
"font": "serif",
"width": 8.606,
"textWidth": 8.148
},
{
"text": "Q&A ",
"font": "serif",
"width": 4.799,
"textWidth": 4.339
},
{
"text": "categories. ",
"font": "serif",
"width": 9.258,
"textWidth": 8.689
},
{
"text": "As ",
"font": "serif",
"width": 2.687,
"textWidth": 2.227
},
{
"text": "presented ",
"font": "serif",
"width": 8.532,
"textWidth": 8.074
},
{
"text": "in ",
"font": "serif",
"width": 1.617,
"textWidth": 1.617
}
]
},
{
"left": 11.848,
"top": 23.787,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.686,
"textWidth": 4.229
},
{
"text": "11, ",
"font": "serif",
"width": 2.715,
"textWidth": 2.256
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.513,
"textWidth": 14.056
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.443,
"textWidth": 9.984
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.511,
"textWidth": 12.053
},
{
"text": "by ",
"font": "serif",
"width": 2.46,
"textWidth": 2.002
},
{
"text": "a ",
"font": "serif",
"width": 1.359,
"textWidth": 0.903
},
{
"text": "substantial ",
"font": "serif",
"width": 9.159,
"textWidth": 8.701
},
{
"text": "margin, ",
"font": "serif",
"width": 6.665,
"textWidth": 6.208
},
{
"text": "demonstrating ",
"font": "serif",
"width": 11.735,
"textWidth": 11.735
}
]
},
{
"left": 11.905,
"top": 25.397,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.52,
"textWidth": 0.935
},
{
"text": "consistent ",
"font": "serif",
"width": 8.853,
"textWidth": 8.27
},
{
"text": "advantage ",
"font": "serif",
"width": 9.219,
"textWidth": 8.634
},
{
"text": "across ",
"font": "serif",
"width": 5.66,
"textWidth": 5.075
},
{
"text": "both ",
"font": "serif",
"width": 4.337,
"textWidth": 3.752
},
{
"text": "categories. ",
"font": "serif",
"width": 9.713,
"textWidth": 8.765
},
{
"text": "The ",
"font": "serif",
"width": 3.714,
"textWidth": 3.129
},
{
"text": "most ",
"font": "serif",
"width": 4.656,
"textWidth": 4.073
},
{
"text": "pronounced ",
"font": "serif",
"width": 10.625,
"textWidth": 10.042
},
{
"text": "gains ",
"font": "serif",
"width": 4.983,
"textWidth": 4.398
},
{
"text": "are ",
"font": "serif",
"width": 3.12,
"textWidth": 2.535
},
{
"text": "observed ",
"font": "serif",
"width": 8.159,
"textWidth": 7.574
},
{
"text": "in ",
"font": "serif",
"width": 1.632,
"textWidth": 1.632
}
]
},
{
"left": 11.905,
"top": 27.006,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "single-value ",
"font": "serif",
"width": 10.66,
"textWidth": 10.083
},
{
"text": "search ",
"font": "serif",
"width": 5.825,
"textWidth": 5.247
},
{
"text": "and ",
"font": "serif",
"width": 3.744,
"textWidth": 3.165
},
{
"text": "planning ",
"font": "serif",
"width": 10.059,
"textWidth": 7.447
},
{
"text": "strategy ",
"font": "serif",
"width": 7.238,
"textWidth": 6.658
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.243,
"textWidth": 4.636
},
{
"text": "suggesting ",
"font": "serif",
"width": 9.546,
"textWidth": 8.967
},
{
"text": "that ",
"font": "serif",
"width": 3.819,
"textWidth": 3.241
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 15.135,
"textWidth": 14.556
},
{
"text": "excels ",
"font": "serif",
"width": 4.922,
"textWidth": 4.922
}
]
},
{
"left": 11.905,
"top": 28.616,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "at ",
"font": "serif",
"width": 2.047,
"textWidth": 1.544
},
{
"text": "locating ",
"font": "serif",
"width": 7.114,
"textWidth": 6.61
},
{
"text": "precise ",
"font": "serif",
"width": 6.29,
"textWidth": 5.785
},
{
"text": "factual ",
"font": "serif",
"width": 6.105,
"textWidth": 5.602
},
{
"text": "answers ",
"font": "serif",
"width": 7.305,
"textWidth": 6.8
},
{
"text": "and ",
"font": "serif",
"width": 3.667,
"textWidth": 3.163
},
{
"text": "synthesizing ",
"font": "serif",
"width": 10.958,
"textWidth": 10.455
},
{
"text": "structured ",
"font": "serif",
"width": 9.066,
"textWidth": 8.563
},
{
"text": "plans ",
"font": "serif",
"width": 4.987,
"textWidth": 4.482
},
{
"text": "from ",
"font": "serif",
"width": 4.503,
"textWidth": 3.998
},
{
"text": "retrieved ",
"font": "serif",
"width": 7.984,
"textWidth": 7.481
},
{
"text": "context. ",
"font": "serif",
"width": 6.484,
"textWidth": 6.484
}
]
},
{
"left": 11.905,
"top": 30.225,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "However, ",
"font": "serif",
"width": 8.371,
"textWidth": 7.915
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 12.729,
"textWidth": 12.273
},
{
"text": "remains ",
"font": "serif",
"width": 6.955,
"textWidth": 6.5
},
{
"text": "relatively ",
"font": "serif",
"width": 8.093,
"textWidth": 7.637
},
{
"text": "competitive ",
"font": "serif",
"width": 10.071,
"textWidth": 9.615
},
{
"text": "on ",
"font": "serif",
"width": 2.529,
"textWidth": 2.073
},
{
"text": "comparison ",
"font": "serif",
"width": 10.036,
"textWidth": 9.58
},
{
"text": "and ",
"font": "serif",
"width": 3.568,
"textWidth": 3.112
},
{
"text": "recommendation ",
"font": "serif",
"width": 13.837,
"textWidth": 13.837
}
]
},
{
"left": 11.905,
"top": 31.834,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "tasks, ",
"font": "serif",
"width": 5.049,
"textWidth": 4.59
},
{
"text": "indicating ",
"font": "serif",
"width": 8.738,
"textWidth": 8.281
},
{
"text": "potential ",
"font": "serif",
"width": 7.755,
"textWidth": 7.296
},
{
"text": "room ",
"font": "serif",
"width": 4.811,
"textWidth": 4.353
},
{
"text": "for ",
"font": "serif",
"width": 2.817,
"textWidth": 2.358
},
{
"text": "improvement ",
"font": "serif",
"width": 11.587,
"textWidth": 11.128
},
{
"text": "for ",
"font": "serif",
"width": 2.815,
"textWidth": 2.358
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.872,
"textWidth": 14.413
},
{
"text": "in ",
"font": "serif",
"width": 2.075,
"textWidth": 1.616
},
{
"text": "scenarios ",
"font": "serif",
"width": 8.018,
"textWidth": 7.559
},
{
"text": "requiring ",
"font": "serif",
"width": 7.652,
"textWidth": 7.652
}
]
},
{
"left": 11.905,
"top": 33.444,
"width": 46.865,
"height": 1.296,
"words": [
{
"text": "balanced, ",
"font": "serif",
"width": 8.173,
"textWidth": 7.715
},
{
"text": "multi-perspective ",
"font": "serif",
"width": 14.773,
"textWidth": 14.315
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.406,
"textWidth": 7.948
},
{
"text": "over ",
"font": "serif",
"width": 4.096,
"textWidth": 3.638
},
{
"text": "search ",
"font": "serif",
"width": 5.6,
"textWidth": 5.142
},
{
"text": "results. ",
"font": "serif",
"width": 5.817,
"textWidth": 5.817
}
]
},
{
"left": 11.905,
"top": 37.65,
"width": 13.459,
"height": 1.296,
"words": [
{
"text": "Agentic ",
"font": "serif-bold",
"width": 7.281,
"textWidth": 6.645
},
{
"text": "Search. ",
"font": "serif-bold",
"width": 6.178,
"textWidth": 6.178
}
]
},
{
"left": 27.186,
"top": 37.671,
"width": 60.981,
"height": 1.296,
"words": [
{
"text": "Unlike ",
"font": "serif",
"width": 6.2,
"textWidth": 5.565
},
{
"text": "standard ",
"font": "serif",
"width": 7.985,
"textWidth": 7.35
},
{
"text": "RAG, ",
"font": "serif",
"width": 5.232,
"textWidth": 4.597
},
{
"text": "agentic ",
"font": "serif",
"width": 6.576,
"textWidth": 5.941
},
{
"text": "search ",
"font": "serif",
"width": 5.883,
"textWidth": 5.247
},
{
"text": "empowers ",
"font": "serif",
"width": 9.311,
"textWidth": 8.675
},
{
"text": "the ",
"font": "serif",
"width": 3.228,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.89,
"textWidth": 5.253
},
{
"text": "to ",
"font": "serif",
"width": 2.266,
"textWidth": 1.63
},
{
"text": "iteratively ",
"font": "serif",
"width": 8.41,
"textWidth": 8.41
}
]
},
{
"left": 11.905,
"top": 39.28,
"width": 76.228,
"height": 1.296,
"words": [
{
"text": "invoke ",
"font": "serif",
"width": 5.88,
"textWidth": 5.422
},
{
"text": "search ",
"font": "serif",
"width": 5.497,
"textWidth": 5.039
},
{
"text": "and ",
"font": "serif",
"width": 3.499,
"textWidth": 3.041
},
{
"text": "fetch ",
"font": "serif",
"width": 4.344,
"textWidth": 3.886
},
{
"text": "tools ",
"font": "serif",
"width": 4.289,
"textWidth": 3.831
},
{
"text": "per ",
"font": "serif",
"width": 3.107,
"textWidth": 2.649
},
{
"text": "query, ",
"font": "serif",
"width": 5.361,
"textWidth": 4.903
},
{
"text": "significantly ",
"font": "serif",
"width": 10.242,
"textWidth": 9.784
},
{
"text": "enhancing ",
"font": "serif",
"width": 8.716,
"textWidth": 8.258
},
{
"text": "overall ",
"font": "serif",
"width": 5.966,
"textWidth": 5.508
},
{
"text": "search ",
"font": "serif",
"width": 5.496,
"textWidth": 5.038
},
{
"text": "performance. ",
"font": "serif",
"width": 11.142,
"textWidth": 10.573
},
{
"text": "For ",
"font": "serif",
"width": 2.689,
"textWidth": 2.689
}
]
},
{
"left": 11.905,
"top": 40.889,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.062,
"textWidth": 2.593
},
{
"text": "thinking ",
"font": "serif",
"width": 7.507,
"textWidth": 7.04
},
{
"text": "mode ",
"font": "serif",
"width": 5.178,
"textWidth": 4.709
},
{
"text": "in ",
"font": "serif",
"width": 2.099,
"textWidth": 1.632
},
{
"text": "DeepSeek-Chat, ",
"font": "serif",
"width": 13.69,
"textWidth": 13.219
},
{
"text": "we ",
"font": "serif",
"width": 2.924,
"textWidth": 2.454
},
{
"text": "optimized ",
"font": "serif",
"width": 8.931,
"textWidth": 8.464
},
{
"text": "the ",
"font": "serif",
"width": 3.062,
"textWidth": 2.593
},
{
"text": "agentic ",
"font": "serif",
"width": 6.41,
"textWidth": 5.941
},
{
"text": "search ",
"font": "serif",
"width": 5.714,
"textWidth": 5.245
},
{
"text": "function ",
"font": "serif",
"width": 7.397,
"textWidth": 6.927
},
{
"text": "to ",
"font": "serif",
"width": 2.099,
"textWidth": 1.63
},
{
"text": "maximize ",
"font": "serif",
"width": 8.118,
"textWidth": 8.118
}
]
},
{
"left": 11.905,
"top": 42.499,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "response ",
"font": "serif",
"width": 7.671,
"textWidth": 7.212
},
{
"text": "accuracy ",
"font": "serif",
"width": 7.621,
"textWidth": 7.164
},
{
"text": "within ",
"font": "serif",
"width": 5.817,
"textWidth": 5.358
},
{
"text": "a ",
"font": "serif",
"width": 1.379,
"textWidth": 0.922
},
{
"text": "predefined ",
"font": "serif",
"width": 9.353,
"textWidth": 8.894
},
{
"text": "\"thinking ",
"font": "serif",
"width": 8.084,
"textWidth": 7.627
},
{
"text": "budget\". ",
"font": "serif",
"width": 7.481,
"textWidth": 6.912
},
{
"text": "As ",
"font": "serif",
"width": 2.673,
"textWidth": 2.216
},
{
"text": "shown ",
"font": "serif",
"width": 5.931,
"textWidth": 5.472
},
{
"text": "in ",
"font": "serif",
"width": 2.069,
"textWidth": 1.609
},
{
"text": "Table ",
"font": "serif",
"width": 4.78,
"textWidth": 4.321
},
{
"text": "9, ",
"font": "serif",
"width": 1.84,
"textWidth": 1.383
},
{
"text": "agentic ",
"font": "serif",
"width": 6.318,
"textWidth": 5.859
},
{
"text": "search ",
"font": "serif",
"width": 5.173,
"textWidth": 5.173
}
]
},
{
"left": 11.905,
"top": 44.108,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "consistently ",
"font": "serif",
"width": 10.348,
"textWidth": 9.853
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.832,
"textWidth": 10.339
},
{
"text": "RAG, ",
"font": "serif",
"width": 5.092,
"textWidth": 4.597
},
{
"text": "particularly ",
"font": "serif",
"width": 10.201,
"textWidth": 9.707
},
{
"text": "on ",
"font": "serif",
"width": 2.604,
"textWidth": 2.109
},
{
"text": "complex ",
"font": "serif",
"width": 7.524,
"textWidth": 7.028
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.312,
"textWidth": 4.636
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.479,
"textWidth": 10.974
},
{
"text": "its ",
"font": "serif",
"width": 2.441,
"textWidth": 1.946
},
{
"text": "cost ",
"font": "serif",
"width": 3.746,
"textWidth": 3.253
},
{
"text": "remains ",
"font": "serif",
"width": 6.612,
"textWidth": 6.612
}
]
},
{
"left": 11.905,
"top": 45.717,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "highly ",
"font": "serif",
"width": 5.673,
"textWidth": 5.217
},
{
"text": "efficient, ",
"font": "serif",
"width": 7.339,
"textWidth": 6.883
},
{
"text": "with ",
"font": "serif",
"width": 4.169,
"textWidth": 3.711
},
{
"text": "agentic ",
"font": "serif",
"width": 6.257,
"textWidth": 5.801
},
{
"text": "search ",
"font": "serif",
"width": 5.578,
"textWidth": 5.122
},
{
"text": "being ",
"font": "serif",
"width": 4.948,
"textWidth": 4.492
},
{
"text": "only ",
"font": "serif",
"width": 4.061,
"textWidth": 3.605
},
{
"text": "marginally ",
"font": "serif",
"width": 9.267,
"textWidth": 8.811
},
{
"text": "more ",
"font": "serif",
"width": 4.627,
"textWidth": 4.171
},
{
"text": "expensive ",
"font": "serif",
"width": 8.519,
"textWidth": 8.06
},
{
"text": "than ",
"font": "serif",
"width": 4.089,
"textWidth": 3.632
},
{
"text": "standard ",
"font": "serif",
"width": 7.632,
"textWidth": 7.175
},
{
"text": "RAG ",
"font": "serif",
"width": 4.032,
"textWidth": 4.032
}
]
},
{
"left": 11.844,
"top": 47.327,
"width": 11.256,
"height": 1.296,
"words": [
{
"text": "(see ",
"font": "serif",
"width": 3.601,
"textWidth": 3.143
},
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "10). ",
"font": "serif",
"width": 2.901,
"textWidth": 2.901
}
]
},
{
"left": 11.905,
"top": 50.923,
"width": 20.194,
"height": 1.296,
"words": [
{
"text": "5.4.3. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "White-Collar ",
"font": "serif-bold-italic",
"width": 11.386,
"textWidth": 10.928
},
{
"text": "Task ",
"font": "serif-bold-italic",
"width": 3.768,
"textWidth": 3.768
}
]
},
{
"left": 11.848,
"top": 53.607,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.388,
"textWidth": 1.93
},
{
"text": "rigorously ",
"font": "serif",
"width": 8.758,
"textWidth": 8.3
},
{
"text": "evaluate ",
"font": "serif",
"width": 7.235,
"textWidth": 6.777
},
{
"text": "the ",
"font": "serif",
"width": 2.969,
"textWidth": 2.511
},
{
"text": "model’s ",
"font": "serif",
"width": 6.817,
"textWidth": 6.359
},
{
"text": "utility ",
"font": "serif",
"width": 5.316,
"textWidth": 4.86
},
{
"text": "in ",
"font": "serif",
"width": 2.039,
"textWidth": 1.581
},
{
"text": "sophisticated ",
"font": "serif",
"width": 11.041,
"textWidth": 10.583
},
{
"text": "enterprise ",
"font": "serif",
"width": 8.517,
"textWidth": 8.059
},
{
"text": "productivity ",
"font": "serif",
"width": 10.482,
"textWidth": 10.024
},
{
"text": "scenarios, ",
"font": "serif",
"width": 8.307,
"textWidth": 7.849
},
{
"text": "we ",
"font": "serif",
"width": 2.377,
"textWidth": 2.377
}
]
},
{
"left": 11.905,
"top": 55.216,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "constructed ",
"font": "serif",
"width": 9.775,
"textWidth": 9.317
},
{
"text": "a ",
"font": "serif",
"width": 1.358,
"textWidth": 0.901
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.585,
"textWidth": 12.127
},
{
"text": "suite ",
"font": "serif",
"width": 4.282,
"textWidth": 3.824
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.583
},
{
"text": "30 ",
"font": "serif",
"width": 2.259,
"textWidth": 1.801
},
{
"text": "advanced ",
"font": "serif",
"width": 8.191,
"textWidth": 7.732
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.846,
"textWidth": 6.386
},
{
"text": "professional ",
"font": "serif",
"width": 10.173,
"textWidth": 9.715
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.037,
"textWidth": 4.468
},
{
"text": "These ",
"font": "serif",
"width": 5.1,
"textWidth": 4.642
},
{
"text": "workflows ",
"font": "serif",
"width": 8.544,
"textWidth": 8.544
}
]
},
{
"left": 11.905,
"top": 56.826,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "deliberately ",
"font": "serif",
"width": 9.972,
"textWidth": 9.517
},
{
"text": "encompass ",
"font": "serif",
"width": 9.307,
"textWidth": 8.85
},
{
"text": "high-level ",
"font": "serif",
"width": 8.519,
"textWidth": 8.064
},
{
"text": "cognitive ",
"font": "serif",
"width": 7.852,
"textWidth": 7.395
},
{
"text": "demands, ",
"font": "serif",
"width": 8.321,
"textWidth": 7.866
},
{
"text": "including ",
"font": "serif",
"width": 8.161,
"textWidth": 7.705
},
{
"text": "in-depth ",
"font": "serif",
"width": 7.351,
"textWidth": 6.896
},
{
"text": "information ",
"font": "serif",
"width": 10.017,
"textWidth": 9.561
},
{
"text": "analysis, ",
"font": "serif",
"width": 6.92,
"textWidth": 6.92
}
]
},
{
"left": 11.905,
"top": 58.435,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "comprehensive ",
"font": "serif",
"width": 13.268,
"textWidth": 12.584
},
{
"text": "document ",
"font": "serif",
"width": 9.047,
"textWidth": 8.363
},
{
"text": "generation, ",
"font": "serif",
"width": 10.059,
"textWidth": 9.32
},
{
"text": "and ",
"font": "serif",
"width": 3.849,
"textWidth": 3.165
},
{
"text": "nuanced ",
"font": "serif",
"width": 7.789,
"textWidth": 7.105
},
{
"text": "document ",
"font": "serif",
"width": 9.045,
"textWidth": 8.363
},
{
"text": "editing, ",
"font": "serif",
"width": 7.07,
"textWidth": 6.329
},
{
"text": "spanning ",
"font": "serif",
"width": 8.382,
"textWidth": 7.698
},
{
"text": "a ",
"font": "serif",
"width": 1.619,
"textWidth": 0.935
},
{
"text": "diverse ",
"font": "serif",
"width": 6.064,
"textWidth": 6.064
}
]
},
{
"left": 11.905,
"top": 60.045,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "spectrum ",
"font": "serif",
"width": 7.973,
"textWidth": 7.516
},
{
"text": "of ",
"font": "serif",
"width": 2.05,
"textWidth": 1.593
},
{
"text": "13 ",
"font": "serif",
"width": 2.271,
"textWidth": 1.812
},
{
"text": "critical ",
"font": "serif",
"width": 5.861,
"textWidth": 5.405
},
{
"text": "industries ",
"font": "serif",
"width": 8.479,
"textWidth": 8.022
},
{
"text": "(e.g., ",
"font": "serif",
"width": 4.297,
"textWidth": 3.839
},
{
"text": "finance, ",
"font": "serif",
"width": 6.695,
"textWidth": 6.237
},
{
"text": "education, ",
"font": "serif",
"width": 8.852,
"textWidth": 8.395
},
{
"text": "law, ",
"font": "serif",
"width": 3.688,
"textWidth": 3.23
},
{
"text": "and ",
"font": "serif",
"width": 3.525,
"textWidth": 3.068
},
{
"text": "technology). ",
"font": "serif",
"width": 10.519,
"textWidth": 9.952
},
{
"text": "The ",
"font": "serif",
"width": 3.491,
"textWidth": 3.034
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.488,
"textWidth": 8.488
}
]
},
{
"left": 11.828,
"top": 61.654,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "was ",
"font": "serif",
"width": 3.63,
"textWidth": 3.17
},
{
"text": "conducted ",
"font": "serif",
"width": 8.838,
"textWidth": 8.378
},
{
"text": "within ",
"font": "serif",
"width": 5.702,
"textWidth": 5.24
},
{
"text": "an ",
"font": "serif",
"width": 2.411,
"textWidth": 1.951
},
{
"text": "in-house ",
"font": "serif",
"width": 7.384,
"textWidth": 6.925
},
{
"text": "agent ",
"font": "serif",
"width": 4.865,
"textWidth": 4.405
},
{
"text": "harness ",
"font": "serif",
"width": 6.568,
"textWidth": 6.106
},
{
"text": "equipped ",
"font": "serif",
"width": 8.079,
"textWidth": 7.619
},
{
"text": "with ",
"font": "serif",
"width": 4.126,
"textWidth": 3.666
},
{
"text": "basic ",
"font": "serif",
"width": 4.449,
"textWidth": 3.989
},
{
"text": "tools, ",
"font": "serif",
"width": 4.759,
"textWidth": 4.297
},
{
"text": "including ",
"font": "serif",
"width": 8.126,
"textWidth": 7.666
},
{
"text": "Bash ",
"font": "serif",
"width": 4.279,
"textWidth": 3.818
},
{
"text": "and ",
"font": "serif",
"width": 3.051,
"textWidth": 3.051
}
]
},
{
"left": 11.828,
"top": 63.263,
"width": 9.478,
"height": 1.296,
"words": [
{
"text": "web ",
"font": "serif",
"width": 3.878,
"textWidth": 3.42
},
{
"text": "search. ",
"font": "serif",
"width": 5.6,
"textWidth": 5.6
}
]
},
{
"left": 14.75,
"top": 65.677,
"width": 73.345,
"height": 1.296,
"words": [
{
"text": "Given ",
"font": "serif",
"width": 5.201,
"textWidth": 4.813
},
{
"text": "the ",
"font": "serif",
"width": 2.877,
"textWidth": 2.491
},
{
"text": "open-ended ",
"font": "serif",
"width": 9.912,
"textWidth": 9.524
},
{
"text": "nature ",
"font": "serif",
"width": 5.535,
"textWidth": 5.147
},
{
"text": "of ",
"font": "serif",
"width": 1.967,
"textWidth": 1.579
},
{
"text": "these ",
"font": "serif",
"width": 4.499,
"textWidth": 4.111
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.856,
"textWidth": 4.454
},
{
"text": "automated ",
"font": "serif",
"width": 8.96,
"textWidth": 8.574
},
{
"text": "metrics ",
"font": "serif",
"width": 6.21,
"textWidth": 5.823
},
{
"text": "usually ",
"font": "serif",
"width": 6.255,
"textWidth": 5.869
},
{
"text": "fall ",
"font": "serif",
"width": 2.929,
"textWidth": 2.541
},
{
"text": "short ",
"font": "serif",
"width": 4.468,
"textWidth": 4.082
},
{
"text": "in ",
"font": "serif",
"width": 1.956,
"textWidth": 1.568
},
{
"text": "capturing ",
"font": "serif",
"width": 7.719,
"textWidth": 7.719
}
]
},
{
"left": 11.905,
"top": 67.287,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.926,
"textWidth": 2.491
},
{
"text": "nuances ",
"font": "serif",
"width": 6.925,
"textWidth": 6.491
},
{
"text": "of ",
"font": "serif",
"width": 2.015,
"textWidth": 1.579
},
{
"text": "a ",
"font": "serif",
"width": 1.333,
"textWidth": 0.898
},
{
"text": "high-quality ",
"font": "serif",
"width": 10.26,
"textWidth": 9.826
},
{
"text": "response. ",
"font": "serif",
"width": 8.035,
"textWidth": 7.475
},
{
"text": "Therefore, ",
"font": "serif",
"width": 8.547,
"textWidth": 8.107
},
{
"text": "we ",
"font": "serif",
"width": 2.793,
"textWidth": 2.358
},
{
"text": "conducted ",
"font": "serif",
"width": 8.779,
"textWidth": 8.344
},
{
"text": "human ",
"font": "serif",
"width": 6.092,
"textWidth": 5.657
},
{
"text": "evaluations ",
"font": "serif",
"width": 9.607,
"textWidth": 9.172
},
{
"text": "to ",
"font": "serif",
"width": 2.002,
"textWidth": 1.566
},
{
"text": "compare ",
"font": "serif",
"width": 6.877,
"textWidth": 6.877
}
]
},
{
"left": 11.905,
"top": 68.896,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.534
},
{
"text": "performance ",
"font": "serif",
"width": 10.754,
"textWidth": 10.299
},
{
"text": "of ",
"font": "serif",
"width": 2.059,
"textWidth": 1.606
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 18.876,
"textWidth": 18.421
},
{
"text": "against ",
"font": "serif",
"width": 6.262,
"textWidth": 5.808
},
{
"text": "Opus-4.6-Max. ",
"font": "serif",
"width": 12.519,
"textWidth": 11.953
},
{
"text": "Annotators ",
"font": "serif",
"width": 9.6,
"textWidth": 9.145
},
{
"text": "blindly ",
"font": "serif",
"width": 6.254,
"textWidth": 5.799
},
{
"text": "assessed ",
"font": "serif",
"width": 6.879,
"textWidth": 6.879
}
]
},
{
"left": 11.905,
"top": 70.506,
"width": 34.51,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "outputs ",
"font": "serif",
"width": 6.742,
"textWidth": 6.284
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "four ",
"font": "serif",
"width": 3.898,
"textWidth": 3.44
},
{
"text": "dimensions: ",
"font": "serif",
"width": 9.828,
"textWidth": 9.828
}
]
},
{
"left": 16.426,
"top": 74.319,
"width": 14.762,
"height": 1.296,
"words": [
{
"text": "Task ",
"font": "serif-bold",
"width": 4.327,
"textWidth": 3.869
},
{
"text": "Completion: ",
"font": "serif-bold",
"width": 10.435,
"textWidth": 10.435
}
]
},
{
"left": 31.756,
"top": 74.34,
"width": 42.887,
"height": 1.296,
"words": [
{
"text": "Whether ",
"font": "serif",
"width": 7.501,
"textWidth": 7.043
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "core ",
"font": "serif",
"width": 3.841,
"textWidth": 3.383
},
{
"text": "problem ",
"font": "serif",
"width": 7.294,
"textWidth": 6.836
},
{
"text": "was ",
"font": "serif",
"width": 3.68,
"textWidth": 3.222
},
{
"text": "successfully ",
"font": "serif",
"width": 10.2,
"textWidth": 9.742
},
{
"text": "resolved. ",
"font": "serif",
"width": 7.371,
"textWidth": 7.371
}
]
},
{
"left": 16.486,
"top": 75.928,
"width": 18.731,
"height": 1.296,
"words": [
{
"text": "Instruction ",
"font": "serif-bold",
"width": 9.72,
"textWidth": 9.262
},
{
"text": "Following: ",
"font": "serif-bold",
"width": 9.011,
"textWidth": 9.011
}
]
},
{
"left": 35.786,
"top": 75.949,
"width": 39.018,
"height": 1.296,
"words": [
{
"text": "Adherence ",
"font": "serif",
"width": 9.275,
"textWidth": 8.817
},
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "specific ",
"font": "serif",
"width": 6.484,
"textWidth": 6.026
},
{
"text": "constraints ",
"font": "serif",
"width": 9.328,
"textWidth": 8.87
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "directives. ",
"font": "serif",
"width": 8.315,
"textWidth": 8.315
}
]
},
{
"left": 16.486,
"top": 77.538,
"width": 14.047,
"height": 1.296,
"words": [
{
"text": "Content ",
"font": "serif-bold",
"width": 7.177,
"textWidth": 6.718
},
{
"text": "Quality: ",
"font": "serif-bold",
"width": 6.87,
"textWidth": 6.87
}
]
},
{
"left": 31.101,
"top": 77.558,
"width": 46.908,
"height": 1.296,
"words": [
{
"text": "Factual ",
"font": "serif",
"width": 6.359,
"textWidth": 5.901
},
{
"text": "accuracy, ",
"font": "serif",
"width": 7.834,
"textWidth": 7.376
},
{
"text": "logical ",
"font": "serif",
"width": 5.808,
"textWidth": 5.349
},
{
"text": "coherence, ",
"font": "serif",
"width": 9.002,
"textWidth": 8.544
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "professional ",
"font": "serif",
"width": 10.343,
"textWidth": 9.885
},
{
"text": "tone. ",
"font": "serif",
"width": 4.001,
"textWidth": 4.001
}
]
},
{
"left": 16.486,
"top": 79.147,
"width": 18.832,
"height": 1.296,
"words": [
{
"text": "Formatting ",
"font": "serif-bold",
"width": 9.724,
"textWidth": 9.266
},
{
"text": "Aesthetics: ",
"font": "serif-bold",
"width": 9.108,
"textWidth": 9.108
}
]
},
{
"left": 35.886,
"top": 79.168,
"width": 34.906,
"height": 1.296,
"words": [
{
"text": "Layout ",
"font": "serif",
"width": 6.216,
"textWidth": 5.758
},
{
"text": "readability ",
"font": "serif",
"width": 9.209,
"textWidth": 8.751
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "visual ",
"font": "serif",
"width": 5.359,
"textWidth": 4.9
},
{
"text": "presentation. ",
"font": "serif",
"width": 10.561,
"textWidth": 10.561
}
]
},
{
"left": 14.75,
"top": 83.002,
"width": 73.346,
"height": 1.296,
"words": [
{
"text": "As ",
"font": "serif",
"width": 2.71,
"textWidth": 2.247
},
{
"text": "illustrated ",
"font": "serif",
"width": 8.946,
"textWidth": 8.481
},
{
"text": "in ",
"font": "serif",
"width": 2.095,
"textWidth": 1.632
},
{
"text": "Figure ",
"font": "serif",
"width": 5.815,
"textWidth": 5.35
},
{
"text": "11, ",
"font": "serif",
"width": 2.802,
"textWidth": 2.337
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.311,
"textWidth": 18.846
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.802,
"textWidth": 10.337
},
{
"text": "Opus-4.6-Max ",
"font": "serif",
"width": 12.225,
"textWidth": 11.761
},
{
"text": "on ",
"font": "serif",
"width": 2.574,
"textWidth": 2.109
},
{
"text": "diverse ",
"font": "serif",
"width": 6.064,
"textWidth": 6.064
}
]
},
{
"left": 11.905,
"top": 84.611,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Chinese ",
"font": "serif",
"width": 7.078,
"textWidth": 6.622
},
{
"text": "white-collar ",
"font": "serif",
"width": 10.375,
"textWidth": 9.92
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.087,
"textWidth": 4.631
},
{
"text": "achieving ",
"font": "serif",
"width": 8.467,
"textWidth": 8.011
},
{
"text": "an ",
"font": "serif",
"width": 2.476,
"textWidth": 2.021
},
{
"text": "impressive ",
"font": "serif",
"width": 9.445,
"textWidth": 8.99
},
{
"text": "non-loss ",
"font": "serif",
"width": 7.417,
"textWidth": 6.962
},
{
"text": "rate ",
"font": "serif",
"width": 3.63,
"textWidth": 3.175
},
{
"text": "of ",
"font": "serif",
"width": 2.097,
"textWidth": 1.641
},
{
"text": "63%, ",
"font": "serif",
"width": 4.36,
"textWidth": 3.903
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.162
},
{
"text": "demonstrating ",
"font": "serif",
"width": 12.14,
"textWidth": 12.14
}
]
},
{
"left": 11.905,
"top": 86.221,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "consistent ",
"font": "serif",
"width": 8.728,
"textWidth": 8.27
},
{
"text": "advantages ",
"font": "serif",
"width": 9.887,
"textWidth": 9.427
},
{
"text": "across ",
"font": "serif",
"width": 5.533,
"textWidth": 5.075
},
{
"text": "analysis, ",
"font": "serif",
"width": 7.597,
"textWidth": 7.137
},
{
"text": "generation, ",
"font": "serif",
"width": 9.778,
"textWidth": 9.32
},
{
"text": "and ",
"font": "serif",
"width": 3.625,
"textWidth": 3.165
},
{
"text": "editing ",
"font": "serif",
"width": 6.32,
"textWidth": 5.862
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.206,
"textWidth": 4.636
},
{
"text": "The ",
"font": "serif",
"width": 3.587,
"textWidth": 3.129
},
{
"text": "detailed ",
"font": "serif",
"width": 7.167,
"textWidth": 6.707
},
{
"text": "dimension ",
"font": "serif",
"width": 8.765,
"textWidth": 8.765
}
]
},
{
"left": 11.905,
"top": 87.83,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "scores ",
"font": "serif",
"width": 5.595,
"textWidth": 5.036
},
{
"text": "shown ",
"font": "serif",
"width": 6.107,
"textWidth": 5.548
},
{
"text": "in ",
"font": "serif",
"width": 2.191,
"textWidth": 1.632
},
{
"text": "Figure ",
"font": "serif",
"width": 5.909,
"textWidth": 5.35
},
{
"text": "12 ",
"font": "serif",
"width": 2.428,
"textWidth": 1.869
},
{
"text": "highlight ",
"font": "serif",
"width": 8.143,
"textWidth": 7.584
},
{
"text": "the ",
"font": "serif",
"width": 3.152,
"textWidth": 2.593
},
{
"text": "model’s ",
"font": "serif",
"width": 7.124,
"textWidth": 6.565
},
{
"text": "primary ",
"font": "serif",
"width": 7.328,
"textWidth": 6.769
},
{
"text": "strengths ",
"font": "serif",
"width": 8.178,
"textWidth": 7.619
},
{
"text": "in ",
"font": "serif",
"width": 2.191,
"textWidth": 1.632
},
{
"text": "Task ",
"font": "serif",
"width": 4.303,
"textWidth": 3.744
},
{
"text": "Completion ",
"font": "serif",
"width": 10.38,
"textWidth": 9.821
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "42 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"43": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "Content ",
"font": "serif",
"width": 7.157,
"textWidth": 6.636
},
{
"text": "Quality. ",
"font": "serif",
"width": 7.286,
"textWidth": 6.531
},
{
"text": "Specifically, ",
"font": "serif",
"width": 10.197,
"textWidth": 9.66
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 19.367,
"textWidth": 18.846
},
{
"text": "proactively ",
"font": "serif",
"width": 9.823,
"textWidth": 9.301
},
{
"text": "anticipates ",
"font": "serif",
"width": 9.425,
"textWidth": 8.905
},
{
"text": "implicit ",
"font": "serif",
"width": 6.911,
"textWidth": 6.389
},
{
"text": "user ",
"font": "serif",
"width": 4.073,
"textWidth": 3.553
},
{
"text": "in- ",
"font": "serif",
"width": 2.254,
"textWidth": 2.254
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tents ",
"font": "serif",
"width": 4.391,
"textWidth": 3.936
},
{
"text": "by ",
"font": "serif",
"width": 2.499,
"textWidth": 2.043
},
{
"text": "frequently ",
"font": "serif",
"width": 8.901,
"textWidth": 8.446
},
{
"text": "providing ",
"font": "serif",
"width": 8.597,
"textWidth": 8.141
},
{
"text": "supplementary ",
"font": "serif",
"width": 12.832,
"textWidth": 12.377
},
{
"text": "insights ",
"font": "serif",
"width": 6.857,
"textWidth": 6.402
},
{
"text": "and ",
"font": "serif",
"width": 3.575,
"textWidth": 3.118
},
{
"text": "self-verification ",
"font": "serif",
"width": 13.134,
"textWidth": 12.679
},
{
"text": "steps. ",
"font": "serif",
"width": 5.179,
"textWidth": 4.612
},
{
"text": "It ",
"font": "serif",
"width": 1.678,
"textWidth": 1.221
},
{
"text": "also ",
"font": "serif",
"width": 3.698,
"textWidth": 3.243
},
{
"text": "excels ",
"font": "serif",
"width": 4.849,
"textWidth": 4.849
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.181,
"textWidth": 1.632
},
{
"text": "long-form ",
"font": "serif",
"width": 8.894,
"textWidth": 8.346
},
{
"text": "generation, ",
"font": "serif",
"width": 9.892,
"textWidth": 9.32
},
{
"text": "delivering ",
"font": "serif",
"width": 9.036,
"textWidth": 8.486
},
{
"text": "in-depth, ",
"font": "serif",
"width": 8.15,
"textWidth": 7.578
},
{
"text": "coherent ",
"font": "serif",
"width": 7.681,
"textWidth": 7.133
},
{
"text": "narratives ",
"font": "serif",
"width": 8.881,
"textWidth": 8.331
},
{
"text": "rather ",
"font": "serif",
"width": 5.552,
"textWidth": 5.004
},
{
"text": "than ",
"font": "serif",
"width": 4.269,
"textWidth": 3.72
},
{
"text": "relying ",
"font": "serif",
"width": 6.404,
"textWidth": 5.855
},
{
"text": "on ",
"font": "serif",
"width": 2.658,
"textWidth": 2.109
},
{
"text": "the ",
"font": "serif",
"width": 2.593,
"textWidth": 2.593
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "overly ",
"font": "serif",
"width": 5.659,
"textWidth": 5.2
},
{
"text": "simplistic ",
"font": "serif",
"width": 8.293,
"textWidth": 7.834
},
{
"text": "bullet ",
"font": "serif",
"width": 5.129,
"textWidth": 4.67
},
{
"text": "points ",
"font": "serif",
"width": 5.546,
"textWidth": 5.086
},
{
"text": "frequently ",
"font": "serif",
"width": 8.88,
"textWidth": 8.421
},
{
"text": "produced ",
"font": "serif",
"width": 8.304,
"textWidth": 7.845
},
{
"text": "by ",
"font": "serif",
"width": 2.496,
"textWidth": 2.036
},
{
"text": "Opus-4.6-Max. ",
"font": "serif",
"width": 12.584,
"textWidth": 12.013
},
{
"text": "Additionally, ",
"font": "serif",
"width": 11.135,
"textWidth": 10.676
},
{
"text": "the ",
"font": "serif",
"width": 3.006,
"textWidth": 2.547
},
{
"text": "model ",
"font": "serif",
"width": 5.16,
"textWidth": 5.16
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "strictly ",
"font": "serif",
"width": 5.986,
"textWidth": 5.528
},
{
"text": "conforms ",
"font": "serif",
"width": 7.978,
"textWidth": 7.52
},
{
"text": "to ",
"font": "serif",
"width": 2.039,
"textWidth": 1.579
},
{
"text": "formal ",
"font": "serif",
"width": 5.796,
"textWidth": 5.338
},
{
"text": "professional ",
"font": "serif",
"width": 10.225,
"textWidth": 9.766
},
{
"text": "conventions, ",
"font": "serif",
"width": 10.628,
"textWidth": 10.17
},
{
"text": "such ",
"font": "serif",
"width": 4.177,
"textWidth": 3.717
},
{
"text": "as ",
"font": "serif",
"width": 2.131,
"textWidth": 1.673
},
{
"text": "standardized ",
"font": "serif",
"width": 10.981,
"textWidth": 10.523
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.879,
"textWidth": 6.42
},
{
"text": "hierarchical ",
"font": "serif",
"width": 9.372,
"textWidth": 9.372
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "numbering. ",
"font": "serif",
"width": 10.801,
"textWidth": 9.672
},
{
"text": "However, ",
"font": "serif",
"width": 8.744,
"textWidth": 8.051
},
{
"text": "in ",
"font": "serif",
"width": 2.277,
"textWidth": 1.632
},
{
"text": "terms ",
"font": "serif",
"width": 5.331,
"textWidth": 4.686
},
{
"text": "of ",
"font": "serif",
"width": 2.288,
"textWidth": 1.643
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.707,
"textWidth": 9.062
},
{
"text": "Following, ",
"font": "serif",
"width": 9.558,
"textWidth": 8.866
},
{
"text": "it ",
"font": "serif",
"width": 1.8,
"textWidth": 1.153
},
{
"text": "occasionally ",
"font": "serif",
"width": 10.767,
"textWidth": 10.12
},
{
"text": "overlooks ",
"font": "serif",
"width": 8.772,
"textWidth": 8.128
},
{
"text": "specific ",
"font": "serif",
"width": 6.146,
"textWidth": 6.146
}
]
},
{
"left": 11.905,
"top": 20.129,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "formatting ",
"font": "serif",
"width": 9.419,
"textWidth": 8.857
},
{
"text": "constraints ",
"font": "serif",
"width": 9.612,
"textWidth": 9.047
},
{
"text": "and ",
"font": "serif",
"width": 3.727,
"textWidth": 3.165
},
{
"text": "slightly ",
"font": "serif",
"width": 6.763,
"textWidth": 6.2
},
{
"text": "trails ",
"font": "serif",
"width": 4.727,
"textWidth": 4.163
},
{
"text": "Opus. ",
"font": "serif",
"width": 5.864,
"textWidth": 4.98
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.563,
"textWidth": 10.974
},
{
"text": "the ",
"font": "serif",
"width": 3.157,
"textWidth": 2.593
},
{
"text": "model ",
"font": "serif",
"width": 5.815,
"textWidth": 5.253
},
{
"text": "is ",
"font": "serif",
"width": 1.901,
"textWidth": 1.337
},
{
"text": "less ",
"font": "serif",
"width": 3.587,
"textWidth": 3.024
},
{
"text": "proficient ",
"font": "serif",
"width": 8.511,
"textWidth": 7.946
},
{
"text": "at ",
"font": "serif",
"width": 1.544,
"textWidth": 1.544
}
]
},
{
"left": 11.905,
"top": 21.738,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "condensing ",
"font": "serif",
"width": 10.038,
"textWidth": 9.528
},
{
"text": "extensive ",
"font": "serif",
"width": 8.251,
"textWidth": 7.741
},
{
"text": "text ",
"font": "serif",
"width": 3.587,
"textWidth": 3.079
},
{
"text": "inputs ",
"font": "serif",
"width": 5.795,
"textWidth": 5.284
},
{
"text": "into ",
"font": "serif",
"width": 3.772,
"textWidth": 3.262
},
{
"text": "succinct ",
"font": "serif",
"width": 7.161,
"textWidth": 6.651
},
{
"text": "summaries. ",
"font": "serif",
"width": 10.316,
"textWidth": 9.593
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.52,
"textWidth": 5.997
},
{
"text": "its ",
"font": "serif",
"width": 2.456,
"textWidth": 1.946
},
{
"text": "Formatting ",
"font": "serif",
"width": 9.784,
"textWidth": 9.273
},
{
"text": "Aesthetics ",
"font": "serif",
"width": 8.511,
"textWidth": 8.511
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "still ",
"font": "serif",
"width": 3.4,
"textWidth": 2.942
},
{
"text": "have ",
"font": "serif",
"width": 4.314,
"textWidth": 3.853
},
{
"text": "substantial ",
"font": "serif",
"width": 9.195,
"textWidth": 8.736
},
{
"text": "room ",
"font": "serif",
"width": 4.721,
"textWidth": 4.263
},
{
"text": "for ",
"font": "serif",
"width": 2.768,
"textWidth": 2.309
},
{
"text": "improvement ",
"font": "serif",
"width": 11.355,
"textWidth": 10.896
},
{
"text": "regarding ",
"font": "serif",
"width": 8.305,
"textWidth": 7.846
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "overall ",
"font": "serif",
"width": 6.019,
"textWidth": 5.559
},
{
"text": "visual ",
"font": "serif",
"width": 5.305,
"textWidth": 4.847
},
{
"text": "design ",
"font": "serif",
"width": 5.793,
"textWidth": 5.334
},
{
"text": "of ",
"font": "serif",
"width": 2.052,
"textWidth": 1.593
},
{
"text": "presentation ",
"font": "serif",
"width": 9.992,
"textWidth": 9.992
}
]
},
{
"left": 11.905,
"top": 24.957,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "slides. ",
"font": "serif",
"width": 5.944,
"textWidth": 5.178
},
{
"text": "Figure ",
"font": "serif",
"width": 5.875,
"textWidth": 5.35
},
{
"text": "13, ",
"font": "serif",
"width": 2.877,
"textWidth": 2.337
},
{
"text": "14, ",
"font": "serif",
"width": 2.877,
"textWidth": 2.337
},
{
"text": "and ",
"font": "serif",
"width": 3.69,
"textWidth": 3.165
},
{
"text": "15 ",
"font": "serif",
"width": 2.393,
"textWidth": 1.869
},
{
"text": "present ",
"font": "serif",
"width": 6.634,
"textWidth": 6.111
},
{
"text": "several ",
"font": "serif",
"width": 6.382,
"textWidth": 5.856
},
{
"text": "test ",
"font": "serif",
"width": 3.43,
"textWidth": 2.905
},
{
"text": "cases; ",
"font": "serif",
"width": 5.269,
"textWidth": 4.712
},
{
"text": "due ",
"font": "serif",
"width": 3.69,
"textWidth": 3.165
},
{
"text": "to ",
"font": "serif",
"width": 2.153,
"textWidth": 1.63
},
{
"text": "the ",
"font": "serif",
"width": 3.116,
"textWidth": 2.593
},
{
"text": "extensive ",
"font": "serif",
"width": 8.266,
"textWidth": 7.741
},
{
"text": "length ",
"font": "serif",
"width": 5.787,
"textWidth": 5.264
},
{
"text": "of ",
"font": "serif",
"width": 2.168,
"textWidth": 1.643
},
{
"text": "certain ",
"font": "serif",
"width": 5.64,
"textWidth": 5.64
}
]
},
{
"left": 11.905,
"top": 26.566,
"width": 33.606,
"height": 1.296,
"words": [
{
"text": "outputs, ",
"font": "serif",
"width": 7.2,
"textWidth": 6.742
},
{
"text": "only ",
"font": "serif",
"width": 4.078,
"textWidth": 3.619
},
{
"text": "partial ",
"font": "serif",
"width": 5.78,
"textWidth": 5.322
},
{
"text": "pages ",
"font": "serif",
"width": 5.15,
"textWidth": 4.691
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "displayed. ",
"font": "serif",
"width": 8.456,
"textWidth": 8.456
}
]
},
{
"left": 18.076,
"top": 29.667,
"width": 66.24,
"height": 0.701,
"words": [
{
"text": "Win ",
"font": "sans-bold",
"width": 2.481,
"textWidth": 2.136
},
{
"text": "Rate: ",
"font": "sans-bold",
"width": 3.315,
"textWidth": 2.971
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "sans-bold",
"width": 12.732,
"textWidth": 12.388
},
{
"text": "vs ",
"font": "sans-bold",
"width": 1.579,
"textWidth": 1.234
},
{
"text": "Opus-4.6-Max ",
"font": "sans-bold",
"width": 20.226,
"textWidth": 7.711
},
{
"text": "Score: ",
"font": "sans-bold",
"width": 3.88,
"textWidth": 3.536
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "sans-bold",
"width": 12.735,
"textWidth": 12.39
},
{
"text": "vs ",
"font": "sans-bold",
"width": 1.579,
"textWidth": 1.235
},
{
"text": "Opus-4.6-Max ",
"font": "sans-bold",
"width": 7.713,
"textWidth": 7.713
}
]
},
{
"left": 13.511,
"top": 31.552,
"width": 3.084,
"height": 0.538,
"words": [
{
"text": "analysis ",
"font": "sans",
"width": 3.084,
"textWidth": 3.084
}
]
},
{
"left": 23.979,
"top": 31.496,
"width": 18.686,
"height": 0.538,
"words": [
{
"text": "55.0% ",
"font": "sans-bold",
"width": 9.623,
"textWidth": 2.642
},
{
"text": "8.0% ",
"font": "sans-bold",
"width": 6.42,
"textWidth": 2.112
},
{
"text": "37.0% ",
"font": "sans-bold",
"width": 2.642,
"textWidth": 2.642
}
]
},
{
"left": 53.188,
"top": 31.354,
"width": 5.559,
"height": 0.662,
"words": [
{
"text": "100 ",
"font": "sans",
"width": 3.598,
"textWidth": 1.453
},
{
"text": "98.32 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 59.03,
"top": 32.056,
"width": 1.962,
"height": 0.485,
"words": [
{
"text": "96.68 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 53.672,
"top": 32.954,
"width": 0.969,
"height": 0.539,
"words": [
{
"text": "95 ",
"font": "sans",
"width": 0.969,
"textWidth": 0.969
}
]
},
{
"left": 12.453,
"top": 34.276,
"width": 4.142,
"height": 0.538,
"words": [
{
"text": "generation ",
"font": "sans",
"width": 4.142,
"textWidth": 4.142
}
]
},
{
"left": 23.533,
"top": 34.22,
"width": 18.983,
"height": 0.538,
"words": [
{
"text": "52.0% ",
"font": "sans-bold",
"width": 9.21,
"textWidth": 2.642
},
{
"text": "10.0% ",
"font": "sans-bold",
"width": 7.13,
"textWidth": 2.642
},
{
"text": "38.0% ",
"font": "sans-bold",
"width": 2.642,
"textWidth": 2.642
}
]
},
{
"left": 53.672,
"top": 34.553,
"width": 13.555,
"height": 0.54,
"words": [
{
"text": "90 ",
"font": "sans",
"width": 11.593,
"textWidth": 0.969
},
{
"text": "88.88 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 52.069,
"top": 34.912,
"width": 31.619,
"height": 1.061,
"words": [
{
"text": "ore ",
"font": "sans",
"width": 10.951,
"textWidth": 0.838
},
{
"text": "87.76 ",
"font": "sans",
"width": 18.706,
"textWidth": 1.962
},
{
"text": "86.52 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 52.069,
"top": 35.972,
"width": 33.863,
"height": 0.845,
"words": [
{
"text": "Sc ",
"font": "sans",
"width": 1.603,
"textWidth": 0.838
},
{
"text": "85 ",
"font": "sans",
"width": 15.584,
"textWidth": 0.969
},
{
"text": "83.32 ",
"font": "sans",
"width": 14.715,
"textWidth": 1.962
},
{
"text": "84.06 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 13.956,
"top": 37.0,
"width": 2.64,
"height": 0.538,
"words": [
{
"text": "editing ",
"font": "sans",
"width": 2.64,
"textWidth": 2.64
}
]
},
{
"left": 22.791,
"top": 36.944,
"width": 20.171,
"height": 0.538,
"words": [
{
"text": "47.0% ",
"font": "sans-bold",
"width": 9.656,
"textWidth": 2.642
},
{
"text": "18.0% ",
"font": "sans-bold",
"width": 7.873,
"textWidth": 2.642
},
{
"text": "35.0% ",
"font": "sans-bold",
"width": 2.642,
"textWidth": 2.642
}
]
},
{
"left": 53.672,
"top": 37.756,
"width": 19.79,
"height": 0.765,
"words": [
{
"text": "80 ",
"font": "sans",
"width": 17.828,
"textWidth": 0.969
},
{
"text": "78.00 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 75.491,
"top": 38.459,
"width": 1.962,
"height": 0.485,
"words": [
{
"text": "76.68 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 14.007,
"top": 39.724,
"width": 2.588,
"height": 0.538,
"words": [
{
"text": "overall ",
"font": "sans",
"width": 2.588,
"textWidth": 2.588
}
]
},
{
"left": 23.682,
"top": 39.668,
"width": 18.983,
"height": 0.538,
"words": [
{
"text": "53.0% ",
"font": "sans-bold",
"width": 9.359,
"textWidth": 2.642
},
{
"text": "10.0% ",
"font": "sans-bold",
"width": 6.982,
"textWidth": 2.642
},
{
"text": "37.0% ",
"font": "sans-bold",
"width": 2.642,
"textWidth": 2.642
}
]
},
{
"left": 53.672,
"top": 39.357,
"width": 26.025,
"height": 0.867,
"words": [
{
"text": "75 ",
"font": "sans",
"width": 24.064,
"textWidth": 0.969
},
{
"text": "72.68 ",
"font": "sans",
"width": 1.962,
"textWidth": 1.962
}
]
},
{
"left": 53.672,
"top": 40.957,
"width": 0.969,
"height": 0.539,
"words": [
{
"text": "70 ",
"font": "sans",
"width": 0.969,
"textWidth": 0.969
}
]
},
{
"left": 16.525,
"top": 41.538,
"width": 67.311,
"height": 1.188,
"words": [
{
"text": "0% ",
"font": "sans",
"width": 5.7,
"textWidth": 1.208
},
{
"text": "20% ",
"font": "sans",
"width": 5.942,
"textWidth": 1.692
},
{
"text": "40% ",
"font": "sans",
"width": 5.942,
"textWidth": 1.692
},
{
"text": "60% ",
"font": "sans",
"width": 5.942,
"textWidth": 1.692
},
{
"text": "80% ",
"font": "sans",
"width": 5.7,
"textWidth": 1.692
},
{
"text": "100% ",
"font": "sans",
"width": 9.177,
"textWidth": 2.176
},
{
"text": "Completion ",
"font": "sans",
"width": 6.93,
"textWidth": 3.97
},
{
"text": "Following ",
"font": "sans",
"width": 6.966,
"textWidth": 3.28
},
{
"text": "Quality ",
"font": "sans",
"width": 5.168,
"textWidth": 2.544
},
{
"text": "Aesthetics ",
"font": "sans",
"width": 7.301,
"textWidth": 3.61
},
{
"text": "Overall ",
"font": "sans",
"width": 2.544,
"textWidth": 2.544
}
]
},
{
"left": 29.824,
"top": 42.027,
"width": 44.134,
"height": 1.356,
"words": [
{
"text": "Proportion ",
"font": "sans",
"width": 23.463,
"textWidth": 4.323
},
{
"text": "Task ",
"font": "sans",
"width": 4.816,
"textWidth": 1.607
},
{
"text": "Instruction ",
"font": "sans",
"width": 7.877,
"textWidth": 3.722
},
{
"text": "Content ",
"font": "sans",
"width": 4.183,
"textWidth": 2.811
},
{
"text": "Formatting ",
"font": "sans",
"width": 3.795,
"textWidth": 3.795
}
]
},
{
"left": 27.243,
"top": 43.56,
"width": 53.884,
"height": 0.54,
"words": [
{
"text": "Win ",
"font": "sans",
"width": 5.084,
"textWidth": 1.431
},
{
"text": "Tie ",
"font": "sans",
"width": 4.782,
"textWidth": 1.123
},
{
"text": "Lose ",
"font": "sans",
"width": 26.617,
"textWidth": 1.742
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "sans",
"width": 12.103,
"textWidth": 8.451
},
{
"text": "Opus-4.6-Max ",
"font": "sans",
"width": 5.299,
"textWidth": 5.299
}
]
},
{
"left": 11.905,
"top": 46.066,
"width": 76.494,
"height": 1.298,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.686,
"textWidth": 5.229
},
{
"text": "11 ",
"font": "serif",
"width": 3.254,
"textWidth": 1.827
},
{
"text": "Win-rate ",
"font": "serif",
"width": 7.493,
"textWidth": 7.036
},
{
"text": "comparison ",
"font": "serif",
"width": 9.98,
"textWidth": 9.523
},
{
"text": "across ",
"font": "serif",
"width": 5.417,
"textWidth": 4.961
},
{
"text": "analy- ",
"font": "serif",
"width": 7.79,
"textWidth": 5.046
},
{
"text": "Figure ",
"font": "serif",
"width": 5.758,
"textWidth": 5.303
},
{
"text": "12 ",
"font": "serif",
"width": 3.276,
"textWidth": 1.853
},
{
"text": "Detailed ",
"font": "serif",
"width": 7.406,
"textWidth": 6.95
},
{
"text": "dimension ",
"font": "serif",
"width": 9.142,
"textWidth": 8.688
},
{
"text": "scores ",
"font": "serif",
"width": 5.447,
"textWidth": 4.993
},
{
"text": "includ- ",
"font": "serif",
"width": 5.845,
"textWidth": 5.845
}
]
},
{
"left": 11.905,
"top": 47.675,
"width": 76.494,
"height": 1.298,
"words": [
{
"text": "sis, ",
"font": "serif",
"width": 3.047,
"textWidth": 2.591
},
{
"text": "generation, ",
"font": "serif",
"width": 9.759,
"textWidth": 9.302
},
{
"text": "editing ",
"font": "serif",
"width": 6.306,
"textWidth": 5.851
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.082,
"textWidth": 4.627
},
{
"text": "and ",
"font": "serif",
"width": 3.614,
"textWidth": 3.158
},
{
"text": "the ",
"font": "serif",
"width": 3.043,
"textWidth": 2.588
},
{
"text": "overall ",
"font": "serif",
"width": 8.77,
"textWidth": 5.722
},
{
"text": "ing ",
"font": "serif",
"width": 2.926,
"textWidth": 2.566
},
{
"text": "Task ",
"font": "serif",
"width": 3.949,
"textWidth": 3.59
},
{
"text": "Completion, ",
"font": "serif",
"width": 10.264,
"textWidth": 9.885
},
{
"text": "Content ",
"font": "serif",
"width": 6.735,
"textWidth": 6.376
},
{
"text": "Quality, ",
"font": "serif",
"width": 6.645,
"textWidth": 6.266
},
{
"text": "Format- ",
"font": "serif",
"width": 6.356,
"textWidth": 6.356
}
]
},
{
"left": 11.85,
"top": 49.284,
"width": 74.204,
"height": 1.298,
"words": [
{
"text": "performance. ",
"font": "serif",
"width": 39.674,
"textWidth": 10.789
},
{
"text": "ting ",
"font": "serif",
"width": 3.674,
"textWidth": 3.216
},
{
"text": "Aesthetics, ",
"font": "serif",
"width": 9.26,
"textWidth": 8.802
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.343,
"textWidth": 8.885
},
{
"text": "Following. ",
"font": "serif",
"width": 8.692,
"textWidth": 8.692
}
]
},
{
"left": 11.905,
"top": 84.504,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.81,
"textWidth": 5.35
},
{
"text": "13 ",
"font": "serif",
"width": 3.3,
"textWidth": 1.869
},
{
"text": "Example ",
"font": "serif",
"width": 7.713,
"textWidth": 7.255
},
{
"text": "output ",
"font": "serif",
"width": 6.077,
"textWidth": 5.617
},
{
"text": "of ",
"font": "serif",
"width": 2.101,
"textWidth": 1.643
},
{
"text": "a ",
"font": "serif",
"width": 1.394,
"textWidth": 0.935
},
{
"text": "task ",
"font": "serif",
"width": 3.834,
"textWidth": 3.376
},
{
"text": "which ",
"font": "serif",
"width": 5.569,
"textWidth": 5.109
},
{
"text": "requires ",
"font": "serif",
"width": 7.17,
"textWidth": 6.711
},
{
"text": "drafting ",
"font": "serif",
"width": 7.176,
"textWidth": 6.718
},
{
"text": "a ",
"font": "serif",
"width": 1.393,
"textWidth": 0.935
},
{
"text": "joint ",
"font": "serif",
"width": 4.159,
"textWidth": 3.699
},
{
"text": "marketing ",
"font": "serif",
"width": 8.997,
"textWidth": 8.539
},
{
"text": "proposal ",
"font": "serif",
"width": 7.724,
"textWidth": 7.266
},
{
"text": "for ",
"font": "serif",
"width": 2.839,
"textWidth": 2.381
},
{
"text": "a ",
"font": "serif",
"width": 0.935,
"textWidth": 0.935
}
]
},
{
"left": 11.85,
"top": 86.114,
"width": 40.499,
"height": 1.296,
"words": [
{
"text": "popular ",
"font": "serif",
"width": 6.94,
"textWidth": 6.482
},
{
"text": "bubble ",
"font": "serif",
"width": 6.015,
"textWidth": 5.556
},
{
"text": "tea ",
"font": "serif",
"width": 2.85,
"textWidth": 2.392
},
{
"text": "brand ",
"font": "serif",
"width": 5.298,
"textWidth": 4.84
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "Beijing ",
"font": "serif",
"width": 6.037,
"textWidth": 5.578
},
{
"text": "Subway. ",
"font": "serif",
"width": 6.799,
"textWidth": 6.799
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "43 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"44": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.439,
"width": 14.39,
"height": 1.296,
"words": [
{
"text": "5.4.4. ",
"font": "serif-bold-italic",
"width": 5.04,
"textWidth": 4.123
},
{
"text": "Code ",
"font": "serif-bold-italic",
"width": 4.565,
"textWidth": 4.107
},
{
"text": "Agent ",
"font": "serif-bold-italic",
"width": 4.785,
"textWidth": 4.785
}
]
},
{
"left": 11.848,
"top": 13.123,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "To ",
"font": "serif",
"width": 2.432,
"textWidth": 1.977
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.662,
"textWidth": 9.207
},
{
"text": "our ",
"font": "serif",
"width": 3.313,
"textWidth": 2.858
},
{
"text": "coding ",
"font": "serif",
"width": 6.062,
"textWidth": 5.606
},
{
"text": "agent ",
"font": "serif",
"width": 4.977,
"textWidth": 4.522
},
{
"text": "capability, ",
"font": "serif",
"width": 8.772,
"textWidth": 8.316
},
{
"text": "we ",
"font": "serif",
"width": 2.886,
"textWidth": 2.43
},
{
"text": "curate ",
"font": "serif",
"width": 5.54,
"textWidth": 5.085
},
{
"text": "tasks ",
"font": "serif",
"width": 4.583,
"textWidth": 4.128
},
{
"text": "from ",
"font": "serif",
"width": 4.414,
"textWidth": 3.959
},
{
"text": "real ",
"font": "serif",
"width": 3.504,
"textWidth": 3.048
},
{
"text": "internal ",
"font": "serif",
"width": 6.834,
"textWidth": 6.378
},
{
"text": "R&D ",
"font": "serif",
"width": 4.564,
"textWidth": 4.109
},
{
"text": "workloads ",
"font": "serif",
"width": 8.705,
"textWidth": 8.705
}
]
},
{
"left": 11.813,
"top": 14.732,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.017,
"textWidth": 2.561
},
{
"text": "collect ",
"font": "serif",
"width": 6.828,
"textWidth": 5.206
},
{
"text": "200 ",
"font": "serif",
"width": 3.224,
"textWidth": 2.768
},
{
"text": "challenging ",
"font": "serif",
"width": 9.969,
"textWidth": 9.511
},
{
"text": "tasks ",
"font": "serif",
"width": 4.571,
"textWidth": 4.113
},
{
"text": "from ",
"font": "serif",
"width": 4.403,
"textWidth": 3.947
},
{
"text": "50+ ",
"font": "serif",
"width": 3.421,
"textWidth": 2.964
},
{
"text": "internal ",
"font": "serif",
"width": 6.815,
"textWidth": 6.358
},
{
"text": "engineers, ",
"font": "serif",
"width": 8.792,
"textWidth": 8.336
},
{
"text": "spanning ",
"font": "serif",
"width": 8.055,
"textWidth": 7.6
},
{
"text": "feature ",
"font": "serif",
"width": 6.173,
"textWidth": 5.717
},
{
"text": "development, ",
"font": "serif",
"width": 11.242,
"textWidth": 11.242
}
]
},
{
"left": 11.905,
"top": 16.342,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "bug ",
"font": "serif",
"width": 3.744,
"textWidth": 3.2
},
{
"text": "fixing, ",
"font": "serif",
"width": 5.798,
"textWidth": 5.234
},
{
"text": "refactoring, ",
"font": "serif",
"width": 10.059,
"textWidth": 9.494
},
{
"text": "and ",
"font": "serif",
"width": 3.707,
"textWidth": 3.165
},
{
"text": "diagnostics ",
"font": "serif",
"width": 9.881,
"textWidth": 9.337
},
{
"text": "across ",
"font": "serif",
"width": 5.619,
"textWidth": 5.075
},
{
"text": "diverse ",
"font": "serif",
"width": 6.606,
"textWidth": 6.064
},
{
"text": "technology ",
"font": "serif",
"width": 9.718,
"textWidth": 9.174
},
{
"text": "stacks ",
"font": "serif",
"width": 5.542,
"textWidth": 4.998
},
{
"text": "including ",
"font": "serif",
"width": 8.488,
"textWidth": 7.944
},
{
"text": "PyTorch, ",
"font": "serif",
"width": 7.256,
"textWidth": 7.256
}
]
},
{
"left": 11.905,
"top": 17.951,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "CUDA, ",
"font": "serif",
"width": 6.516,
"textWidth": 6.058
},
{
"text": "Rust, ",
"font": "serif",
"width": 4.643,
"textWidth": 4.183
},
{
"text": "and ",
"font": "serif",
"width": 3.577,
"textWidth": 3.118
},
{
"text": "C++. ",
"font": "serif",
"width": 4.569,
"textWidth": 3.998
},
{
"text": "Each ",
"font": "serif",
"width": 4.394,
"textWidth": 3.936
},
{
"text": "task ",
"font": "serif",
"width": 3.785,
"textWidth": 3.326
},
{
"text": "is ",
"font": "serif",
"width": 1.777,
"textWidth": 1.317
},
{
"text": "accompanied ",
"font": "serif",
"width": 11.29,
"textWidth": 10.831
},
{
"text": "by ",
"font": "serif",
"width": 2.501,
"textWidth": 2.043
},
{
"text": "its ",
"font": "serif",
"width": 2.378,
"textWidth": 1.917
},
{
"text": "original ",
"font": "serif",
"width": 6.816,
"textWidth": 6.356
},
{
"text": "repository, ",
"font": "serif",
"width": 9.08,
"textWidth": 8.62
},
{
"text": "the ",
"font": "serif",
"width": 3.013,
"textWidth": 2.555
},
{
"text": "corresponding ",
"font": "serif",
"width": 11.85,
"textWidth": 11.85
}
]
},
{
"left": 11.905,
"top": 19.561,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "execution ",
"font": "serif",
"width": 8.347,
"textWidth": 7.888
},
{
"text": "environment, ",
"font": "serif",
"width": 11.446,
"textWidth": 10.987
},
{
"text": "and ",
"font": "serif",
"width": 3.591,
"textWidth": 3.131
},
{
"text": "human-annotated ",
"font": "serif",
"width": 15.131,
"textWidth": 14.673
},
{
"text": "scoring ",
"font": "serif",
"width": 6.446,
"textWidth": 5.987
},
{
"text": "rubrics; ",
"font": "serif",
"width": 6.648,
"textWidth": 6.189
},
{
"text": "after ",
"font": "serif",
"width": 4.22,
"textWidth": 3.759
},
{
"text": "rigorous ",
"font": "serif",
"width": 7.371,
"textWidth": 6.912
},
{
"text": "quality ",
"font": "serif",
"width": 6.241,
"textWidth": 5.782
},
{
"text": "filtering, ",
"font": "serif",
"width": 6.98,
"textWidth": 6.98
}
]
},
{
"left": 11.905,
"top": 21.17,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "30 ",
"font": "serif",
"width": 2.29,
"textWidth": 1.831
},
{
"text": "tasks ",
"font": "serif",
"width": 4.544,
"textWidth": 4.083
},
{
"text": "are ",
"font": "serif",
"width": 2.942,
"textWidth": 2.481
},
{
"text": "retained ",
"font": "serif",
"width": 7.133,
"textWidth": 6.673
},
{
"text": "as ",
"font": "serif",
"width": 2.151,
"textWidth": 1.692
},
{
"text": "the ",
"font": "serif",
"width": 2.999,
"textWidth": 2.539
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.035,
"textWidth": 8.574
},
{
"text": "set. ",
"font": "serif",
"width": 3.281,
"textWidth": 2.708
},
{
"text": "As ",
"font": "serif",
"width": 2.66,
"textWidth": 2.201
},
{
"text": "shown ",
"font": "serif",
"width": 5.893,
"textWidth": 5.434
},
{
"text": "in ",
"font": "serif",
"width": 2.06,
"textWidth": 1.598
},
{
"text": "Table ",
"font": "serif",
"width": 4.751,
"textWidth": 4.291
},
{
"text": "8, ",
"font": "serif",
"width": 1.833,
"textWidth": 1.373
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.718,
"textWidth": 14.256
},
{
"text": "significantly ",
"font": "serif",
"width": 9.972,
"textWidth": 9.972
}
]
},
{
"left": 11.905,
"top": 22.779,
"width": 62.289,
"height": 1.296,
"words": [
{
"text": "outperforms ",
"font": "serif",
"width": 10.594,
"textWidth": 10.136
},
{
"text": "Claude ",
"font": "serif",
"width": 6.31,
"textWidth": 5.852
},
{
"text": "Sonnet ",
"font": "serif",
"width": 6.029,
"textWidth": 5.571
},
{
"text": "4.5 ",
"font": "serif",
"width": 2.749,
"textWidth": 2.291
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "approaches ",
"font": "serif",
"width": 9.72,
"textWidth": 9.262
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "level ",
"font": "serif",
"width": 4.316,
"textWidth": 3.858
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "Claude ",
"font": "serif",
"width": 6.31,
"textWidth": 5.852
},
{
"text": "Opus ",
"font": "serif",
"width": 4.882,
"textWidth": 4.424
},
{
"text": "4.5. ",
"font": "serif",
"width": 2.749,
"textWidth": 2.749
}
]
},
{
"left": 11.848,
"top": 25.691,
"width": 76.552,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.708,
"textWidth": 4.251
},
{
"text": "8 ",
"font": "serif",
"width": 2.333,
"textWidth": 0.907
},
{
"text": "Comparison ",
"font": "serif",
"width": 10.394,
"textWidth": 9.937
},
{
"text": "on ",
"font": "serif",
"width": 2.502,
"textWidth": 2.047
},
{
"text": "R&D ",
"font": "serif",
"width": 4.485,
"textWidth": 4.028
},
{
"text": "Coding ",
"font": "serif",
"width": 6.433,
"textWidth": 5.978
},
{
"text": "Benchmark ",
"font": "serif",
"width": 9.587,
"textWidth": 9.129
},
{
"text": "(external ",
"font": "serif",
"width": 7.535,
"textWidth": 7.078
},
{
"text": "models ",
"font": "serif",
"width": 6.323,
"textWidth": 5.867
},
{
"text": "included ",
"font": "serif",
"width": 7.555,
"textWidth": 7.097
},
{
"text": "strictly ",
"font": "serif",
"width": 5.994,
"textWidth": 5.539
},
{
"text": "for ",
"font": "serif",
"width": 2.769,
"textWidth": 2.311
},
{
"text": "evalua- ",
"font": "serif",
"width": 5.935,
"textWidth": 5.935
}
]
},
{
"left": 11.905,
"top": 27.301,
"width": 12.189,
"height": 1.296,
"words": [
{
"text": "tion ",
"font": "serif",
"width": 3.656,
"textWidth": 3.198
},
{
"text": "purposes). ",
"font": "serif",
"width": 8.533,
"textWidth": 8.533
}
]
},
{
"left": 69.668,
"top": 30.336,
"width": 14.009,
"height": 1.065,
"words": [
{
"text": "Opus ",
"font": "serif",
"width": 4.013,
"textWidth": 3.636
},
{
"text": "4.5 ",
"font": "serif",
"width": 4.1,
"textWidth": 1.883
},
{
"text": "Opus ",
"font": "serif",
"width": 4.013,
"textWidth": 3.636
},
{
"text": "4.6 ",
"font": "serif",
"width": 1.883,
"textWidth": 1.883
}
]
},
{
"left": 18.522,
"top": 31.762,
"width": 65.259,
"height": 1.065,
"words": [
{
"text": "Model ",
"font": "serif",
"width": 8.638,
"textWidth": 4.327
},
{
"text": "Haiku ",
"font": "serif",
"width": 4.567,
"textWidth": 4.19
},
{
"text": "4.5 ",
"font": "serif",
"width": 3.892,
"textWidth": 1.883
},
{
"text": "Sonnet ",
"font": "serif",
"width": 4.954,
"textWidth": 4.578
},
{
"text": "4.5 ",
"font": "serif",
"width": 3.892,
"textWidth": 1.883
},
{
"text": "DeepSeek-V4-Pro-Max ",
"font": "serif",
"width": 17.194,
"textWidth": 15.186
},
{
"text": "Opus ",
"font": "serif",
"width": 4.013,
"textWidth": 3.636
},
{
"text": "4.5 ",
"font": "serif",
"width": 3.891,
"textWidth": 1.883
},
{
"text": "Thinking ",
"font": "serif",
"width": 8.113,
"textWidth": 6.105
},
{
"text": "Thinking ",
"font": "serif",
"width": 6.105,
"textWidth": 6.105
}
]
},
{
"left": 16.219,
"top": 33.714,
"width": 57.15,
"height": 1.065,
"words": [
{
"text": "Pass ",
"font": "serif",
"width": 3.317,
"textWidth": 2.94
},
{
"text": "Rate ",
"font": "serif",
"width": 10.096,
"textWidth": 2.972
},
{
"text": "13 ",
"font": "serif",
"width": 8.653,
"textWidth": 1.506
},
{
"text": "47 ",
"font": "serif",
"width": 13.02,
"textWidth": 1.506
},
{
"text": "67 ",
"font": "serif",
"width": 12.549,
"textWidth": 1.506
},
{
"text": "70 ",
"font": "serif",
"width": 8.009,
"textWidth": 1.506
},
{
"text": "73 ",
"font": "serif",
"width": 1.506,
"textWidth": 1.506
}
]
},
{
"left": 79.976,
"top": 33.697,
"width": 1.506,
"height": 1.065,
"words": [
{
"text": "80 ",
"font": "serif-bold",
"width": 1.506,
"textWidth": 1.506
}
]
},
{
"left": 14.75,
"top": 36.929,
"width": 46.095,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "a ",
"font": "serif",
"width": 1.38,
"textWidth": 0.923
},
{
"text": "survey ",
"font": "serif",
"width": 6.033,
"textWidth": 5.577
},
{
"text": "asking ",
"font": "serif",
"width": 5.826,
"textWidth": 5.368
},
{
"text": "DeepSeek ",
"font": "serif",
"width": 8.524,
"textWidth": 8.068
},
{
"text": "developers ",
"font": "serif",
"width": 9.445,
"textWidth": 8.987
},
{
"text": "and ",
"font": "serif",
"width": 3.58,
"textWidth": 3.124
},
{
"text": "researchers ",
"font": "serif",
"width": 9.155,
"textWidth": 9.155
}
]
},
{
"left": 65.379,
"top": 36.929,
"width": 22.716,
"height": 1.296,
"words": [
{
"text": "85) ",
"font": "serif",
"width": 5.219,
"textWidth": 2.46
},
{
"text": "all ",
"font": "serif",
"width": 2.454,
"textWidth": 1.997
},
{
"text": "with ",
"font": "serif",
"width": 4.208,
"textWidth": 3.752
},
{
"text": "experience ",
"font": "serif",
"width": 9.214,
"textWidth": 8.757
},
{
"text": "of ",
"font": "serif",
"width": 1.62,
"textWidth": 1.62
}
]
},
{
"left": 11.905,
"top": 38.538,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "using ",
"font": "serif",
"width": 4.975,
"textWidth": 4.519
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.786,
"textWidth": 14.328
},
{
"text": "for ",
"font": "serif",
"width": 2.8,
"textWidth": 2.344
},
{
"text": "agentic ",
"font": "serif",
"width": 6.304,
"textWidth": 5.847
},
{
"text": "coding ",
"font": "serif",
"width": 6.031,
"textWidth": 5.575
},
{
"text": "in ",
"font": "serif",
"width": 2.064,
"textWidth": 1.606
},
{
"text": "their ",
"font": "serif",
"width": 4.271,
"textWidth": 3.814
},
{
"text": "daily ",
"font": "serif",
"width": 4.594,
"textWidth": 4.138
},
{
"text": "work ",
"font": "serif",
"width": 7.043,
"textWidth": 4.289
},
{
"text": "whether ",
"font": "serif",
"width": 7.222,
"textWidth": 6.765
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.784,
"textWidth": 14.328
},
{
"text": "is ",
"font": "serif",
"width": 1.316,
"textWidth": 1.316
}
]
},
{
"left": 11.905,
"top": 40.148,
"width": 76.344,
"height": 1.296,
"words": [
{
"text": "ready ",
"font": "serif",
"width": 4.91,
"textWidth": 4.531
},
{
"text": "to ",
"font": "serif",
"width": 1.947,
"textWidth": 1.566
},
{
"text": "serve ",
"font": "serif",
"width": 4.587,
"textWidth": 4.206
},
{
"text": "as ",
"font": "serif",
"width": 2.04,
"textWidth": 1.659
},
{
"text": "their ",
"font": "serif",
"width": 4.102,
"textWidth": 3.723
},
{
"text": "default ",
"font": "serif",
"width": 6.025,
"textWidth": 5.645
},
{
"text": "and ",
"font": "serif",
"width": 3.421,
"textWidth": 3.041
},
{
"text": "primary ",
"font": "serif",
"width": 6.884,
"textWidth": 6.503
},
{
"text": "coding ",
"font": "serif",
"width": 5.823,
"textWidth": 5.442
},
{
"text": "model ",
"font": "serif",
"width": 5.426,
"textWidth": 5.047
},
{
"text": "compared ",
"font": "serif",
"width": 8.357,
"textWidth": 7.976
},
{
"text": "to ",
"font": "serif",
"width": 1.945,
"textWidth": 1.566
},
{
"text": "other ",
"font": "serif",
"width": 4.562,
"textWidth": 4.181
},
{
"text": "frontier ",
"font": "serif",
"width": 6.359,
"textWidth": 5.979
},
{
"text": "models, ",
"font": "serif",
"width": 6.652,
"textWidth": 6.257
},
{
"text": "52% ",
"font": "serif",
"width": 3.305,
"textWidth": 3.305
}
]
},
{
"left": 11.905,
"top": 41.757,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "said ",
"font": "serif",
"width": 3.671,
"textWidth": 3.279
},
{
"text": "yes, ",
"font": "serif",
"width": 3.473,
"textWidth": 3.069
},
{
"text": "39% ",
"font": "serif",
"width": 3.696,
"textWidth": 3.305
},
{
"text": "leaned ",
"font": "serif",
"width": 5.675,
"textWidth": 5.284
},
{
"text": "toward ",
"font": "serif",
"width": 6.126,
"textWidth": 5.734
},
{
"text": "yes, ",
"font": "serif",
"width": 3.473,
"textWidth": 3.069
},
{
"text": "and ",
"font": "serif",
"width": 3.432,
"textWidth": 3.041
},
{
"text": "fewer ",
"font": "serif",
"width": 4.917,
"textWidth": 4.526
},
{
"text": "than ",
"font": "serif",
"width": 3.965,
"textWidth": 3.574
},
{
"text": "9% ",
"font": "serif",
"width": 2.798,
"textWidth": 2.407
},
{
"text": "said ",
"font": "serif",
"width": 3.669,
"textWidth": 3.278
},
{
"text": "no. ",
"font": "serif",
"width": 3.021,
"textWidth": 2.475
},
{
"text": "Respondents ",
"font": "serif",
"width": 10.668,
"textWidth": 10.276
},
{
"text": "find ",
"font": "serif",
"width": 3.621,
"textWidth": 3.229
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 13.983,
"textWidth": 13.983
}
]
},
{
"left": 11.905,
"top": 43.367,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.073,
"textWidth": 1.617
},
{
"text": "deliver ",
"font": "serif",
"width": 6.226,
"textWidth": 5.77
},
{
"text": "satisfactory ",
"font": "serif",
"width": 9.848,
"textWidth": 9.394
},
{
"text": "results ",
"font": "serif",
"width": 5.879,
"textWidth": 5.425
},
{
"text": "across ",
"font": "serif",
"width": 5.493,
"textWidth": 5.037
},
{
"text": "most ",
"font": "serif",
"width": 4.496,
"textWidth": 4.041
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.056,
"textWidth": 4.599
},
{
"text": "but ",
"font": "serif",
"width": 3.205,
"textWidth": 2.749
},
{
"text": "note ",
"font": "serif",
"width": 4.041,
"textWidth": 3.585
},
{
"text": "trivial ",
"font": "serif",
"width": 5.388,
"textWidth": 4.931
},
{
"text": "mistakes, ",
"font": "serif",
"width": 8.121,
"textWidth": 7.665
},
{
"text": "misinterpretation ",
"font": "serif",
"width": 14.735,
"textWidth": 14.279
},
{
"text": "of ",
"font": "serif",
"width": 1.63,
"textWidth": 1.63
}
]
},
{
"left": 11.853,
"top": 44.976,
"width": 37.18,
"height": 1.296,
"words": [
{
"text": "vague ",
"font": "serif",
"width": 5.412,
"textWidth": 4.954
},
{
"text": "prompts, ",
"font": "serif",
"width": 7.803,
"textWidth": 7.345
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "occasional ",
"font": "serif",
"width": 8.83,
"textWidth": 8.371
},
{
"text": "over-thinking. ",
"font": "serif",
"width": 11.575,
"textWidth": 11.575
}
]
},
{
"left": 11.905,
"top": 49.062,
"width": 49.486,
"height": 1.538,
"words": [
{
"text": "6. ",
"font": "serif-bold",
"width": 2.72,
"textWidth": 1.632
},
{
"text": "Conclusion, ",
"font": "serif-bold",
"width": 12.447,
"textWidth": 11.903
},
{
"text": "Limitations, ",
"font": "serif-bold",
"width": 12.567,
"textWidth": 12.023
},
{
"text": "and ",
"font": "serif-bold",
"width": 4.29,
"textWidth": 3.747
},
{
"text": "Future ",
"font": "serif-bold",
"width": 7.071,
"textWidth": 6.527
},
{
"text": "Directions ",
"font": "serif-bold",
"width": 10.391,
"textWidth": 10.391
}
]
},
{
"left": 11.905,
"top": 52.266,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.178,
"textWidth": 1.718
},
{
"text": "this ",
"font": "serif",
"width": 3.494,
"textWidth": 3.034
},
{
"text": "work, ",
"font": "serif",
"width": 5.284,
"textWidth": 4.825
},
{
"text": "we ",
"font": "serif",
"width": 2.914,
"textWidth": 2.454
},
{
"text": "present ",
"font": "serif",
"width": 6.569,
"textWidth": 6.109
},
{
"text": "a ",
"font": "serif",
"width": 1.394,
"textWidth": 0.935
},
{
"text": "preview ",
"font": "serif",
"width": 7.24,
"textWidth": 6.78
},
{
"text": "version ",
"font": "serif",
"width": 6.595,
"textWidth": 6.135
},
{
"text": "of ",
"font": "serif",
"width": 2.103,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.539,
"textWidth": 11.079
},
{
"text": "series, ",
"font": "serif",
"width": 5.585,
"textWidth": 5.126
},
{
"text": "aiming ",
"font": "serif",
"width": 6.26,
"textWidth": 5.8
},
{
"text": "at ",
"font": "serif",
"width": 2.004,
"textWidth": 1.544
},
{
"text": "next-generation ",
"font": "serif",
"width": 13.033,
"textWidth": 13.033
}
]
},
{
"left": 11.905,
"top": 53.876,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "large ",
"font": "serif",
"width": 4.411,
"textWidth": 3.956
},
{
"text": "language ",
"font": "serif",
"width": 7.759,
"textWidth": 7.304
},
{
"text": "models ",
"font": "serif",
"width": 6.263,
"textWidth": 5.808
},
{
"text": "that ",
"font": "serif",
"width": 3.569,
"textWidth": 3.114
},
{
"text": "break ",
"font": "serif",
"width": 4.881,
"textWidth": 4.427
},
{
"text": "the ",
"font": "serif",
"width": 2.945,
"textWidth": 2.491
},
{
"text": "efficiency ",
"font": "serif",
"width": 7.988,
"textWidth": 7.534
},
{
"text": "barrier ",
"font": "serif",
"width": 5.857,
"textWidth": 5.402
},
{
"text": "of ",
"font": "serif",
"width": 2.033,
"textWidth": 1.579
},
{
"text": "ultra-long-context ",
"font": "serif",
"width": 14.777,
"textWidth": 14.323
},
{
"text": "processing. ",
"font": "serif",
"width": 9.501,
"textWidth": 8.933
},
{
"text": "By ",
"font": "serif",
"width": 2.55,
"textWidth": 2.096
},
{
"text": "com- ",
"font": "serif",
"width": 3.962,
"textWidth": 3.962
}
]
},
{
"left": 11.905,
"top": 55.485,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "bining ",
"font": "serif",
"width": 5.542,
"textWidth": 5.127
},
{
"text": "a ",
"font": "serif",
"width": 1.313,
"textWidth": 0.898
},
{
"text": "hybrid ",
"font": "serif",
"width": 5.781,
"textWidth": 5.366
},
{
"text": "attention ",
"font": "serif",
"width": 7.521,
"textWidth": 7.107
},
{
"text": "architecture ",
"font": "serif",
"width": 9.802,
"textWidth": 9.389
},
{
"text": "that ",
"font": "serif",
"width": 3.529,
"textWidth": 3.114
},
{
"text": "integrates ",
"font": "serif",
"width": 8.242,
"textWidth": 7.827
},
{
"text": "CSA ",
"font": "serif",
"width": 4.028,
"textWidth": 3.613
},
{
"text": "and ",
"font": "serif",
"width": 3.455,
"textWidth": 3.041
},
{
"text": "HCA, ",
"font": "serif",
"width": 5.029,
"textWidth": 4.614
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.058,
"textWidth": 10.645
},
{
"text": "series ",
"font": "serif",
"width": 4.89,
"textWidth": 4.476
},
{
"text": "achieve ",
"font": "serif",
"width": 5.999,
"textWidth": 5.999
}
]
},
{
"left": 11.905,
"top": 57.094,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "a ",
"font": "serif",
"width": 1.372,
"textWidth": 0.914
},
{
"text": "dramatic ",
"font": "serif",
"width": 7.678,
"textWidth": 7.217
},
{
"text": "leap ",
"font": "serif",
"width": 3.877,
"textWidth": 3.419
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.595
},
{
"text": "long-sequence ",
"font": "serif",
"width": 12.075,
"textWidth": 11.617
},
{
"text": "efficiency. ",
"font": "serif",
"width": 8.491,
"textWidth": 7.919
},
{
"text": "The ",
"font": "serif",
"width": 3.517,
"textWidth": 3.057
},
{
"text": "architectural ",
"font": "serif",
"width": 10.614,
"textWidth": 10.155
},
{
"text": "innovations, ",
"font": "serif",
"width": 10.482,
"textWidth": 10.022
},
{
"text": "together ",
"font": "serif",
"width": 7.199,
"textWidth": 6.74
},
{
"text": "with ",
"font": "serif",
"width": 4.173,
"textWidth": 3.715
},
{
"text": "exten- ",
"font": "serif",
"width": 4.961,
"textWidth": 4.961
}
]
},
{
"left": 11.905,
"top": 58.704,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "sive ",
"font": "serif",
"width": 3.685,
"textWidth": 3.23
},
{
"text": "infrastructure ",
"font": "serif",
"width": 11.602,
"textWidth": 11.146
},
{
"text": "optimization, ",
"font": "serif",
"width": 11.35,
"textWidth": 10.895
},
{
"text": "enable ",
"font": "serif",
"width": 5.751,
"textWidth": 5.296
},
{
"text": "efficient ",
"font": "serif",
"width": 6.921,
"textWidth": 6.466
},
{
"text": "native ",
"font": "serif",
"width": 5.49,
"textWidth": 5.037
},
{
"text": "support ",
"font": "serif",
"width": 6.875,
"textWidth": 6.42
},
{
"text": "for ",
"font": "serif",
"width": 2.795,
"textWidth": 2.339
},
{
"text": "million-token ",
"font": "serif",
"width": 11.468,
"textWidth": 11.012
},
{
"text": "contexts ",
"font": "serif",
"width": 7.145,
"textWidth": 6.69
},
{
"text": "and ",
"font": "serif",
"width": 3.109,
"textWidth": 3.109
}
]
},
{
"left": 11.905,
"top": 60.313,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "establish ",
"font": "serif",
"width": 7.537,
"textWidth": 7.078
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.914
},
{
"text": "necessary ",
"font": "serif",
"width": 8.292,
"textWidth": 7.833
},
{
"text": "foundation ",
"font": "serif",
"width": 9.456,
"textWidth": 8.997
},
{
"text": "for ",
"font": "serif",
"width": 2.789,
"textWidth": 2.33
},
{
"text": "future ",
"font": "serif",
"width": 5.436,
"textWidth": 4.977
},
{
"text": "test-time ",
"font": "serif",
"width": 7.532,
"textWidth": 7.073
},
{
"text": "scaling, ",
"font": "serif",
"width": 6.564,
"textWidth": 6.105
},
{
"text": "long-horizon ",
"font": "serif",
"width": 10.974,
"textWidth": 10.516
},
{
"text": "tasks, ",
"font": "serif",
"width": 4.995,
"textWidth": 4.536
},
{
"text": "and ",
"font": "serif",
"width": 3.555,
"textWidth": 3.096
},
{
"text": "emerging ",
"font": "serif",
"width": 7.687,
"textWidth": 7.687
}
]
},
{
"left": 11.85,
"top": 61.922,
"width": 76.475,
"height": 1.296,
"words": [
{
"text": "paradigms ",
"font": "serif",
"width": 9.102,
"textWidth": 8.647
},
{
"text": "such ",
"font": "serif",
"width": 4.183,
"textWidth": 3.728
},
{
"text": "as ",
"font": "serif",
"width": 2.134,
"textWidth": 1.678
},
{
"text": "online ",
"font": "serif",
"width": 5.488,
"textWidth": 5.032
},
{
"text": "learning. ",
"font": "serif",
"width": 7.697,
"textWidth": 7.13
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.2,
"textWidth": 8.745
},
{
"text": "results ",
"font": "serif",
"width": 5.766,
"textWidth": 5.31
},
{
"text": "demonstrate ",
"font": "serif",
"width": 10.535,
"textWidth": 10.081
},
{
"text": "that ",
"font": "serif",
"width": 3.605,
"textWidth": 3.149
},
{
"text": "DeepSeek-V4-Pro-Max, ",
"font": "serif",
"width": 18.764,
"textWidth": 18.764
}
]
},
{
"left": 11.905,
"top": 63.532,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 2.956,
"textWidth": 2.494
},
{
"text": "maximum ",
"font": "serif",
"width": 8.656,
"textWidth": 8.196
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.257,
"textWidth": 7.797
},
{
"text": "effort ",
"font": "serif",
"width": 4.766,
"textWidth": 4.304
},
{
"text": "mode ",
"font": "serif",
"width": 4.991,
"textWidth": 4.529
},
{
"text": "of ",
"font": "serif",
"width": 2.04,
"textWidth": 1.58
},
{
"text": "DeepSeek-V4-Pro, ",
"font": "serif",
"width": 14.911,
"textWidth": 14.449
},
{
"text": "redefines ",
"font": "serif",
"width": 7.716,
"textWidth": 7.256
},
{
"text": "the ",
"font": "serif",
"width": 2.956,
"textWidth": 2.494
},
{
"text": "state-of-the-art ",
"font": "serif",
"width": 12.22,
"textWidth": 11.759
},
{
"text": "for ",
"font": "serif",
"width": 2.752,
"textWidth": 2.29
},
{
"text": "open ",
"font": "serif",
"width": 3.97,
"textWidth": 3.97
}
]
},
{
"left": 11.905,
"top": 65.141,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "models. ",
"font": "serif",
"width": 7.43,
"textWidth": 6.513
},
{
"text": "It ",
"font": "serif",
"width": 1.815,
"textWidth": 1.239
},
{
"text": "substantially ",
"font": "serif",
"width": 11.167,
"textWidth": 10.593
},
{
"text": "outperforms ",
"font": "serif",
"width": 10.915,
"textWidth": 10.339
},
{
"text": "prior ",
"font": "serif",
"width": 4.739,
"textWidth": 4.163
},
{
"text": "open-source ",
"font": "serif",
"width": 10.696,
"textWidth": 10.12
},
{
"text": "models ",
"font": "serif",
"width": 6.619,
"textWidth": 6.045
},
{
"text": "on ",
"font": "serif",
"width": 2.684,
"textWidth": 2.109
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.797,
"textWidth": 9.223
},
{
"text": "benchmarks, ",
"font": "serif",
"width": 10.558,
"textWidth": 10.558
}
]
},
{
"left": 11.905,
"top": 66.751,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "achieves ",
"font": "serif",
"width": 7.321,
"textWidth": 6.863
},
{
"text": "superior ",
"font": "serif",
"width": 7.266,
"textWidth": 6.809
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.366,
"textWidth": 7.908
},
{
"text": "performance ",
"font": "serif",
"width": 10.736,
"textWidth": 10.279
},
{
"text": "close ",
"font": "serif",
"width": 4.44,
"textWidth": 3.982
},
{
"text": "to ",
"font": "serif",
"width": 2.048,
"textWidth": 1.59
},
{
"text": "the ",
"font": "serif",
"width": 2.987,
"textWidth": 2.529
},
{
"text": "frontier ",
"font": "serif",
"width": 6.528,
"textWidth": 6.07
},
{
"text": "proprietary ",
"font": "serif",
"width": 9.697,
"textWidth": 9.239
},
{
"text": "models, ",
"font": "serif",
"width": 6.811,
"textWidth": 6.353
},
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.087
},
{
"text": "delivers ",
"font": "serif",
"width": 6.446,
"textWidth": 6.446
}
]
},
{
"left": 11.905,
"top": 68.36,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "competitive ",
"font": "serif",
"width": 9.923,
"textWidth": 9.462
},
{
"text": "agent ",
"font": "serif",
"width": 4.88,
"textWidth": 4.419
},
{
"text": "capabilities. ",
"font": "serif",
"width": 10.059,
"textWidth": 9.48
},
{
"text": "Meanwhile, ",
"font": "serif",
"width": 9.93,
"textWidth": 9.467
},
{
"text": "DeepSeek-V4-Flash-Max ",
"font": "serif",
"width": 20.192,
"textWidth": 19.73
},
{
"text": "attains ",
"font": "serif",
"width": 5.797,
"textWidth": 5.334
},
{
"text": "comparable ",
"font": "serif",
"width": 9.852,
"textWidth": 9.391
},
{
"text": "reason- ",
"font": "serif",
"width": 5.862,
"textWidth": 5.862
}
]
},
{
"left": 11.905,
"top": 69.969,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.037,
"textWidth": 2.582
},
{
"text": "performance ",
"font": "serif",
"width": 10.643,
"textWidth": 10.186
},
{
"text": "to ",
"font": "serif",
"width": 2.031,
"textWidth": 1.576
},
{
"text": "leading ",
"font": "serif",
"width": 6.436,
"textWidth": 5.981
},
{
"text": "closed ",
"font": "serif",
"width": 5.506,
"textWidth": 5.05
},
{
"text": "models ",
"font": "serif",
"width": 6.301,
"textWidth": 5.844
},
{
"text": "while ",
"font": "serif",
"width": 4.931,
"textWidth": 4.476
},
{
"text": "maintaining ",
"font": "serif",
"width": 10.184,
"textWidth": 9.729
},
{
"text": "a ",
"font": "serif",
"width": 1.361,
"textWidth": 0.903
},
{
"text": "highly ",
"font": "serif",
"width": 5.62,
"textWidth": 5.164
},
{
"text": "cost-efficient ",
"font": "serif",
"width": 10.563,
"textWidth": 10.108
},
{
"text": "architecture. ",
"font": "serif",
"width": 9.899,
"textWidth": 9.899
}
]
},
{
"left": 11.813,
"top": 71.579,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "believe ",
"font": "serif",
"width": 6.282,
"textWidth": 5.824
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.462,
"textWidth": 11.003
},
{
"text": "series ",
"font": "serif",
"width": 5.087,
"textWidth": 4.626
},
{
"text": "usher ",
"font": "serif",
"width": 5.068,
"textWidth": 4.61
},
{
"text": "in ",
"font": "serif",
"width": 2.079,
"textWidth": 1.621
},
{
"text": "a ",
"font": "serif",
"width": 1.387,
"textWidth": 0.928
},
{
"text": "new ",
"font": "serif",
"width": 3.976,
"textWidth": 3.518
},
{
"text": "era ",
"font": "serif",
"width": 3.009,
"textWidth": 2.551
},
{
"text": "of ",
"font": "serif",
"width": 2.09,
"textWidth": 1.632
},
{
"text": "million-length ",
"font": "serif",
"width": 12.199,
"textWidth": 11.74
},
{
"text": "contexts ",
"font": "serif",
"width": 7.222,
"textWidth": 6.763
},
{
"text": "for ",
"font": "serif",
"width": 2.824,
"textWidth": 2.365
},
{
"text": "open ",
"font": "serif",
"width": 4.559,
"textWidth": 4.099
},
{
"text": "models ",
"font": "serif",
"width": 6.004,
"textWidth": 6.004
}
]
},
{
"left": 11.905,
"top": 73.188,
"width": 52.913,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "pave ",
"font": "serif",
"width": 4.389,
"textWidth": 3.931
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "way ",
"font": "serif",
"width": 3.922,
"textWidth": 3.464
},
{
"text": "toward ",
"font": "serif",
"width": 6.312,
"textWidth": 5.853
},
{
"text": "better ",
"font": "serif",
"width": 5.146,
"textWidth": 4.688
},
{
"text": "efficiency, ",
"font": "serif",
"width": 8.401,
"textWidth": 7.943
},
{
"text": "scale, ",
"font": "serif",
"width": 4.834,
"textWidth": 4.376
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "intelligence. ",
"font": "serif",
"width": 9.788,
"textWidth": 9.788
}
]
},
{
"left": 14.75,
"top": 75.602,
"width": 73.649,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.171,
"textWidth": 1.713
},
{
"text": "pursuit ",
"font": "serif",
"width": 6.501,
"textWidth": 6.044
},
{
"text": "of ",
"font": "serif",
"width": 2.097,
"textWidth": 1.638
},
{
"text": "extreme ",
"font": "serif",
"width": 7.054,
"textWidth": 6.596
},
{
"text": "long-context ",
"font": "serif",
"width": 10.76,
"textWidth": 10.301
},
{
"text": "efficiency, ",
"font": "serif",
"width": 8.54,
"textWidth": 8.081
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.503,
"textWidth": 11.045
},
{
"text": "series ",
"font": "serif",
"width": 5.103,
"textWidth": 4.645
},
{
"text": "adopted ",
"font": "serif",
"width": 7.306,
"textWidth": 6.847
},
{
"text": "a ",
"font": "serif",
"width": 1.389,
"textWidth": 0.932
},
{
"text": "bold ",
"font": "serif",
"width": 4.188,
"textWidth": 3.729
},
{
"text": "architec- ",
"font": "serif",
"width": 7.038,
"textWidth": 7.038
}
]
},
{
"left": 11.905,
"top": 77.212,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "tural ",
"font": "serif",
"width": 4.542,
"textWidth": 3.953
},
{
"text": "design. ",
"font": "serif",
"width": 6.927,
"textWidth": 5.969
},
{
"text": "To ",
"font": "serif",
"width": 2.587,
"textWidth": 1.998
},
{
"text": "minimize ",
"font": "serif",
"width": 8.44,
"textWidth": 7.851
},
{
"text": "risk, ",
"font": "serif",
"width": 4.202,
"textWidth": 3.582
},
{
"text": "we ",
"font": "serif",
"width": 3.043,
"textWidth": 2.454
},
{
"text": "retained ",
"font": "serif",
"width": 7.402,
"textWidth": 6.813
},
{
"text": "many ",
"font": "serif",
"width": 5.301,
"textWidth": 4.712
},
{
"text": "preliminarily ",
"font": "serif",
"width": 11.483,
"textWidth": 10.894
},
{
"text": "validated ",
"font": "serif",
"width": 8.391,
"textWidth": 7.802
},
{
"text": "components ",
"font": "serif",
"width": 10.707,
"textWidth": 10.118
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.905,
"top": 78.821,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "tricks, ",
"font": "serif",
"width": 5.6,
"textWidth": 5.021
},
{
"text": "which, ",
"font": "serif",
"width": 6.155,
"textWidth": 5.576
},
{
"text": "while ",
"font": "serif",
"width": 5.187,
"textWidth": 4.63
},
{
"text": "effective, ",
"font": "serif",
"width": 7.984,
"textWidth": 7.402
},
{
"text": "made ",
"font": "serif",
"width": 5.178,
"textWidth": 4.623
},
{
"text": "the ",
"font": "serif",
"width": 3.148,
"textWidth": 2.593
},
{
"text": "architecture ",
"font": "serif",
"width": 10.33,
"textWidth": 9.774
},
{
"text": "relatively ",
"font": "serif",
"width": 8.322,
"textWidth": 7.767
},
{
"text": "complex. ",
"font": "serif",
"width": 8.357,
"textWidth": 7.496
},
{
"text": "In ",
"font": "serif",
"width": 2.273,
"textWidth": 1.718
},
{
"text": "future ",
"font": "serif",
"width": 5.641,
"textWidth": 5.086
},
{
"text": "iterations, ",
"font": "serif",
"width": 8.243,
"textWidth": 8.243
}
]
},
{
"left": 11.828,
"top": 80.43,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "we ",
"font": "serif",
"width": 2.885,
"textWidth": 2.428
},
{
"text": "will ",
"font": "serif",
"width": 3.615,
"textWidth": 3.156
},
{
"text": "carry ",
"font": "serif",
"width": 4.691,
"textWidth": 4.234
},
{
"text": "out ",
"font": "serif",
"width": 3.186,
"textWidth": 2.727
},
{
"text": "more ",
"font": "serif",
"width": 4.682,
"textWidth": 4.225
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.907,
"textWidth": 12.448
},
{
"text": "and ",
"font": "serif",
"width": 3.587,
"textWidth": 3.131
},
{
"text": "principled ",
"font": "serif",
"width": 8.939,
"textWidth": 8.48
},
{
"text": "investigations ",
"font": "serif",
"width": 11.89,
"textWidth": 11.433
},
{
"text": "to ",
"font": "serif",
"width": 2.071,
"textWidth": 1.612
},
{
"text": "distill ",
"font": "serif",
"width": 5.126,
"textWidth": 4.667
},
{
"text": "the ",
"font": "serif",
"width": 3.021,
"textWidth": 2.565
},
{
"text": "architecture ",
"font": "serif",
"width": 9.669,
"textWidth": 9.669
}
]
},
{
"left": 11.905,
"top": 82.04,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "down ",
"font": "serif",
"width": 5.344,
"textWidth": 4.81
},
{
"text": "to ",
"font": "serif",
"width": 2.165,
"textWidth": 1.63
},
{
"text": "its ",
"font": "serif",
"width": 2.481,
"textWidth": 1.946
},
{
"text": "most ",
"font": "serif",
"width": 4.608,
"textWidth": 4.073
},
{
"text": "essential ",
"font": "serif",
"width": 7.63,
"textWidth": 7.096
},
{
"text": "designs, ",
"font": "serif",
"width": 7.316,
"textWidth": 6.761
},
{
"text": "making ",
"font": "serif",
"width": 6.83,
"textWidth": 6.296
},
{
"text": "it ",
"font": "serif",
"width": 1.688,
"textWidth": 1.153
},
{
"text": "more ",
"font": "serif",
"width": 4.806,
"textWidth": 4.271
},
{
"text": "elegant ",
"font": "serif",
"width": 6.541,
"textWidth": 6.006
},
{
"text": "without ",
"font": "serif",
"width": 7.092,
"textWidth": 6.557
},
{
"text": "sacrificing ",
"font": "serif",
"width": 9.006,
"textWidth": 8.472
},
{
"text": "performance. ",
"font": "serif",
"width": 11.004,
"textWidth": 11.004
}
]
},
{
"left": 11.905,
"top": 83.649,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Meanwhile, ",
"font": "serif",
"width": 9.967,
"textWidth": 9.506
},
{
"text": "although ",
"font": "serif",
"width": 7.7,
"textWidth": 7.239
},
{
"text": "Anticipatory ",
"font": "serif",
"width": 10.695,
"textWidth": 10.234
},
{
"text": "Routing ",
"font": "serif",
"width": 6.948,
"textWidth": 6.487
},
{
"text": "and ",
"font": "serif",
"width": 3.534,
"textWidth": 3.075
},
{
"text": "SwiGLU ",
"font": "serif",
"width": 7.366,
"textWidth": 6.905
},
{
"text": "Clamping ",
"font": "serif",
"width": 8.476,
"textWidth": 8.015
},
{
"text": "have ",
"font": "serif",
"width": 4.321,
"textWidth": 3.861
},
{
"text": "been ",
"font": "serif",
"width": 4.262,
"textWidth": 3.801
},
{
"text": "proven ",
"font": "serif",
"width": 6.18,
"textWidth": 5.721
},
{
"text": "effective ",
"font": "serif",
"width": 6.74,
"textWidth": 6.74
}
]
},
{
"left": 11.905,
"top": 85.258,
"width": 76.512,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.04,
"textWidth": 1.579
},
{
"text": "mitigating ",
"font": "serif",
"width": 8.783,
"textWidth": 8.324
},
{
"text": "training ",
"font": "serif",
"width": 6.834,
"textWidth": 6.372
},
{
"text": "instabilities, ",
"font": "serif",
"width": 10.08,
"textWidth": 9.621
},
{
"text": "their ",
"font": "serif",
"width": 4.211,
"textWidth": 3.75
},
{
"text": "underlying ",
"font": "serif",
"width": 9.406,
"textWidth": 8.946
},
{
"text": "principles ",
"font": "serif",
"width": 8.418,
"textWidth": 7.957
},
{
"text": "remain ",
"font": "serif",
"width": 6.088,
"textWidth": 5.629
},
{
"text": "insufficiently ",
"font": "serif",
"width": 10.932,
"textWidth": 10.471
},
{
"text": "understood. ",
"font": "serif",
"width": 9.719,
"textWidth": 9.719
}
]
},
{
"left": 11.813,
"top": 86.868,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.886,
"textWidth": 2.487
},
{
"text": "will ",
"font": "serif",
"width": 3.466,
"textWidth": 3.066
},
{
"text": "actively ",
"font": "serif",
"width": 6.598,
"textWidth": 6.2
},
{
"text": "study ",
"font": "serif",
"width": 4.925,
"textWidth": 4.526
},
{
"text": "foundational ",
"font": "serif",
"width": 10.655,
"textWidth": 10.257
},
{
"text": "problems ",
"font": "serif",
"width": 7.859,
"textWidth": 7.46
},
{
"text": "on ",
"font": "serif",
"width": 2.425,
"textWidth": 2.026
},
{
"text": "training ",
"font": "serif",
"width": 6.728,
"textWidth": 6.327
},
{
"text": "stability ",
"font": "serif",
"width": 6.789,
"textWidth": 6.39
},
{
"text": "and ",
"font": "serif",
"width": 3.439,
"textWidth": 3.041
},
{
"text": "strengthen ",
"font": "serif",
"width": 8.863,
"textWidth": 8.464
},
{
"text": "internal ",
"font": "serif",
"width": 6.588,
"textWidth": 6.189
},
{
"text": "metric ",
"font": "serif",
"width": 5.061,
"textWidth": 5.061
}
]
},
{
"left": 11.905,
"top": 88.477,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "monitoring, ",
"font": "serif",
"width": 9.968,
"textWidth": 9.512
},
{
"text": "aiming ",
"font": "serif",
"width": 6.079,
"textWidth": 5.624
},
{
"text": "for ",
"font": "serif",
"width": 2.766,
"textWidth": 2.309
},
{
"text": "a ",
"font": "serif",
"width": 1.363,
"textWidth": 0.906
},
{
"text": "more ",
"font": "serif",
"width": 4.596,
"textWidth": 4.14
},
{
"text": "principled ",
"font": "serif",
"width": 8.767,
"textWidth": 8.312
},
{
"text": "and ",
"font": "serif",
"width": 3.525,
"textWidth": 3.068
},
{
"text": "predictive ",
"font": "serif",
"width": 8.546,
"textWidth": 8.091
},
{
"text": "approach ",
"font": "serif",
"width": 7.98,
"textWidth": 7.523
},
{
"text": "to ",
"font": "serif",
"width": 2.035,
"textWidth": 1.58
},
{
"text": "stable ",
"font": "serif",
"width": 5.12,
"textWidth": 4.663
},
{
"text": "large-scale ",
"font": "serif",
"width": 8.926,
"textWidth": 8.471
},
{
"text": "training. ",
"font": "serif",
"width": 6.838,
"textWidth": 6.838
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "44 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"45": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.126,
"textWidth": 1.666
},
{
"text": "addition, ",
"font": "serif",
"width": 7.723,
"textWidth": 7.264
},
{
"text": "beyond ",
"font": "serif",
"width": 6.49,
"textWidth": 6.03
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.514
},
{
"text": "MoE ",
"font": "serif",
"width": 4.272,
"textWidth": 3.812
},
{
"text": "and ",
"font": "serif",
"width": 3.527,
"textWidth": 3.068
},
{
"text": "sparse ",
"font": "serif",
"width": 5.577,
"textWidth": 5.117
},
{
"text": "attention ",
"font": "serif",
"width": 7.632,
"textWidth": 7.174
},
{
"text": "architecture, ",
"font": "serif",
"width": 10.389,
"textWidth": 9.929
},
{
"text": "we ",
"font": "serif",
"width": 2.838,
"textWidth": 2.38
},
{
"text": "will ",
"font": "serif",
"width": 3.554,
"textWidth": 3.094
},
{
"text": "also ",
"font": "serif",
"width": 3.65,
"textWidth": 3.192
},
{
"text": "proactively ",
"font": "serif",
"width": 9.477,
"textWidth": 9.019
},
{
"text": "explore ",
"font": "serif",
"width": 5.961,
"textWidth": 5.961
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "model ",
"font": "serif",
"width": 5.836,
"textWidth": 5.253
},
{
"text": "sparsity ",
"font": "serif",
"width": 7.157,
"textWidth": 6.574
},
{
"text": "along ",
"font": "serif",
"width": 5.208,
"textWidth": 4.626
},
{
"text": "new ",
"font": "serif",
"width": 4.125,
"textWidth": 3.542
},
{
"text": "dimensions ",
"font": "serif",
"width": 12.593,
"textWidth": 9.558
},
{
"text": "such ",
"font": "serif",
"width": 4.419,
"textWidth": 3.838
},
{
"text": "as ",
"font": "serif",
"width": 2.31,
"textWidth": 1.727
},
{
"text": "more ",
"font": "serif",
"width": 4.854,
"textWidth": 4.273
},
{
"text": "sparse ",
"font": "serif",
"width": 5.86,
"textWidth": 5.277
},
{
"text": "embedding ",
"font": "serif",
"width": 10.014,
"textWidth": 9.43
},
{
"text": "modules ",
"font": "serif",
"width": 7.756,
"textWidth": 7.172
},
{
"text": "(Cheng ",
"font": "serif",
"width": 6.058,
"textWidth": 6.058
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "et ",
"font": "serif",
"width": 1.912,
"textWidth": 1.453
},
{
"text": "al., ",
"font": "serif",
"width": 2.791,
"textWidth": 2.33
},
{
"text": "2026) ",
"font": "serif",
"width": 6.933,
"textWidth": 4.211
},
{
"text": "to ",
"font": "serif",
"width": 2.034,
"textWidth": 1.574
},
{
"text": "further ",
"font": "serif",
"width": 6.078,
"textWidth": 5.619
},
{
"text": "improve ",
"font": "serif",
"width": 7.213,
"textWidth": 6.755
},
{
"text": "computational ",
"font": "serif",
"width": 12.082,
"textWidth": 11.623
},
{
"text": "and ",
"font": "serif",
"width": 3.515,
"textWidth": 3.056
},
{
"text": "memory ",
"font": "serif",
"width": 7.215,
"textWidth": 6.755
},
{
"text": "efficiency ",
"font": "serif",
"width": 8.031,
"textWidth": 7.572
},
{
"text": "without ",
"font": "serif",
"width": 6.791,
"textWidth": 6.332
},
{
"text": "compromising ",
"font": "serif",
"width": 11.596,
"textWidth": 11.596
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "capability. ",
"font": "serif",
"width": 9.279,
"textWidth": 8.4
},
{
"text": "We ",
"font": "serif",
"width": 3.159,
"textWidth": 2.596
},
{
"text": "will ",
"font": "serif",
"width": 3.752,
"textWidth": 3.191
},
{
"text": "also ",
"font": "serif",
"width": 3.854,
"textWidth": 3.292
},
{
"text": "continuously ",
"font": "serif",
"width": 11.391,
"textWidth": 10.831
},
{
"text": "investigate ",
"font": "serif",
"width": 9.571,
"textWidth": 9.008
},
{
"text": "low-latency ",
"font": "serif",
"width": 10.247,
"textWidth": 9.687
},
{
"text": "architectures ",
"font": "serif",
"width": 11.128,
"textWidth": 10.567
},
{
"text": "and ",
"font": "serif",
"width": 3.727,
"textWidth": 3.165
},
{
"text": "system ",
"font": "serif",
"width": 6.341,
"textWidth": 5.78
},
{
"text": "tech- ",
"font": "serif",
"width": 4.045,
"textWidth": 4.045
}
]
},
{
"left": 11.905,
"top": 16.91,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "niques ",
"font": "serif",
"width": 5.982,
"textWidth": 5.494
},
{
"text": "to ",
"font": "serif",
"width": 2.118,
"textWidth": 1.63
},
{
"text": "make ",
"font": "serif",
"width": 5.01,
"textWidth": 4.52
},
{
"text": "long-context ",
"font": "serif",
"width": 10.819,
"textWidth": 10.33
},
{
"text": "deployment ",
"font": "serif",
"width": 10.496,
"textWidth": 10.008
},
{
"text": "and ",
"font": "serif",
"width": 3.653,
"textWidth": 3.165
},
{
"text": "interaction ",
"font": "serif",
"width": 9.389,
"textWidth": 8.901
},
{
"text": "more ",
"font": "serif",
"width": 4.761,
"textWidth": 4.271
},
{
"text": "responsive. ",
"font": "serif",
"width": 10.038,
"textWidth": 9.38
},
{
"text": "Furthermore, ",
"font": "serif",
"width": 11.472,
"textWidth": 10.974
},
{
"text": "we ",
"font": "serif",
"width": 2.454,
"textWidth": 2.454
}
]
},
{
"left": 11.905,
"top": 18.519,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "recognize ",
"font": "serif",
"width": 8.364,
"textWidth": 7.905
},
{
"text": "the ",
"font": "serif",
"width": 3.036,
"textWidth": 2.577
},
{
"text": "importance ",
"font": "serif",
"width": 9.836,
"textWidth": 9.379
},
{
"text": "and ",
"font": "serif",
"width": 3.605,
"textWidth": 3.146
},
{
"text": "practical ",
"font": "serif",
"width": 7.506,
"textWidth": 7.047
},
{
"text": "value ",
"font": "serif",
"width": 4.988,
"textWidth": 4.53
},
{
"text": "of ",
"font": "serif",
"width": 2.092,
"textWidth": 1.633
},
{
"text": "long-horizon, ",
"font": "serif",
"width": 11.609,
"textWidth": 11.15
},
{
"text": "multi-round ",
"font": "serif",
"width": 10.577,
"textWidth": 10.12
},
{
"text": "agentic ",
"font": "serif",
"width": 6.365,
"textWidth": 5.906
},
{
"text": "tasks, ",
"font": "serif",
"width": 5.067,
"textWidth": 4.609
},
{
"text": "and ",
"font": "serif",
"width": 3.146,
"textWidth": 3.146
}
]
},
{
"left": 11.828,
"top": 20.129,
"width": 76.268,
"height": 1.296,
"words": [
{
"text": "will ",
"font": "serif",
"width": 3.761,
"textWidth": 3.191
},
{
"text": "continue ",
"font": "serif",
"width": 7.772,
"textWidth": 7.202
},
{
"text": "to ",
"font": "serif",
"width": 2.2,
"textWidth": 1.63
},
{
"text": "iterate ",
"font": "serif",
"width": 5.797,
"textWidth": 5.226
},
{
"text": "and ",
"font": "serif",
"width": 3.735,
"textWidth": 3.165
},
{
"text": "explore ",
"font": "serif",
"width": 6.718,
"textWidth": 6.148
},
{
"text": "in ",
"font": "serif",
"width": 2.202,
"textWidth": 1.632
},
{
"text": "this ",
"font": "serif",
"width": 3.604,
"textWidth": 3.034
},
{
"text": "direction. ",
"font": "serif",
"width": 8.75,
"textWidth": 7.845
},
{
"text": "We ",
"font": "serif",
"width": 3.167,
"textWidth": 2.596
},
{
"text": "are ",
"font": "serif",
"width": 3.105,
"textWidth": 2.535
},
{
"text": "also ",
"font": "serif",
"width": 3.862,
"textWidth": 3.292
},
{
"text": "working ",
"font": "serif",
"width": 7.599,
"textWidth": 7.028
},
{
"text": "on ",
"font": "serif",
"width": 2.679,
"textWidth": 2.109
},
{
"text": "incorporating ",
"font": "serif",
"width": 11.318,
"textWidth": 11.318
}
]
},
{
"left": 11.905,
"top": 21.738,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "multimodal ",
"font": "serif",
"width": 10.305,
"textWidth": 9.767
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.868,
"textWidth": 9.329
},
{
"text": "to ",
"font": "serif",
"width": 2.166,
"textWidth": 1.63
},
{
"text": "our ",
"font": "serif",
"width": 3.424,
"textWidth": 2.886
},
{
"text": "models. ",
"font": "serif",
"width": 7.322,
"textWidth": 6.513
},
{
"text": "Finally, ",
"font": "serif",
"width": 6.554,
"textWidth": 5.997
},
{
"text": "we ",
"font": "serif",
"width": 2.993,
"textWidth": 2.454
},
{
"text": "are ",
"font": "serif",
"width": 3.073,
"textWidth": 2.535
},
{
"text": "committed ",
"font": "serif",
"width": 9.49,
"textWidth": 8.952
},
{
"text": "to ",
"font": "serif",
"width": 2.168,
"textWidth": 1.63
},
{
"text": "developing ",
"font": "serif",
"width": 9.887,
"textWidth": 9.348
},
{
"text": "better ",
"font": "serif",
"width": 5.32,
"textWidth": 4.782
},
{
"text": "data ",
"font": "serif",
"width": 3.621,
"textWidth": 3.621
}
]
},
{
"left": 11.905,
"top": 23.347,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "curation ",
"font": "serif",
"width": 7.354,
"textWidth": 6.892
},
{
"text": "and ",
"font": "serif",
"width": 3.626,
"textWidth": 3.165
},
{
"text": "synthesis ",
"font": "serif",
"width": 8.101,
"textWidth": 7.64
},
{
"text": "strategies ",
"font": "serif",
"width": 8.313,
"textWidth": 7.851
},
{
"text": "to ",
"font": "serif",
"width": 2.092,
"textWidth": 1.63
},
{
"text": "consistently ",
"font": "serif",
"width": 10.313,
"textWidth": 9.853
},
{
"text": "enhance ",
"font": "serif",
"width": 7.281,
"textWidth": 6.819
},
{
"text": "model ",
"font": "serif",
"width": 5.714,
"textWidth": 5.253
},
{
"text": "intelligence, ",
"font": "serif",
"width": 10.445,
"textWidth": 9.984
},
{
"text": "robustness, ",
"font": "serif",
"width": 9.787,
"textWidth": 9.324
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 11.85,
"top": 24.957,
"width": 61.453,
"height": 1.296,
"words": [
{
"text": "practical ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "usability ",
"font": "serif",
"width": 7.486,
"textWidth": 7.028
},
{
"text": "across ",
"font": "serif",
"width": 5.434,
"textWidth": 4.976
},
{
"text": "an ",
"font": "serif",
"width": 2.441,
"textWidth": 1.983
},
{
"text": "increasingly ",
"font": "serif",
"width": 10.305,
"textWidth": 9.847
},
{
"text": "broad ",
"font": "serif",
"width": 5.199,
"textWidth": 4.741
},
{
"text": "range ",
"font": "serif",
"width": 5.062,
"textWidth": 4.604
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "scenarios ",
"font": "serif",
"width": 7.944,
"textWidth": 7.486
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "tasks. ",
"font": "serif",
"width": 4.545,
"textWidth": 4.545
}
]
},
{
"left": 11.905,
"top": 29.042,
"width": 10.876,
"height": 1.538,
"words": [
{
"text": "References ",
"font": "serif-bold",
"width": 10.876,
"textWidth": 10.876
}
]
},
{
"left": 11.905,
"top": 32.247,
"width": 33.037,
"height": 1.296,
"words": [
{
"text": "AA. ",
"font": "serif",
"width": 4.111,
"textWidth": 3.376
},
{
"text": "Gdpval-aa ",
"font": "serif",
"width": 9.201,
"textWidth": 8.718
},
{
"text": "leaderboard, ",
"font": "serif",
"width": 10.941,
"textWidth": 10.453
},
{
"text": "2025. ",
"font": "serif",
"width": 4.94,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 45.423,
"top": 32.069,
"width": 42.672,
"height": 1.425,
"words": [
{
"text": "https://artificialanalysis.ai/methodolog ",
"font": "mono",
"width": 42.672,
"textWidth": 42.672
}
]
},
{
"left": 13.727,
"top": 33.678,
"width": 39.326,
"height": 1.425,
"words": [
{
"text": "y/intelligence-benchmarking#gdpval-aa ",
"font": "mono",
"width": 39.326,
"textWidth": 39.326
}
]
},
{
"left": 11.905,
"top": 36.531,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.819,
"textWidth": 1.413
},
{
"text": "Achim, ",
"font": "serif",
"width": 6.214,
"textWidth": 5.797
},
{
"text": "A. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.846
},
{
"text": "Best, ",
"font": "serif",
"width": 4.17,
"textWidth": 3.754
},
{
"text": "A. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.846
},
{
"text": "Bietti, ",
"font": "serif",
"width": 5.038,
"textWidth": 4.623
},
{
"text": "K. ",
"font": "serif",
"width": 2.159,
"textWidth": 1.753
},
{
"text": "Der, ",
"font": "serif",
"width": 3.689,
"textWidth": 3.274
},
{
"text": "M. ",
"font": "serif",
"width": 2.554,
"textWidth": 2.148
},
{
"text": "Fédérico, ",
"font": "serif",
"width": 7.692,
"textWidth": 7.275
},
{
"text": "S. ",
"font": "serif",
"width": 1.798,
"textWidth": 1.392
},
{
"text": "Gukov, ",
"font": "serif",
"width": 6.108,
"textWidth": 5.693
},
{
"text": "D. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.839
},
{
"text": "Halpern-Leistner, ",
"font": "serif",
"width": 14.378,
"textWidth": 13.964
},
{
"text": "K. ",
"font": "serif",
"width": 2.159,
"textWidth": 1.753
},
{
"text": "Henningsgard, ",
"font": "serif",
"width": 11.893,
"textWidth": 11.893
}
]
},
{
"left": 13.666,
"top": 38.14,
"width": 74.48,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 2.034,
"textWidth": 1.51
},
{
"text": "Kudryashov, ",
"font": "serif",
"width": 11.1,
"textWidth": 10.559
},
{
"text": "A. ",
"font": "serif",
"width": 2.447,
"textWidth": 1.922
},
{
"text": "Meiburg, ",
"font": "serif",
"width": 8.12,
"textWidth": 7.58
},
{
"text": "et ",
"font": "serif",
"width": 2.028,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.815,
"textWidth": 1.946
},
{
"text": "Aristotle: ",
"font": "serif",
"width": 8.374,
"textWidth": 7.675
},
{
"text": "Imo-level ",
"font": "serif",
"width": 8.382,
"textWidth": 7.858
},
{
"text": "automated ",
"font": "serif",
"width": 9.447,
"textWidth": 8.924
},
{
"text": "theorem ",
"font": "serif",
"width": 7.389,
"textWidth": 6.864
},
{
"text": "proving. ",
"font": "serif",
"width": 7.913,
"textWidth": 7.043
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.431,
"textWidth": 4.431
}
]
},
{
"left": 13.727,
"top": 39.75,
"width": 25.785,
"height": 1.296,
"words": [
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2510.01346, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 42.424,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.375,
"textWidth": 1.92
},
{
"text": "Agache, ",
"font": "serif",
"width": 7.158,
"textWidth": 6.702
},
{
"text": "M. ",
"font": "serif",
"width": 2.689,
"textWidth": 2.233
},
{
"text": "Brooker, ",
"font": "serif",
"width": 7.343,
"textWidth": 6.887
},
{
"text": "A. ",
"font": "serif",
"width": 2.377,
"textWidth": 1.92
},
{
"text": "Florescu, ",
"font": "serif",
"width": 7.869,
"textWidth": 7.414
},
{
"text": "A. ",
"font": "serif",
"width": 2.375,
"textWidth": 1.92
},
{
"text": "Iordache, ",
"font": "serif",
"width": 8.163,
"textWidth": 7.705
},
{
"text": "A. ",
"font": "serif",
"width": 2.375,
"textWidth": 1.92
},
{
"text": "Liguori, ",
"font": "serif",
"width": 7.072,
"textWidth": 6.616
},
{
"text": "R. ",
"font": "serif",
"width": 2.17,
"textWidth": 1.714
},
{
"text": "Neugebauer, ",
"font": "serif",
"width": 11.018,
"textWidth": 10.562
},
{
"text": "P. ",
"font": "serif",
"width": 1.813,
"textWidth": 1.358
},
{
"text": "Piwonka, ",
"font": "serif",
"width": 8.232,
"textWidth": 7.774
},
{
"text": "and ",
"font": "serif",
"width": 3.162,
"textWidth": 3.162
}
]
},
{
"left": 13.727,
"top": 44.033,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "D.-M. ",
"font": "serif",
"width": 5.009,
"textWidth": 4.585
},
{
"text": "Popa. ",
"font": "serif",
"width": 5.075,
"textWidth": 4.492
},
{
"text": "Firecracker: ",
"font": "serif",
"width": 9.827,
"textWidth": 9.276
},
{
"text": "lightweight ",
"font": "serif",
"width": 9.607,
"textWidth": 9.185
},
{
"text": "virtualization ",
"font": "serif",
"width": 11.212,
"textWidth": 10.788
},
{
"text": "for ",
"font": "serif",
"width": 2.71,
"textWidth": 2.288
},
{
"text": "serverless ",
"font": "serif",
"width": 8.245,
"textWidth": 7.821
},
{
"text": "applications. ",
"font": "serif",
"width": 10.725,
"textWidth": 10.142
},
{
"text": "In ",
"font": "serif",
"width": 2.074,
"textWidth": 1.65
},
{
"text": "Proceedings ",
"font": "serif",
"width": 9.883,
"textWidth": 9.883
}
]
},
{
"left": 13.727,
"top": 45.643,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.972,
"textWidth": 2.542
},
{
"text": "17th ",
"font": "serif",
"width": 3.927,
"textWidth": 3.497
},
{
"text": "Usenix ",
"font": "serif",
"width": 6.056,
"textWidth": 5.626
},
{
"text": "Conference ",
"font": "serif",
"width": 9.612,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.497,
"textWidth": 2.067
},
{
"text": "Networked ",
"font": "serif",
"width": 9.698,
"textWidth": 9.268
},
{
"text": "Systems ",
"font": "serif",
"width": 7.059,
"textWidth": 6.629
},
{
"text": "Design ",
"font": "serif",
"width": 6.122,
"textWidth": 5.692
},
{
"text": "and ",
"font": "serif",
"width": 3.533,
"textWidth": 3.103
},
{
"text": "Implementation, ",
"font": "serif",
"width": 13.908,
"textWidth": 13.471
},
{
"text": "NSDI’20, ",
"font": "serif",
"width": 7.175,
"textWidth": 7.175
}
]
},
{
"left": 13.672,
"top": 47.252,
"width": 55.953,
"height": 1.296,
"words": [
{
"text": "page ",
"font": "serif",
"width": 4.373,
"textWidth": 3.914
},
{
"text": "419-434, ",
"font": "serif",
"width": 7.33,
"textWidth": 6.872
},
{
"text": "USA, ",
"font": "serif",
"width": 4.73,
"textWidth": 4.272
},
{
"text": "2020. ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.329,
"textWidth": 6.87
},
{
"text": "Association. ",
"font": "serif",
"width": 10.56,
"textWidth": 9.9
},
{
"text": "ISBN ",
"font": "serif",
"width": 4.68,
"textWidth": 4.222
},
{
"text": "9781939133137. ",
"font": "serif",
"width": 12.37,
"textWidth": 12.37
}
]
},
{
"left": 11.905,
"top": 49.927,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "O. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.863
},
{
"text": "J. ",
"font": "serif",
"width": 1.505,
"textWidth": 1.048
},
{
"text": "Aimuyo, ",
"font": "serif",
"width": 7.481,
"textWidth": 7.024
},
{
"text": "B. ",
"font": "serif",
"width": 2.005,
"textWidth": 1.548
},
{
"text": "Oh, ",
"font": "serif",
"width": 3.365,
"textWidth": 2.909
},
{
"text": "and ",
"font": "serif",
"width": 3.5,
"textWidth": 3.044
},
{
"text": "R. ",
"font": "serif",
"width": 2.107,
"textWidth": 1.65
},
{
"text": "Singh. ",
"font": "serif",
"width": 5.665,
"textWidth": 5.009
},
{
"text": "Flashmoe: ",
"font": "serif",
"width": 8.678,
"textWidth": 8.11
},
{
"text": "Fast ",
"font": "serif",
"width": 3.703,
"textWidth": 3.247
},
{
"text": "distributed ",
"font": "serif",
"width": 9.282,
"textWidth": 8.825
},
{
"text": "moe ",
"font": "serif",
"width": 3.887,
"textWidth": 3.43
},
{
"text": "in ",
"font": "serif",
"width": 2.026,
"textWidth": 1.569
},
{
"text": "a ",
"font": "serif",
"width": 1.356,
"textWidth": 0.899
},
{
"text": "single ",
"font": "serif",
"width": 5.172,
"textWidth": 4.716
},
{
"text": "kernel. ",
"font": "serif",
"width": 6.107,
"textWidth": 5.451
},
{
"text": "Advances ",
"font": "serif",
"width": 8.032,
"textWidth": 8.032
}
]
},
{
"left": 13.727,
"top": 51.536,
"width": 44.002,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.083,
"textWidth": 1.6
},
{
"text": "Neural ",
"font": "serif",
"width": 6.162,
"textWidth": 5.679
},
{
"text": "Information ",
"font": "serif",
"width": 10.234,
"textWidth": 9.751
},
{
"text": "Processing ",
"font": "serif",
"width": 9.146,
"textWidth": 8.663
},
{
"text": "Systems, ",
"font": "serif",
"width": 7.585,
"textWidth": 7.096
},
{
"text": "2025. ",
"font": "serif",
"width": 4.946,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 58.212,
"top": 51.357,
"width": 29.884,
"height": 1.425,
"words": [
{
"text": "https://neurips.cc/virtual/2 ",
"font": "mono",
"width": 29.884,
"textWidth": 29.884
}
]
},
{
"left": 13.727,
"top": 52.967,
"width": 17.992,
"height": 1.425,
"words": [
{
"text": "025/poster/119124 ",
"font": "mono",
"width": 17.992,
"textWidth": 17.992
}
]
},
{
"left": 11.905,
"top": 55.82,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Ainslie, ",
"font": "serif",
"width": 6.787,
"textWidth": 6.327
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Lee-Thorp, ",
"font": "serif",
"width": 9.597,
"textWidth": 9.139
},
{
"text": "M. ",
"font": "serif",
"width": 2.695,
"textWidth": 2.236
},
{
"text": "de ",
"font": "serif",
"width": 2.495,
"textWidth": 2.037
},
{
"text": "Jong, ",
"font": "serif",
"width": 4.697,
"textWidth": 4.238
},
{
"text": "Y. ",
"font": "serif",
"width": 1.968,
"textWidth": 1.51
},
{
"text": "Zemlyanskiy, ",
"font": "serif",
"width": 11.537,
"textWidth": 11.077
},
{
"text": "F. ",
"font": "serif",
"width": 1.796,
"textWidth": 1.338
},
{
"text": "Lebrón, ",
"font": "serif",
"width": 6.845,
"textWidth": 6.385
},
{
"text": "and ",
"font": "serif",
"width": 3.623,
"textWidth": 3.165
},
{
"text": "S. ",
"font": "serif",
"width": 1.909,
"textWidth": 1.449
},
{
"text": "Sanghai. ",
"font": "serif",
"width": 7.739,
"textWidth": 7.077
},
{
"text": "Gqa: ",
"font": "serif",
"width": 4.445,
"textWidth": 3.875
},
{
"text": "Training ",
"font": "serif",
"width": 6.957,
"textWidth": 6.957
}
]
},
{
"left": 13.727,
"top": 57.429,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "generalized ",
"font": "serif",
"width": 10.15,
"textWidth": 9.651
},
{
"text": "multi-query ",
"font": "serif",
"width": 10.445,
"textWidth": 9.944
},
{
"text": "transformer ",
"font": "serif",
"width": 10.328,
"textWidth": 9.829
},
{
"text": "models ",
"font": "serif",
"width": 6.544,
"textWidth": 6.045
},
{
"text": "from ",
"font": "serif",
"width": 4.499,
"textWidth": 4.0
},
{
"text": "multi-head ",
"font": "serif",
"width": 9.657,
"textWidth": 9.158
},
{
"text": "checkpoints. ",
"font": "serif",
"width": 11.121,
"textWidth": 10.328
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.931,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 6.693,
"textWidth": 6.693
}
]
},
{
"left": 13.727,
"top": 59.039,
"width": 18.634,
"height": 1.296,
"words": [
{
"text": "arXiv:2305.13245, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 61.713,
"width": 58.855,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.501,
"textWidth": 1.047
},
{
"text": "Asher. ",
"font": "serif",
"width": 5.74,
"textWidth": 5.088
},
{
"text": "LeanExplore: ",
"font": "serif",
"width": 11.06,
"textWidth": 10.494
},
{
"text": "A ",
"font": "serif",
"width": 1.852,
"textWidth": 1.397
},
{
"text": "search ",
"font": "serif",
"width": 5.494,
"textWidth": 5.039
},
{
"text": "engine ",
"font": "serif",
"width": 5.787,
"textWidth": 5.332
},
{
"text": "for ",
"font": "serif",
"width": 2.744,
"textWidth": 2.288
},
{
"text": "Lean ",
"font": "serif",
"width": 4.355,
"textWidth": 3.901
},
{
"text": "4 ",
"font": "serif",
"width": 1.352,
"textWidth": 0.898
},
{
"text": "declarations, ",
"font": "serif",
"width": 10.584,
"textWidth": 10.127
},
{
"text": "2025. ",
"font": "serif",
"width": 4.693,
"textWidth": 4.041
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 71.215,
"top": 61.534,
"width": 16.933,
"height": 1.425,
"words": [
{
"text": "https://arxiv.or ",
"font": "mono",
"width": 16.933,
"textWidth": 16.933
}
]
},
{
"left": 13.727,
"top": 63.144,
"width": 16.933,
"height": 1.425,
"words": [
{
"text": "g/abs/2506.11085 ",
"font": "mono",
"width": 16.933,
"textWidth": 16.933
}
]
},
{
"left": 11.905,
"top": 65.997,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.998,
"textWidth": 1.51
},
{
"text": "Bai, ",
"font": "serif",
"width": 3.583,
"textWidth": 3.088
},
{
"text": "Y. ",
"font": "serif",
"width": 1.998,
"textWidth": 1.51
},
{
"text": "Bao, ",
"font": "serif",
"width": 4.06,
"textWidth": 3.565
},
{
"text": "G. ",
"font": "serif",
"width": 2.381,
"textWidth": 1.894
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "J. ",
"font": "serif",
"width": 1.576,
"textWidth": 1.09
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "N. ",
"font": "serif",
"width": 2.509,
"textWidth": 2.021
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "R. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.716
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "Y. ",
"font": "serif",
"width": 1.998,
"textWidth": 1.51
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "Y. ",
"font": "serif",
"width": 1.998,
"textWidth": 1.51
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "Y. ",
"font": "serif",
"width": 1.998,
"textWidth": 1.51
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "Z. ",
"font": "serif",
"width": 2.2,
"textWidth": 1.714
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.359,
"textWidth": 4.864
},
{
"text": "J. ",
"font": "serif",
"width": 1.578,
"textWidth": 1.09
},
{
"text": "Cui, ",
"font": "serif",
"width": 3.464,
"textWidth": 3.464
}
]
},
{
"left": 13.727,
"top": 67.606,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.443,
"textWidth": 1.985
},
{
"text": "Ding, ",
"font": "serif",
"width": 4.959,
"textWidth": 4.5
},
{
"text": "M. ",
"font": "serif",
"width": 2.653,
"textWidth": 2.194
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.426,
"textWidth": 4.968
},
{
"text": "A. ",
"font": "serif",
"width": 2.343,
"textWidth": 1.886
},
{
"text": "Du, ",
"font": "serif",
"width": 3.443,
"textWidth": 2.985
},
{
"text": "C. ",
"font": "serif",
"width": 2.218,
"textWidth": 1.759
},
{
"text": "Du, ",
"font": "serif",
"width": 3.443,
"textWidth": 2.985
},
{
"text": "D. ",
"font": "serif",
"width": 2.337,
"textWidth": 1.878
},
{
"text": "Du, ",
"font": "serif",
"width": 3.443,
"textWidth": 2.985
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.479
},
{
"text": "Du, ",
"font": "serif",
"width": 3.443,
"textWidth": 2.985
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.479
},
{
"text": "Fan, ",
"font": "serif",
"width": 3.922,
"textWidth": 3.463
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.479
},
{
"text": "Feng, ",
"font": "serif",
"width": 4.903,
"textWidth": 4.445
},
{
"text": "K. ",
"font": "serif",
"width": 2.247,
"textWidth": 1.79
},
{
"text": "Fu, ",
"font": "serif",
"width": 3.043,
"textWidth": 2.585
},
{
"text": "B. ",
"font": "serif",
"width": 2.038,
"textWidth": 1.579
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.236,
"textWidth": 3.777
},
{
"text": "H. ",
"font": "serif",
"width": 2.443,
"textWidth": 1.985
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.236,
"textWidth": 3.777
},
{
"text": "P. ",
"font": "serif",
"width": 1.789,
"textWidth": 1.33
},
{
"text": "Gao, ",
"font": "serif",
"width": 3.777,
"textWidth": 3.777
}
]
},
{
"left": 13.67,
"top": 69.215,
"width": 74.654,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.458
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.257,
"textWidth": 3.8
},
{
"text": "X. ",
"font": "serif",
"width": 2.15,
"textWidth": 1.692
},
{
"text": "Gu, ",
"font": "serif",
"width": 3.44,
"textWidth": 2.982
},
{
"text": "L. ",
"font": "serif",
"width": 2.047,
"textWidth": 1.589
},
{
"text": "Guan, ",
"font": "serif",
"width": 5.437,
"textWidth": 4.979
},
{
"text": "H. ",
"font": "serif",
"width": 2.454,
"textWidth": 1.997
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.448,
"textWidth": 3.99
},
{
"text": "J. ",
"font": "serif",
"width": 1.534,
"textWidth": 1.076
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.448,
"textWidth": 3.99
},
{
"text": "H. ",
"font": "serif",
"width": 2.454,
"textWidth": 1.997
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.567,
"textWidth": 3.11
},
{
"text": "X. ",
"font": "serif",
"width": 2.15,
"textWidth": 1.692
},
{
"text": "Hao, ",
"font": "serif",
"width": 4.385,
"textWidth": 3.927
},
{
"text": "T. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.458
},
{
"text": "He, ",
"font": "serif",
"width": 3.338,
"textWidth": 2.881
},
{
"text": "W. ",
"font": "serif",
"width": 2.597,
"textWidth": 2.139
},
{
"text": "He, ",
"font": "serif",
"width": 3.338,
"textWidth": 2.881
},
{
"text": "W. ",
"font": "serif",
"width": 2.595,
"textWidth": 2.137
},
{
"text": "He, ",
"font": "serif",
"width": 3.338,
"textWidth": 2.881
},
{
"text": "C. ",
"font": "serif",
"width": 2.227,
"textWidth": 1.77
},
{
"text": "Hong, ",
"font": "serif",
"width": 5.564,
"textWidth": 5.104
},
{
"text": "Y. ",
"font": "serif",
"width": 1.945,
"textWidth": 1.487
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.11,
"textWidth": 3.11
}
]
},
{
"left": 13.727,
"top": 70.825,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "Z. ",
"font": "serif",
"width": 2.174,
"textWidth": 1.714
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.611,
"textWidth": 3.15
},
{
"text": "W. ",
"font": "serif",
"width": 2.628,
"textWidth": 2.166
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.671,
"textWidth": 6.212
},
{
"text": "Z. ",
"font": "serif",
"width": 2.174,
"textWidth": 1.714
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.673,
"textWidth": 6.212
},
{
"text": "Z. ",
"font": "serif",
"width": 2.174,
"textWidth": 1.714
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.671,
"textWidth": 6.212
},
{
"text": "T. ",
"font": "serif",
"width": 1.938,
"textWidth": 1.479
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.155,
"textWidth": 4.696
},
{
"text": "Z. ",
"font": "serif",
"width": 2.174,
"textWidth": 1.714
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.157,
"textWidth": 4.696
},
{
"text": "X. ",
"font": "serif",
"width": 2.174,
"textWidth": 1.714
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.181,
"textWidth": 2.722
},
{
"text": "Y. ",
"font": "serif",
"width": 1.972,
"textWidth": 1.512
},
{
"text": "Kang, ",
"font": "serif",
"width": 5.346,
"textWidth": 4.886
},
{
"text": "G. ",
"font": "serif",
"width": 2.353,
"textWidth": 1.894
},
{
"text": "Lai, ",
"font": "serif",
"width": 3.55,
"textWidth": 3.088
},
{
"text": "C. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.793
},
{
"text": "Li, ",
"font": "serif",
"width": 2.613,
"textWidth": 2.153
},
{
"text": "F. ",
"font": "serif",
"width": 1.798,
"textWidth": 1.338
},
{
"text": "Li, ",
"font": "serif",
"width": 2.153,
"textWidth": 2.153
}
]
},
{
"left": 13.727,
"top": 72.434,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.457,
"textWidth": 2.001
},
{
"text": "Li, ",
"font": "serif",
"width": 2.587,
"textWidth": 2.13
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Li, ",
"font": "serif",
"width": 2.589,
"textWidth": 2.13
},
{
"text": "W. ",
"font": "serif",
"width": 2.598,
"textWidth": 2.141
},
{
"text": "Li, ",
"font": "serif",
"width": 2.589,
"textWidth": 2.13
},
{
"text": "Y. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.492
},
{
"text": "Li, ",
"font": "serif",
"width": 2.587,
"textWidth": 2.13
},
{
"text": "Y. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.492
},
{
"text": "Li, ",
"font": "serif",
"width": 2.587,
"textWidth": 2.13
},
{
"text": "Z. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "Li, ",
"font": "serif",
"width": 2.587,
"textWidth": 2.13
},
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.696
},
{
"text": "Li, ",
"font": "serif",
"width": 2.587,
"textWidth": 2.13
},
{
"text": "H. ",
"font": "serif",
"width": 2.457,
"textWidth": 2.001
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.663,
"textWidth": 3.206
},
{
"text": "X. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.663,
"textWidth": 3.206
},
{
"text": "Z. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.665,
"textWidth": 3.206
},
{
"text": "C. ",
"font": "serif",
"width": 2.23,
"textWidth": 1.773
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.702,
"textWidth": 3.245
},
{
"text": "C. ",
"font": "serif",
"width": 2.23,
"textWidth": 1.773
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.702,
"textWidth": 3.245
},
{
"text": "H. ",
"font": "serif",
"width": 2.457,
"textWidth": 2.001
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.702,
"textWidth": 3.245
},
{
"text": "J. ",
"font": "serif",
"width": 1.535,
"textWidth": 1.078
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.245,
"textWidth": 3.245
}
]
},
{
"left": 13.696,
"top": 74.044,
"width": 74.628,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.538,
"textWidth": 1.08
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.252
},
{
"text": "L. ",
"font": "serif",
"width": 2.053,
"textWidth": 1.595
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "S. ",
"font": "serif",
"width": 1.892,
"textWidth": 1.436
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "T. ",
"font": "serif",
"width": 1.921,
"textWidth": 1.464
},
{
"text": "Y. ",
"font": "serif",
"width": 1.951,
"textWidth": 1.495
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "T. ",
"font": "serif",
"width": 1.921,
"textWidth": 1.464
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.252
},
{
"text": "W. ",
"font": "serif",
"width": 2.605,
"textWidth": 2.147
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "Y. ",
"font": "serif",
"width": 1.953,
"textWidth": 1.495
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.252
},
{
"text": "Y. ",
"font": "serif",
"width": 1.953,
"textWidth": 1.495
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "Y. ",
"font": "serif",
"width": 1.953,
"textWidth": 1.495
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.252
},
{
"text": "Y. ",
"font": "serif",
"width": 1.953,
"textWidth": 1.497
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.252
},
{
"text": "Z. ",
"font": "serif",
"width": 2.157,
"textWidth": 1.699
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.252
},
{
"text": "E. ",
"font": "serif",
"width": 2.053,
"textWidth": 1.595
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.17,
"textWidth": 2.712
},
{
"text": "L. ",
"font": "serif",
"width": 2.051,
"textWidth": 1.595
},
{
"text": "Lu, ",
"font": "serif",
"width": 2.712,
"textWidth": 2.712
}
]
},
{
"left": 13.727,
"top": 75.653,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.88,
"textWidth": 1.423
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.572,
"textWidth": 3.114
},
{
"text": "X. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.684
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.572,
"textWidth": 3.114
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.48
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.572,
"textWidth": 3.114
},
{
"text": "S. ",
"font": "serif",
"width": 1.882,
"textWidth": 1.423
},
{
"text": "Mao, ",
"font": "serif",
"width": 4.574,
"textWidth": 4.117
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.071
},
{
"text": "Mei, ",
"font": "serif",
"width": 4.067,
"textWidth": 3.61
},
{
"text": "X. ",
"font": "serif",
"width": 2.141,
"textWidth": 1.684
},
{
"text": "Men, ",
"font": "serif",
"width": 4.604,
"textWidth": 4.144
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.48
},
{
"text": "Miao, ",
"font": "serif",
"width": 5.109,
"textWidth": 4.651
},
{
"text": "S. ",
"font": "serif",
"width": 1.88,
"textWidth": 1.423
},
{
"text": "Pan, ",
"font": "serif",
"width": 4.014,
"textWidth": 3.555
},
{
"text": "Y. ",
"font": "serif",
"width": 1.937,
"textWidth": 1.48
},
{
"text": "Peng, ",
"font": "serif",
"width": 4.995,
"textWidth": 4.537
},
{
"text": "R. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.686
},
{
"text": "Qin, ",
"font": "serif",
"width": 3.965,
"textWidth": 3.505
},
{
"text": "B. ",
"font": "serif",
"width": 2.038,
"textWidth": 1.581
},
{
"text": "Qu, ",
"font": "serif",
"width": 3.467,
"textWidth": 3.01
},
{
"text": "Z. ",
"font": "serif",
"width": 2.141,
"textWidth": 1.684
},
{
"text": "Shang, ",
"font": "serif",
"width": 5.5,
"textWidth": 5.5
}
]
},
{
"left": 13.727,
"top": 77.262,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.019,
"textWidth": 1.561
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.444,
"textWidth": 2.985
},
{
"text": "S. ",
"font": "serif",
"width": 1.861,
"textWidth": 1.405
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.445,
"textWidth": 2.987
},
{
"text": "F. ",
"font": "serif",
"width": 1.749,
"textWidth": 1.292
},
{
"text": "Song, ",
"font": "serif",
"width": 4.915,
"textWidth": 4.457
},
{
"text": "J. ",
"font": "serif",
"width": 1.513,
"textWidth": 1.057
},
{
"text": "Su, ",
"font": "serif",
"width": 2.956,
"textWidth": 2.498
},
{
"text": "Z. ",
"font": "serif",
"width": 2.119,
"textWidth": 1.662
},
{
"text": "Su, ",
"font": "serif",
"width": 2.956,
"textWidth": 2.498
},
{
"text": "X. ",
"font": "serif",
"width": 2.119,
"textWidth": 1.662
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.011,
"textWidth": 3.552
},
{
"text": "F. ",
"font": "serif",
"width": 1.749,
"textWidth": 1.292
},
{
"text": "Sung, ",
"font": "serif",
"width": 5.019,
"textWidth": 4.56
},
{
"text": "H. ",
"font": "serif",
"width": 2.418,
"textWidth": 1.961
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.823,
"textWidth": 4.364
},
{
"text": "J. ",
"font": "serif",
"width": 1.513,
"textWidth": 1.057
},
{
"text": "Tao, ",
"font": "serif",
"width": 3.75,
"textWidth": 3.291
},
{
"text": "Q. ",
"font": "serif",
"width": 2.334,
"textWidth": 1.878
},
{
"text": "Teng, ",
"font": "serif",
"width": 4.785,
"textWidth": 4.326
},
{
"text": "C. ",
"font": "serif",
"width": 2.195,
"textWidth": 1.738
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.524,
"textWidth": 5.066
},
{
"text": "D. ",
"font": "serif",
"width": 2.313,
"textWidth": 1.856
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.066,
"textWidth": 5.066
}
]
},
{
"left": 13.727,
"top": 78.872,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "F. ",
"font": "serif",
"width": 1.864,
"textWidth": 1.338
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.77,
"textWidth": 5.228
},
{
"text": "and ",
"font": "serif",
"width": 3.69,
"textWidth": 3.165
},
{
"text": "H. ",
"font": "serif",
"width": 2.546,
"textWidth": 2.023
},
{
"text": "Wang. ",
"font": "serif",
"width": 6.103,
"textWidth": 5.23
},
{
"text": "Kimi ",
"font": "serif",
"width": 4.621,
"textWidth": 4.096
},
{
"text": "K2: ",
"font": "serif",
"width": 3.46,
"textWidth": 2.759
},
{
"text": "open ",
"font": "serif",
"width": 4.651,
"textWidth": 4.127
},
{
"text": "agentic ",
"font": "serif",
"width": 6.466,
"textWidth": 5.941
},
{
"text": "intelligence. ",
"font": "serif",
"width": 10.856,
"textWidth": 9.984
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.741,
"textWidth": 5.216
},
{
"text": "abs/2507.20534, ",
"font": "serif",
"width": 13.78,
"textWidth": 13.24
},
{
"text": "2025a. ",
"font": "serif",
"width": 5.14,
"textWidth": 5.14
}
]
},
{
"left": 13.727,
"top": 80.481,
"width": 3.77,
"height": 1.296,
"words": [
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 17.954,
"top": 80.303,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2507.20534 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 83.156,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.929,
"textWidth": 1.471
},
{
"text": "Bai, ",
"font": "serif",
"width": 3.475,
"textWidth": 3.015
},
{
"text": "S. ",
"font": "serif",
"width": 1.873,
"textWidth": 1.415
},
{
"text": "Tu, ",
"font": "serif",
"width": 2.972,
"textWidth": 2.512
},
{
"text": "J. ",
"font": "serif",
"width": 1.522,
"textWidth": 1.064
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.186,
"textWidth": 5.726
},
{
"text": "H. ",
"font": "serif",
"width": 2.433,
"textWidth": 1.975
},
{
"text": "Peng, ",
"font": "serif",
"width": 4.97,
"textWidth": 4.51
},
{
"text": "X. ",
"font": "serif",
"width": 2.134,
"textWidth": 1.674
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.562,
"textWidth": 5.102
},
{
"text": "X. ",
"font": "serif",
"width": 2.132,
"textWidth": 1.674
},
{
"text": "Lv, ",
"font": "serif",
"width": 2.86,
"textWidth": 2.4
},
{
"text": "S. ",
"font": "serif",
"width": 1.873,
"textWidth": 1.415
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.12,
"textWidth": 3.66
},
{
"text": "J. ",
"font": "serif",
"width": 1.522,
"textWidth": 1.064
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.234,
"textWidth": 2.774
},
{
"text": "L. ",
"font": "serif",
"width": 2.032,
"textWidth": 1.572
},
{
"text": "Hou, ",
"font": "serif",
"width": 4.53,
"textWidth": 4.072
},
{
"text": "Y. ",
"font": "serif",
"width": 1.929,
"textWidth": 1.471
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.403,
"textWidth": 4.943
},
{
"text": "et ",
"font": "serif",
"width": 1.929,
"textWidth": 1.469
},
{
"text": "al. ",
"font": "serif",
"width": 2.563,
"textWidth": 1.9
},
{
"text": "Longbench ",
"font": "serif",
"width": 9.008,
"textWidth": 9.008
}
]
},
{
"left": 13.676,
"top": 84.765,
"width": 74.419,
"height": 1.296,
"words": [
{
"text": "v2: ",
"font": "serif",
"width": 3.189,
"textWidth": 2.458
},
{
"text": "Towards ",
"font": "serif",
"width": 7.671,
"textWidth": 7.131
},
{
"text": "deeper ",
"font": "serif",
"width": 6.23,
"textWidth": 5.69
},
{
"text": "understanding ",
"font": "serif",
"width": 12.769,
"textWidth": 12.229
},
{
"text": "and ",
"font": "serif",
"width": 3.705,
"textWidth": 3.165
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.647,
"textWidth": 8.107
},
{
"text": "on ",
"font": "serif",
"width": 2.649,
"textWidth": 2.109
},
{
"text": "realistic ",
"font": "serif",
"width": 6.939,
"textWidth": 6.398
},
{
"text": "long-context ",
"font": "serif",
"width": 10.87,
"textWidth": 10.331
},
{
"text": "multitasks. ",
"font": "serif",
"width": 10.032,
"textWidth": 9.111
},
{
"text": "In ",
"font": "serif",
"width": 1.718,
"textWidth": 1.718
}
]
},
{
"left": 13.727,
"top": 86.374,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Proceedings ",
"font": "serif",
"width": 10.5,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.227,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.158,
"textWidth": 2.542
},
{
"text": "63rd ",
"font": "serif",
"width": 4.26,
"textWidth": 3.643
},
{
"text": "Annual ",
"font": "serif",
"width": 6.73,
"textWidth": 6.114
},
{
"text": "Meeting ",
"font": "serif",
"width": 7.322,
"textWidth": 6.706
},
{
"text": "of ",
"font": "serif",
"width": 2.227,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.158,
"textWidth": 2.542
},
{
"text": "Association ",
"font": "serif",
"width": 10.058,
"textWidth": 9.442
},
{
"text": "for ",
"font": "serif",
"width": 2.951,
"textWidth": 2.335
},
{
"text": "Computational ",
"font": "serif",
"width": 12.902,
"textWidth": 12.286
},
{
"text": "Linguistics ",
"font": "serif",
"width": 8.875,
"textWidth": 8.875
}
]
},
{
"left": 13.727,
"top": 87.984,
"width": 40.409,
"height": 1.296,
"words": [
{
"text": "(Volume ",
"font": "serif",
"width": 7.323,
"textWidth": 6.865
},
{
"text": "1: ",
"font": "serif",
"width": 1.942,
"textWidth": 1.374
},
{
"text": "Long ",
"font": "serif",
"width": 4.664,
"textWidth": 4.206
},
{
"text": "Papers), ",
"font": "serif",
"width": 7.03,
"textWidth": 6.572
},
{
"text": "pages ",
"font": "serif",
"width": 5.15,
"textWidth": 4.691
},
{
"text": "3639-3664, ",
"font": "serif",
"width": 9.163,
"textWidth": 8.705
},
{
"text": "2025b. ",
"font": "serif",
"width": 5.137,
"textWidth": 5.137
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "45 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"46": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.613,
"textWidth": 2.157
},
{
"text": "Balunovi ́ ",
"font": "serif",
"width": 7.897,
"textWidth": 7.897
},
{
"text": "c, ",
"font": "serif",
"width": 1.71,
"textWidth": 1.251
},
{
"text": "J. ",
"font": "serif",
"width": 1.508,
"textWidth": 1.051
},
{
"text": "Dekoninck, ",
"font": "serif",
"width": 9.581,
"textWidth": 9.125
},
{
"text": "I. ",
"font": "serif",
"width": 1.515,
"textWidth": 1.059
},
{
"text": "Petrov, ",
"font": "serif",
"width": 5.929,
"textWidth": 5.471
},
{
"text": "N. ",
"font": "serif",
"width": 2.406,
"textWidth": 1.949
},
{
"text": "Jovanovi ́ ",
"font": "serif",
"width": 7.787,
"textWidth": 7.787
},
{
"text": "c, ",
"font": "serif",
"width": 1.708,
"textWidth": 1.251
},
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.053
},
{
"text": "M. ",
"font": "serif",
"width": 2.613,
"textWidth": 2.157
},
{
"text": "Vechev. ",
"font": "serif",
"width": 6.598,
"textWidth": 5.942
},
{
"text": "Matharena: ",
"font": "serif",
"width": 9.66,
"textWidth": 9.092
},
{
"text": "Evaluating ",
"font": "serif",
"width": 9.157,
"textWidth": 8.701
},
{
"text": "llms ",
"font": "serif",
"width": 3.406,
"textWidth": 3.406
}
]
},
{
"left": 13.727,
"top": 12.082,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "on ",
"font": "serif",
"width": 2.636,
"textWidth": 2.109
},
{
"text": "uncontaminated ",
"font": "serif",
"width": 14.087,
"textWidth": 13.562
},
{
"text": "math ",
"font": "serif",
"width": 4.81,
"textWidth": 4.282
},
{
"text": "competitions. ",
"font": "serif",
"width": 12.074,
"textWidth": 11.195
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.41,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.137,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.068,
"textWidth": 2.542
},
{
"text": "Neural ",
"font": "serif",
"width": 6.206,
"textWidth": 5.679
},
{
"text": "Information ",
"font": "serif",
"width": 10.278,
"textWidth": 9.751
},
{
"text": "Processing ",
"font": "serif",
"width": 8.663,
"textWidth": 8.663
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 39.659,
"height": 1.296,
"words": [
{
"text": "Systems ",
"font": "serif",
"width": 7.087,
"textWidth": 6.629
},
{
"text": "Track ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "Datasets ",
"font": "serif",
"width": 7.336,
"textWidth": 6.878
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Benchmark, ",
"font": "serif",
"width": 10.138,
"textWidth": 9.68
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 16.23,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.155,
"textWidth": 1.722
},
{
"text": "Bandi, ",
"font": "serif",
"width": 5.55,
"textWidth": 5.11
},
{
"text": "B. ",
"font": "serif",
"width": 1.979,
"textWidth": 1.546
},
{
"text": "Hertzberg, ",
"font": "serif",
"width": 8.964,
"textWidth": 8.525
},
{
"text": "G. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.819
},
{
"text": "Boo, ",
"font": "serif",
"width": 3.948,
"textWidth": 3.508
},
{
"text": "T. ",
"font": "serif",
"width": 1.848,
"textWidth": 1.413
},
{
"text": "Polakam, ",
"font": "serif",
"width": 7.856,
"textWidth": 7.417
},
{
"text": "J. ",
"font": "serif",
"width": 1.48,
"textWidth": 1.047
},
{
"text": "Da, ",
"font": "serif",
"width": 3.175,
"textWidth": 2.737
},
{
"text": "S. ",
"font": "serif",
"width": 1.826,
"textWidth": 1.392
},
{
"text": "Hassaan, ",
"font": "serif",
"width": 7.644,
"textWidth": 7.205
},
{
"text": "M. ",
"font": "serif",
"width": 2.583,
"textWidth": 2.148
},
{
"text": "Sharma, ",
"font": "serif",
"width": 6.967,
"textWidth": 6.528
},
{
"text": "A. ",
"font": "serif",
"width": 2.279,
"textWidth": 1.846
},
{
"text": "Park, ",
"font": "serif",
"width": 4.578,
"textWidth": 4.14
},
{
"text": "E. ",
"font": "serif",
"width": 1.981,
"textWidth": 1.546
},
{
"text": "Hernandez, ",
"font": "serif",
"width": 9.357,
"textWidth": 9.357
}
]
},
{
"left": 13.727,
"top": 17.839,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.423,
"textWidth": 1.914
},
{
"text": "Rambado, ",
"font": "serif",
"width": 8.952,
"textWidth": 8.432
},
{
"text": "et ",
"font": "serif",
"width": 2.013,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.767,
"textWidth": 1.946
},
{
"text": "Mcp-atlas: ",
"font": "serif",
"width": 9.294,
"textWidth": 8.625
},
{
"text": "A ",
"font": "serif",
"width": 1.963,
"textWidth": 1.454
},
{
"text": "large-scale ",
"font": "serif",
"width": 9.245,
"textWidth": 8.737
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.804,
"textWidth": 9.298
},
{
"text": "for ",
"font": "serif",
"width": 2.89,
"textWidth": 2.381
},
{
"text": "tool-use ",
"font": "serif",
"width": 7.141,
"textWidth": 6.632
},
{
"text": "competency ",
"font": "serif",
"width": 10.49,
"textWidth": 9.982
},
{
"text": "with ",
"font": "serif",
"width": 4.307,
"textWidth": 3.8
},
{
"text": "real ",
"font": "serif",
"width": 3.081,
"textWidth": 3.081
}
]
},
{
"left": 13.727,
"top": 19.449,
"width": 41.576,
"height": 1.296,
"words": [
{
"text": "mcp ",
"font": "serif",
"width": 3.991,
"textWidth": 3.533
},
{
"text": "servers. ",
"font": "serif",
"width": 6.911,
"textWidth": 6.251
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2602.00933, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2026. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 21.987,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "F. ",
"font": "serif",
"width": 2.086,
"textWidth": 1.338
},
{
"text": "Bellard. ",
"font": "serif",
"width": 7.961,
"textWidth": 6.374
},
{
"text": "Qemu, ",
"font": "serif",
"width": 6.43,
"textWidth": 5.61
},
{
"text": "a ",
"font": "serif",
"width": 1.682,
"textWidth": 0.935
},
{
"text": "fast ",
"font": "serif",
"width": 3.707,
"textWidth": 2.959
},
{
"text": "and ",
"font": "serif",
"width": 3.912,
"textWidth": 3.165
},
{
"text": "portable ",
"font": "serif",
"width": 7.647,
"textWidth": 6.899
},
{
"text": "dynamic ",
"font": "serif",
"width": 7.978,
"textWidth": 7.228
},
{
"text": "translator. ",
"font": "serif",
"width": 9.928,
"textWidth": 8.341
},
{
"text": "In ",
"font": "serif",
"width": 2.466,
"textWidth": 1.718
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.631,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.359,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.29,
"textWidth": 2.542
},
{
"text": "Annual ",
"font": "serif",
"width": 6.114,
"textWidth": 6.114
}
]
},
{
"left": 13.727,
"top": 23.597,
"width": 74.428,
"height": 1.296,
"words": [
{
"text": "Conference ",
"font": "serif",
"width": 9.55,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.435,
"textWidth": 2.067
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.238,
"textWidth": 6.87
},
{
"text": "Annual ",
"font": "serif",
"width": 6.482,
"textWidth": 6.114
},
{
"text": "Technical ",
"font": "serif",
"width": 7.944,
"textWidth": 7.576
},
{
"text": "Conference, ",
"font": "serif",
"width": 10.016,
"textWidth": 9.63
},
{
"text": "ATEC ",
"font": "serif",
"width": 5.101,
"textWidth": 4.732
},
{
"text": "’05, ",
"font": "serif",
"width": 3.13,
"textWidth": 2.744
},
{
"text": "page ",
"font": "serif",
"width": 4.204,
"textWidth": 3.836
},
{
"text": "41, ",
"font": "serif",
"width": 2.631,
"textWidth": 2.245
},
{
"text": "USA, ",
"font": "serif",
"width": 4.555,
"textWidth": 4.186
},
{
"text": "2005. ",
"font": "serif",
"width": 4.409,
"textWidth": 4.041
},
{
"text": "USENIX ",
"font": "serif",
"width": 6.733,
"textWidth": 6.733
}
]
},
{
"left": 13.656,
"top": 25.206,
"width": 9.9,
"height": 1.296,
"words": [
{
"text": "Association. ",
"font": "serif",
"width": 9.9,
"textWidth": 9.9
}
]
},
{
"left": 11.905,
"top": 27.745,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "I. ",
"font": "serif",
"width": 1.524,
"textWidth": 1.066
},
{
"text": "Bello, ",
"font": "serif",
"width": 4.94,
"textWidth": 4.482
},
{
"text": "H. ",
"font": "serif",
"width": 2.423,
"textWidth": 1.965
},
{
"text": "Pham, ",
"font": "serif",
"width": 5.579,
"textWidth": 5.12
},
{
"text": "Q. ",
"font": "serif",
"width": 2.339,
"textWidth": 1.881
},
{
"text": "V. ",
"font": "serif",
"width": 1.987,
"textWidth": 1.529
},
{
"text": "Le, ",
"font": "serif",
"width": 2.891,
"textWidth": 2.434
},
{
"text": "M. ",
"font": "serif",
"width": 2.63,
"textWidth": 2.172
},
{
"text": "Norouzi, ",
"font": "serif",
"width": 7.62,
"textWidth": 7.163
},
{
"text": "and ",
"font": "serif",
"width": 3.532,
"textWidth": 3.075
},
{
"text": "S. ",
"font": "serif",
"width": 1.865,
"textWidth": 1.407
},
{
"text": "Bengio. ",
"font": "serif",
"width": 6.68,
"textWidth": 6.02
},
{
"text": "Neural ",
"font": "serif",
"width": 6.086,
"textWidth": 5.628
},
{
"text": "combinatorial ",
"font": "serif",
"width": 11.623,
"textWidth": 11.165
},
{
"text": "optimization ",
"font": "serif",
"width": 10.779,
"textWidth": 10.321
},
{
"text": "with ",
"font": "serif",
"width": 3.692,
"textWidth": 3.692
}
]
},
{
"left": 13.727,
"top": 29.354,
"width": 27.986,
"height": 1.296,
"words": [
{
"text": "reinforcement ",
"font": "serif",
"width": 11.78,
"textWidth": 11.322
},
{
"text": "learning, ",
"font": "serif",
"width": 7.653,
"textWidth": 7.195
},
{
"text": "2017. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 42.17,
"top": 29.175,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://openreview.net/forum?id=rJY3vK9eg ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 31.893,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.594,
"textWidth": 1.09
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.38,
"textWidth": 4.864
},
{
"text": "W. ",
"font": "serif",
"width": 2.671,
"textWidth": 2.168
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.38,
"textWidth": 4.864
},
{
"text": "J. ",
"font": "serif",
"width": 1.594,
"textWidth": 1.09
},
{
"text": "Du, ",
"font": "serif",
"width": 3.557,
"textWidth": 3.041
},
{
"text": "J. ",
"font": "serif",
"width": 1.594,
"textWidth": 1.09
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.666,
"textWidth": 3.15
},
{
"text": "Z. ",
"font": "serif",
"width": 2.219,
"textWidth": 1.714
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.212,
"textWidth": 4.696
},
{
"text": "A. ",
"font": "serif",
"width": 2.426,
"textWidth": 1.922
},
{
"text": "Jie, ",
"font": "serif",
"width": 3.045,
"textWidth": 2.529
},
{
"text": "X. ",
"font": "serif",
"width": 2.219,
"textWidth": 1.714
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.238,
"textWidth": 2.722
},
{
"text": "X. ",
"font": "serif",
"width": 2.217,
"textWidth": 1.714
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.238,
"textWidth": 2.722
},
{
"text": "C. ",
"font": "serif",
"width": 2.297,
"textWidth": 1.793
},
{
"text": "Li, ",
"font": "serif",
"width": 2.669,
"textWidth": 2.153
},
{
"text": "W. ",
"font": "serif",
"width": 2.673,
"textWidth": 2.168
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.596,
"textWidth": 3.081
},
{
"text": "Z. ",
"font": "serif",
"width": 2.219,
"textWidth": 1.714
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.746,
"textWidth": 5.23
},
{
"text": "M. ",
"font": "serif",
"width": 2.738,
"textWidth": 2.236
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.23,
"textWidth": 5.23
}
]
},
{
"left": 13.727,
"top": 33.502,
"width": 74.688,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.449,
"textWidth": 1.793
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.312,
"textWidth": 3.608
},
{
"text": "S. ",
"font": "serif",
"width": 2.103,
"textWidth": 1.449
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.312,
"textWidth": 3.608
},
{
"text": "H. ",
"font": "serif",
"width": 2.679,
"textWidth": 2.023
},
{
"text": "Xin, ",
"font": "serif",
"width": 4.051,
"textWidth": 3.346
},
{
"text": "F. ",
"font": "serif",
"width": 1.995,
"textWidth": 1.338
},
{
"text": "Yang, ",
"font": "serif",
"width": 5.312,
"textWidth": 4.608
},
{
"text": "W. ",
"font": "serif",
"width": 2.823,
"textWidth": 2.168
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.554,
"textWidth": 3.849
},
{
"text": "Z. ",
"font": "serif",
"width": 2.37,
"textWidth": 1.714
},
{
"text": "Yuan, ",
"font": "serif",
"width": 5.404,
"textWidth": 4.699
},
{
"text": "T. ",
"font": "serif",
"width": 2.133,
"textWidth": 1.477
},
{
"text": "Zhan, ",
"font": "serif",
"width": 5.529,
"textWidth": 4.825
},
{
"text": "Z. ",
"font": "serif",
"width": 2.37,
"textWidth": 1.714
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.529,
"textWidth": 5.825
},
{
"text": "T. ",
"font": "serif",
"width": 2.133,
"textWidth": 1.479
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.655,
"textWidth": 4.95
},
{
"text": "and ",
"font": "serif",
"width": 3.821,
"textWidth": 3.165
},
{
"text": "T. ",
"font": "serif",
"width": 2.133,
"textWidth": 1.479
},
{
"text": "H. ",
"font": "serif",
"width": 2.023,
"textWidth": 2.023
}
]
},
{
"left": 13.727,
"top": 35.112,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "Zhu. ",
"font": "serif",
"width": 4.834,
"textWidth": 3.929
},
{
"text": "Seed-prover ",
"font": "serif",
"width": 10.61,
"textWidth": 10.075
},
{
"text": "1.5: ",
"font": "serif",
"width": 3.525,
"textWidth": 2.804
},
{
"text": "Mastering ",
"font": "serif",
"width": 8.944,
"textWidth": 8.41
},
{
"text": "undergraduate-level ",
"font": "serif",
"width": 17.47,
"textWidth": 16.936
},
{
"text": "theorem ",
"font": "serif",
"width": 7.399,
"textWidth": 6.864
},
{
"text": "proving ",
"font": "serif",
"width": 7.113,
"textWidth": 6.578
},
{
"text": "via ",
"font": "serif",
"width": 3.069,
"textWidth": 2.535
},
{
"text": "learning ",
"font": "serif",
"width": 7.404,
"textWidth": 6.87
},
{
"text": "from ",
"font": "serif",
"width": 4.0,
"textWidth": 4.0
}
]
},
{
"left": 13.727,
"top": 36.721,
"width": 18.165,
"height": 1.296,
"words": [
{
"text": "experience, ",
"font": "serif",
"width": 9.612,
"textWidth": 9.154
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 32.349,
"top": 36.542,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2512.17260 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 39.26,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.69,
"textWidth": 2.231
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.313,
"textWidth": 4.854
},
{
"text": "J. ",
"font": "serif",
"width": 1.547,
"textWidth": 1.088
},
{
"text": "Tworek, ",
"font": "serif",
"width": 7.112,
"textWidth": 6.653
},
{
"text": "H. ",
"font": "serif",
"width": 2.478,
"textWidth": 2.019
},
{
"text": "Jun, ",
"font": "serif",
"width": 3.757,
"textWidth": 3.298
},
{
"text": "Q. ",
"font": "serif",
"width": 2.392,
"textWidth": 1.933
},
{
"text": "Yuan, ",
"font": "serif",
"width": 5.147,
"textWidth": 4.688
},
{
"text": "H. ",
"font": "serif",
"width": 2.478,
"textWidth": 2.019
},
{
"text": "P. ",
"font": "serif",
"width": 1.815,
"textWidth": 1.356
},
{
"text": "de ",
"font": "serif",
"width": 2.492,
"textWidth": 2.034
},
{
"text": "Oliveira ",
"font": "serif",
"width": 7.171,
"textWidth": 6.712
},
{
"text": "Pinto, ",
"font": "serif",
"width": 5.308,
"textWidth": 4.849
},
{
"text": "J. ",
"font": "serif",
"width": 1.547,
"textWidth": 1.088
},
{
"text": "Kaplan, ",
"font": "serif",
"width": 6.893,
"textWidth": 6.434
},
{
"text": "H. ",
"font": "serif",
"width": 2.478,
"textWidth": 2.019
},
{
"text": "Edwards, ",
"font": "serif",
"width": 8.328,
"textWidth": 7.871
},
{
"text": "Y. ",
"font": "serif",
"width": 1.966,
"textWidth": 1.507
},
{
"text": "Burda, ",
"font": "serif",
"width": 5.507,
"textWidth": 5.507
}
]
},
{
"left": 13.727,
"top": 40.869,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.326,
"textWidth": 1.941
},
{
"text": "Joseph, ",
"font": "serif",
"width": 6.173,
"textWidth": 5.774
},
{
"text": "G. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.819
},
{
"text": "Brockman, ",
"font": "serif",
"width": 8.928,
"textWidth": 8.529
},
{
"text": "A. ",
"font": "serif",
"width": 2.231,
"textWidth": 1.846
},
{
"text": "Ray, ",
"font": "serif",
"width": 3.741,
"textWidth": 3.342
},
{
"text": "R. ",
"font": "serif",
"width": 2.033,
"textWidth": 1.649
},
{
"text": "Puri, ",
"font": "serif",
"width": 4.247,
"textWidth": 3.849
},
{
"text": "G. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.819
},
{
"text": "Krueger, ",
"font": "serif",
"width": 7.222,
"textWidth": 6.823
},
{
"text": "M. ",
"font": "serif",
"width": 2.532,
"textWidth": 2.148
},
{
"text": "Petrov, ",
"font": "serif",
"width": 5.848,
"textWidth": 5.449
},
{
"text": "H. ",
"font": "serif",
"width": 2.328,
"textWidth": 1.943
},
{
"text": "Khlaaf, ",
"font": "serif",
"width": 6.113,
"textWidth": 5.715
},
{
"text": "G. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.819
},
{
"text": "Sastry, ",
"font": "serif",
"width": 5.541,
"textWidth": 5.142
},
{
"text": "P. ",
"font": "serif",
"width": 1.681,
"textWidth": 1.297
},
{
"text": "Mishkin, ",
"font": "serif",
"width": 7.044,
"textWidth": 7.044
}
]
},
{
"left": 13.727,
"top": 42.478,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.079,
"textWidth": 1.609
},
{
"text": "Chan, ",
"font": "serif",
"width": 5.374,
"textWidth": 4.903
},
{
"text": "S. ",
"font": "serif",
"width": 1.918,
"textWidth": 1.449
},
{
"text": "Gray, ",
"font": "serif",
"width": 4.875,
"textWidth": 4.402
},
{
"text": "N. ",
"font": "serif",
"width": 2.49,
"textWidth": 2.021
},
{
"text": "Ryder, ",
"font": "serif",
"width": 5.798,
"textWidth": 5.327
},
{
"text": "M. ",
"font": "serif",
"width": 2.705,
"textWidth": 2.236
},
{
"text": "Pavlov, ",
"font": "serif",
"width": 6.477,
"textWidth": 6.004
},
{
"text": "A. ",
"font": "serif",
"width": 2.389,
"textWidth": 1.922
},
{
"text": "Power, ",
"font": "serif",
"width": 6.146,
"textWidth": 5.675
},
{
"text": "L. ",
"font": "serif",
"width": 2.079,
"textWidth": 1.609
},
{
"text": "Kaiser, ",
"font": "serif",
"width": 6.066,
"textWidth": 5.595
},
{
"text": "M. ",
"font": "serif",
"width": 2.705,
"textWidth": 2.236
},
{
"text": "Bavarian, ",
"font": "serif",
"width": 8.311,
"textWidth": 7.84
},
{
"text": "C. ",
"font": "serif",
"width": 2.262,
"textWidth": 1.793
},
{
"text": "Winter, ",
"font": "serif",
"width": 6.447,
"textWidth": 5.976
},
{
"text": "P. ",
"font": "serif",
"width": 1.828,
"textWidth": 1.359
},
{
"text": "Tillet, ",
"font": "serif",
"width": 4.649,
"textWidth": 4.649
}
]
},
{
"left": 13.727,
"top": 44.088,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "F. ",
"font": "serif",
"width": 1.815,
"textWidth": 1.338
},
{
"text": "P. ",
"font": "serif",
"width": 1.837,
"textWidth": 1.361
},
{
"text": "Such, ",
"font": "serif",
"width": 4.976,
"textWidth": 4.494
},
{
"text": "D. ",
"font": "serif",
"width": 2.393,
"textWidth": 1.914
},
{
"text": "Cummings, ",
"font": "serif",
"width": 10.167,
"textWidth": 9.685
},
{
"text": "M. ",
"font": "serif",
"width": 2.712,
"textWidth": 2.236
},
{
"text": "Plappert, ",
"font": "serif",
"width": 8.047,
"textWidth": 7.565
},
{
"text": "F. ",
"font": "serif",
"width": 1.817,
"textWidth": 1.338
},
{
"text": "Chantzis, ",
"font": "serif",
"width": 8.266,
"textWidth": 7.782
},
{
"text": "E. ",
"font": "serif",
"width": 2.086,
"textWidth": 1.609
},
{
"text": "Barnes, ",
"font": "serif",
"width": 6.541,
"textWidth": 6.058
},
{
"text": "A. ",
"font": "serif",
"width": 2.4,
"textWidth": 1.922
},
{
"text": "Herbert-Voss, ",
"font": "serif",
"width": 11.789,
"textWidth": 11.307
},
{
"text": "W. ",
"font": "serif",
"width": 2.645,
"textWidth": 2.166
},
{
"text": "H. ",
"font": "serif",
"width": 2.499,
"textWidth": 2.023
},
{
"text": "Guss, ",
"font": "serif",
"width": 4.606,
"textWidth": 4.606
}
]
},
{
"left": 13.656,
"top": 45.697,
"width": 74.67,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.344,
"textWidth": 1.884
},
{
"text": "Nichol, ",
"font": "serif",
"width": 6.387,
"textWidth": 5.929
},
{
"text": "A. ",
"font": "serif",
"width": 2.344,
"textWidth": 1.884
},
{
"text": "Paino, ",
"font": "serif",
"width": 5.542,
"textWidth": 5.082
},
{
"text": "N. ",
"font": "serif",
"width": 2.439,
"textWidth": 1.981
},
{
"text": "Tezak, ",
"font": "serif",
"width": 5.602,
"textWidth": 5.142
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.068
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.873,
"textWidth": 4.415
},
{
"text": "I. ",
"font": "serif",
"width": 1.536,
"textWidth": 1.076
},
{
"text": "Babuschkin, ",
"font": "serif",
"width": 10.349,
"textWidth": 9.889
},
{
"text": "S. ",
"font": "serif",
"width": 1.878,
"textWidth": 1.42
},
{
"text": "Balaji, ",
"font": "serif",
"width": 5.366,
"textWidth": 4.906
},
{
"text": "S. ",
"font": "serif",
"width": 1.88,
"textWidth": 1.42
},
{
"text": "Jain, ",
"font": "serif",
"width": 4.045,
"textWidth": 3.585
},
{
"text": "W. ",
"font": "serif",
"width": 2.58,
"textWidth": 2.122
},
{
"text": "Saunders, ",
"font": "serif",
"width": 8.467,
"textWidth": 8.007
},
{
"text": "C. ",
"font": "serif",
"width": 2.217,
"textWidth": 1.757
},
{
"text": "Hesse, ",
"font": "serif",
"width": 5.293,
"textWidth": 5.293
}
]
},
{
"left": 13.656,
"top": 47.306,
"width": 74.669,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.903
},
{
"text": "N. ",
"font": "serif",
"width": 2.46,
"textWidth": 2.001
},
{
"text": "Carr, ",
"font": "serif",
"width": 4.485,
"textWidth": 4.028
},
{
"text": "J. ",
"font": "serif",
"width": 1.536,
"textWidth": 1.079
},
{
"text": "Leike, ",
"font": "serif",
"width": 5.394,
"textWidth": 4.935
},
{
"text": "J. ",
"font": "serif",
"width": 1.536,
"textWidth": 1.079
},
{
"text": "Achiam, ",
"font": "serif",
"width": 7.359,
"textWidth": 6.9
},
{
"text": "V. ",
"font": "serif",
"width": 2.019,
"textWidth": 1.562
},
{
"text": "Misra, ",
"font": "serif",
"width": 5.653,
"textWidth": 5.194
},
{
"text": "E. ",
"font": "serif",
"width": 2.051,
"textWidth": 1.594
},
{
"text": "Morikawa, ",
"font": "serif",
"width": 9.377,
"textWidth": 8.918
},
{
"text": "A. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.903
},
{
"text": "Radford, ",
"font": "serif",
"width": 7.67,
"textWidth": 7.211
},
{
"text": "M. ",
"font": "serif",
"width": 2.671,
"textWidth": 2.214
},
{
"text": "Knight, ",
"font": "serif",
"width": 6.591,
"textWidth": 6.132
},
{
"text": "M. ",
"font": "serif",
"width": 2.671,
"textWidth": 2.214
},
{
"text": "Brundage, ",
"font": "serif",
"width": 8.475,
"textWidth": 8.475
}
]
},
{
"left": 13.727,
"top": 48.916,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.69,
"textWidth": 2.231
},
{
"text": "Murati, ",
"font": "serif",
"width": 6.636,
"textWidth": 6.177
},
{
"text": "K. ",
"font": "serif",
"width": 2.28,
"textWidth": 1.821
},
{
"text": "Mayer, ",
"font": "serif",
"width": 6.155,
"textWidth": 5.696
},
{
"text": "P. ",
"font": "serif",
"width": 1.817,
"textWidth": 1.358
},
{
"text": "Welinder, ",
"font": "serif",
"width": 8.322,
"textWidth": 7.864
},
{
"text": "B. ",
"font": "serif",
"width": 2.065,
"textWidth": 1.606
},
{
"text": "McGrew, ",
"font": "serif",
"width": 7.927,
"textWidth": 7.468
},
{
"text": "D. ",
"font": "serif",
"width": 2.369,
"textWidth": 1.91
},
{
"text": "Amodei, ",
"font": "serif",
"width": 7.619,
"textWidth": 7.16
},
{
"text": "S. ",
"font": "serif",
"width": 1.905,
"textWidth": 1.446
},
{
"text": "McCandlish, ",
"font": "serif",
"width": 10.962,
"textWidth": 10.503
},
{
"text": "I. ",
"font": "serif",
"width": 1.554,
"textWidth": 1.095
},
{
"text": "Sutskever, ",
"font": "serif",
"width": 8.908,
"textWidth": 8.449
},
{
"text": "and ",
"font": "serif",
"width": 3.158,
"textWidth": 3.158
}
]
},
{
"left": 13.635,
"top": 50.525,
"width": 74.781,
"height": 1.296,
"words": [
{
"text": "W. ",
"font": "serif",
"width": 2.538,
"textWidth": 2.078
},
{
"text": "Zaremba. ",
"font": "serif",
"width": 8.228,
"textWidth": 7.565
},
{
"text": "Evaluating ",
"font": "serif",
"width": 9.133,
"textWidth": 8.674
},
{
"text": "large ",
"font": "serif",
"width": 4.419,
"textWidth": 3.961
},
{
"text": "language ",
"font": "serif",
"width": 7.772,
"textWidth": 7.312
},
{
"text": "models ",
"font": "serif",
"width": 6.272,
"textWidth": 5.814
},
{
"text": "trained ",
"font": "serif",
"width": 6.184,
"textWidth": 5.724
},
{
"text": "on ",
"font": "serif",
"width": 2.486,
"textWidth": 2.028
},
{
"text": "code. ",
"font": "serif",
"width": 4.852,
"textWidth": 4.189
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.656,
"textWidth": 5.198
},
{
"text": "abs/2107.03374, ",
"font": "serif",
"width": 13.194,
"textWidth": 12.734
},
{
"text": "2021. ",
"font": "serif",
"width": 4.045,
"textWidth": 4.045
}
]
},
{
"left": 13.727,
"top": 52.135,
"width": 3.77,
"height": 1.296,
"words": [
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 17.954,
"top": 51.956,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2107.03374 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 54.673,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.991,
"textWidth": 1.477
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.389,
"textWidth": 4.864
},
{
"text": "T. ",
"font": "serif",
"width": 1.991,
"textWidth": 1.479
},
{
"text": "Moreau, ",
"font": "serif",
"width": 7.445,
"textWidth": 6.918
},
{
"text": "Z. ",
"font": "serif",
"width": 2.226,
"textWidth": 1.714
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.221,
"textWidth": 4.696
},
{
"text": "L. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.609
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.352,
"textWidth": 5.825
},
{
"text": "E. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.609
},
{
"text": "Yan, ",
"font": "serif",
"width": 4.094,
"textWidth": 3.568
},
{
"text": "H. ",
"font": "serif",
"width": 2.537,
"textWidth": 2.023
},
{
"text": "Shen, ",
"font": "serif",
"width": 5.045,
"textWidth": 4.52
},
{
"text": "M. ",
"font": "serif",
"width": 2.748,
"textWidth": 2.236
},
{
"text": "Cowan, ",
"font": "serif",
"width": 6.922,
"textWidth": 6.395
},
{
"text": "L. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.609
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.755,
"textWidth": 5.23
},
{
"text": "Y. ",
"font": "serif",
"width": 2.024,
"textWidth": 1.51
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.675,
"textWidth": 3.15
},
{
"text": "L. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.609
},
{
"text": "Ceze, ",
"font": "serif",
"width": 4.518,
"textWidth": 4.518
}
]
},
{
"left": 13.727,
"top": 56.283,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.51,
"textWidth": 1.793
},
{
"text": "Guestrin, ",
"font": "serif",
"width": 8.47,
"textWidth": 7.688
},
{
"text": "and ",
"font": "serif",
"width": 3.882,
"textWidth": 3.165
},
{
"text": "A. ",
"font": "serif",
"width": 2.639,
"textWidth": 1.922
},
{
"text": "Krishnamurthy. ",
"font": "serif",
"width": 14.547,
"textWidth": 13.059
},
{
"text": "TVM: ",
"font": "serif",
"width": 5.449,
"textWidth": 4.731
},
{
"text": "An ",
"font": "serif",
"width": 3.26,
"textWidth": 2.542
},
{
"text": "automated ",
"font": "serif",
"width": 9.64,
"textWidth": 8.924
},
{
"text": "End-to-End ",
"font": "serif",
"width": 10.337,
"textWidth": 9.619
},
{
"text": "optimizing ",
"font": "serif",
"width": 9.816,
"textWidth": 9.098
},
{
"text": "com- ",
"font": "serif",
"width": 4.124,
"textWidth": 4.124
}
]
},
{
"left": 13.672,
"top": 57.892,
"width": 74.423,
"height": 1.296,
"words": [
{
"text": "piler ",
"font": "serif",
"width": 4.552,
"textWidth": 3.845
},
{
"text": "for ",
"font": "serif",
"width": 3.086,
"textWidth": 2.381
},
{
"text": "deep ",
"font": "serif",
"width": 4.763,
"textWidth": 4.056
},
{
"text": "learning. ",
"font": "serif",
"width": 8.791,
"textWidth": 7.339
},
{
"text": "In ",
"font": "serif",
"width": 2.423,
"textWidth": 1.718
},
{
"text": "13th ",
"font": "serif",
"width": 4.202,
"textWidth": 3.497
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.576,
"textWidth": 6.87
},
{
"text": "Symposium ",
"font": "serif",
"width": 10.441,
"textWidth": 9.735
},
{
"text": "on ",
"font": "serif",
"width": 2.773,
"textWidth": 2.067
},
{
"text": "Operating ",
"font": "serif",
"width": 8.982,
"textWidth": 8.276
},
{
"text": "Systems ",
"font": "serif",
"width": 7.334,
"textWidth": 6.629
},
{
"text": "Design ",
"font": "serif",
"width": 6.398,
"textWidth": 5.692
},
{
"text": "and ",
"font": "serif",
"width": 3.103,
"textWidth": 3.103
}
]
},
{
"left": 13.727,
"top": 59.501,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "Implementation ",
"font": "serif",
"width": 13.619,
"textWidth": 13.023
},
{
"text": "(OSDI ",
"font": "serif",
"width": 5.645,
"textWidth": 5.049
},
{
"text": "18), ",
"font": "serif",
"width": 3.54,
"textWidth": 2.91
},
{
"text": "pages ",
"font": "serif",
"width": 5.382,
"textWidth": 4.785
},
{
"text": "578-594, ",
"font": "serif",
"width": 7.642,
"textWidth": 7.01
},
{
"text": "Carlsbad, ",
"font": "serif",
"width": 8.543,
"textWidth": 7.913
},
{
"text": "CA, ",
"font": "serif",
"width": 3.843,
"textWidth": 3.247
},
{
"text": "Oct. ",
"font": "serif",
"width": 3.972,
"textWidth": 3.376
},
{
"text": "2018. ",
"font": "serif",
"width": 4.802,
"textWidth": 4.206
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.604,
"textWidth": 7.008
},
{
"text": "Association. ",
"font": "serif",
"width": 10.098,
"textWidth": 10.098
}
]
},
{
"left": 13.727,
"top": 61.111,
"width": 24.54,
"height": 1.296,
"words": [
{
"text": "ISBN ",
"font": "serif",
"width": 4.804,
"textWidth": 4.307
},
{
"text": "978-1-939133-08-3. ",
"font": "serif",
"width": 15.891,
"textWidth": 15.107
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 38.764,
"top": 60.932,
"width": 49.331,
"height": 1.425,
"words": [
{
"text": "https://www.usenix.org/conference/osdi18/prese ",
"font": "mono",
"width": 49.331,
"textWidth": 49.331
}
]
},
{
"left": 13.727,
"top": 62.542,
"width": 12.7,
"height": 1.425,
"words": [
{
"text": "ntation/chen ",
"font": "mono",
"width": 12.7,
"textWidth": 12.7
}
]
},
{
"left": 11.905,
"top": 65.259,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.367,
"textWidth": 1.91
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.326,
"textWidth": 5.868
},
{
"text": "A. ",
"font": "serif",
"width": 2.367,
"textWidth": 1.91
},
{
"text": "Jacovi, ",
"font": "serif",
"width": 5.9,
"textWidth": 5.443
},
{
"text": "A. ",
"font": "serif",
"width": 2.367,
"textWidth": 1.91
},
{
"text": "Globerson, ",
"font": "serif",
"width": 9.431,
"textWidth": 8.974
},
{
"text": "B. ",
"font": "serif",
"width": 2.057,
"textWidth": 1.6
},
{
"text": "Golan, ",
"font": "serif",
"width": 5.907,
"textWidth": 5.448
},
{
"text": "C. ",
"font": "serif",
"width": 2.239,
"textWidth": 1.782
},
{
"text": "Kwong, ",
"font": "serif",
"width": 6.95,
"textWidth": 6.493
},
{
"text": "C. ",
"font": "serif",
"width": 2.239,
"textWidth": 1.782
},
{
"text": "Alberti, ",
"font": "serif",
"width": 6.706,
"textWidth": 6.249
},
{
"text": "C. ",
"font": "serif",
"width": 2.239,
"textWidth": 1.782
},
{
"text": "Tao, ",
"font": "serif",
"width": 3.835,
"textWidth": 3.378
},
{
"text": "E. ",
"font": "serif",
"width": 2.057,
"textWidth": 1.6
},
{
"text": "Ben-David, ",
"font": "serif",
"width": 9.741,
"textWidth": 9.284
},
{
"text": "G. ",
"font": "serif",
"width": 2.34,
"textWidth": 1.882
},
{
"text": "S. ",
"font": "serif",
"width": 1.44,
"textWidth": 1.44
}
]
},
{
"left": 13.67,
"top": 66.868,
"width": 74.426,
"height": 1.296,
"words": [
{
"text": "Tomar, ",
"font": "serif",
"width": 5.938,
"textWidth": 5.477
},
{
"text": "L. ",
"font": "serif",
"width": 2.021,
"textWidth": 1.562
},
{
"text": "Haas, ",
"font": "serif",
"width": 5.007,
"textWidth": 4.547
},
{
"text": "et ",
"font": "serif",
"width": 1.92,
"textWidth": 1.461
},
{
"text": "al. ",
"font": "serif",
"width": 2.555,
"textWidth": 1.889
},
{
"text": "The ",
"font": "serif",
"width": 3.496,
"textWidth": 3.037
},
{
"text": "facts ",
"font": "serif",
"width": 4.138,
"textWidth": 3.678
},
{
"text": "leaderboard: ",
"font": "serif",
"width": 10.715,
"textWidth": 10.144
},
{
"text": "A ",
"font": "serif",
"width": 1.872,
"textWidth": 1.412
},
{
"text": "comprehensive ",
"font": "serif",
"width": 12.673,
"textWidth": 12.212
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.483,
"textWidth": 9.024
},
{
"text": "for ",
"font": "serif",
"width": 2.772,
"textWidth": 2.311
},
{
"text": "large ",
"font": "serif",
"width": 4.456,
"textWidth": 3.995
},
{
"text": "language ",
"font": "serif",
"width": 7.379,
"textWidth": 7.379
}
]
},
{
"left": 13.727,
"top": 68.478,
"width": 44.838,
"height": 1.296,
"words": [
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "factuality. ",
"font": "serif",
"width": 8.556,
"textWidth": 7.897
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2512.10791, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 71.016,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.684
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.256,
"textWidth": 5.799
},
{
"text": "W. ",
"font": "serif",
"width": 2.585,
"textWidth": 2.128
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.112,
"textWidth": 4.653
},
{
"text": "D. ",
"font": "serif",
"width": 2.338,
"textWidth": 1.88
},
{
"text": "Dai, ",
"font": "serif",
"width": 3.792,
"textWidth": 3.333
},
{
"text": "Q. ",
"font": "serif",
"width": 2.361,
"textWidth": 1.902
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.235,
"textWidth": 4.778
},
{
"text": "B. ",
"font": "serif",
"width": 2.04,
"textWidth": 1.581
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.593,
"textWidth": 5.134
},
{
"text": "Z. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.684
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.555,
"textWidth": 3.098
},
{
"text": "K. ",
"font": "serif",
"width": 2.251,
"textWidth": 1.792
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.561,
"textWidth": 6.102
},
{
"text": "X. ",
"font": "serif",
"width": 2.141,
"textWidth": 1.684
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.085,
"textWidth": 2.626
},
{
"text": "Z. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.684
},
{
"text": "Hao, ",
"font": "serif",
"width": 4.365,
"textWidth": 3.908
},
{
"text": "Y. ",
"font": "serif",
"width": 1.939,
"textWidth": 1.482
},
{
"text": "Li, ",
"font": "serif",
"width": 2.574,
"textWidth": 2.115
},
{
"text": "H. ",
"font": "serif",
"width": 2.446,
"textWidth": 1.987
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.76,
"textWidth": 5.76
}
]
},
{
"left": 13.727,
"top": 72.626,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.479,
"textWidth": 2.023
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.32,
"textWidth": 5.864
},
{
"text": "D. ",
"font": "serif",
"width": 2.37,
"textWidth": 1.914
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.213,
"textWidth": 4.757
},
{
"text": "and ",
"font": "serif",
"width": 3.619,
"textWidth": 3.165
},
{
"text": "W. ",
"font": "serif",
"width": 2.624,
"textWidth": 2.168
},
{
"text": "Liang. ",
"font": "serif",
"width": 5.869,
"textWidth": 5.215
},
{
"text": "Conditional ",
"font": "serif",
"width": 10.316,
"textWidth": 9.86
},
{
"text": "memory ",
"font": "serif",
"width": 7.451,
"textWidth": 6.995
},
{
"text": "via ",
"font": "serif",
"width": 2.989,
"textWidth": 2.535
},
{
"text": "scalable ",
"font": "serif",
"width": 6.965,
"textWidth": 6.509
},
{
"text": "lookup: ",
"font": "serif",
"width": 6.909,
"textWidth": 6.342
},
{
"text": "A ",
"font": "serif",
"width": 1.91,
"textWidth": 1.454
},
{
"text": "new ",
"font": "serif",
"width": 3.998,
"textWidth": 3.542
},
{
"text": "axis ",
"font": "serif",
"width": 3.692,
"textWidth": 3.236
},
{
"text": "of ",
"font": "serif",
"width": 1.643,
"textWidth": 1.643
}
]
},
{
"left": 13.727,
"top": 74.235,
"width": 74.688,
"height": 1.296,
"words": [
{
"text": "sparsity ",
"font": "serif",
"width": 6.864,
"textWidth": 6.407
},
{
"text": "for ",
"font": "serif",
"width": 2.778,
"textWidth": 2.321
},
{
"text": "large ",
"font": "serif",
"width": 4.47,
"textWidth": 4.013
},
{
"text": "language ",
"font": "serif",
"width": 7.866,
"textWidth": 7.409
},
{
"text": "models. ",
"font": "serif",
"width": 7.005,
"textWidth": 6.347
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.661,
"textWidth": 5.204
},
{
"text": "abs/2601.07372, ",
"font": "serif",
"width": 13.36,
"textWidth": 12.903
},
{
"text": "2026. ",
"font": "serif",
"width": 4.758,
"textWidth": 4.099
},
{
"text": "doi: ",
"font": "serif",
"width": 3.66,
"textWidth": 3.093
},
{
"text": "10.48550/ARXIV.2601. ",
"font": "serif",
"width": 18.267,
"textWidth": 18.267
}
]
},
{
"left": 13.727,
"top": 75.844,
"width": 9.469,
"height": 1.296,
"words": [
{
"text": "07372. ",
"font": "serif",
"width": 5.699,
"textWidth": 5.04
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 23.654,
"top": 75.666,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2601.07372 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 78.383,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "K. ",
"font": "serif",
"width": 2.598,
"textWidth": 1.824
},
{
"text": "Cobbe, ",
"font": "serif",
"width": 6.63,
"textWidth": 5.776
},
{
"text": "V. ",
"font": "serif",
"width": 2.353,
"textWidth": 1.58
},
{
"text": "Kosaraju, ",
"font": "serif",
"width": 8.664,
"textWidth": 7.81
},
{
"text": "M. ",
"font": "serif",
"width": 3.01,
"textWidth": 2.236
},
{
"text": "Bavarian, ",
"font": "serif",
"width": 8.692,
"textWidth": 7.84
},
{
"text": "M. ",
"font": "serif",
"width": 3.01,
"textWidth": 2.236
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.718,
"textWidth": 4.864
},
{
"text": "H. ",
"font": "serif",
"width": 2.796,
"textWidth": 2.023
},
{
"text": "Jun, ",
"font": "serif",
"width": 4.157,
"textWidth": 3.305
},
{
"text": "L. ",
"font": "serif",
"width": 2.385,
"textWidth": 1.609
},
{
"text": "Kaiser, ",
"font": "serif",
"width": 6.445,
"textWidth": 5.593
},
{
"text": "M. ",
"font": "serif",
"width": 3.011,
"textWidth": 2.236
},
{
"text": "Plappert, ",
"font": "serif",
"width": 8.417,
"textWidth": 7.563
},
{
"text": "J. ",
"font": "serif",
"width": 1.864,
"textWidth": 1.09
},
{
"text": "Tworek, ",
"font": "serif",
"width": 6.668,
"textWidth": 6.668
}
]
},
{
"left": 13.696,
"top": 79.992,
"width": 74.399,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.585,
"textWidth": 1.09
},
{
"text": "Hilton, ",
"font": "serif",
"width": 6.333,
"textWidth": 5.828
},
{
"text": "R. ",
"font": "serif",
"width": 2.211,
"textWidth": 1.716
},
{
"text": "Nakano, ",
"font": "serif",
"width": 7.542,
"textWidth": 7.038
},
{
"text": "et ",
"font": "serif",
"width": 2.0,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.725,
"textWidth": 1.946
},
{
"text": "Training ",
"font": "serif",
"width": 7.453,
"textWidth": 6.957
},
{
"text": "verifiers ",
"font": "serif",
"width": 7.286,
"textWidth": 6.791
},
{
"text": "to ",
"font": "serif",
"width": 2.125,
"textWidth": 1.63
},
{
"text": "solve ",
"font": "serif",
"width": 4.806,
"textWidth": 4.309
},
{
"text": "math ",
"font": "serif",
"width": 4.778,
"textWidth": 4.282
},
{
"text": "word ",
"font": "serif",
"width": 4.922,
"textWidth": 4.426
},
{
"text": "problems. ",
"font": "serif",
"width": 9.012,
"textWidth": 8.232
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.927,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 6.693,
"textWidth": 6.693
}
]
},
{
"left": 13.727,
"top": 81.602,
"width": 18.634,
"height": 1.296,
"words": [
{
"text": "arXiv:2110.14168, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2021. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 84.14,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.387,
"textWidth": 1.914
},
{
"text": "Dai, ",
"font": "serif",
"width": 3.869,
"textWidth": 3.393
},
{
"text": "C. ",
"font": "serif",
"width": 2.264,
"textWidth": 1.793
},
{
"text": "Deng, ",
"font": "serif",
"width": 5.413,
"textWidth": 4.937
},
{
"text": "C. ",
"font": "serif",
"width": 2.266,
"textWidth": 1.793
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.234,
"textWidth": 4.757
},
{
"text": "R. ",
"font": "serif",
"width": 2.187,
"textWidth": 1.716
},
{
"text": "X. ",
"font": "serif",
"width": 2.187,
"textWidth": 1.714
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.318,
"textWidth": 2.841
},
{
"text": "H. ",
"font": "serif",
"width": 2.495,
"textWidth": 2.023
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.324,
"textWidth": 3.849
},
{
"text": "D. ",
"font": "serif",
"width": 2.387,
"textWidth": 1.914
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.34,
"textWidth": 4.864
},
{
"text": "J. ",
"font": "serif",
"width": 1.563,
"textWidth": 1.09
},
{
"text": "Li, ",
"font": "serif",
"width": 2.628,
"textWidth": 2.153
},
{
"text": "W. ",
"font": "serif",
"width": 2.641,
"textWidth": 2.168
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.213,
"textWidth": 4.737
},
{
"text": "X. ",
"font": "serif",
"width": 2.187,
"textWidth": 1.714
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.152,
"textWidth": 2.675
},
{
"text": "Y. ",
"font": "serif",
"width": 1.983,
"textWidth": 1.51
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.849,
"textWidth": 3.372
},
{
"text": "Z. ",
"font": "serif",
"width": 2.187,
"textWidth": 1.714
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.628,
"textWidth": 3.152
},
{
"text": "Y. ",
"font": "serif",
"width": 1.983,
"textWidth": 1.51
},
{
"text": "K. ",
"font": "serif",
"width": 1.824,
"textWidth": 1.824
}
]
},
{
"left": 13.727,
"top": 85.75,
"width": 74.367,
"height": 1.296,
"words": [
{
"text": "Li, ",
"font": "serif",
"width": 2.581,
"textWidth": 2.124
},
{
"text": "P. ",
"font": "serif",
"width": 1.796,
"textWidth": 1.338
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.582,
"textWidth": 6.126
},
{
"text": "F. ",
"font": "serif",
"width": 1.775,
"textWidth": 1.318
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.163,
"textWidth": 3.706
},
{
"text": "C. ",
"font": "serif",
"width": 2.225,
"textWidth": 1.768
},
{
"text": "Ruan, ",
"font": "serif",
"width": 5.254,
"textWidth": 4.799
},
{
"text": "Z. ",
"font": "serif",
"width": 2.148,
"textWidth": 1.691
},
{
"text": "Sui, ",
"font": "serif",
"width": 3.534,
"textWidth": 3.077
},
{
"text": "and ",
"font": "serif",
"width": 3.578,
"textWidth": 3.121
},
{
"text": "W. ",
"font": "serif",
"width": 2.592,
"textWidth": 2.137
},
{
"text": "Liang. ",
"font": "serif",
"width": 5.802,
"textWidth": 5.144
},
{
"text": "Deepseekmoe: ",
"font": "serif",
"width": 12.419,
"textWidth": 11.853
},
{
"text": "Towards ",
"font": "serif",
"width": 7.489,
"textWidth": 7.032
},
{
"text": "ultimate ",
"font": "serif",
"width": 7.277,
"textWidth": 6.82
},
{
"text": "expert ",
"font": "serif",
"width": 5.153,
"textWidth": 5.153
}
]
},
{
"left": 13.727,
"top": 87.359,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "specialization ",
"font": "serif",
"width": 11.905,
"textWidth": 11.339
},
{
"text": "in ",
"font": "serif",
"width": 2.196,
"textWidth": 1.632
},
{
"text": "mixture-of-experts ",
"font": "serif",
"width": 15.969,
"textWidth": 15.405
},
{
"text": "language ",
"font": "serif",
"width": 8.169,
"textWidth": 7.602
},
{
"text": "models. ",
"font": "serif",
"width": 7.516,
"textWidth": 6.513
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.782,
"textWidth": 5.216
},
{
"text": "abs/2401.06066, ",
"font": "serif",
"width": 13.833,
"textWidth": 13.24
},
{
"text": "2024. ",
"font": "serif",
"width": 5.21,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 88.79,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2401.06066 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "46 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"47": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.879,
"textWidth": 1.421
},
{
"text": "Dao, ",
"font": "serif",
"width": 4.193,
"textWidth": 3.733
},
{
"text": "D. ",
"font": "serif",
"width": 2.306,
"textWidth": 1.847
},
{
"text": "Haziza, ",
"font": "serif",
"width": 6.542,
"textWidth": 6.082
},
{
"text": "F. ",
"font": "serif",
"width": 1.744,
"textWidth": 1.284
},
{
"text": "Massa, ",
"font": "serif",
"width": 5.947,
"textWidth": 5.489
},
{
"text": "and ",
"font": "serif",
"width": 3.513,
"textWidth": 3.053
},
{
"text": "G. ",
"font": "serif",
"width": 2.287,
"textWidth": 1.827
},
{
"text": "Sizov. ",
"font": "serif",
"width": 5.287,
"textWidth": 4.624
},
{
"text": "Flash-decoding ",
"font": "serif",
"width": 12.731,
"textWidth": 12.271
},
{
"text": "for ",
"font": "serif",
"width": 2.757,
"textWidth": 2.297
},
{
"text": "long-context ",
"font": "serif",
"width": 10.425,
"textWidth": 9.967
},
{
"text": "inference, ",
"font": "serif",
"width": 8.207,
"textWidth": 7.747
},
{
"text": "2023. ",
"font": "serif",
"width": 4.719,
"textWidth": 4.057
},
{
"text": "URL ",
"font": "serif",
"width": 3.709,
"textWidth": 3.709
}
]
},
{
"left": 13.727,
"top": 11.903,
"width": 42.416,
"height": 1.425,
"words": [
{
"text": "https://pytorch.org/blog/flash-decoding/ ",
"font": "mono",
"width": 42.416,
"textWidth": 42.416
}
]
},
{
"left": 11.905,
"top": 14.654,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.385,
"textWidth": 1.609
},
{
"text": "De ",
"font": "serif",
"width": 3.12,
"textWidth": 2.342
},
{
"text": "Moura ",
"font": "serif",
"width": 6.365,
"textWidth": 5.589
},
{
"text": "and ",
"font": "serif",
"width": 3.94,
"textWidth": 3.165
},
{
"text": "N. ",
"font": "serif",
"width": 2.798,
"textWidth": 2.021
},
{
"text": "Bjørner. ",
"font": "serif",
"width": 8.088,
"textWidth": 6.41
},
{
"text": "Z3: ",
"font": "serif",
"width": 3.853,
"textWidth": 2.649
},
{
"text": "an ",
"font": "serif",
"width": 2.798,
"textWidth": 2.023
},
{
"text": "efficient ",
"font": "serif",
"width": 7.359,
"textWidth": 6.582
},
{
"text": "smt ",
"font": "serif",
"width": 3.828,
"textWidth": 3.053
},
{
"text": "solver. ",
"font": "serif",
"width": 7.056,
"textWidth": 5.378
},
{
"text": "In ",
"font": "serif",
"width": 2.494,
"textWidth": 1.718
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.659,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.387,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.318,
"textWidth": 2.542
},
{
"text": "Theory ",
"font": "serif",
"width": 5.811,
"textWidth": 5.811
}
]
},
{
"left": 13.727,
"top": 16.263,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.833,
"textWidth": 3.103
},
{
"text": "Practice ",
"font": "serif",
"width": 7.113,
"textWidth": 6.383
},
{
"text": "of ",
"font": "serif",
"width": 2.341,
"textWidth": 1.611
},
{
"text": "Software, ",
"font": "serif",
"width": 8.44,
"textWidth": 7.642
},
{
"text": "14th ",
"font": "serif",
"width": 4.227,
"textWidth": 3.497
},
{
"text": "International ",
"font": "serif",
"width": 11.244,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.912,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.797,
"textWidth": 2.067
},
{
"text": "Tools ",
"font": "serif",
"width": 4.997,
"textWidth": 4.266
},
{
"text": "and ",
"font": "serif",
"width": 3.833,
"textWidth": 3.103
},
{
"text": "Algorithms ",
"font": "serif",
"width": 10.025,
"textWidth": 9.295
},
{
"text": "for ",
"font": "serif",
"width": 3.065,
"textWidth": 2.335
},
{
"text": "the ",
"font": "serif",
"width": 2.542,
"textWidth": 2.542
}
]
},
{
"left": 13.727,
"top": 17.872,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "Construction ",
"font": "serif",
"width": 11.043,
"textWidth": 10.567
},
{
"text": "and ",
"font": "serif",
"width": 3.579,
"textWidth": 3.103
},
{
"text": "Analysis ",
"font": "serif",
"width": 7.525,
"textWidth": 7.048
},
{
"text": "of ",
"font": "serif",
"width": 2.088,
"textWidth": 1.611
},
{
"text": "Systems, ",
"font": "serif",
"width": 7.578,
"textWidth": 7.096
},
{
"text": "TACAS’08/ETAPS’08, ",
"font": "serif",
"width": 18.801,
"textWidth": 18.319
},
{
"text": "page ",
"font": "serif",
"width": 4.469,
"textWidth": 3.993
},
{
"text": "337-340, ",
"font": "serif",
"width": 7.49,
"textWidth": 7.01
},
{
"text": "Berlin, ",
"font": "serif",
"width": 5.901,
"textWidth": 5.419
},
{
"text": "Heidel- ",
"font": "serif",
"width": 6.198,
"textWidth": 6.198
}
]
},
{
"left": 13.727,
"top": 19.482,
"width": 37.294,
"height": 1.296,
"words": [
{
"text": "berg, ",
"font": "serif",
"width": 4.517,
"textWidth": 4.059
},
{
"text": "2008. ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "Springer-Verlag. ",
"font": "serif",
"width": 13.893,
"textWidth": 13.233
},
{
"text": "ISBN ",
"font": "serif",
"width": 4.68,
"textWidth": 4.222
},
{
"text": "3540787992. ",
"font": "serif",
"width": 9.621,
"textWidth": 9.621
}
]
},
{
"left": 11.905,
"top": 22.054,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 11.782,
"textWidth": 11.124
},
{
"text": "Deepseek-coder-v2: ",
"font": "serif",
"width": 16.526,
"textWidth": 15.96
},
{
"text": "Breaking ",
"font": "serif",
"width": 7.701,
"textWidth": 7.242
},
{
"text": "the ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "barrier ",
"font": "serif",
"width": 5.971,
"textWidth": 5.512
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.611
},
{
"text": "closed-source ",
"font": "serif",
"width": 11.456,
"textWidth": 10.998
},
{
"text": "models ",
"font": "serif",
"width": 6.383,
"textWidth": 5.927
},
{
"text": "in ",
"font": "serif",
"width": 2.056,
"textWidth": 1.6
},
{
"text": "code ",
"font": "serif",
"width": 4.27,
"textWidth": 3.812
},
{
"text": "intelli- ",
"font": "serif",
"width": 5.285,
"textWidth": 5.285
}
]
},
{
"left": 13.727,
"top": 23.663,
"width": 33.746,
"height": 1.296,
"words": [
{
"text": "gence. ",
"font": "serif",
"width": 5.834,
"textWidth": 5.174
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.67,
"textWidth": 5.212
},
{
"text": "abs/2406.11931, ",
"font": "serif",
"width": 13.594,
"textWidth": 13.136
},
{
"text": "2024. ",
"font": "serif",
"width": 4.833,
"textWidth": 4.173
},
{
"text": "URL ",
"font": "serif",
"width": 3.815,
"textWidth": 3.815
}
]
},
{
"left": 47.931,
"top": 23.484,
"width": 40.217,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2406.11 ",
"font": "mono",
"width": 40.217,
"textWidth": 40.217
}
]
},
{
"left": 13.727,
"top": 25.094,
"width": 3.175,
"height": 1.425,
"words": [
{
"text": "931 ",
"font": "mono",
"width": 3.175,
"textWidth": 3.175
}
]
},
{
"left": 11.905,
"top": 27.844,
"width": 63.775,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 11.723,
"textWidth": 11.068
},
{
"text": "Deepseek-v3 ",
"font": "serif",
"width": 10.795,
"textWidth": 10.337
},
{
"text": "technical ",
"font": "serif",
"width": 7.638,
"textWidth": 7.181
},
{
"text": "report. ",
"font": "serif",
"width": 6.078,
"textWidth": 5.423
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.66,
"textWidth": 5.204
},
{
"text": "abs/2412.19437, ",
"font": "serif",
"width": 13.373,
"textWidth": 12.915
},
{
"text": "2024. ",
"font": "serif",
"width": 4.757,
"textWidth": 4.103
},
{
"text": "URL ",
"font": "serif",
"width": 3.751,
"textWidth": 3.751
}
]
},
{
"left": 76.136,
"top": 27.665,
"width": 12.7,
"height": 1.425,
"words": [
{
"text": "https://doi. ",
"font": "mono",
"width": 12.7,
"textWidth": 12.7
}
]
},
{
"left": 13.727,
"top": 29.275,
"width": 30.692,
"height": 1.425,
"words": [
{
"text": "org/10.48550/arXiv.2412.19437 ",
"font": "mono",
"width": 30.692,
"textWidth": 30.692
}
]
},
{
"left": 11.905,
"top": 32.025,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 12.019,
"textWidth": 11.346
},
{
"text": "Deepseek-v2: ",
"font": "serif",
"width": 11.642,
"textWidth": 11.064
},
{
"text": "A ",
"font": "serif",
"width": 1.916,
"textWidth": 1.454
},
{
"text": "strong, ",
"font": "serif",
"width": 6.185,
"textWidth": 5.722
},
{
"text": "economical, ",
"font": "serif",
"width": 10.288,
"textWidth": 9.825
},
{
"text": "and ",
"font": "serif",
"width": 3.628,
"textWidth": 3.165
},
{
"text": "efficient ",
"font": "serif",
"width": 7.043,
"textWidth": 6.582
},
{
"text": "mixture-of-experts ",
"font": "serif",
"width": 15.866,
"textWidth": 15.403
},
{
"text": "language ",
"font": "serif",
"width": 7.602,
"textWidth": 7.602
}
]
},
{
"left": 13.727,
"top": 33.635,
"width": 33.738,
"height": 1.296,
"words": [
{
"text": "model. ",
"font": "serif",
"width": 6.23,
"textWidth": 5.569
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.662,
"textWidth": 5.203
},
{
"text": "abs/2405.04434, ",
"font": "serif",
"width": 13.348,
"textWidth": 12.89
},
{
"text": "2024. ",
"font": "serif",
"width": 4.757,
"textWidth": 4.095
},
{
"text": "URL ",
"font": "serif",
"width": 3.741,
"textWidth": 3.741
}
]
},
{
"left": 47.924,
"top": 33.456,
"width": 40.223,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2405.04 ",
"font": "mono",
"width": 40.223,
"textWidth": 40.223
}
]
},
{
"left": 13.674,
"top": 35.065,
"width": 3.175,
"height": 1.425,
"words": [
{
"text": "434 ",
"font": "mono",
"width": 3.175,
"textWidth": 3.175
}
]
},
{
"left": 11.905,
"top": 37.816,
"width": 37.821,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 11.784,
"textWidth": 11.124
},
{
"text": "Fire-flyer ",
"font": "serif",
"width": 7.924,
"textWidth": 7.466
},
{
"text": "file ",
"font": "serif",
"width": 2.978,
"textWidth": 2.52
},
{
"text": "system, ",
"font": "serif",
"width": 6.583,
"textWidth": 6.125
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 50.184,
"top": 37.637,
"width": 36.068,
"height": 1.425,
"words": [
{
"text": "https://github.com/deepseek-ai/3FS ",
"font": "mono",
"width": 36.068,
"textWidth": 36.068
}
]
},
{
"left": 11.905,
"top": 40.388,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 11.631,
"textWidth": 10.968
},
{
"text": "Deepseek-r1 ",
"font": "serif",
"width": 10.395,
"textWidth": 9.935
},
{
"text": "incentivizes ",
"font": "serif",
"width": 9.951,
"textWidth": 9.492
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.296,
"textWidth": 7.837
},
{
"text": "in ",
"font": "serif",
"width": 2.036,
"textWidth": 1.577
},
{
"text": "llms ",
"font": "serif",
"width": 3.872,
"textWidth": 3.413
},
{
"text": "through ",
"font": "serif",
"width": 6.913,
"textWidth": 6.454
},
{
"text": "reinforcement ",
"font": "serif",
"width": 11.621,
"textWidth": 11.162
},
{
"text": "learning. ",
"font": "serif",
"width": 7.757,
"textWidth": 7.094
},
{
"text": "Nat., ",
"font": "serif",
"width": 3.946,
"textWidth": 3.946
}
]
},
{
"left": 13.727,
"top": 41.997,
"width": 23.976,
"height": 1.296,
"words": [
{
"text": "645(8081):633-638, ",
"font": "serif",
"width": 15.423,
"textWidth": 14.965
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 38.161,
"top": 41.819,
"width": 44.702,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.1038/s41586-025-09422-z ",
"font": "mono",
"width": 44.702,
"textWidth": 44.702
}
]
},
{
"left": 11.905,
"top": 44.569,
"width": 76.248,
"height": 1.296,
"words": [
{
"text": "DeepSeek-AI. ",
"font": "serif",
"width": 11.879,
"textWidth": 11.224
},
{
"text": "Deepseek-v3.2: ",
"font": "serif",
"width": 12.899,
"textWidth": 12.332
},
{
"text": "Pushing ",
"font": "serif",
"width": 7.191,
"textWidth": 6.734
},
{
"text": "the ",
"font": "serif",
"width": 3.02,
"textWidth": 2.565
},
{
"text": "frontier ",
"font": "serif",
"width": 6.612,
"textWidth": 6.158
},
{
"text": "of ",
"font": "serif",
"width": 2.082,
"textWidth": 1.625
},
{
"text": "open ",
"font": "serif",
"width": 4.54,
"textWidth": 4.083
},
{
"text": "large ",
"font": "serif",
"width": 4.53,
"textWidth": 4.074
},
{
"text": "language ",
"font": "serif",
"width": 7.975,
"textWidth": 7.52
},
{
"text": "models, ",
"font": "serif",
"width": 6.899,
"textWidth": 6.442
},
{
"text": "2025. ",
"font": "serif",
"width": 4.817,
"textWidth": 4.16
},
{
"text": "URL ",
"font": "serif",
"width": 3.804,
"textWidth": 3.804
}
]
},
{
"left": 13.727,
"top": 46.0,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2512.02556 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 48.75,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 1.997,
"textWidth": 1.647
},
{
"text": "Deng, ",
"font": "serif",
"width": 5.115,
"textWidth": 4.743
},
{
"text": "J. ",
"font": "serif",
"width": 1.397,
"textWidth": 1.047
},
{
"text": "Da, ",
"font": "serif",
"width": 3.109,
"textWidth": 2.737
},
{
"text": "E. ",
"font": "serif",
"width": 1.898,
"textWidth": 1.546
},
{
"text": "Pan, ",
"font": "serif",
"width": 3.849,
"textWidth": 3.477
},
{
"text": "Y. ",
"font": "serif",
"width": 1.792,
"textWidth": 1.442
},
{
"text": "Y. ",
"font": "serif",
"width": 1.794,
"textWidth": 1.444
},
{
"text": "He, ",
"font": "serif",
"width": 3.175,
"textWidth": 2.803
},
{
"text": "C. ",
"font": "serif",
"width": 2.074,
"textWidth": 1.722
},
{
"text": "Ide, ",
"font": "serif",
"width": 3.384,
"textWidth": 3.012
},
{
"text": "K. ",
"font": "serif",
"width": 2.103,
"textWidth": 1.753
},
{
"text": "Garg, ",
"font": "serif",
"width": 4.763,
"textWidth": 4.391
},
{
"text": "N. ",
"font": "serif",
"width": 2.293,
"textWidth": 1.941
},
{
"text": "Lauffer, ",
"font": "serif",
"width": 6.496,
"textWidth": 6.124
},
{
"text": "A. ",
"font": "serif",
"width": 2.196,
"textWidth": 1.846
},
{
"text": "Park, ",
"font": "serif",
"width": 4.511,
"textWidth": 4.14
},
{
"text": "N. ",
"font": "serif",
"width": 2.292,
"textWidth": 1.941
},
{
"text": "Pasari, ",
"font": "serif",
"width": 5.697,
"textWidth": 5.323
},
{
"text": "C. ",
"font": "serif",
"width": 2.073,
"textWidth": 1.722
},
{
"text": "Rane, ",
"font": "serif",
"width": 4.824,
"textWidth": 4.452
},
{
"text": "K. ",
"font": "serif",
"width": 2.103,
"textWidth": 1.753
},
{
"text": "Sampath, ",
"font": "serif",
"width": 7.484,
"textWidth": 7.484
}
]
},
{
"left": 13.727,
"top": 50.359,
"width": 74.688,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.729,
"textWidth": 2.236
},
{
"text": "Krishnan, ",
"font": "serif",
"width": 8.602,
"textWidth": 8.098
},
{
"text": "S. ",
"font": "serif",
"width": 1.942,
"textWidth": 1.449
},
{
"text": "Kundurthy, ",
"font": "serif",
"width": 10.085,
"textWidth": 9.58
},
{
"text": "S. ",
"font": "serif",
"width": 1.942,
"textWidth": 1.449
},
{
"text": "Hendryx, ",
"font": "serif",
"width": 8.393,
"textWidth": 7.89
},
{
"text": "Z. ",
"font": "serif",
"width": 2.209,
"textWidth": 1.714
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.733,
"textWidth": 5.23
},
{
"text": "V. ",
"font": "serif",
"width": 2.075,
"textWidth": 1.58
},
{
"text": "Bharadwaj, ",
"font": "serif",
"width": 9.881,
"textWidth": 9.378
},
{
"text": "J. ",
"font": "serif",
"width": 1.585,
"textWidth": 1.09
},
{
"text": "Holm, ",
"font": "serif",
"width": 5.741,
"textWidth": 5.238
},
{
"text": "R. ",
"font": "serif",
"width": 2.209,
"textWidth": 1.716
},
{
"text": "Aluri, ",
"font": "serif",
"width": 5.378,
"textWidth": 4.875
},
{
"text": "C. ",
"font": "serif",
"width": 2.288,
"textWidth": 1.793
},
{
"text": "B. ",
"font": "serif",
"width": 2.103,
"textWidth": 1.609
},
{
"text": "C. ",
"font": "serif",
"width": 1.793,
"textWidth": 1.793
}
]
},
{
"left": 13.727,
"top": 51.969,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Zhang, ",
"font": "serif",
"width": 6.112,
"textWidth": 5.651
},
{
"text": "N. ",
"font": "serif",
"width": 2.407,
"textWidth": 1.947
},
{
"text": "Jacobson, ",
"font": "serif",
"width": 7.986,
"textWidth": 7.526
},
{
"text": "B. ",
"font": "serif",
"width": 2.012,
"textWidth": 1.551
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.621,
"textWidth": 3.162
},
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.05
},
{
"text": "B. ",
"font": "serif",
"width": 2.01,
"textWidth": 1.551
},
{
"text": "Kenstler. ",
"font": "serif",
"width": 7.649,
"textWidth": 6.984
},
{
"text": "Swe-bench ",
"font": "serif",
"width": 9.126,
"textWidth": 8.667
},
{
"text": "pro: ",
"font": "serif",
"width": 3.767,
"textWidth": 3.196
},
{
"text": "Can ",
"font": "serif",
"width": 3.688,
"textWidth": 3.226
},
{
"text": "ai ",
"font": "serif",
"width": 1.884,
"textWidth": 1.425
},
{
"text": "agents ",
"font": "serif",
"width": 5.624,
"textWidth": 5.165
},
{
"text": "solve ",
"font": "serif",
"width": 4.612,
"textWidth": 4.152
},
{
"text": "long-horizon ",
"font": "serif",
"width": 10.358,
"textWidth": 10.358
}
]
},
{
"left": 13.727,
"top": 53.578,
"width": 31.946,
"height": 1.296,
"words": [
{
"text": "software ",
"font": "serif",
"width": 7.457,
"textWidth": 6.999
},
{
"text": "engineering ",
"font": "serif",
"width": 10.12,
"textWidth": 9.662
},
{
"text": "tasks?, ",
"font": "serif",
"width": 5.817,
"textWidth": 5.359
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 46.131,
"top": 53.4,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2509.16941 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 56.15,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.476,
"textWidth": 2.021
},
{
"text": "Ding, ",
"font": "serif",
"width": 5.038,
"textWidth": 4.581
},
{
"text": "Z. ",
"font": "serif",
"width": 2.17,
"textWidth": 1.712
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.681,
"textWidth": 5.223
},
{
"text": "G. ",
"font": "serif",
"width": 2.347,
"textWidth": 1.892
},
{
"text": "Paolini, ",
"font": "serif",
"width": 6.723,
"textWidth": 6.265
},
{
"text": "V. ",
"font": "serif",
"width": 2.036,
"textWidth": 1.578
},
{
"text": "Kumar, ",
"font": "serif",
"width": 6.59,
"textWidth": 6.133
},
{
"text": "A. ",
"font": "serif",
"width": 2.375,
"textWidth": 1.92
},
{
"text": "Deoras, ",
"font": "serif",
"width": 6.747,
"textWidth": 6.29
},
{
"text": "D. ",
"font": "serif",
"width": 2.368,
"textWidth": 1.912
},
{
"text": "Roth, ",
"font": "serif",
"width": 4.887,
"textWidth": 4.43
},
{
"text": "and ",
"font": "serif",
"width": 3.617,
"textWidth": 3.162
},
{
"text": "S. ",
"font": "serif",
"width": 1.905,
"textWidth": 1.447
},
{
"text": "Soatto. ",
"font": "serif",
"width": 6.293,
"textWidth": 5.638
},
{
"text": "Fewer ",
"font": "serif",
"width": 5.58,
"textWidth": 5.122
},
{
"text": "truncations ",
"font": "serif",
"width": 9.358,
"textWidth": 9.358
}
]
},
{
"left": 13.727,
"top": 57.759,
"width": 54.787,
"height": 1.296,
"words": [
{
"text": "improve ",
"font": "serif",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "language ",
"font": "serif",
"width": 7.911,
"textWidth": 7.453
},
{
"text": "modeling. ",
"font": "serif",
"width": 8.886,
"textWidth": 8.227
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2404.10830, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 60.331,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.112,
"textWidth": 1.654
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.343,
"textWidth": 4.883
},
{
"text": "Y. ",
"font": "serif",
"width": 1.908,
"textWidth": 1.45
},
{
"text": "Fu, ",
"font": "serif",
"width": 3.001,
"textWidth": 2.541
},
{
"text": "S. ",
"font": "serif",
"width": 1.856,
"textWidth": 1.398
},
{
"text": "Diao, ",
"font": "serif",
"width": 4.717,
"textWidth": 4.258
},
{
"text": "W. ",
"font": "serif",
"width": 2.543,
"textWidth": 2.085
},
{
"text": "Byeon, ",
"font": "serif",
"width": 5.913,
"textWidth": 5.453
},
{
"text": "Z. ",
"font": "serif",
"width": 2.112,
"textWidth": 1.654
},
{
"text": "CHEN, ",
"font": "serif",
"width": 6.288,
"textWidth": 5.83
},
{
"text": "A. ",
"font": "serif",
"width": 2.314,
"textWidth": 1.854
},
{
"text": "S. ",
"font": "serif",
"width": 1.856,
"textWidth": 1.398
},
{
"text": "Mahabaleshwarkar, ",
"font": "serif",
"width": 16.168,
"textWidth": 15.71
},
{
"text": "S.-Y. ",
"font": "serif",
"width": 3.908,
"textWidth": 3.45
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.623,
"textWidth": 3.165
},
{
"text": "M. ",
"font": "serif",
"width": 2.617,
"textWidth": 2.157
},
{
"text": "V. ",
"font": "serif",
"width": 1.975,
"textWidth": 1.517
},
{
"text": "keirsbilck, ",
"font": "serif",
"width": 8.169,
"textWidth": 8.169
}
]
},
{
"left": 13.727,
"top": 61.941,
"width": 74.672,
"height": 1.296,
"words": [
{
"text": "M.-H. ",
"font": "serif",
"width": 5.312,
"textWidth": 4.857
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.298,
"textWidth": 4.84
},
{
"text": "Y. ",
"font": "serif",
"width": 1.957,
"textWidth": 1.501
},
{
"text": "Suhara, ",
"font": "serif",
"width": 6.698,
"textWidth": 6.241
},
{
"text": "Y. ",
"font": "serif",
"width": 1.959,
"textWidth": 1.501
},
{
"text": "C. ",
"font": "serif",
"width": 2.24,
"textWidth": 1.784
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.681,
"textWidth": 3.225
},
{
"text": "J. ",
"font": "serif",
"width": 1.54,
"textWidth": 1.084
},
{
"text": "Kautz, ",
"font": "serif",
"width": 5.861,
"textWidth": 5.404
},
{
"text": "and ",
"font": "serif",
"width": 3.605,
"textWidth": 3.149
},
{
"text": "P. ",
"font": "serif",
"width": 1.808,
"textWidth": 1.352
},
{
"text": "Molchanov. ",
"font": "serif",
"width": 10.221,
"textWidth": 9.567
},
{
"text": "Hymba: ",
"font": "serif",
"width": 7.215,
"textWidth": 6.648
},
{
"text": "A ",
"font": "serif",
"width": 1.903,
"textWidth": 1.447
},
{
"text": "hybrid-head ",
"font": "serif",
"width": 10.673,
"textWidth": 10.218
},
{
"text": "archi- ",
"font": "serif",
"width": 4.7,
"textWidth": 4.7
}
]
},
{
"left": 13.727,
"top": 63.55,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "tecture ",
"font": "serif",
"width": 6.137,
"textWidth": 5.671
},
{
"text": "for ",
"font": "serif",
"width": 2.847,
"textWidth": 2.381
},
{
"text": "small ",
"font": "serif",
"width": 4.931,
"textWidth": 4.466
},
{
"text": "language ",
"font": "serif",
"width": 8.068,
"textWidth": 7.602
},
{
"text": "models. ",
"font": "serif",
"width": 7.193,
"textWidth": 6.513
},
{
"text": "In ",
"font": "serif",
"width": 2.184,
"textWidth": 1.718
},
{
"text": "The ",
"font": "serif",
"width": 3.533,
"textWidth": 3.068
},
{
"text": "Thirteenth ",
"font": "serif",
"width": 8.996,
"textWidth": 8.531
},
{
"text": "International ",
"font": "serif",
"width": 10.979,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.646,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.532,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.323,
"textWidth": 7.323
}
]
},
{
"left": 13.727,
"top": 65.159,
"width": 22.451,
"height": 1.296,
"words": [
{
"text": "Representations, ",
"font": "serif",
"width": 13.899,
"textWidth": 13.44
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 36.636,
"top": 64.981,
"width": 44.45,
"height": 1.425,
"words": [
{
"text": "https://openreview.net/forum?id=A1ztozypga ",
"font": "mono",
"width": 44.45,
"textWidth": 44.45
}
]
},
{
"left": 11.905,
"top": 67.731,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.074,
"textWidth": 1.647
},
{
"text": "Du, ",
"font": "serif",
"width": 3.357,
"textWidth": 2.922
},
{
"text": "Y. ",
"font": "serif",
"width": 1.871,
"textWidth": 1.444
},
{
"text": "Yao, ",
"font": "serif",
"width": 3.789,
"textWidth": 3.357
},
{
"text": "K. ",
"font": "serif",
"width": 2.182,
"textWidth": 1.753
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.479,
"textWidth": 3.046
},
{
"text": "B. ",
"font": "serif",
"width": 1.974,
"textWidth": 1.546
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.453,
"textWidth": 5.02
},
{
"text": "T. ",
"font": "serif",
"width": 1.843,
"textWidth": 1.415
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.029,
"textWidth": 5.596
},
{
"text": "K. ",
"font": "serif",
"width": 2.182,
"textWidth": 1.753
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.208,
"textWidth": 3.775
},
{
"text": "M. ",
"font": "serif",
"width": 2.575,
"textWidth": 2.148
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.587,
"textWidth": 3.152
},
{
"text": "Y. ",
"font": "serif",
"width": 1.871,
"textWidth": 1.444
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.445,
"textWidth": 5.011
},
{
"text": "X. ",
"font": "serif",
"width": 2.074,
"textWidth": 1.647
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.048,
"textWidth": 2.615
},
{
"text": "Z. ",
"font": "serif",
"width": 2.076,
"textWidth": 1.647
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.892,
"textWidth": 3.459
},
{
"text": "et ",
"font": "serif",
"width": 1.873,
"textWidth": 1.446
},
{
"text": "al. ",
"font": "serif",
"width": 2.464,
"textWidth": 1.87
},
{
"text": "Supergpqa: ",
"font": "serif",
"width": 9.073,
"textWidth": 9.073
}
]
},
{
"left": 13.727,
"top": 69.341,
"width": 74.677,
"height": 1.296,
"words": [
{
"text": "Scaling ",
"font": "serif",
"width": 6.221,
"textWidth": 5.762
},
{
"text": "llm ",
"font": "serif",
"width": 3.104,
"textWidth": 2.647
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.921,
"textWidth": 8.462
},
{
"text": "across ",
"font": "serif",
"width": 5.363,
"textWidth": 4.904
},
{
"text": "285 ",
"font": "serif",
"width": 3.168,
"textWidth": 2.71
},
{
"text": "graduate ",
"font": "serif",
"width": 7.633,
"textWidth": 7.174
},
{
"text": "disciplines. ",
"font": "serif",
"width": 9.656,
"textWidth": 8.997
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2502.14739, ",
"font": "serif",
"width": 14.505,
"textWidth": 14.046
},
{
"text": "2025. ",
"font": "serif",
"width": 4.066,
"textWidth": 4.066
}
]
},
{
"left": 11.905,
"top": 71.912,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.339,
"textWidth": 1.88
},
{
"text": "Dua, ",
"font": "serif",
"width": 4.365,
"textWidth": 3.906
},
{
"text": "Y. ",
"font": "serif",
"width": 1.939,
"textWidth": 1.48
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.593,
"textWidth": 5.134
},
{
"text": "P. ",
"font": "serif",
"width": 1.79,
"textWidth": 1.331
},
{
"text": "Dasigi, ",
"font": "serif",
"width": 6.126,
"textWidth": 5.667
},
{
"text": "G. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.86
},
{
"text": "Stanovsky, ",
"font": "serif",
"width": 9.124,
"textWidth": 8.665
},
{
"text": "S. ",
"font": "serif",
"width": 1.882,
"textWidth": 1.423
},
{
"text": "Singh, ",
"font": "serif",
"width": 5.575,
"textWidth": 5.116
},
{
"text": "and ",
"font": "serif",
"width": 3.568,
"textWidth": 3.109
},
{
"text": "M. ",
"font": "serif",
"width": 2.653,
"textWidth": 2.196
},
{
"text": "Gardner. ",
"font": "serif",
"width": 7.793,
"textWidth": 7.132
},
{
"text": "DROP: ",
"font": "serif",
"width": 6.118,
"textWidth": 5.659
},
{
"text": "A ",
"font": "serif",
"width": 1.888,
"textWidth": 1.429
},
{
"text": "reading ",
"font": "serif",
"width": 6.693,
"textWidth": 6.236
},
{
"text": "compre- ",
"font": "serif",
"width": 6.726,
"textWidth": 6.726
}
]
},
{
"left": 13.727,
"top": 73.522,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "hension ",
"font": "serif",
"width": 6.638,
"textWidth": 6.261
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.31,
"textWidth": 8.933
},
{
"text": "requiring ",
"font": "serif",
"width": 7.8,
"textWidth": 7.423
},
{
"text": "discrete ",
"font": "serif",
"width": 6.539,
"textWidth": 6.162
},
{
"text": "reasoning ",
"font": "serif",
"width": 8.164,
"textWidth": 7.789
},
{
"text": "over ",
"font": "serif",
"width": 3.942,
"textWidth": 3.565
},
{
"text": "paragraphs. ",
"font": "serif",
"width": 10.011,
"textWidth": 9.526
},
{
"text": "In ",
"font": "serif",
"width": 2.028,
"textWidth": 1.65
},
{
"text": "J. ",
"font": "serif",
"width": 1.424,
"textWidth": 1.047
},
{
"text": "Burstein, ",
"font": "serif",
"width": 7.507,
"textWidth": 7.114
},
{
"text": "C. ",
"font": "serif",
"width": 2.099,
"textWidth": 1.722
},
{
"text": "Doran, ",
"font": "serif",
"width": 5.866,
"textWidth": 5.472
},
{
"text": "and ",
"font": "serif",
"width": 3.041,
"textWidth": 3.041
}
]
},
{
"left": 13.67,
"top": 75.131,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.864,
"textWidth": 1.413
},
{
"text": "Solorio, ",
"font": "serif",
"width": 6.539,
"textWidth": 6.088
},
{
"text": "editors, ",
"font": "serif",
"width": 6.418,
"textWidth": 5.966
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.333,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.061,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.992,
"textWidth": 2.542
},
{
"text": "2019 ",
"font": "serif",
"width": 4.115,
"textWidth": 3.665
},
{
"text": "Conference ",
"font": "serif",
"width": 9.631,
"textWidth": 9.181
},
{
"text": "of ",
"font": "serif",
"width": 2.061,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.992,
"textWidth": 2.542
},
{
"text": "North ",
"font": "serif",
"width": 5.361,
"textWidth": 4.911
},
{
"text": "American ",
"font": "serif",
"width": 8.425,
"textWidth": 7.976
},
{
"text": "Chapter ",
"font": "serif",
"width": 7.032,
"textWidth": 6.583
},
{
"text": "of ",
"font": "serif",
"width": 2.061,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.542,
"textWidth": 2.542
}
]
},
{
"left": 13.727,
"top": 76.741,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "Association ",
"font": "serif",
"width": 10.073,
"textWidth": 9.442
},
{
"text": "for ",
"font": "serif",
"width": 2.966,
"textWidth": 2.335
},
{
"text": "Computational ",
"font": "serif",
"width": 12.917,
"textWidth": 12.286
},
{
"text": "Linguistics: ",
"font": "serif",
"width": 10.248,
"textWidth": 9.333
},
{
"text": "Human ",
"font": "serif",
"width": 6.862,
"textWidth": 6.231
},
{
"text": "Language ",
"font": "serif",
"width": 8.671,
"textWidth": 8.04
},
{
"text": "Technologies, ",
"font": "serif",
"width": 11.654,
"textWidth": 10.979
},
{
"text": "NAACL-HLT ",
"font": "serif",
"width": 11.036,
"textWidth": 11.036
}
]
},
{
"left": 13.727,
"top": 78.35,
"width": 74.644,
"height": 1.296,
"words": [
{
"text": "2019, ",
"font": "serif",
"width": 4.566,
"textWidth": 4.123
},
{
"text": "Minneapolis, ",
"font": "serif",
"width": 11.04,
"textWidth": 10.598
},
{
"text": "MN, ",
"font": "serif",
"width": 4.154,
"textWidth": 3.715
},
{
"text": "USA, ",
"font": "serif",
"width": 4.71,
"textWidth": 4.272
},
{
"text": "June ",
"font": "serif",
"width": 4.098,
"textWidth": 3.66
},
{
"text": "2-7, ",
"font": "serif",
"width": 3.344,
"textWidth": 2.901
},
{
"text": "2019, ",
"font": "serif",
"width": 4.566,
"textWidth": 4.123
},
{
"text": "Volume ",
"font": "serif",
"width": 6.693,
"textWidth": 6.255
},
{
"text": "1 ",
"font": "serif",
"width": 1.355,
"textWidth": 0.916
},
{
"text": "(Long ",
"font": "serif",
"width": 5.255,
"textWidth": 4.816
},
{
"text": "and ",
"font": "serif",
"width": 3.541,
"textWidth": 3.103
},
{
"text": "Short ",
"font": "serif",
"width": 4.789,
"textWidth": 4.351
},
{
"text": "Papers), ",
"font": "serif",
"width": 7.004,
"textWidth": 6.562
},
{
"text": "pages ",
"font": "serif",
"width": 5.038,
"textWidth": 4.598
},
{
"text": "2368- ",
"font": "serif",
"width": 4.49,
"textWidth": 4.49
}
]
},
{
"left": 13.727,
"top": 79.959,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "2378. ",
"font": "serif",
"width": 4.707,
"textWidth": 4.206
},
{
"text": "Association ",
"font": "serif",
"width": 10.13,
"textWidth": 9.63
},
{
"text": "for ",
"font": "serif",
"width": 2.882,
"textWidth": 2.381
},
{
"text": "Computational ",
"font": "serif",
"width": 13.033,
"textWidth": 12.532
},
{
"text": "Linguistics, ",
"font": "serif",
"width": 10.03,
"textWidth": 9.52
},
{
"text": "2019. ",
"font": "serif",
"width": 5.0,
"textWidth": 4.206
},
{
"text": "doi: ",
"font": "serif",
"width": 3.826,
"textWidth": 3.174
},
{
"text": "10.18653/V1/N19-1246. ",
"font": "serif",
"width": 20.971,
"textWidth": 20.177
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 81.39,
"width": 38.183,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.18653/v1/n19-1246 ",
"font": "mono",
"width": 38.183,
"textWidth": 38.183
}
]
},
{
"left": 11.905,
"top": 84.14,
"width": 76.261,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.686
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.242,
"textWidth": 3.785
},
{
"text": "M. ",
"font": "serif",
"width": 2.658,
"textWidth": 2.198
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.435,
"textWidth": 4.978
},
{
"text": "X. ",
"font": "serif",
"width": 2.143,
"textWidth": 1.686
},
{
"text": "Miao, ",
"font": "serif",
"width": 5.114,
"textWidth": 4.656
},
{
"text": "W. ",
"font": "serif",
"width": 2.588,
"textWidth": 2.13
},
{
"text": "Du, ",
"font": "serif",
"width": 3.448,
"textWidth": 2.991
},
{
"text": "C. ",
"font": "serif",
"width": 2.22,
"textWidth": 1.763
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.088,
"textWidth": 2.628
},
{
"text": "and ",
"font": "serif",
"width": 3.57,
"textWidth": 3.112
},
{
"text": "H. ",
"font": "serif",
"width": 2.447,
"textWidth": 1.989
},
{
"text": "Chen. ",
"font": "serif",
"width": 5.443,
"textWidth": 4.783
},
{
"text": "Erofs: ",
"font": "serif",
"width": 5.239,
"textWidth": 4.671
},
{
"text": "a ",
"font": "serif",
"width": 1.377,
"textWidth": 0.919
},
{
"text": "compression-friendly ",
"font": "serif",
"width": 17.861,
"textWidth": 17.403
},
{
"text": "readonly ",
"font": "serif",
"width": 7.246,
"textWidth": 7.246
}
]
},
{
"left": 13.727,
"top": 85.75,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "file ",
"font": "serif",
"width": 3.112,
"textWidth": 2.57
},
{
"text": "system ",
"font": "serif",
"width": 6.322,
"textWidth": 5.78
},
{
"text": "for ",
"font": "serif",
"width": 2.924,
"textWidth": 2.381
},
{
"text": "resource-scarce ",
"font": "serif",
"width": 13.124,
"textWidth": 12.582
},
{
"text": "devices. ",
"font": "serif",
"width": 7.552,
"textWidth": 6.623
},
{
"text": "In ",
"font": "serif",
"width": 2.261,
"textWidth": 1.718
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.426,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.153,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.084,
"textWidth": 2.542
},
{
"text": "2019 ",
"font": "serif",
"width": 4.207,
"textWidth": 3.665
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.413,
"textWidth": 6.87
},
{
"text": "Conference ",
"font": "serif",
"width": 9.724,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.067,
"textWidth": 2.067
}
]
},
{
"left": 13.727,
"top": 87.359,
"width": 74.429,
"height": 1.296,
"words": [
{
"text": "Usenix ",
"font": "serif",
"width": 6.101,
"textWidth": 5.626
},
{
"text": "Annual ",
"font": "serif",
"width": 6.589,
"textWidth": 6.114
},
{
"text": "Technical ",
"font": "serif",
"width": 8.051,
"textWidth": 7.576
},
{
"text": "Conference, ",
"font": "serif",
"width": 10.127,
"textWidth": 9.649
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.483,
"textWidth": 7.008
},
{
"text": "ATC ",
"font": "serif",
"width": 4.266,
"textWidth": 3.791
},
{
"text": "’19, ",
"font": "serif",
"width": 3.335,
"textWidth": 2.856
},
{
"text": "page ",
"font": "serif",
"width": 4.468,
"textWidth": 3.993
},
{
"text": "149-162, ",
"font": "serif",
"width": 7.49,
"textWidth": 7.01
},
{
"text": "USA, ",
"font": "serif",
"width": 4.832,
"textWidth": 4.357
},
{
"text": "2019. ",
"font": "serif",
"width": 4.681,
"textWidth": 4.206
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.008,
"textWidth": 7.008
}
]
},
{
"left": 13.656,
"top": 88.969,
"width": 27.61,
"height": 1.296,
"words": [
{
"text": "Association. ",
"font": "serif",
"width": 10.56,
"textWidth": 9.9
},
{
"text": "ISBN ",
"font": "serif",
"width": 4.68,
"textWidth": 4.222
},
{
"text": "9781939133038. ",
"font": "serif",
"width": 12.37,
"textWidth": 12.37
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "47 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"48": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.419,
"textWidth": 1.922
},
{
"text": "P. ",
"font": "serif",
"width": 1.856,
"textWidth": 1.359
},
{
"text": "Gema, ",
"font": "serif",
"width": 5.881,
"textWidth": 5.374
},
{
"text": "J. ",
"font": "serif",
"width": 1.587,
"textWidth": 1.09
},
{
"text": "O. ",
"font": "serif",
"width": 2.434,
"textWidth": 1.937
},
{
"text": "J. ",
"font": "serif",
"width": 1.587,
"textWidth": 1.09
},
{
"text": "Leang, ",
"font": "serif",
"width": 6.073,
"textWidth": 5.567
},
{
"text": "G. ",
"font": "serif",
"width": 2.391,
"textWidth": 1.894
},
{
"text": "Hong, ",
"font": "serif",
"width": 5.677,
"textWidth": 5.17
},
{
"text": "A. ",
"font": "serif",
"width": 2.419,
"textWidth": 1.922
},
{
"text": "Devoto, ",
"font": "serif",
"width": 7.023,
"textWidth": 6.516
},
{
"text": "A. ",
"font": "serif",
"width": 2.419,
"textWidth": 1.922
},
{
"text": "C. ",
"font": "serif",
"width": 2.288,
"textWidth": 1.793
},
{
"text": "M. ",
"font": "serif",
"width": 2.733,
"textWidth": 2.236
},
{
"text": "Mancino, ",
"font": "serif",
"width": 8.247,
"textWidth": 7.741
},
{
"text": "R. ",
"font": "serif",
"width": 2.213,
"textWidth": 1.716
},
{
"text": "Saxena, ",
"font": "serif",
"width": 6.772,
"textWidth": 6.266
},
{
"text": "X. ",
"font": "serif",
"width": 2.211,
"textWidth": 1.714
},
{
"text": "He, ",
"font": "serif",
"width": 3.424,
"textWidth": 2.918
},
{
"text": "Y. ",
"font": "serif",
"width": 2.008,
"textWidth": 1.51
},
{
"text": "Zhao, ",
"font": "serif",
"width": 4.757,
"textWidth": 4.757
}
]
},
{
"left": 13.666,
"top": 12.082,
"width": 74.428,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.234,
"textWidth": 1.714
},
{
"text": "Du, ",
"font": "serif",
"width": 3.574,
"textWidth": 3.041
},
{
"text": "M. ",
"font": "serif",
"width": 2.755,
"textWidth": 2.236
},
{
"text": "R. ",
"font": "serif",
"width": 2.234,
"textWidth": 1.716
},
{
"text": "G. ",
"font": "serif",
"width": 2.413,
"textWidth": 1.894
},
{
"text": "Madani, ",
"font": "serif",
"width": 7.412,
"textWidth": 6.879
},
{
"text": "C. ",
"font": "serif",
"width": 2.312,
"textWidth": 1.793
},
{
"text": "Barale, ",
"font": "serif",
"width": 6.189,
"textWidth": 5.656
},
{
"text": "R. ",
"font": "serif",
"width": 2.236,
"textWidth": 1.716
},
{
"text": "McHardy, ",
"font": "serif",
"width": 8.772,
"textWidth": 8.238
},
{
"text": "J. ",
"font": "serif",
"width": 1.608,
"textWidth": 1.09
},
{
"text": "Harris, ",
"font": "serif",
"width": 6.305,
"textWidth": 5.77
},
{
"text": "J. ",
"font": "serif",
"width": 1.609,
"textWidth": 1.09
},
{
"text": "Kaddour, ",
"font": "serif",
"width": 8.328,
"textWidth": 7.793
},
{
"text": "E. ",
"font": "serif",
"width": 2.127,
"textWidth": 1.609
},
{
"text": "van ",
"font": "serif",
"width": 3.598,
"textWidth": 3.079
},
{
"text": "Krieken, ",
"font": "serif",
"width": 7.557,
"textWidth": 7.025
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 59.144,
"height": 1.296,
"words": [
{
"text": "P. ",
"font": "serif",
"width": 1.756,
"textWidth": 1.297
},
{
"text": "Minervini. ",
"font": "serif",
"width": 9.052,
"textWidth": 8.391
},
{
"text": "Are ",
"font": "serif",
"width": 3.391,
"textWidth": 2.933
},
{
"text": "we ",
"font": "serif",
"width": 2.818,
"textWidth": 2.358
},
{
"text": "done ",
"font": "serif",
"width": 4.441,
"textWidth": 3.983
},
{
"text": "with ",
"font": "serif",
"width": 4.109,
"textWidth": 3.651
},
{
"text": "mmlu? ",
"font": "serif",
"width": 6.346,
"textWidth": 5.575
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.655,
"textWidth": 5.197
},
{
"text": "abs/2406.04127, ",
"font": "serif",
"width": 13.181,
"textWidth": 12.721
},
{
"text": "2024. ",
"font": "serif",
"width": 4.7,
"textWidth": 4.041
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 73.33,
"top": 13.513,
"width": 14.819,
"height": 1.425,
"words": [
{
"text": "https://doi.or ",
"font": "mono",
"width": 14.819,
"textWidth": 14.819
}
]
},
{
"left": 13.727,
"top": 15.122,
"width": 28.575,
"height": 1.425,
"words": [
{
"text": "g/10.48550/arXiv.2406.04127 ",
"font": "mono",
"width": 28.575,
"textWidth": 28.575
}
]
},
{
"left": 11.905,
"top": 17.818,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "F. ",
"font": "serif",
"width": 1.98,
"textWidth": 1.338
},
{
"text": "Gloeckle, ",
"font": "serif",
"width": 8.35,
"textWidth": 7.662
},
{
"text": "B. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.609
},
{
"text": "Y. ",
"font": "serif",
"width": 2.153,
"textWidth": 1.51
},
{
"text": "Idrissi, ",
"font": "serif",
"width": 6.339,
"textWidth": 5.649
},
{
"text": "B. ",
"font": "serif",
"width": 2.251,
"textWidth": 1.609
},
{
"text": "Rozière, ",
"font": "serif",
"width": 7.4,
"textWidth": 6.711
},
{
"text": "D. ",
"font": "serif",
"width": 2.555,
"textWidth": 1.914
},
{
"text": "Lopez-Paz, ",
"font": "serif",
"width": 9.892,
"textWidth": 9.204
},
{
"text": "and ",
"font": "serif",
"width": 3.808,
"textWidth": 3.165
},
{
"text": "G. ",
"font": "serif",
"width": 2.535,
"textWidth": 1.894
},
{
"text": "Synnaeve. ",
"font": "serif",
"width": 9.694,
"textWidth": 8.445
},
{
"text": "Better ",
"font": "serif",
"width": 7.628,
"textWidth": 4.89
},
{
"text": "faster ",
"font": "serif",
"width": 5.234,
"textWidth": 4.593
},
{
"text": "large ",
"font": "serif",
"width": 4.12,
"textWidth": 4.12
}
]
},
{
"left": 13.727,
"top": 19.428,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "language ",
"font": "serif",
"width": 8.372,
"textWidth": 7.602
},
{
"text": "models ",
"font": "serif",
"width": 6.813,
"textWidth": 6.045
},
{
"text": "via ",
"font": "serif",
"width": 3.305,
"textWidth": 2.535
},
{
"text": "multi-token ",
"font": "serif",
"width": 10.518,
"textWidth": 9.75
},
{
"text": "prediction. ",
"font": "serif",
"width": 10.625,
"textWidth": 8.969
},
{
"text": "In ",
"font": "serif",
"width": 2.487,
"textWidth": 1.718
},
{
"text": "Forty-first ",
"font": "serif",
"width": 8.946,
"textWidth": 8.177
},
{
"text": "International ",
"font": "serif",
"width": 11.283,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.951,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.067,
"textWidth": 2.067
}
]
},
{
"left": 13.727,
"top": 21.037,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "Machine ",
"font": "serif",
"width": 7.411,
"textWidth": 7.008
},
{
"text": "Learning, ",
"font": "serif",
"width": 8.196,
"textWidth": 7.781
},
{
"text": "ICML ",
"font": "serif",
"width": 5.174,
"textWidth": 4.77
},
{
"text": "2024, ",
"font": "serif",
"width": 4.538,
"textWidth": 4.123
},
{
"text": "Vienna, ",
"font": "serif",
"width": 6.555,
"textWidth": 6.141
},
{
"text": "Austria, ",
"font": "serif",
"width": 6.951,
"textWidth": 6.537
},
{
"text": "July ",
"font": "serif",
"width": 3.671,
"textWidth": 3.268
},
{
"text": "21-27, ",
"font": "serif",
"width": 5.148,
"textWidth": 4.734
},
{
"text": "2024. ",
"font": "serif",
"width": 4.518,
"textWidth": 4.114
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 13.985,
"textWidth": 13.572
},
{
"text": "2024. ",
"font": "serif",
"width": 4.583,
"textWidth": 4.041
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 13.727,
"top": 22.468,
"width": 44.45,
"height": 1.425,
"words": [
{
"text": "https://openreview.net/forum?id=pEWAcejiU2 ",
"font": "mono",
"width": 44.45,
"textWidth": 44.45
}
]
},
{
"left": 11.905,
"top": 25.164,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.266,
"textWidth": 1.609
},
{
"text": "Haas, ",
"font": "serif",
"width": 5.391,
"textWidth": 4.684
},
{
"text": "G. ",
"font": "serif",
"width": 2.55,
"textWidth": 1.894
},
{
"text": "Yona, ",
"font": "serif",
"width": 5.296,
"textWidth": 4.589
},
{
"text": "G. ",
"font": "serif",
"width": 2.55,
"textWidth": 1.894
},
{
"text": "D’Antonio, ",
"font": "serif",
"width": 9.965,
"textWidth": 9.258
},
{
"text": "S. ",
"font": "serif",
"width": 2.105,
"textWidth": 1.449
},
{
"text": "Goldshtein, ",
"font": "serif",
"width": 10.324,
"textWidth": 9.617
},
{
"text": "and ",
"font": "serif",
"width": 3.821,
"textWidth": 3.165
},
{
"text": "D. ",
"font": "serif",
"width": 2.57,
"textWidth": 1.914
},
{
"text": "Das. ",
"font": "serif",
"width": 4.937,
"textWidth": 3.641
},
{
"text": "Simpleqa ",
"font": "serif",
"width": 8.376,
"textWidth": 7.72
},
{
"text": "verified: ",
"font": "serif",
"width": 7.834,
"textWidth": 6.87
},
{
"text": "A ",
"font": "serif",
"width": 2.11,
"textWidth": 1.454
},
{
"text": "reliable ",
"font": "serif",
"width": 6.098,
"textWidth": 6.098
}
]
},
{
"left": 13.727,
"top": 26.774,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "factuality ",
"font": "serif",
"width": 8.363,
"textWidth": 7.795
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.868,
"textWidth": 9.298
},
{
"text": "to ",
"font": "serif",
"width": 2.198,
"textWidth": 1.63
},
{
"text": "measure ",
"font": "serif",
"width": 7.571,
"textWidth": 7.002
},
{
"text": "parametric ",
"font": "serif",
"width": 9.569,
"textWidth": 8.999
},
{
"text": "knowledge. ",
"font": "serif",
"width": 10.705,
"textWidth": 9.69
},
{
"text": "arXiv ",
"font": "serif",
"width": 5.0,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.262,
"textWidth": 6.693
},
{
"text": "arXiv:2509.07968, ",
"font": "serif",
"width": 14.062,
"textWidth": 14.062
}
]
},
{
"left": 13.727,
"top": 28.383,
"width": 4.123,
"height": 1.296,
"words": [
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 30.901,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 2.092,
"textWidth": 1.51
},
{
"text": "He, ",
"font": "serif",
"width": 3.529,
"textWidth": 2.918
},
{
"text": "S. ",
"font": "serif",
"width": 2.03,
"textWidth": 1.449
},
{
"text": "Li, ",
"font": "serif",
"width": 2.765,
"textWidth": 2.153
},
{
"text": "J. ",
"font": "serif",
"width": 1.671,
"textWidth": 1.09
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.894,
"textWidth": 3.281
},
{
"text": "Y. ",
"font": "serif",
"width": 2.092,
"textWidth": 1.51
},
{
"text": "Tan, ",
"font": "serif",
"width": 4.079,
"textWidth": 3.466
},
{
"text": "W. ",
"font": "serif",
"width": 2.748,
"textWidth": 2.168
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.843,
"textWidth": 5.23
},
{
"text": "H. ",
"font": "serif",
"width": 2.602,
"textWidth": 2.021
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.825,
"textWidth": 6.212
},
{
"text": "X. ",
"font": "serif",
"width": 2.294,
"textWidth": 1.714
},
{
"text": "Bu, ",
"font": "serif",
"width": 3.35,
"textWidth": 2.737
},
{
"text": "H. ",
"font": "serif",
"width": 2.604,
"textWidth": 2.023
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.653,
"textWidth": 4.041
},
{
"text": "C. ",
"font": "serif",
"width": 2.374,
"textWidth": 1.793
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.761,
"textWidth": 3.15
},
{
"text": "B. ",
"font": "serif",
"width": 2.191,
"textWidth": 1.609
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.436,
"textWidth": 5.825
},
{
"text": "et ",
"font": "serif",
"width": 2.086,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.998,
"textWidth": 1.946
},
{
"text": "Chi- ",
"font": "serif",
"width": 3.58,
"textWidth": 3.58
}
]
},
{
"left": 13.727,
"top": 32.51,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "nese ",
"font": "serif",
"width": 4.234,
"textWidth": 3.671
},
{
"text": "simpleqa: ",
"font": "serif",
"width": 8.774,
"textWidth": 7.999
},
{
"text": "A ",
"font": "serif",
"width": 2.015,
"textWidth": 1.454
},
{
"text": "chinese ",
"font": "serif",
"width": 6.696,
"textWidth": 6.133
},
{
"text": "factuality ",
"font": "serif",
"width": 8.356,
"textWidth": 7.795
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.316,
"textWidth": 8.754
},
{
"text": "for ",
"font": "serif",
"width": 2.942,
"textWidth": 2.381
},
{
"text": "large ",
"font": "serif",
"width": 4.681,
"textWidth": 4.12
},
{
"text": "language ",
"font": "serif",
"width": 8.165,
"textWidth": 7.602
},
{
"text": "models. ",
"font": "serif",
"width": 7.504,
"textWidth": 6.513
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.993,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 6.693,
"textWidth": 6.693
}
]
},
{
"left": 13.727,
"top": 34.12,
"width": 18.634,
"height": 1.296,
"words": [
{
"text": "arXiv:2411.07140, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 36.638,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.347,
"textWidth": 1.89
},
{
"text": "Hendrycks, ",
"font": "serif",
"width": 9.923,
"textWidth": 9.465
},
{
"text": "C. ",
"font": "serif",
"width": 2.229,
"textWidth": 1.77
},
{
"text": "Burns, ",
"font": "serif",
"width": 5.745,
"textWidth": 5.285
},
{
"text": "S. ",
"font": "serif",
"width": 1.888,
"textWidth": 1.43
},
{
"text": "Basart, ",
"font": "serif",
"width": 6.005,
"textWidth": 5.547
},
{
"text": "A. ",
"font": "serif",
"width": 2.355,
"textWidth": 1.897
},
{
"text": "Zou, ",
"font": "serif",
"width": 4.27,
"textWidth": 3.813
},
{
"text": "M. ",
"font": "serif",
"width": 2.667,
"textWidth": 2.207
},
{
"text": "Mazeika, ",
"font": "serif",
"width": 7.88,
"textWidth": 7.422
},
{
"text": "D. ",
"font": "serif",
"width": 2.347,
"textWidth": 1.89
},
{
"text": "Song, ",
"font": "serif",
"width": 4.996,
"textWidth": 4.538
},
{
"text": "and ",
"font": "serif",
"width": 3.582,
"textWidth": 3.124
},
{
"text": "J. ",
"font": "serif",
"width": 1.534,
"textWidth": 1.076
},
{
"text": "Steinhardt. ",
"font": "serif",
"width": 9.609,
"textWidth": 8.95
},
{
"text": "Measuring ",
"font": "serif",
"width": 8.814,
"textWidth": 8.814
}
]
},
{
"left": 13.727,
"top": 38.247,
"width": 66.84,
"height": 1.296,
"words": [
{
"text": "massive ",
"font": "serif",
"width": 6.993,
"textWidth": 6.535
},
{
"text": "multitask ",
"font": "serif",
"width": 8.155,
"textWidth": 7.697
},
{
"text": "language ",
"font": "serif",
"width": 7.911,
"textWidth": 7.453
},
{
"text": "understanding. ",
"font": "serif",
"width": 13.106,
"textWidth": 12.447
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2009.03300, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2020. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 40.765,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.195,
"textWidth": 1.839
},
{
"text": "Hendrycks, ",
"font": "serif",
"width": 9.587,
"textWidth": 9.211
},
{
"text": "C. ",
"font": "serif",
"width": 2.08,
"textWidth": 1.722
},
{
"text": "Burns, ",
"font": "serif",
"width": 5.521,
"textWidth": 5.145
},
{
"text": "S. ",
"font": "serif",
"width": 1.747,
"textWidth": 1.392
},
{
"text": "Kadavath, ",
"font": "serif",
"width": 8.565,
"textWidth": 8.19
},
{
"text": "A. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.846
},
{
"text": "Arora, ",
"font": "serif",
"width": 5.487,
"textWidth": 5.11
},
{
"text": "S. ",
"font": "serif",
"width": 1.747,
"textWidth": 1.392
},
{
"text": "Basart, ",
"font": "serif",
"width": 5.774,
"textWidth": 5.399
},
{
"text": "E. ",
"font": "serif",
"width": 1.902,
"textWidth": 1.546
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.7,
"textWidth": 4.323
},
{
"text": "D. ",
"font": "serif",
"width": 2.195,
"textWidth": 1.839
},
{
"text": "Song, ",
"font": "serif",
"width": 4.792,
"textWidth": 4.416
},
{
"text": "and ",
"font": "serif",
"width": 3.396,
"textWidth": 3.041
},
{
"text": "J. ",
"font": "serif",
"width": 1.403,
"textWidth": 1.047
},
{
"text": "Steinhardt. ",
"font": "serif",
"width": 9.147,
"textWidth": 8.709
},
{
"text": "Mea- ",
"font": "serif",
"width": 4.055,
"textWidth": 4.055
}
]
},
{
"left": 13.727,
"top": 42.374,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "suring ",
"font": "serif",
"width": 5.56,
"textWidth": 5.12
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.227,
"textWidth": 10.785
},
{
"text": "problem ",
"font": "serif",
"width": 7.139,
"textWidth": 6.697
},
{
"text": "solving ",
"font": "serif",
"width": 6.286,
"textWidth": 5.846
},
{
"text": "with ",
"font": "serif",
"width": 4.093,
"textWidth": 3.651
},
{
"text": "the ",
"font": "serif",
"width": 2.931,
"textWidth": 2.491
},
{
"text": "math ",
"font": "serif",
"width": 4.556,
"textWidth": 4.115
},
{
"text": "dataset. ",
"font": "serif",
"width": 6.757,
"textWidth": 6.135
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.872,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.133,
"textWidth": 6.693
},
{
"text": "arXiv:2103.03874, ",
"font": "serif",
"width": 14.043,
"textWidth": 14.043
}
]
},
{
"left": 13.727,
"top": 43.984,
"width": 4.123,
"height": 1.296,
"words": [
{
"text": "2021. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 46.502,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.468
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.519,
"textWidth": 6.059
},
{
"text": "Y. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.468
},
{
"text": "Bai, ",
"font": "serif",
"width": 3.472,
"textWidth": 3.012
},
{
"text": "Z. ",
"font": "serif",
"width": 2.13,
"textWidth": 1.672
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.292,
"textWidth": 3.833
},
{
"text": "J. ",
"font": "serif",
"width": 1.523,
"textWidth": 1.063
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.178,
"textWidth": 5.72
},
{
"text": "J. ",
"font": "serif",
"width": 1.523,
"textWidth": 1.063
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.18,
"textWidth": 5.72
},
{
"text": "T. ",
"font": "serif",
"width": 1.896,
"textWidth": 1.437
},
{
"text": "Su, ",
"font": "serif",
"width": 2.972,
"textWidth": 2.513
},
{
"text": "J. ",
"font": "serif",
"width": 1.521,
"textWidth": 1.063
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.66,
"textWidth": 3.2
},
{
"text": "C. ",
"font": "serif",
"width": 2.208,
"textWidth": 1.749
},
{
"text": "Lv, ",
"font": "serif",
"width": 2.856,
"textWidth": 2.396
},
{
"text": "Y. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.468
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.18,
"textWidth": 5.72
},
{
"text": "J. ",
"font": "serif",
"width": 1.521,
"textWidth": 1.063
},
{
"text": "Lei, ",
"font": "serif",
"width": 3.434,
"textWidth": 2.974
},
{
"text": "et ",
"font": "serif",
"width": 1.927,
"textWidth": 1.468
},
{
"text": "al. ",
"font": "serif",
"width": 2.56,
"textWidth": 1.898
},
{
"text": "C-Eval: ",
"font": "serif",
"width": 6.512,
"textWidth": 5.943
},
{
"text": "A ",
"font": "serif",
"width": 1.419,
"textWidth": 1.419
}
]
},
{
"left": 13.727,
"top": 48.111,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "multi-level ",
"font": "serif",
"width": 9.46,
"textWidth": 9.006
},
{
"text": "multi-discipline ",
"font": "serif",
"width": 13.561,
"textWidth": 13.106
},
{
"text": "chinese ",
"font": "serif",
"width": 6.572,
"textWidth": 6.115
},
{
"text": "evaluation ",
"font": "serif",
"width": 9.183,
"textWidth": 8.728
},
{
"text": "suite ",
"font": "serif",
"width": 4.412,
"textWidth": 3.957
},
{
"text": "for ",
"font": "serif",
"width": 2.829,
"textWidth": 2.374
},
{
"text": "foundation ",
"font": "serif",
"width": 9.626,
"textWidth": 9.17
},
{
"text": "models. ",
"font": "serif",
"width": 7.146,
"textWidth": 6.493
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.886,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 6.693,
"textWidth": 6.693
}
]
},
{
"left": 13.727,
"top": 49.721,
"width": 18.634,
"height": 1.296,
"words": [
{
"text": "arXiv:2305.08322, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 52.238,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.348,
"textWidth": 1.892
},
{
"text": "Hupkes ",
"font": "serif",
"width": 6.912,
"textWidth": 6.456
},
{
"text": "and ",
"font": "serif",
"width": 3.584,
"textWidth": 3.127
},
{
"text": "N. ",
"font": "serif",
"width": 2.451,
"textWidth": 1.997
},
{
"text": "Bogoychev. ",
"font": "serif",
"width": 9.938,
"textWidth": 9.283
},
{
"text": "Multiloko: ",
"font": "serif",
"width": 9.15,
"textWidth": 8.582
},
{
"text": "a ",
"font": "serif",
"width": 1.38,
"textWidth": 0.924
},
{
"text": "multilingual ",
"font": "serif",
"width": 10.631,
"textWidth": 10.175
},
{
"text": "local ",
"font": "serif",
"width": 4.282,
"textWidth": 3.828
},
{
"text": "knowledge ",
"font": "serif",
"width": 9.571,
"textWidth": 9.114
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.645,
"textWidth": 9.188
},
{
"text": "for ",
"font": "serif",
"width": 2.81,
"textWidth": 2.353
},
{
"text": "llms ",
"font": "serif",
"width": 3.489,
"textWidth": 3.489
}
]
},
{
"left": 13.727,
"top": 53.848,
"width": 74.426,
"height": 1.296,
"words": [
{
"text": "spanning ",
"font": "serif",
"width": 7.93,
"textWidth": 7.471
},
{
"text": "31 ",
"font": "serif",
"width": 2.273,
"textWidth": 1.814
},
{
"text": "languages. ",
"font": "serif",
"width": 9.265,
"textWidth": 8.602
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.661,
"textWidth": 5.202
},
{
"text": "abs/2504.10356, ",
"font": "serif",
"width": 13.31,
"textWidth": 12.851
},
{
"text": "2025. ",
"font": "serif",
"width": 4.746,
"textWidth": 4.082
},
{
"text": "doi: ",
"font": "serif",
"width": 3.65,
"textWidth": 3.081
},
{
"text": "10.48550/ARXIV.2504.10356. ",
"font": "serif",
"width": 23.858,
"textWidth": 23.194
},
{
"text": "URL ",
"font": "serif",
"width": 3.732,
"textWidth": 3.732
}
]
},
{
"left": 13.727,
"top": 55.279,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2504.10356 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 57.975,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.193,
"textWidth": 1.609
},
{
"text": "Jacob, ",
"font": "serif",
"width": 5.522,
"textWidth": 4.907
},
{
"text": "S. ",
"font": "serif",
"width": 2.03,
"textWidth": 1.449
},
{
"text": "Kligys, ",
"font": "serif",
"width": 6.397,
"textWidth": 5.784
},
{
"text": "B. ",
"font": "serif",
"width": 2.193,
"textWidth": 1.609
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.477,
"textWidth": 4.864
},
{
"text": "M. ",
"font": "serif",
"width": 2.817,
"textWidth": 2.236
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.542,
"textWidth": 3.929
},
{
"text": "M. ",
"font": "serif",
"width": 2.819,
"textWidth": 2.236
},
{
"text": "Tang, ",
"font": "serif",
"width": 5.12,
"textWidth": 4.507
},
{
"text": "A. ",
"font": "serif",
"width": 2.503,
"textWidth": 1.922
},
{
"text": "Howard, ",
"font": "serif",
"width": 7.999,
"textWidth": 7.385
},
{
"text": "H. ",
"font": "serif",
"width": 2.604,
"textWidth": 2.023
},
{
"text": "Adam, ",
"font": "serif",
"width": 6.262,
"textWidth": 5.649
},
{
"text": "and ",
"font": "serif",
"width": 3.748,
"textWidth": 3.165
},
{
"text": "D. ",
"font": "serif",
"width": 2.495,
"textWidth": 1.914
},
{
"text": "Kalenichenko. ",
"font": "serif",
"width": 11.791,
"textWidth": 11.791
}
]
},
{
"left": 13.727,
"top": 59.584,
"width": 74.688,
"height": 1.296,
"words": [
{
"text": "Quantization ",
"font": "serif",
"width": 11.215,
"textWidth": 10.754
},
{
"text": "and ",
"font": "serif",
"width": 3.584,
"textWidth": 3.121
},
{
"text": "training ",
"font": "serif",
"width": 6.956,
"textWidth": 6.495
},
{
"text": "of ",
"font": "serif",
"width": 2.083,
"textWidth": 1.621
},
{
"text": "neural ",
"font": "serif",
"width": 5.715,
"textWidth": 5.254
},
{
"text": "networks ",
"font": "serif",
"width": 8.097,
"textWidth": 7.636
},
{
"text": "for ",
"font": "serif",
"width": 2.812,
"textWidth": 2.349
},
{
"text": "efficient ",
"font": "serif",
"width": 6.952,
"textWidth": 6.491
},
{
"text": "integer-arithmetic-only ",
"font": "serif",
"width": 19.354,
"textWidth": 18.893
},
{
"text": "inference. ",
"font": "serif",
"width": 7.92,
"textWidth": 7.92
}
]
},
{
"left": 13.727,
"top": 61.194,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.058,
"textWidth": 1.65
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.29,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.018,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.949,
"textWidth": 2.542
},
{
"text": "IEEE ",
"font": "serif",
"width": 4.384,
"textWidth": 3.977
},
{
"text": "Conference ",
"font": "serif",
"width": 9.588,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.474,
"textWidth": 2.067
},
{
"text": "Computer ",
"font": "serif",
"width": 8.731,
"textWidth": 8.324
},
{
"text": "Vision ",
"font": "serif",
"width": 5.54,
"textWidth": 5.133
},
{
"text": "and ",
"font": "serif",
"width": 3.51,
"textWidth": 3.103
},
{
"text": "Pattern ",
"font": "serif",
"width": 6.293,
"textWidth": 5.886
},
{
"text": "Recognition ",
"font": "serif",
"width": 10.14,
"textWidth": 9.733
},
{
"text": "(CVPR), ",
"font": "serif",
"width": 6.623,
"textWidth": 6.623
}
]
},
{
"left": 13.696,
"top": 62.803,
"width": 8.241,
"height": 1.296,
"words": [
{
"text": "June ",
"font": "serif",
"width": 4.118,
"textWidth": 3.66
},
{
"text": "2018. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 65.321,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.941
},
{
"text": "Jain, ",
"font": "serif",
"width": 3.94,
"textWidth": 3.513
},
{
"text": "K. ",
"font": "serif",
"width": 2.173,
"textWidth": 1.753
},
{
"text": "Han, ",
"font": "serif",
"width": 4.314,
"textWidth": 3.886
},
{
"text": "A. ",
"font": "serif",
"width": 2.265,
"textWidth": 1.846
},
{
"text": "Gu, ",
"font": "serif",
"width": 3.33,
"textWidth": 2.902
},
{
"text": "W.-D. ",
"font": "serif",
"width": 4.932,
"textWidth": 4.513
},
{
"text": "Li, ",
"font": "serif",
"width": 2.496,
"textWidth": 2.069
},
{
"text": "F. ",
"font": "serif",
"width": 1.699,
"textWidth": 1.279
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.849,
"textWidth": 3.421
},
{
"text": "T. ",
"font": "serif",
"width": 1.834,
"textWidth": 1.413
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.06,
"textWidth": 5.634
},
{
"text": "S. ",
"font": "serif",
"width": 1.812,
"textWidth": 1.392
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.445,
"textWidth": 5.018
},
{
"text": "A. ",
"font": "serif",
"width": 2.265,
"textWidth": 1.846
},
{
"text": "Solar-Lezama, ",
"font": "serif",
"width": 11.733,
"textWidth": 11.306
},
{
"text": "K. ",
"font": "serif",
"width": 2.171,
"textWidth": 1.753
},
{
"text": "Sen, ",
"font": "serif",
"width": 3.725,
"textWidth": 3.297
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.041
},
{
"text": "I. ",
"font": "serif",
"width": 1.474,
"textWidth": 1.054
},
{
"text": "Stoica. ",
"font": "serif",
"width": 5.176,
"textWidth": 5.176
}
]
},
{
"left": 13.727,
"top": 66.931,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "Livecodebench: ",
"font": "serif",
"width": 12.983,
"textWidth": 12.421
},
{
"text": "Holistic ",
"font": "serif",
"width": 6.632,
"textWidth": 6.187
},
{
"text": "and ",
"font": "serif",
"width": 3.488,
"textWidth": 3.041
},
{
"text": "contamination ",
"font": "serif",
"width": 11.938,
"textWidth": 11.492
},
{
"text": "free ",
"font": "serif",
"width": 3.441,
"textWidth": 2.996
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.858,
"textWidth": 8.41
},
{
"text": "of ",
"font": "serif",
"width": 2.024,
"textWidth": 1.579
},
{
"text": "large ",
"font": "serif",
"width": 4.402,
"textWidth": 3.956
},
{
"text": "language ",
"font": "serif",
"width": 7.75,
"textWidth": 7.304
},
{
"text": "models ",
"font": "serif",
"width": 6.255,
"textWidth": 5.808
},
{
"text": "for ",
"font": "serif",
"width": 2.733,
"textWidth": 2.288
},
{
"text": "code. ",
"font": "serif",
"width": 4.185,
"textWidth": 4.185
}
]
},
{
"left": 13.727,
"top": 68.54,
"width": 30.674,
"height": 1.296,
"words": [
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2403.07974, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 71.058,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "K. ",
"font": "serif",
"width": 2.23,
"textWidth": 1.771
},
{
"text": "Jordan, ",
"font": "serif",
"width": 6.263,
"textWidth": 5.804
},
{
"text": "Y. ",
"font": "serif",
"width": 1.92,
"textWidth": 1.461
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.101,
"textWidth": 2.642
},
{
"text": "V. ",
"font": "serif",
"width": 1.987,
"textWidth": 1.528
},
{
"text": "Boza, ",
"font": "serif",
"width": 4.826,
"textWidth": 4.367
},
{
"text": "J. ",
"font": "serif",
"width": 1.517,
"textWidth": 1.058
},
{
"text": "You, ",
"font": "serif",
"width": 4.039,
"textWidth": 3.58
},
{
"text": "F. ",
"font": "serif",
"width": 1.753,
"textWidth": 1.294
},
{
"text": "Cesista, ",
"font": "serif",
"width": 6.633,
"textWidth": 6.174
},
{
"text": "L. ",
"font": "serif",
"width": 2.021,
"textWidth": 1.562
},
{
"text": "Newhouse, ",
"font": "serif",
"width": 9.583,
"textWidth": 9.122
},
{
"text": "and ",
"font": "serif",
"width": 3.531,
"textWidth": 3.072
},
{
"text": "J. ",
"font": "serif",
"width": 1.517,
"textWidth": 1.058
},
{
"text": "Bernstein. ",
"font": "serif",
"width": 8.68,
"textWidth": 8.017
},
{
"text": "Muon: ",
"font": "serif",
"width": 5.88,
"textWidth": 5.31
},
{
"text": "An ",
"font": "serif",
"width": 2.926,
"textWidth": 2.467
},
{
"text": "optimizer ",
"font": "serif",
"width": 7.823,
"textWidth": 7.823
}
]
},
{
"left": 13.727,
"top": 72.667,
"width": 49.902,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "hidden ",
"font": "serif",
"width": 6.242,
"textWidth": 5.784
},
{
"text": "layers ",
"font": "serif",
"width": 5.305,
"textWidth": 4.847
},
{
"text": "in ",
"font": "serif",
"width": 2.058,
"textWidth": 1.6
},
{
"text": "neural ",
"font": "serif",
"width": 5.681,
"textWidth": 5.223
},
{
"text": "networks. ",
"font": "serif",
"width": 8.708,
"textWidth": 8.049
},
{
"text": "Cited ",
"font": "serif",
"width": 4.886,
"textWidth": 4.428
},
{
"text": "on, ",
"font": "serif",
"width": 2.983,
"textWidth": 2.525
},
{
"text": "page ",
"font": "serif",
"width": 4.373,
"textWidth": 3.914
},
{
"text": "10, ",
"font": "serif",
"width": 2.749,
"textWidth": 2.291
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 75.185,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.566,
"textWidth": 2.148
},
{
"text": "Joshi, ",
"font": "serif",
"width": 4.783,
"textWidth": 4.357
},
{
"text": "E. ",
"font": "serif",
"width": 1.965,
"textWidth": 1.546
},
{
"text": "Choi, ",
"font": "serif",
"width": 4.696,
"textWidth": 4.271
},
{
"text": "D. ",
"font": "serif",
"width": 2.258,
"textWidth": 1.839
},
{
"text": "Weld, ",
"font": "serif",
"width": 4.982,
"textWidth": 4.556
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.041
},
{
"text": "L. ",
"font": "serif",
"width": 1.963,
"textWidth": 1.546
},
{
"text": "Zettlemoyer. ",
"font": "serif",
"width": 10.634,
"textWidth": 10.061
},
{
"text": "TriviaQA: ",
"font": "serif",
"width": 8.279,
"textWidth": 7.861
},
{
"text": "A ",
"font": "serif",
"width": 1.814,
"textWidth": 1.397
},
{
"text": "large ",
"font": "serif",
"width": 4.375,
"textWidth": 3.956
},
{
"text": "scale ",
"font": "serif",
"width": 4.256,
"textWidth": 3.84
},
{
"text": "distantly ",
"font": "serif",
"width": 7.435,
"textWidth": 7.017
},
{
"text": "supervised ",
"font": "serif",
"width": 9.168,
"textWidth": 8.75
},
{
"text": "chal- ",
"font": "serif",
"width": 3.861,
"textWidth": 3.861
}
]
},
{
"left": 13.727,
"top": 76.794,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "lenge ",
"font": "serif",
"width": 4.668,
"textWidth": 4.287
},
{
"text": "dataset ",
"font": "serif",
"width": 6.067,
"textWidth": 5.686
},
{
"text": "for ",
"font": "serif",
"width": 2.669,
"textWidth": 2.288
},
{
"text": "reading ",
"font": "serif",
"width": 6.478,
"textWidth": 6.097
},
{
"text": "comprehension. ",
"font": "serif",
"width": 13.182,
"textWidth": 12.69
},
{
"text": "In ",
"font": "serif",
"width": 2.029,
"textWidth": 1.65
},
{
"text": "R. ",
"font": "serif",
"width": 2.029,
"textWidth": 1.649
},
{
"text": "Barzilay ",
"font": "serif",
"width": 6.925,
"textWidth": 6.544
},
{
"text": "and ",
"font": "serif",
"width": 3.421,
"textWidth": 3.041
},
{
"text": "M.-Y. ",
"font": "serif",
"width": 4.571,
"textWidth": 4.19
},
{
"text": "Kan, ",
"font": "serif",
"width": 4.091,
"textWidth": 3.696
},
{
"text": "editors, ",
"font": "serif",
"width": 6.363,
"textWidth": 5.966
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.264,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 1.611,
"textWidth": 1.611
}
]
},
{
"left": 13.727,
"top": 78.404,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.028,
"textWidth": 2.542
},
{
"text": "55th ",
"font": "serif",
"width": 3.983,
"textWidth": 3.497
},
{
"text": "Annual ",
"font": "serif",
"width": 6.6,
"textWidth": 6.114
},
{
"text": "Meeting ",
"font": "serif",
"width": 7.192,
"textWidth": 6.706
},
{
"text": "of ",
"font": "serif",
"width": 2.097,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.028,
"textWidth": 2.542
},
{
"text": "Association ",
"font": "serif",
"width": 9.928,
"textWidth": 9.442
},
{
"text": "for ",
"font": "serif",
"width": 2.821,
"textWidth": 2.335
},
{
"text": "Computational ",
"font": "serif",
"width": 12.772,
"textWidth": 12.286
},
{
"text": "Linguistics ",
"font": "serif",
"width": 9.362,
"textWidth": 8.875
},
{
"text": "(Volume ",
"font": "serif",
"width": 7.351,
"textWidth": 6.865
},
{
"text": "1: ",
"font": "serif",
"width": 1.999,
"textWidth": 1.374
},
{
"text": "Long ",
"font": "serif",
"width": 4.206,
"textWidth": 4.206
}
]
},
{
"left": 13.727,
"top": 80.013,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Papers), ",
"font": "serif",
"width": 7.274,
"textWidth": 6.581
},
{
"text": "pages ",
"font": "serif",
"width": 5.432,
"textWidth": 4.785
},
{
"text": "1601-1611, ",
"font": "serif",
"width": 9.574,
"textWidth": 8.879
},
{
"text": "Vancouver, ",
"font": "serif",
"width": 9.896,
"textWidth": 9.202
},
{
"text": "Canada, ",
"font": "serif",
"width": 7.522,
"textWidth": 6.827
},
{
"text": "July ",
"font": "serif",
"width": 3.98,
"textWidth": 3.333
},
{
"text": "2017. ",
"font": "serif",
"width": 4.853,
"textWidth": 4.206
},
{
"text": "Association ",
"font": "serif",
"width": 10.277,
"textWidth": 9.63
},
{
"text": "for ",
"font": "serif",
"width": 3.028,
"textWidth": 2.381
},
{
"text": "Computational ",
"font": "serif",
"width": 12.532,
"textWidth": 12.532
}
]
},
{
"left": 13.727,
"top": 81.623,
"width": 36.905,
"height": 1.296,
"words": [
{
"text": "Linguistics. ",
"font": "serif",
"width": 9.993,
"textWidth": 9.333
},
{
"text": "doi: ",
"font": "serif",
"width": 3.68,
"textWidth": 3.112
},
{
"text": "10.18653/v1/P17-1147. ",
"font": "serif",
"width": 19.462,
"textWidth": 18.803
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 51.09,
"top": 81.444,
"width": 35.008,
"height": 1.425,
"words": [
{
"text": "https://aclanthology.org/P17-1147 ",
"font": "mono",
"width": 35.008,
"textWidth": 35.008
}
]
},
{
"left": 11.905,
"top": 84.14,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.533,
"textWidth": 2.023
},
{
"text": "Li, ",
"font": "serif",
"width": 2.675,
"textWidth": 2.153
},
{
"text": "Y. ",
"font": "serif",
"width": 2.021,
"textWidth": 1.512
},
{
"text": "Yuan, ",
"font": "serif",
"width": 5.223,
"textWidth": 4.699
},
{
"text": "R. ",
"font": "serif",
"width": 2.226,
"textWidth": 1.716
},
{
"text": "Du, ",
"font": "serif",
"width": 3.563,
"textWidth": 3.041
},
{
"text": "K. ",
"font": "serif",
"width": 2.335,
"textWidth": 1.824
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.694,
"textWidth": 3.17
},
{
"text": "L. ",
"font": "serif",
"width": 2.118,
"textWidth": 1.609
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.804,
"textWidth": 3.281
},
{
"text": "and ",
"font": "serif",
"width": 3.675,
"textWidth": 3.165
},
{
"text": "W. ",
"font": "serif",
"width": 2.679,
"textWidth": 2.168
},
{
"text": "Hsu. ",
"font": "serif",
"width": 4.767,
"textWidth": 3.94
},
{
"text": "DADI: ",
"font": "serif",
"width": 5.955,
"textWidth": 5.445
},
{
"text": "Block-Level ",
"font": "serif",
"width": 10.24,
"textWidth": 9.731
},
{
"text": "image ",
"font": "serif",
"width": 5.574,
"textWidth": 5.064
},
{
"text": "service ",
"font": "serif",
"width": 6.262,
"textWidth": 5.752
},
{
"text": "for ",
"font": "serif",
"width": 2.892,
"textWidth": 2.381
},
{
"text": "agile ",
"font": "serif",
"width": 3.957,
"textWidth": 3.957
}
]
},
{
"left": 13.727,
"top": 85.75,
"width": 74.429,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.511,
"textWidth": 3.053
},
{
"text": "elastic ",
"font": "serif",
"width": 5.428,
"textWidth": 4.968
},
{
"text": "application ",
"font": "serif",
"width": 9.426,
"textWidth": 8.968
},
{
"text": "deployment. ",
"font": "serif",
"width": 10.767,
"textWidth": 10.106
},
{
"text": "In ",
"font": "serif",
"width": 2.116,
"textWidth": 1.657
},
{
"text": "2020 ",
"font": "serif",
"width": 4.124,
"textWidth": 3.665
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.329,
"textWidth": 6.87
},
{
"text": "Annual ",
"font": "serif",
"width": 6.572,
"textWidth": 6.114
},
{
"text": "Technical ",
"font": "serif",
"width": 8.035,
"textWidth": 7.576
},
{
"text": "Conference ",
"font": "serif",
"width": 9.64,
"textWidth": 9.181
},
{
"text": "(USENIX ",
"font": "serif",
"width": 7.481,
"textWidth": 7.481
}
]
},
{
"left": 13.727,
"top": 87.359,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "ATC ",
"font": "serif",
"width": 4.38,
"textWidth": 3.713
},
{
"text": "20), ",
"font": "serif",
"width": 3.63,
"textWidth": 2.91
},
{
"text": "pages ",
"font": "serif",
"width": 5.453,
"textWidth": 4.785
},
{
"text": "727-740. ",
"font": "serif",
"width": 7.677,
"textWidth": 7.01
},
{
"text": "USENIX ",
"font": "serif",
"width": 7.675,
"textWidth": 7.008
},
{
"text": "Association, ",
"font": "serif",
"width": 10.817,
"textWidth": 10.098
},
{
"text": "July ",
"font": "serif",
"width": 4.0,
"textWidth": 3.333
},
{
"text": "2020. ",
"font": "serif",
"width": 5.537,
"textWidth": 4.206
},
{
"text": "ISBN ",
"font": "serif",
"width": 4.974,
"textWidth": 4.307
},
{
"text": "978-1-939133-14-4. ",
"font": "serif",
"width": 16.436,
"textWidth": 15.107
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 88.79,
"width": 64.641,
"height": 1.425,
"words": [
{
"text": "https://www.usenix.org/conference/atc20/presentation/li-huiba ",
"font": "mono",
"width": 64.641,
"textWidth": 64.641
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "48 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"49": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "H. ",
"font": "serif",
"width": 2.404,
"textWidth": 1.947
},
{
"text": "Li, ",
"font": "serif",
"width": 2.532,
"textWidth": 2.073
},
{
"text": "Y. ",
"font": "serif",
"width": 1.904,
"textWidth": 1.447
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.103,
"textWidth": 5.645
},
{
"text": "F. ",
"font": "serif",
"width": 1.74,
"textWidth": 1.283
},
{
"text": "Koto, ",
"font": "serif",
"width": 4.765,
"textWidth": 4.308
},
{
"text": "Y. ",
"font": "serif",
"width": 1.904,
"textWidth": 1.447
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.888,
"textWidth": 4.431
},
{
"text": "H. ",
"font": "serif",
"width": 2.404,
"textWidth": 1.947
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.039,
"textWidth": 4.58
},
{
"text": "Y. ",
"font": "serif",
"width": 1.904,
"textWidth": 1.447
},
{
"text": "Gong, ",
"font": "serif",
"width": 5.311,
"textWidth": 4.854
},
{
"text": "N. ",
"font": "serif",
"width": 2.404,
"textWidth": 1.945
},
{
"text": "Duan, ",
"font": "serif",
"width": 5.332,
"textWidth": 4.875
},
{
"text": "and ",
"font": "serif",
"width": 3.504,
"textWidth": 3.047
},
{
"text": "T. ",
"font": "serif",
"width": 1.875,
"textWidth": 1.418
},
{
"text": "Baldwin. ",
"font": "serif",
"width": 7.803,
"textWidth": 7.145
},
{
"text": "CMMLU: ",
"font": "serif",
"width": 8.088,
"textWidth": 7.63
},
{
"text": "Measur- ",
"font": "serif",
"width": 6.59,
"textWidth": 6.59
}
]
},
{
"left": 13.727,
"top": 12.082,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "ing ",
"font": "serif",
"width": 3.092,
"textWidth": 2.632
},
{
"text": "massive ",
"font": "serif",
"width": 7.026,
"textWidth": 6.568
},
{
"text": "multitask ",
"font": "serif",
"width": 8.196,
"textWidth": 7.735
},
{
"text": "language ",
"font": "serif",
"width": 7.951,
"textWidth": 7.49
},
{
"text": "understanding ",
"font": "serif",
"width": 12.509,
"textWidth": 12.049
},
{
"text": "in ",
"font": "serif",
"width": 2.066,
"textWidth": 1.608
},
{
"text": "Chinese. ",
"font": "serif",
"width": 7.657,
"textWidth": 6.991
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.891,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.153,
"textWidth": 6.693
},
{
"text": "arXiv:2306.09212, ",
"font": "serif",
"width": 14.055,
"textWidth": 14.055
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 4.123,
"height": 1.296,
"words": [
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 16.365,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.591,
"textWidth": 1.09
},
{
"text": "Li, ",
"font": "serif",
"width": 2.664,
"textWidth": 2.153
},
{
"text": "W. ",
"font": "serif",
"width": 2.669,
"textWidth": 2.168
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.269,
"textWidth": 4.757
},
{
"text": "J. ",
"font": "serif",
"width": 1.591,
"textWidth": 1.09
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.268,
"textWidth": 4.757
},
{
"text": "W. ",
"font": "serif",
"width": 2.669,
"textWidth": 2.168
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.247,
"textWidth": 4.737
},
{
"text": "H. ",
"font": "serif",
"width": 2.524,
"textWidth": 2.023
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.884,
"textWidth": 3.372
},
{
"text": "X. ",
"font": "serif",
"width": 2.215,
"textWidth": 1.714
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.741,
"textWidth": 5.228
},
{
"text": "R. ",
"font": "serif",
"width": 2.217,
"textWidth": 1.716
},
{
"text": "Ge, ",
"font": "serif",
"width": 3.299,
"textWidth": 2.789
},
{
"text": "Y. ",
"font": "serif",
"width": 2.013,
"textWidth": 1.512
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.258,
"textWidth": 3.748
},
{
"text": "Y. ",
"font": "serif",
"width": 2.011,
"textWidth": 1.51
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.724,
"textWidth": 6.212
},
{
"text": "W. ",
"font": "serif",
"width": 2.667,
"textWidth": 2.168
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.793,
"textWidth": 3.281
},
{
"text": "et ",
"font": "serif",
"width": 2.006,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.742,
"textWidth": 1.946
},
{
"text": "The ",
"font": "serif",
"width": 3.129,
"textWidth": 3.129
}
]
},
{
"left": 13.727,
"top": 17.975,
"width": 74.42,
"height": 1.296,
"words": [
{
"text": "tool ",
"font": "serif",
"width": 3.644,
"textWidth": 3.185
},
{
"text": "decathlon: ",
"font": "serif",
"width": 9.166,
"textWidth": 8.594
},
{
"text": "Benchmarking ",
"font": "serif",
"width": 12.5,
"textWidth": 12.042
},
{
"text": "language ",
"font": "serif",
"width": 8.038,
"textWidth": 7.58
},
{
"text": "agents ",
"font": "serif",
"width": 5.804,
"textWidth": 5.343
},
{
"text": "for ",
"font": "serif",
"width": 2.833,
"textWidth": 2.374
},
{
"text": "diverse, ",
"font": "serif",
"width": 6.972,
"textWidth": 6.512
},
{
"text": "realistic, ",
"font": "serif",
"width": 7.306,
"textWidth": 6.846
},
{
"text": "and ",
"font": "serif",
"width": 3.614,
"textWidth": 3.155
},
{
"text": "long-horizon ",
"font": "serif",
"width": 11.177,
"textWidth": 10.717
},
{
"text": "task ",
"font": "serif",
"width": 3.366,
"textWidth": 3.366
}
]
},
{
"left": 13.727,
"top": 19.584,
"width": 39.61,
"height": 1.296,
"words": [
{
"text": "execution. ",
"font": "serif",
"width": 8.936,
"textWidth": 8.276
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2510.25726, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 22.259,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 2.189,
"textWidth": 1.51
},
{
"text": "Li, ",
"font": "serif",
"width": 2.888,
"textWidth": 2.153
},
{
"text": "F. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.338
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.342,
"textWidth": 3.608
},
{
"text": "C. ",
"font": "serif",
"width": 2.471,
"textWidth": 1.793
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.599,
"textWidth": 5.864
},
{
"text": "and ",
"font": "serif",
"width": 3.843,
"textWidth": 3.165
},
{
"text": "H. ",
"font": "serif",
"width": 2.701,
"textWidth": 2.023
},
{
"text": "Zhang. ",
"font": "serif",
"width": 7.23,
"textWidth": 5.864
},
{
"text": "EAGLE: ",
"font": "serif",
"width": 7.453,
"textWidth": 6.774
},
{
"text": "speculative ",
"font": "serif",
"width": 10.03,
"textWidth": 9.352
},
{
"text": "sampling ",
"font": "serif",
"width": 8.395,
"textWidth": 7.716
},
{
"text": "requires ",
"font": "serif",
"width": 7.391,
"textWidth": 6.713
},
{
"text": "rethinking ",
"font": "serif",
"width": 8.642,
"textWidth": 8.642
}
]
},
{
"left": 13.727,
"top": 23.868,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "feature ",
"font": "serif",
"width": 5.984,
"textWidth": 5.562
},
{
"text": "uncertainty. ",
"font": "serif",
"width": 9.957,
"textWidth": 9.375
},
{
"text": "In ",
"font": "serif",
"width": 2.073,
"textWidth": 1.65
},
{
"text": "Forty-first ",
"font": "serif",
"width": 8.599,
"textWidth": 8.177
},
{
"text": "International ",
"font": "serif",
"width": 10.936,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.603,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.489,
"textWidth": 2.067
},
{
"text": "Machine ",
"font": "serif",
"width": 7.43,
"textWidth": 7.008
},
{
"text": "Learning, ",
"font": "serif",
"width": 8.21,
"textWidth": 7.781
},
{
"text": "ICML ",
"font": "serif",
"width": 5.192,
"textWidth": 4.77
},
{
"text": "2024, ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 13.727,
"top": 25.477,
"width": 50.524,
"height": 1.296,
"words": [
{
"text": "Vienna, ",
"font": "serif",
"width": 6.614,
"textWidth": 6.141
},
{
"text": "Austria, ",
"font": "serif",
"width": 7.01,
"textWidth": 6.537
},
{
"text": "July ",
"font": "serif",
"width": 3.737,
"textWidth": 3.268
},
{
"text": "21-27, ",
"font": "serif",
"width": 5.206,
"textWidth": 4.734
},
{
"text": "2024. ",
"font": "serif",
"width": 4.602,
"textWidth": 4.133
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 14.606,
"textWidth": 14.134
},
{
"text": "2024. ",
"font": "serif",
"width": 4.903,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 64.721,
"top": 25.299,
"width": 23.374,
"height": 1.425,
"words": [
{
"text": "https://openreview.net ",
"font": "mono",
"width": 23.374,
"textWidth": 23.374
}
]
},
{
"left": 13.621,
"top": 26.908,
"width": 21.167,
"height": 1.425,
"words": [
{
"text": "/forum?id=1NdN7eXyb4 ",
"font": "mono",
"width": 21.167,
"textWidth": 21.167
}
]
},
{
"left": 11.905,
"top": 29.761,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.679,
"textWidth": 1.09
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.903,
"textWidth": 3.281
},
{
"text": "J. ",
"font": "serif",
"width": 1.679,
"textWidth": 1.09
},
{
"text": "Su, ",
"font": "serif",
"width": 3.198,
"textWidth": 2.576
},
{
"text": "X. ",
"font": "serif",
"width": 2.303,
"textWidth": 1.714
},
{
"text": "Yao, ",
"font": "serif",
"width": 4.124,
"textWidth": 3.501
},
{
"text": "Z. ",
"font": "serif",
"width": 2.303,
"textWidth": 1.714
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.316,
"textWidth": 4.696
},
{
"text": "G. ",
"font": "serif",
"width": 2.484,
"textWidth": 1.894
},
{
"text": "Lai, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.088
},
{
"text": "Y. ",
"font": "serif",
"width": 2.101,
"textWidth": 1.512
},
{
"text": "Du, ",
"font": "serif",
"width": 3.662,
"textWidth": 3.041
},
{
"text": "Y. ",
"font": "serif",
"width": 2.101,
"textWidth": 1.512
},
{
"text": "Qin, ",
"font": "serif",
"width": 4.191,
"textWidth": 3.568
},
{
"text": "W. ",
"font": "serif",
"width": 2.757,
"textWidth": 2.166
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.462,
"textWidth": 2.841
},
{
"text": "E. ",
"font": "serif",
"width": 2.198,
"textWidth": 1.609
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.359,
"textWidth": 2.737
},
{
"text": "J. ",
"font": "serif",
"width": 1.679,
"textWidth": 1.09
},
{
"text": "Yan, ",
"font": "serif",
"width": 4.191,
"textWidth": 3.568
},
{
"text": "Y. ",
"font": "serif",
"width": 2.099,
"textWidth": 1.51
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.486,
"textWidth": 4.864
},
{
"text": "H. ",
"font": "serif",
"width": 2.611,
"textWidth": 2.023
},
{
"text": "Zheng, ",
"font": "serif",
"width": 5.825,
"textWidth": 5.825
}
]
},
{
"left": 13.666,
"top": 31.371,
"width": 74.659,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.906,
"textWidth": 1.445
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.615,
"textWidth": 3.155
},
{
"text": "S. ",
"font": "serif",
"width": 1.852,
"textWidth": 1.393
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.615,
"textWidth": 3.155
},
{
"text": "B. ",
"font": "serif",
"width": 2.008,
"textWidth": 1.548
},
{
"text": "Yin, ",
"font": "serif",
"width": 3.578,
"textWidth": 3.117
},
{
"text": "W. ",
"font": "serif",
"width": 2.538,
"textWidth": 2.078
},
{
"text": "He, ",
"font": "serif",
"width": 3.267,
"textWidth": 2.806
},
{
"text": "H. ",
"font": "serif",
"width": 2.404,
"textWidth": 1.945
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.239,
"textWidth": 3.779
},
{
"text": "Y. ",
"font": "serif",
"width": 1.906,
"textWidth": 1.445
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.483,
"textWidth": 5.023
},
{
"text": "J. ",
"font": "serif",
"width": 1.508,
"textWidth": 1.048
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.483,
"textWidth": 5.023
},
{
"text": "M. ",
"font": "serif",
"width": 2.61,
"textWidth": 2.15
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.329,
"textWidth": 4.868
},
{
"text": "Z. ",
"font": "serif",
"width": 2.107,
"textWidth": 1.649
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.1,
"textWidth": 5.64
},
{
"text": "Y. ",
"font": "serif",
"width": 1.906,
"textWidth": 1.445
},
{
"text": "Kang, ",
"font": "serif",
"width": 5.16,
"textWidth": 4.699
},
{
"text": "H. ",
"font": "serif",
"width": 2.405,
"textWidth": 1.945
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.64,
"textWidth": 5.64
}
]
},
{
"left": 13.666,
"top": 32.98,
"width": 74.658,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.26,
"textWidth": 1.714
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.408,
"textWidth": 2.841
},
{
"text": "Y. ",
"font": "serif",
"width": 2.056,
"textWidth": 1.51
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.43,
"textWidth": 5.864
},
{
"text": "Y. ",
"font": "serif",
"width": 2.056,
"textWidth": 1.512
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.94,
"textWidth": 3.372
},
{
"text": "X. ",
"font": "serif",
"width": 2.258,
"textWidth": 1.714
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.518,
"textWidth": 4.95
},
{
"text": "and ",
"font": "serif",
"width": 3.709,
"textWidth": 3.165
},
{
"text": "Z. ",
"font": "serif",
"width": 2.26,
"textWidth": 1.714
},
{
"text": "Yang. ",
"font": "serif",
"width": 5.546,
"textWidth": 4.608
},
{
"text": "Muon ",
"font": "serif",
"width": 5.55,
"textWidth": 5.004
},
{
"text": "is ",
"font": "serif",
"width": 1.88,
"textWidth": 1.337
},
{
"text": "scalable ",
"font": "serif",
"width": 7.055,
"textWidth": 6.509
},
{
"text": "for ",
"font": "serif",
"width": 2.927,
"textWidth": 2.381
},
{
"text": "LLM ",
"font": "serif",
"width": 4.597,
"textWidth": 4.053
},
{
"text": "training. ",
"font": "serif",
"width": 7.992,
"textWidth": 7.053
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.216,
"textWidth": 5.216
}
]
},
{
"left": 13.727,
"top": 34.589,
"width": 21.991,
"height": 1.296,
"words": [
{
"text": "abs/2502.16982, ",
"font": "serif",
"width": 13.439,
"textWidth": 12.98
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 36.176,
"top": 34.411,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2502.16982 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 37.264,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "I. ",
"font": "serif",
"width": 2.094,
"textWidth": 1.097
},
{
"text": "Loshchilov ",
"font": "serif",
"width": 10.124,
"textWidth": 9.126
},
{
"text": "and ",
"font": "serif",
"width": 4.161,
"textWidth": 3.165
},
{
"text": "F. ",
"font": "serif",
"width": 2.337,
"textWidth": 1.338
},
{
"text": "Hutter. ",
"font": "serif",
"width": 8.251,
"textWidth": 5.866
},
{
"text": "Decoupled ",
"font": "serif",
"width": 10.021,
"textWidth": 9.025
},
{
"text": "weight ",
"font": "serif",
"width": 6.733,
"textWidth": 5.735
},
{
"text": "decay ",
"font": "serif",
"width": 5.838,
"textWidth": 4.841
},
{
"text": "regularization. ",
"font": "serif",
"width": 14.512,
"textWidth": 12.126
},
{
"text": "arXiv ",
"font": "serif",
"width": 5.428,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 6.693,
"textWidth": 6.693
}
]
},
{
"left": 13.727,
"top": 38.873,
"width": 18.634,
"height": 1.296,
"words": [
{
"text": "arXiv:1711.05101, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2017. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 41.548,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "K. ",
"font": "serif",
"width": 2.225,
"textWidth": 1.765
},
{
"text": "Lu ",
"font": "serif",
"width": 2.655,
"textWidth": 2.196
},
{
"text": "and ",
"font": "serif",
"width": 3.52,
"textWidth": 3.062
},
{
"text": "T. ",
"font": "serif",
"width": 1.885,
"textWidth": 1.425
},
{
"text": "M. ",
"font": "serif",
"width": 2.623,
"textWidth": 2.163
},
{
"text": "Lab. ",
"font": "serif",
"width": 4.124,
"textWidth": 3.462
},
{
"text": "On-policy ",
"font": "serif",
"width": 8.472,
"textWidth": 8.013
},
{
"text": "distillation. ",
"font": "serif",
"width": 9.742,
"textWidth": 9.08
},
{
"text": "Thinking ",
"font": "serif",
"width": 7.886,
"textWidth": 7.428
},
{
"text": "Machines ",
"font": "serif",
"width": 8.244,
"textWidth": 7.785
},
{
"text": "Lab: ",
"font": "serif",
"width": 4.077,
"textWidth": 3.508
},
{
"text": "Connectionism, ",
"font": "serif",
"width": 13.162,
"textWidth": 12.703
},
{
"text": "2025. ",
"font": "serif",
"width": 4.732,
"textWidth": 4.07
},
{
"text": "doi: ",
"font": "serif",
"width": 3.071,
"textWidth": 3.071
}
]
},
{
"left": 13.635,
"top": 43.157,
"width": 66.212,
"height": 1.296,
"words": [
{
"text": "10.64434/tml.20251026. ",
"font": "serif",
"width": 19.638,
"textWidth": 18.979
},
{
"text": "https://thinkingmachines.ai/blog/on-policy-distillation. ",
"font": "serif",
"width": 46.574,
"textWidth": 46.574
}
]
},
{
"left": 11.905,
"top": 45.831,
"width": 76.242,
"height": 1.296,
"words": [
{
"text": "Z. ",
"font": "serif",
"width": 2.164,
"textWidth": 1.707
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.184,
"textWidth": 2.726
},
{
"text": "C. ",
"font": "serif",
"width": 2.242,
"textWidth": 1.786
},
{
"text": "Li, ",
"font": "serif",
"width": 2.601,
"textWidth": 2.145
},
{
"text": "Y. ",
"font": "serif",
"width": 1.961,
"textWidth": 1.504
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.527,
"textWidth": 3.068
},
{
"text": "W. ",
"font": "serif",
"width": 2.616,
"textWidth": 2.158
},
{
"text": "Shen, ",
"font": "serif",
"width": 4.958,
"textWidth": 4.502
},
{
"text": "M. ",
"font": "serif",
"width": 2.683,
"textWidth": 2.227
},
{
"text": "Yan, ",
"font": "serif",
"width": 4.011,
"textWidth": 3.554
},
{
"text": "and ",
"font": "serif",
"width": 3.61,
"textWidth": 3.152
},
{
"text": "F. ",
"font": "serif",
"width": 1.787,
"textWidth": 1.331
},
{
"text": "Huang. ",
"font": "serif",
"width": 6.844,
"textWidth": 6.187
},
{
"text": "Corpusqa: ",
"font": "serif",
"width": 9.11,
"textWidth": 8.543
},
{
"text": "A ",
"font": "serif",
"width": 1.905,
"textWidth": 1.449
},
{
"text": "10 ",
"font": "serif",
"width": 2.318,
"textWidth": 1.862
},
{
"text": "million ",
"font": "serif",
"width": 6.368,
"textWidth": 5.912
},
{
"text": "token ",
"font": "serif",
"width": 5.092,
"textWidth": 4.634
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.261,
"textWidth": 9.261
}
]
},
{
"left": 13.727,
"top": 47.441,
"width": 63.538,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "corpus-level ",
"font": "serif",
"width": 10.448,
"textWidth": 9.99
},
{
"text": "analysis ",
"font": "serif",
"width": 6.997,
"textWidth": 6.539
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "reasoning. ",
"font": "serif",
"width": 9.066,
"textWidth": 8.406
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2601.14952, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2026. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 50.115,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 2.163,
"textWidth": 1.477
},
{
"text": "Luong, ",
"font": "serif",
"width": 6.627,
"textWidth": 5.884
},
{
"text": "D. ",
"font": "serif",
"width": 2.6,
"textWidth": 1.914
},
{
"text": "Hwang, ",
"font": "serif",
"width": 7.385,
"textWidth": 6.643
},
{
"text": "H. ",
"font": "serif",
"width": 2.709,
"textWidth": 2.023
},
{
"text": "H. ",
"font": "serif",
"width": 2.707,
"textWidth": 2.023
},
{
"text": "Nguyen, ",
"font": "serif",
"width": 7.952,
"textWidth": 7.21
},
{
"text": "G. ",
"font": "serif",
"width": 2.58,
"textWidth": 1.894
},
{
"text": "Ghiasi, ",
"font": "serif",
"width": 6.539,
"textWidth": 5.797
},
{
"text": "Y. ",
"font": "serif",
"width": 2.196,
"textWidth": 1.51
},
{
"text": "Chervonyi, ",
"font": "serif",
"width": 10.004,
"textWidth": 9.262
},
{
"text": "I. ",
"font": "serif",
"width": 1.783,
"textWidth": 1.097
},
{
"text": "Seo, ",
"font": "serif",
"width": 4.107,
"textWidth": 3.365
},
{
"text": "J. ",
"font": "serif",
"width": 1.774,
"textWidth": 1.09
},
{
"text": "Kim, ",
"font": "serif",
"width": 4.763,
"textWidth": 4.019
},
{
"text": "G. ",
"font": "serif",
"width": 2.578,
"textWidth": 1.894
},
{
"text": "Bingham, ",
"font": "serif",
"width": 7.954,
"textWidth": 7.954
}
]
},
{
"left": 13.696,
"top": 51.724,
"width": 74.72,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.658,
"textWidth": 1.09
},
{
"text": "Lee, ",
"font": "serif",
"width": 3.996,
"textWidth": 3.4
},
{
"text": "S. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.449
},
{
"text": "Mishra, ",
"font": "serif",
"width": 6.929,
"textWidth": 6.333
},
{
"text": "A. ",
"font": "serif",
"width": 2.49,
"textWidth": 1.922
},
{
"text": "Zhai, ",
"font": "serif",
"width": 4.877,
"textWidth": 4.281
},
{
"text": "C. ",
"font": "serif",
"width": 2.361,
"textWidth": 1.793
},
{
"text": "H. ",
"font": "serif",
"width": 2.591,
"textWidth": 2.023
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.746,
"textWidth": 3.15
},
{
"text": "H. ",
"font": "serif",
"width": 2.591,
"textWidth": 2.023
},
{
"text": "Michalewski, ",
"font": "serif",
"width": 11.603,
"textWidth": 11.006
},
{
"text": "J. ",
"font": "serif",
"width": 1.658,
"textWidth": 1.09
},
{
"text": "Kim, ",
"font": "serif",
"width": 4.615,
"textWidth": 4.019
},
{
"text": "J. ",
"font": "serif",
"width": 1.658,
"textWidth": 1.09
},
{
"text": "Ahn, ",
"font": "serif",
"width": 4.694,
"textWidth": 4.097
},
{
"text": "J. ",
"font": "serif",
"width": 1.658,
"textWidth": 1.09
},
{
"text": "Bae, ",
"font": "serif",
"width": 4.036,
"textWidth": 3.439
},
{
"text": "X. ",
"font": "serif",
"width": 2.282,
"textWidth": 1.714
},
{
"text": "Song, ",
"font": "serif",
"width": 5.191,
"textWidth": 4.597
},
{
"text": "T. ",
"font": "serif",
"width": 2.047,
"textWidth": 1.479
},
{
"text": "H. ",
"font": "serif",
"width": 2.023,
"textWidth": 2.023
}
]
},
{
"left": 13.67,
"top": 53.334,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "Trinh, ",
"font": "serif",
"width": 5.582,
"textWidth": 4.907
},
{
"text": "Q. ",
"font": "serif",
"width": 2.568,
"textWidth": 1.937
},
{
"text": "V. ",
"font": "serif",
"width": 2.211,
"textWidth": 1.58
},
{
"text": "Le, ",
"font": "serif",
"width": 3.181,
"textWidth": 2.505
},
{
"text": "and ",
"font": "serif",
"width": 3.796,
"textWidth": 3.165
},
{
"text": "J. ",
"font": "serif",
"width": 1.722,
"textWidth": 1.09
},
{
"text": "Jung. ",
"font": "serif",
"width": 5.559,
"textWidth": 4.342
},
{
"text": "Towards ",
"font": "serif",
"width": 7.763,
"textWidth": 7.131
},
{
"text": "robust ",
"font": "serif",
"width": 5.92,
"textWidth": 5.288
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.857,
"textWidth": 11.225
},
{
"text": "reasoning. ",
"font": "serif",
"width": 9.789,
"textWidth": 8.574
},
{
"text": "In ",
"font": "serif",
"width": 2.35,
"textWidth": 1.718
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.515,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 1.611,
"textWidth": 1.611
}
]
},
{
"left": 13.727,
"top": 54.943,
"width": 74.424,
"height": 1.296,
"words": [
{
"text": "the ",
"font": "serif",
"width": 3.262,
"textWidth": 2.542
},
{
"text": "2025 ",
"font": "serif",
"width": 4.386,
"textWidth": 3.665
},
{
"text": "Conference ",
"font": "serif",
"width": 9.902,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.788,
"textWidth": 2.067
},
{
"text": "Empirical ",
"font": "serif",
"width": 8.613,
"textWidth": 7.893
},
{
"text": "Methods ",
"font": "serif",
"width": 7.893,
"textWidth": 7.173
},
{
"text": "in ",
"font": "serif",
"width": 2.32,
"textWidth": 1.6
},
{
"text": "Natural ",
"font": "serif",
"width": 7.036,
"textWidth": 6.315
},
{
"text": "Language ",
"font": "serif",
"width": 8.76,
"textWidth": 8.04
},
{
"text": "Processing, ",
"font": "serif",
"width": 9.917,
"textWidth": 9.13
},
{
"text": "2025. ",
"font": "serif",
"width": 5.703,
"textWidth": 4.204
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 56.374,
"width": 48.766,
"height": 1.425,
"words": [
{
"text": "https://aclanthology.org/2025.emnlp-main.1794/ ",
"font": "mono",
"width": 48.766,
"textWidth": 48.766
}
]
},
{
"left": 11.905,
"top": 59.227,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.624,
"textWidth": 2.166
},
{
"text": "A. ",
"font": "serif",
"width": 2.318,
"textWidth": 1.861
},
{
"text": "Merrill, ",
"font": "serif",
"width": 6.502,
"textWidth": 6.044
},
{
"text": "A. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.861
},
{
"text": "G. ",
"font": "serif",
"width": 2.29,
"textWidth": 1.834
},
{
"text": "Shaw, ",
"font": "serif",
"width": 5.162,
"textWidth": 4.704
},
{
"text": "N. ",
"font": "serif",
"width": 2.414,
"textWidth": 1.957
},
{
"text": "Carlini, ",
"font": "serif",
"width": 6.449,
"textWidth": 5.991
},
{
"text": "B. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "Li, ",
"font": "serif",
"width": 2.544,
"textWidth": 2.086
},
{
"text": "H. ",
"font": "serif",
"width": 2.415,
"textWidth": 1.959
},
{
"text": "Raj, ",
"font": "serif",
"width": 3.449,
"textWidth": 2.991
},
{
"text": "I. ",
"font": "serif",
"width": 1.521,
"textWidth": 1.063
},
{
"text": "Bercovich, ",
"font": "serif",
"width": 8.765,
"textWidth": 8.307
},
{
"text": "L. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.44,
"textWidth": 2.984
},
{
"text": "J. ",
"font": "serif",
"width": 1.514,
"textWidth": 1.056
},
{
"text": "Y. ",
"font": "serif",
"width": 1.914,
"textWidth": 1.458
},
{
"text": "Shin, ",
"font": "serif",
"width": 4.496,
"textWidth": 4.038
},
{
"text": "T. ",
"font": "serif",
"width": 1.885,
"textWidth": 1.427
},
{
"text": "Walshe, ",
"font": "serif",
"width": 6.672,
"textWidth": 6.216
},
{
"text": "E. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "K. ",
"font": "serif",
"width": 1.767,
"textWidth": 1.767
}
]
},
{
"left": 13.727,
"top": 60.836,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Buchanan, ",
"font": "serif",
"width": 9.045,
"textWidth": 8.589
},
{
"text": "et ",
"font": "serif",
"width": 1.941,
"textWidth": 1.486
},
{
"text": "al. ",
"font": "serif",
"width": 2.574,
"textWidth": 1.921
},
{
"text": "Terminal-bench: ",
"font": "serif",
"width": 13.789,
"textWidth": 13.223
},
{
"text": "Benchmarking ",
"font": "serif",
"width": 12.379,
"textWidth": 11.923
},
{
"text": "agents ",
"font": "serif",
"width": 5.747,
"textWidth": 5.291
},
{
"text": "on ",
"font": "serif",
"width": 2.536,
"textWidth": 2.082
},
{
"text": "hard, ",
"font": "serif",
"width": 4.737,
"textWidth": 4.281
},
{
"text": "realistic ",
"font": "serif",
"width": 6.773,
"textWidth": 6.317
},
{
"text": "tasks ",
"font": "serif",
"width": 4.571,
"textWidth": 4.115
},
{
"text": "in ",
"font": "serif",
"width": 2.065,
"textWidth": 1.611
},
{
"text": "command ",
"font": "serif",
"width": 8.21,
"textWidth": 8.21
}
]
},
{
"left": 13.727,
"top": 62.446,
"width": 43.055,
"height": 1.296,
"words": [
{
"text": "line ",
"font": "serif",
"width": 3.469,
"textWidth": 3.011
},
{
"text": "interfaces. ",
"font": "serif",
"width": 8.912,
"textWidth": 8.252
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2601.11868, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2026. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 65.12,
"width": 32.971,
"height": 1.296,
"words": [
{
"text": "MiniMax. ",
"font": "serif",
"width": 8.58,
"textWidth": 7.921
},
{
"text": "Meet ",
"font": "serif",
"width": 4.545,
"textWidth": 4.087
},
{
"text": "minimax-m2, ",
"font": "serif",
"width": 11.293,
"textWidth": 10.834
},
{
"text": "2025. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 45.333,
"top": 64.942,
"width": 42.501,
"height": 1.425,
"words": [
{
"text": "https://github.com/MiniMax-AI/MiniMax-M2 ",
"font": "mono",
"width": 42.501,
"textWidth": 42.501
}
]
},
{
"left": 11.905,
"top": 67.795,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.357,
"textWidth": 1.609
},
{
"text": "d. ",
"font": "serif",
"width": 2.357,
"textWidth": 1.609
},
{
"text": "Moura ",
"font": "serif",
"width": 6.337,
"textWidth": 5.589
},
{
"text": "and ",
"font": "serif",
"width": 3.912,
"textWidth": 3.165
},
{
"text": "S. ",
"font": "serif",
"width": 2.196,
"textWidth": 1.449
},
{
"text": "Ullrich. ",
"font": "serif",
"width": 7.795,
"textWidth": 6.21
},
{
"text": "The ",
"font": "serif",
"width": 3.877,
"textWidth": 3.129
},
{
"text": "lean ",
"font": "serif",
"width": 4.21,
"textWidth": 3.462
},
{
"text": "4 ",
"font": "serif",
"width": 1.682,
"textWidth": 0.935
},
{
"text": "theorem ",
"font": "serif",
"width": 7.614,
"textWidth": 6.866
},
{
"text": "prover ",
"font": "serif",
"width": 6.286,
"textWidth": 5.539
},
{
"text": "and ",
"font": "serif",
"width": 3.912,
"textWidth": 3.165
},
{
"text": "programming ",
"font": "serif",
"width": 12.281,
"textWidth": 11.533
},
{
"text": "language. ",
"font": "serif",
"width": 9.657,
"textWidth": 8.07
},
{
"text": "In ",
"font": "serif",
"width": 1.718,
"textWidth": 1.718
}
]
},
{
"left": 13.727,
"top": 69.404,
"width": 66.694,
"height": 1.296,
"words": [
{
"text": "International ",
"font": "serif",
"width": 10.972,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.639,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "Automated ",
"font": "serif",
"width": 9.716,
"textWidth": 9.258
},
{
"text": "Deduction, ",
"font": "serif",
"width": 9.449,
"textWidth": 8.991
},
{
"text": "pages ",
"font": "serif",
"width": 5.15,
"textWidth": 4.691
},
{
"text": "625-635. ",
"font": "serif",
"width": 7.33,
"textWidth": 6.872
},
{
"text": "Springer, ",
"font": "serif",
"width": 7.789,
"textWidth": 7.33
},
{
"text": "2021. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 72.078,
"width": 69.608,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.83,
"textWidth": 1.444
},
{
"text": "Nesterov. ",
"font": "serif",
"width": 7.985,
"textWidth": 7.478
},
{
"text": "A ",
"font": "serif",
"width": 1.785,
"textWidth": 1.397
},
{
"text": "method ",
"font": "serif",
"width": 6.541,
"textWidth": 6.153
},
{
"text": "of ",
"font": "serif",
"width": 1.967,
"textWidth": 1.579
},
{
"text": "solving ",
"font": "serif",
"width": 6.234,
"textWidth": 5.846
},
{
"text": "a ",
"font": "serif",
"width": 1.284,
"textWidth": 0.898
},
{
"text": "convex ",
"font": "serif",
"width": 6.013,
"textWidth": 5.625
},
{
"text": "programming ",
"font": "serif",
"width": 11.467,
"textWidth": 11.081
},
{
"text": "problem ",
"font": "serif",
"width": 7.087,
"textWidth": 6.699
},
{
"text": "with ",
"font": "serif",
"width": 4.037,
"textWidth": 3.651
},
{
"text": "convergence ",
"font": "serif",
"width": 10.325,
"textWidth": 9.937
},
{
"text": "rate ",
"font": "serif",
"width": 3.053,
"textWidth": 3.053
}
]
},
{
"left": 83.849,
"top": 72.078,
"width": 0.898,
"height": 1.296,
"words": [
{
"text": "1 ",
"font": "serif",
"width": 0.898,
"textWidth": 0.898
}
]
},
{
"left": 86.512,
"top": 71.859,
"width": 0.669,
"height": 0.947,
"words": [
{
"text": "2 ",
"font": "serif",
"width": 0.669,
"textWidth": 0.669
}
]
},
{
"left": 13.727,
"top": 73.688,
"width": 38.058,
"height": 1.296,
"words": [
{
"text": "Soviet ",
"font": "serif",
"width": 5.465,
"textWidth": 5.007
},
{
"text": "Mathematics ",
"font": "serif",
"width": 10.906,
"textWidth": 10.448
},
{
"text": "Doklady, ",
"font": "serif",
"width": 7.943,
"textWidth": 7.484
},
{
"text": "27:372-376, ",
"font": "serif",
"width": 9.621,
"textWidth": 9.163
},
{
"text": "1983. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 76.362,
"width": 46.089,
"height": 1.296,
"words": [
{
"text": "NVIDIA ",
"font": "serif",
"width": 7.419,
"textWidth": 6.96
},
{
"text": "Corporation. ",
"font": "serif",
"width": 11.137,
"textWidth": 10.474
},
{
"text": "cublas ",
"font": "serif",
"width": 5.643,
"textWidth": 5.185
},
{
"text": "documentation, ",
"font": "serif",
"width": 13.294,
"textWidth": 12.835
},
{
"text": "2024. ",
"font": "serif",
"width": 4.807,
"textWidth": 4.144
},
{
"text": "URL ",
"font": "serif",
"width": 3.789,
"textWidth": 3.789
}
]
},
{
"left": 58.453,
"top": 76.184,
"width": 29.642,
"height": 1.425,
"words": [
{
"text": "https://docs.nvidia.com/cuda ",
"font": "mono",
"width": 29.642,
"textWidth": 29.642
}
]
},
{
"left": 13.621,
"top": 77.793,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": "/cublas/ ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 23.206,
"top": 77.972,
"width": 28.198,
"height": 1.296,
"words": [
{
"text": "Version ",
"font": "serif",
"width": 6.557,
"textWidth": 6.099
},
{
"text": "12.4. ",
"font": "serif",
"width": 4.123,
"textWidth": 3.665
},
{
"text": "Accessed: ",
"font": "serif",
"width": 8.509,
"textWidth": 7.941
},
{
"text": "2024-09-16. ",
"font": "serif",
"width": 9.009,
"textWidth": 9.009
}
]
},
{
"left": 11.905,
"top": 80.646,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 8.539,
"textWidth": 7.128
},
{
"text": "Multilingual ",
"font": "serif",
"width": 11.105,
"textWidth": 10.414
},
{
"text": "massive ",
"font": "serif",
"width": 7.359,
"textWidth": 6.666
},
{
"text": "multitask ",
"font": "serif",
"width": 8.544,
"textWidth": 7.851
},
{
"text": "language ",
"font": "serif",
"width": 8.294,
"textWidth": 7.602
},
{
"text": "understanding ",
"font": "serif",
"width": 12.922,
"textWidth": 12.229
},
{
"text": "(mmmlu), ",
"font": "serif",
"width": 9.086,
"textWidth": 8.335
},
{
"text": "2024a. ",
"font": "serif",
"width": 6.552,
"textWidth": 5.14
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 82.077,
"width": 46.567,
"height": 1.425,
"words": [
{
"text": "https://huggingface.co/datasets/openai/MMMLU ",
"font": "mono",
"width": 46.567,
"textWidth": 46.567
}
]
},
{
"left": 11.905,
"top": 84.93,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 8.0,
"textWidth": 7.128
},
{
"text": "Openai ",
"font": "serif",
"width": 6.58,
"textWidth": 6.055
},
{
"text": "mrcr: ",
"font": "serif",
"width": 5.092,
"textWidth": 4.391
},
{
"text": "Long ",
"font": "serif",
"width": 4.815,
"textWidth": 4.29
},
{
"text": "context ",
"font": "serif",
"width": 6.541,
"textWidth": 6.017
},
{
"text": "multiple ",
"font": "serif",
"width": 7.563,
"textWidth": 7.038
},
{
"text": "needle ",
"font": "serif",
"width": 5.985,
"textWidth": 5.46
},
{
"text": "in ",
"font": "serif",
"width": 2.155,
"textWidth": 1.632
},
{
"text": "a ",
"font": "serif",
"width": 1.46,
"textWidth": 0.935
},
{
"text": "haystack ",
"font": "serif",
"width": 7.793,
"textWidth": 7.268
},
{
"text": "benchmark, ",
"font": "serif",
"width": 10.305,
"textWidth": 9.765
},
{
"text": "2024b. ",
"font": "serif",
"width": 6.112,
"textWidth": 5.24
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 86.361,
"width": 45.509,
"height": 1.425,
"words": [
{
"text": "https://huggingface.co/datasets/openai/mrcr ",
"font": "mono",
"width": 45.509,
"textWidth": 45.509
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "49 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"50": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 41.866,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 7.77,
"textWidth": 7.114
},
{
"text": "Learning ",
"font": "serif",
"width": 7.912,
"textWidth": 7.455
},
{
"text": "to ",
"font": "serif",
"width": 2.084,
"textWidth": 1.627
},
{
"text": "reason ",
"font": "serif",
"width": 5.882,
"textWidth": 5.425
},
{
"text": "with ",
"font": "serif",
"width": 4.25,
"textWidth": 3.793
},
{
"text": "llms, ",
"font": "serif",
"width": 4.448,
"textWidth": 3.991
},
{
"text": "2024c. ",
"font": "serif",
"width": 5.683,
"textWidth": 5.026
},
{
"text": "URL ",
"font": "serif",
"width": 3.838,
"textWidth": 3.838
}
]
},
{
"left": 54.228,
"top": 10.294,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://openai.com/index/learnin ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 13.727,
"top": 11.903,
"width": 22.56,
"height": 1.425,
"words": [
{
"text": "g-to-reason-with-llms ",
"font": "mono",
"width": 22.56,
"textWidth": 22.56
}
]
},
{
"left": 11.905,
"top": 14.734,
"width": 37.555,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 7.804,
"textWidth": 7.128
},
{
"text": "Introducing ",
"font": "serif",
"width": 10.288,
"textWidth": 9.825
},
{
"text": "SimpleQA, ",
"font": "serif",
"width": 9.593,
"textWidth": 9.129
},
{
"text": "2024d. ",
"font": "serif",
"width": 6.025,
"textWidth": 5.348
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 49.924,
"top": 14.555,
"width": 38.171,
"height": 1.425,
"words": [
{
"text": "https://openai.com/index/introducing ",
"font": "mono",
"width": 38.171,
"textWidth": 38.171
}
]
},
{
"left": 13.198,
"top": 16.165,
"width": 10.668,
"height": 1.425,
"words": [
{
"text": "-simpleqa/ ",
"font": "mono",
"width": 10.668,
"textWidth": 10.668
}
]
},
{
"left": 11.905,
"top": 18.995,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 7.993,
"textWidth": 7.128
},
{
"text": "Introducing ",
"font": "serif",
"width": 10.346,
"textWidth": 9.823
},
{
"text": "SWE-bench ",
"font": "serif",
"width": 10.072,
"textWidth": 9.55
},
{
"text": "verified ",
"font": "serif",
"width": 6.926,
"textWidth": 6.402
},
{
"text": "we’re ",
"font": "serif",
"width": 5.097,
"textWidth": 4.574
},
{
"text": "releasing ",
"font": "serif",
"width": 7.959,
"textWidth": 7.438
},
{
"text": "a ",
"font": "serif",
"width": 1.458,
"textWidth": 0.935
},
{
"text": "human-validated ",
"font": "serif",
"width": 14.834,
"textWidth": 14.313
},
{
"text": "subset ",
"font": "serif",
"width": 5.774,
"textWidth": 5.251
},
{
"text": "of ",
"font": "serif",
"width": 2.165,
"textWidth": 1.643
},
{
"text": "swe- ",
"font": "serif",
"width": 3.869,
"textWidth": 3.869
}
]
},
{
"left": 13.727,
"top": 20.605,
"width": 22.933,
"height": 1.296,
"words": [
{
"text": "bench ",
"font": "serif",
"width": 5.178,
"textWidth": 4.741
},
{
"text": "that ",
"font": "serif",
"width": 3.552,
"textWidth": 3.114
},
{
"text": "more, ",
"font": "serif",
"width": 4.993,
"textWidth": 4.551
},
{
"text": "2024e. ",
"font": "serif",
"width": 5.515,
"textWidth": 4.901
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 37.097,
"top": 20.426,
"width": 51.05,
"height": 1.425,
"words": [
{
"text": "https://openai.com/index/introducing-swe-bench-v ",
"font": "mono",
"width": 51.05,
"textWidth": 51.05
}
]
},
{
"left": 13.727,
"top": 22.035,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": "erified/ ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 11.905,
"top": 24.866,
"width": 76.263,
"height": 1.296,
"words": [
{
"text": "OpenAI. ",
"font": "serif",
"width": 7.54,
"textWidth": 6.883
},
{
"text": "gpt-oss-120b ",
"font": "serif",
"width": 12.421,
"textWidth": 10.101
},
{
"text": "gpt-oss-20b ",
"font": "serif",
"width": 9.656,
"textWidth": 9.199
},
{
"text": "model ",
"font": "serif",
"width": 5.529,
"textWidth": 5.072
},
{
"text": "card. ",
"font": "serif",
"width": 4.597,
"textWidth": 3.939
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.656,
"textWidth": 5.199
},
{
"text": "abs/2508.10925, ",
"font": "serif",
"width": 13.244,
"textWidth": 12.786
},
{
"text": "2025. ",
"font": "serif",
"width": 4.719,
"textWidth": 4.062
},
{
"text": "doi: ",
"font": "serif",
"width": 3.634,
"textWidth": 3.065
},
{
"text": "10.48550/A ",
"font": "serif",
"width": 9.268,
"textWidth": 9.268
}
]
},
{
"left": 13.727,
"top": 26.475,
"width": 18.438,
"height": 1.296,
"words": [
{
"text": "RXIV.2508.10925. ",
"font": "serif",
"width": 14.668,
"textWidth": 14.008
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 32.622,
"top": 26.297,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2508.10925 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 29.127,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.655,
"textWidth": 2.196
},
{
"text": "Osama, ",
"font": "serif",
"width": 6.6,
"textWidth": 6.139
},
{
"text": "D. ",
"font": "serif",
"width": 2.339,
"textWidth": 1.88
},
{
"text": "Merrill, ",
"font": "serif",
"width": 6.589,
"textWidth": 6.129
},
{
"text": "C. ",
"font": "serif",
"width": 2.22,
"textWidth": 1.761
},
{
"text": "Cecka, ",
"font": "serif",
"width": 5.854,
"textWidth": 5.395
},
{
"text": "M. ",
"font": "serif",
"width": 2.657,
"textWidth": 2.196
},
{
"text": "Garland, ",
"font": "serif",
"width": 7.606,
"textWidth": 7.147
},
{
"text": "and ",
"font": "serif",
"width": 3.568,
"textWidth": 3.109
},
{
"text": "J. ",
"font": "serif",
"width": 1.53,
"textWidth": 1.071
},
{
"text": "D. ",
"font": "serif",
"width": 2.339,
"textWidth": 1.88
},
{
"text": "Owens. ",
"font": "serif",
"width": 6.825,
"textWidth": 6.161
},
{
"text": "Stream-k: ",
"font": "serif",
"width": 8.337,
"textWidth": 7.766
},
{
"text": "Work-centric ",
"font": "serif",
"width": 10.924,
"textWidth": 10.465
},
{
"text": "parallel ",
"font": "serif",
"width": 6.148,
"textWidth": 6.148
}
]
},
{
"left": 13.727,
"top": 30.737,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "decomposition ",
"font": "serif",
"width": 12.34,
"textWidth": 11.884
},
{
"text": "for ",
"font": "serif",
"width": 2.762,
"textWidth": 2.304
},
{
"text": "dense ",
"font": "serif",
"width": 5.113,
"textWidth": 4.658
},
{
"text": "matrix-matrix ",
"font": "serif",
"width": 11.589,
"textWidth": 11.133
},
{
"text": "multiplication ",
"font": "serif",
"width": 11.79,
"textWidth": 11.334
},
{
"text": "on ",
"font": "serif",
"width": 2.498,
"textWidth": 2.04
},
{
"text": "the ",
"font": "serif",
"width": 2.965,
"textWidth": 2.509
},
{
"text": "gpu. ",
"font": "serif",
"width": 4.292,
"textWidth": 3.636
},
{
"text": "In ",
"font": "serif",
"width": 2.118,
"textWidth": 1.662
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.34,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.067,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.998,
"textWidth": 2.542
},
{
"text": "28th ",
"font": "serif",
"width": 3.497,
"textWidth": 3.497
}
]
},
{
"left": 13.727,
"top": 32.346,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "ACM ",
"font": "serif",
"width": 5.157,
"textWidth": 4.459
},
{
"text": "SIGPLAN ",
"font": "serif",
"width": 8.852,
"textWidth": 8.153
},
{
"text": "Annual ",
"font": "serif",
"width": 6.812,
"textWidth": 6.114
},
{
"text": "Symposium ",
"font": "serif",
"width": 10.433,
"textWidth": 9.735
},
{
"text": "on ",
"font": "serif",
"width": 2.766,
"textWidth": 2.067
},
{
"text": "Principles ",
"font": "serif",
"width": 8.766,
"textWidth": 8.067
},
{
"text": "and ",
"font": "serif",
"width": 3.801,
"textWidth": 3.103
},
{
"text": "Practice ",
"font": "serif",
"width": 7.082,
"textWidth": 6.383
},
{
"text": "of ",
"font": "serif",
"width": 2.31,
"textWidth": 1.611
},
{
"text": "Parallel ",
"font": "serif",
"width": 6.84,
"textWidth": 6.141
},
{
"text": "Programming, ",
"font": "serif",
"width": 11.78,
"textWidth": 11.78
}
]
},
{
"left": 13.672,
"top": 33.956,
"width": 16.603,
"height": 1.296,
"words": [
{
"text": "pages ",
"font": "serif",
"width": 5.15,
"textWidth": 4.691
},
{
"text": "429-431, ",
"font": "serif",
"width": 7.33,
"textWidth": 6.872
},
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 36.608,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 2.019,
"textWidth": 1.477
},
{
"text": "Patwardhan, ",
"font": "serif",
"width": 11.154,
"textWidth": 10.591
},
{
"text": "R. ",
"font": "serif",
"width": 2.256,
"textWidth": 1.716
},
{
"text": "Dias, ",
"font": "serif",
"width": 4.748,
"textWidth": 4.185
},
{
"text": "E. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.609
},
{
"text": "Proehl, ",
"font": "serif",
"width": 6.412,
"textWidth": 5.849
},
{
"text": "G. ",
"font": "serif",
"width": 2.434,
"textWidth": 1.894
},
{
"text": "Kim, ",
"font": "serif",
"width": 4.582,
"textWidth": 4.019
},
{
"text": "M. ",
"font": "serif",
"width": 2.776,
"textWidth": 2.236
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.793,
"textWidth": 5.23
},
{
"text": "O. ",
"font": "serif",
"width": 2.477,
"textWidth": 1.937
},
{
"text": "Watkins, ",
"font": "serif",
"width": 7.739,
"textWidth": 7.176
},
{
"text": "S. ",
"font": "serif",
"width": 1.989,
"textWidth": 1.449
},
{
"text": "P. ",
"font": "serif",
"width": 1.901,
"textWidth": 1.361
},
{
"text": "Fishman, ",
"font": "serif",
"width": 8.167,
"textWidth": 7.604
},
{
"text": "M. ",
"font": "serif",
"width": 2.776,
"textWidth": 2.236
},
{
"text": "Aljubeh, ",
"font": "serif",
"width": 7.047,
"textWidth": 7.047
}
]
},
{
"left": 13.727,
"top": 38.217,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "P. ",
"font": "serif",
"width": 1.961,
"textWidth": 1.361
},
{
"text": "Thacker, ",
"font": "serif",
"width": 7.64,
"textWidth": 7.002
},
{
"text": "L. ",
"font": "serif",
"width": 2.209,
"textWidth": 1.609
},
{
"text": "Fauconnet, ",
"font": "serif",
"width": 9.737,
"textWidth": 9.1
},
{
"text": "et ",
"font": "serif",
"width": 2.105,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 3.064,
"textWidth": 1.946
},
{
"text": "Gdpval: ",
"font": "serif",
"width": 7.546,
"textWidth": 6.694
},
{
"text": "Evaluating ",
"font": "serif",
"width": 9.621,
"textWidth": 9.019
},
{
"text": "ai ",
"font": "serif",
"width": 2.079,
"textWidth": 1.479
},
{
"text": "model ",
"font": "serif",
"width": 5.855,
"textWidth": 5.253
},
{
"text": "performance ",
"font": "serif",
"width": 11.137,
"textWidth": 10.537
},
{
"text": "on ",
"font": "serif",
"width": 2.71,
"textWidth": 2.109
},
{
"text": "real-world ",
"font": "serif",
"width": 8.705,
"textWidth": 8.705
}
]
},
{
"left": 13.727,
"top": 39.826,
"width": 54.452,
"height": 1.296,
"words": [
{
"text": "economically ",
"font": "serif",
"width": 11.184,
"textWidth": 10.726
},
{
"text": "valuable ",
"font": "serif",
"width": 7.389,
"textWidth": 6.931
},
{
"text": "tasks. ",
"font": "serif",
"width": 5.204,
"textWidth": 4.545
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2510.04374, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 42.478,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 1.99,
"textWidth": 1.546
},
{
"text": "Phan, ",
"font": "serif",
"width": 4.968,
"textWidth": 4.522
},
{
"text": "A. ",
"font": "serif",
"width": 2.29,
"textWidth": 1.846
},
{
"text": "Gatti, ",
"font": "serif",
"width": 4.856,
"textWidth": 4.411
},
{
"text": "Z. ",
"font": "serif",
"width": 2.09,
"textWidth": 1.647
},
{
"text": "Han, ",
"font": "serif",
"width": 4.332,
"textWidth": 3.886
},
{
"text": "N. ",
"font": "serif",
"width": 2.385,
"textWidth": 1.941
},
{
"text": "Li, ",
"font": "serif",
"width": 2.516,
"textWidth": 2.069
},
{
"text": "J. ",
"font": "serif",
"width": 1.489,
"textWidth": 1.047
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.473,
"textWidth": 3.026
},
{
"text": "H. ",
"font": "serif",
"width": 2.387,
"textWidth": 1.943
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.079,
"textWidth": 5.634
},
{
"text": "C. ",
"font": "serif",
"width": 2.166,
"textWidth": 1.722
},
{
"text": "B. ",
"font": "serif",
"width": 1.988,
"textWidth": 1.546
},
{
"text": "C. ",
"font": "serif",
"width": 2.166,
"textWidth": 1.722
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.081,
"textWidth": 5.634
},
{
"text": "M. ",
"font": "serif",
"width": 2.59,
"textWidth": 2.148
},
{
"text": "Shaaban, ",
"font": "serif",
"width": 7.617,
"textWidth": 7.169
},
{
"text": "J. ",
"font": "serif",
"width": 1.491,
"textWidth": 1.047
},
{
"text": "Ling, ",
"font": "serif",
"width": 4.558,
"textWidth": 4.113
},
{
"text": "S. ",
"font": "serif",
"width": 1.835,
"textWidth": 1.392
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.405,
"textWidth": 2.96
},
{
"text": "et ",
"font": "serif",
"width": 1.889,
"textWidth": 1.446
},
{
"text": "al. ",
"font": "serif",
"width": 1.87,
"textWidth": 1.87
}
]
},
{
"left": 13.727,
"top": 44.088,
"width": 49.557,
"height": 1.296,
"words": [
{
"text": "Humanity’s ",
"font": "serif",
"width": 10.125,
"textWidth": 9.667
},
{
"text": "last ",
"font": "serif",
"width": 3.282,
"textWidth": 2.824
},
{
"text": "exam. ",
"font": "serif",
"width": 5.476,
"textWidth": 4.816
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2501.14249, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 46.74,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "W. ",
"font": "serif",
"width": 2.525,
"textWidth": 2.076
},
{
"text": "Qi, ",
"font": "serif",
"width": 2.834,
"textWidth": 2.383
},
{
"text": "Y. ",
"font": "serif",
"width": 1.891,
"textWidth": 1.442
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.872,
"textWidth": 3.421
},
{
"text": "Y. ",
"font": "serif",
"width": 1.893,
"textWidth": 1.444
},
{
"text": "Gong, ",
"font": "serif",
"width": 5.293,
"textWidth": 4.842
},
{
"text": "D. ",
"font": "serif",
"width": 2.288,
"textWidth": 1.839
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.603,
"textWidth": 3.152
},
{
"text": "N. ",
"font": "serif",
"width": 2.39,
"textWidth": 1.941
},
{
"text": "Duan, ",
"font": "serif",
"width": 5.314,
"textWidth": 4.865
},
{
"text": "J. ",
"font": "serif",
"width": 1.496,
"textWidth": 1.047
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.124,
"textWidth": 4.673
},
{
"text": "R. ",
"font": "serif",
"width": 2.098,
"textWidth": 1.649
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.083,
"textWidth": 5.634
},
{
"text": "and ",
"font": "serif",
"width": 3.49,
"textWidth": 3.041
},
{
"text": "M. ",
"font": "serif",
"width": 2.597,
"textWidth": 2.148
},
{
"text": "Zhou. ",
"font": "serif",
"width": 5.395,
"textWidth": 4.756
},
{
"text": "Prophetnet: ",
"font": "serif",
"width": 9.815,
"textWidth": 9.251
},
{
"text": "Predicting ",
"font": "serif",
"width": 8.19,
"textWidth": 8.19
}
]
},
{
"left": 13.727,
"top": 48.349,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "future ",
"font": "serif",
"width": 5.72,
"textWidth": 5.086
},
{
"text": "n-gram ",
"font": "serif",
"width": 6.705,
"textWidth": 6.073
},
{
"text": "for ",
"font": "serif",
"width": 3.015,
"textWidth": 2.381
},
{
"text": "sequence-to-sequence ",
"font": "serif",
"width": 18.648,
"textWidth": 18.016
},
{
"text": "pre-training. ",
"font": "serif",
"width": 11.619,
"textWidth": 10.401
},
{
"text": "In ",
"font": "serif",
"width": 2.35,
"textWidth": 1.718
},
{
"text": "T. ",
"font": "serif",
"width": 2.11,
"textWidth": 1.477
},
{
"text": "Cohn, ",
"font": "serif",
"width": 5.666,
"textWidth": 4.989
},
{
"text": "Y. ",
"font": "serif",
"width": 2.144,
"textWidth": 1.51
},
{
"text": "He, ",
"font": "serif",
"width": 3.593,
"textWidth": 2.918
},
{
"text": "and ",
"font": "serif",
"width": 3.798,
"textWidth": 3.165
},
{
"text": "Y. ",
"font": "serif",
"width": 2.144,
"textWidth": 1.51
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.957,
"textWidth": 3.281
},
{
"text": "edi- ",
"font": "serif",
"width": 3.204,
"textWidth": 3.204
}
]
},
{
"left": 13.727,
"top": 49.958,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "tors, ",
"font": "serif",
"width": 3.935,
"textWidth": 3.486
},
{
"text": "Findings ",
"font": "serif",
"width": 7.581,
"textWidth": 7.134
},
{
"text": "of ",
"font": "serif",
"width": 2.057,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.988,
"textWidth": 2.542
},
{
"text": "Association ",
"font": "serif",
"width": 9.888,
"textWidth": 9.442
},
{
"text": "for ",
"font": "serif",
"width": 2.781,
"textWidth": 2.335
},
{
"text": "Computational ",
"font": "serif",
"width": 12.732,
"textWidth": 12.286
},
{
"text": "Linguistics: ",
"font": "serif",
"width": 9.895,
"textWidth": 9.333
},
{
"text": "EMNLP ",
"font": "serif",
"width": 7.049,
"textWidth": 6.603
},
{
"text": "2020, ",
"font": "serif",
"width": 4.572,
"textWidth": 4.123
},
{
"text": "Online ",
"font": "serif",
"width": 5.964,
"textWidth": 5.518
},
{
"text": "Event, ",
"font": "serif",
"width": 5.155,
"textWidth": 5.155
}
]
},
{
"left": 13.727,
"top": 51.568,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "16-20 ",
"font": "serif",
"width": 4.735,
"textWidth": 4.275
},
{
"text": "November ",
"font": "serif",
"width": 9.129,
"textWidth": 8.67
},
{
"text": "2020, ",
"font": "serif",
"width": 4.591,
"textWidth": 4.132
},
{
"text": "volume ",
"font": "serif",
"width": 6.747,
"textWidth": 6.288
},
{
"text": "EMNLP ",
"font": "serif",
"width": 7.188,
"textWidth": 6.728
},
{
"text": "2020 ",
"font": "serif",
"width": 4.194,
"textWidth": 3.735
},
{
"text": "of ",
"font": "serif",
"width": 2.1,
"textWidth": 1.641
},
{
"text": "Findings ",
"font": "serif",
"width": 7.594,
"textWidth": 7.134
},
{
"text": "of ",
"font": "serif",
"width": 2.07,
"textWidth": 1.611
},
{
"text": "ACL, ",
"font": "serif",
"width": 4.771,
"textWidth": 4.312
},
{
"text": "pages ",
"font": "serif",
"width": 5.24,
"textWidth": 4.781
},
{
"text": "2401-2410. ",
"font": "serif",
"width": 9.33,
"textWidth": 8.87
},
{
"text": "Associa- ",
"font": "serif",
"width": 6.984,
"textWidth": 6.984
}
]
},
{
"left": 13.727,
"top": 53.177,
"width": 37.924,
"height": 1.296,
"words": [
{
"text": "tion ",
"font": "serif",
"width": 3.691,
"textWidth": 3.233
},
{
"text": "for ",
"font": "serif",
"width": 2.82,
"textWidth": 2.36
},
{
"text": "Computational ",
"font": "serif",
"width": 12.879,
"textWidth": 12.421
},
{
"text": "Linguistics, ",
"font": "serif",
"width": 9.894,
"textWidth": 9.436
},
{
"text": "2020. ",
"font": "serif",
"width": 4.83,
"textWidth": 4.169
},
{
"text": "URL ",
"font": "serif",
"width": 3.811,
"textWidth": 3.811
}
]
},
{
"left": 52.109,
"top": 52.999,
"width": 35.986,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.18653/v1/2020.f ",
"font": "mono",
"width": 35.986,
"textWidth": 35.986
}
]
},
{
"left": 13.727,
"top": 54.608,
"width": 18.074,
"height": 1.425,
"words": [
{
"text": "indings-emnlp.217 ",
"font": "mono",
"width": 18.074,
"textWidth": 18.074
}
]
},
{
"left": 11.905,
"top": 57.439,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "Qwen. ",
"font": "serif",
"width": 5.988,
"textWidth": 5.323
},
{
"text": "Qwen3 ",
"font": "serif",
"width": 6.237,
"textWidth": 5.777
},
{
"text": "technical ",
"font": "serif",
"width": 7.613,
"textWidth": 7.154
},
{
"text": "report. ",
"font": "serif",
"width": 6.064,
"textWidth": 5.401
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.662,
"textWidth": 5.202
},
{
"text": "abs/2505.09388, ",
"font": "serif",
"width": 13.323,
"textWidth": 12.864
},
{
"text": "2025. ",
"font": "serif",
"width": 4.751,
"textWidth": 4.086
},
{
"text": "doi: ",
"font": "serif",
"width": 3.654,
"textWidth": 3.084
},
{
"text": "10.48550/ARXIV.2505.09388. ",
"font": "serif",
"width": 23.219,
"textWidth": 23.219
}
]
},
{
"left": 13.727,
"top": 59.048,
"width": 3.77,
"height": 1.296,
"words": [
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 17.954,
"top": 58.869,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2505.09388 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 61.7,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.765,
"textWidth": 1.392
},
{
"text": "Rajbhandari, ",
"font": "serif",
"width": 10.566,
"textWidth": 10.176
},
{
"text": "J. ",
"font": "serif",
"width": 1.421,
"textWidth": 1.047
},
{
"text": "Rasley, ",
"font": "serif",
"width": 5.876,
"textWidth": 5.485
},
{
"text": "O. ",
"font": "serif",
"width": 2.234,
"textWidth": 1.861
},
{
"text": "Ruwase, ",
"font": "serif",
"width": 7.139,
"textWidth": 6.747
},
{
"text": "and ",
"font": "serif",
"width": 3.414,
"textWidth": 3.041
},
{
"text": "Y. ",
"font": "serif",
"width": 1.816,
"textWidth": 1.442
},
{
"text": "He. ",
"font": "serif",
"width": 3.279,
"textWidth": 2.803
},
{
"text": "Zero: ",
"font": "serif",
"width": 4.689,
"textWidth": 4.163
},
{
"text": "Memory ",
"font": "serif",
"width": 7.207,
"textWidth": 6.834
},
{
"text": "optimizations ",
"font": "serif",
"width": 11.341,
"textWidth": 10.968
},
{
"text": "toward ",
"font": "serif",
"width": 6.108,
"textWidth": 5.734
},
{
"text": "training ",
"font": "serif",
"width": 6.701,
"textWidth": 6.327
},
{
"text": "tril- ",
"font": "serif",
"width": 2.938,
"textWidth": 2.938
}
]
},
{
"left": 13.727,
"top": 63.309,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "lion ",
"font": "serif",
"width": 3.499,
"textWidth": 3.071
},
{
"text": "parameter ",
"font": "serif",
"width": 8.615,
"textWidth": 8.186
},
{
"text": "models. ",
"font": "serif",
"width": 6.852,
"textWidth": 6.257
},
{
"text": "In ",
"font": "serif",
"width": 2.078,
"textWidth": 1.65
},
{
"text": "SC20: ",
"font": "serif",
"width": 5.105,
"textWidth": 4.552
},
{
"text": "International ",
"font": "serif",
"width": 10.942,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.609,
"textWidth": 9.181
},
{
"text": "for ",
"font": "serif",
"width": 2.763,
"textWidth": 2.335
},
{
"text": "High ",
"font": "serif",
"width": 4.572,
"textWidth": 4.144
},
{
"text": "Performance ",
"font": "serif",
"width": 10.764,
"textWidth": 10.336
},
{
"text": "Computing, ",
"font": "serif",
"width": 9.799,
"textWidth": 9.799
}
]
},
{
"left": 13.727,
"top": 64.919,
"width": 47.633,
"height": 1.296,
"words": [
{
"text": "Networking, ",
"font": "serif",
"width": 10.805,
"textWidth": 10.347
},
{
"text": "Storage ",
"font": "serif",
"width": 6.555,
"textWidth": 6.097
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "Analysis, ",
"font": "serif",
"width": 7.965,
"textWidth": 7.506
},
{
"text": "pages ",
"font": "serif",
"width": 5.15,
"textWidth": 4.691
},
{
"text": "1-16. ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "IEEE, ",
"font": "serif",
"width": 4.893,
"textWidth": 4.435
},
{
"text": "2020. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 67.571,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.547,
"textWidth": 1.088
},
{
"text": "K. ",
"font": "serif",
"width": 2.278,
"textWidth": 1.821
},
{
"text": "Reed, ",
"font": "serif",
"width": 5.099,
"textWidth": 4.64
},
{
"text": "Z. ",
"font": "serif",
"width": 2.17,
"textWidth": 1.711
},
{
"text": "DeVito, ",
"font": "serif",
"width": 6.677,
"textWidth": 6.218
},
{
"text": "H. ",
"font": "serif",
"width": 2.478,
"textWidth": 2.019
},
{
"text": "He, ",
"font": "serif",
"width": 3.369,
"textWidth": 2.912
},
{
"text": "A. ",
"font": "serif",
"width": 2.377,
"textWidth": 1.918
},
{
"text": "Ussery, ",
"font": "serif",
"width": 6.423,
"textWidth": 5.964
},
{
"text": "and ",
"font": "serif",
"width": 3.616,
"textWidth": 3.158
},
{
"text": "J. ",
"font": "serif",
"width": 1.547,
"textWidth": 1.088
},
{
"text": "Ansel. ",
"font": "serif",
"width": 5.892,
"textWidth": 5.231
},
{
"text": "Torch.fx: ",
"font": "serif",
"width": 7.696,
"textWidth": 7.128
},
{
"text": "Practical ",
"font": "serif",
"width": 7.539,
"textWidth": 7.08
},
{
"text": "program ",
"font": "serif",
"width": 7.656,
"textWidth": 7.197
},
{
"text": "capture ",
"font": "serif",
"width": 6.671,
"textWidth": 6.212
},
{
"text": "and ",
"font": "serif",
"width": 3.158,
"textWidth": 3.158
}
]
},
{
"left": 13.727,
"top": 69.18,
"width": 44.278,
"height": 1.296,
"words": [
{
"text": "transformation ",
"font": "serif",
"width": 12.569,
"textWidth": 12.112
},
{
"text": "for ",
"font": "serif",
"width": 2.785,
"textWidth": 2.328
},
{
"text": "deep ",
"font": "serif",
"width": 4.423,
"textWidth": 3.965
},
{
"text": "learning ",
"font": "serif",
"width": 7.173,
"textWidth": 6.716
},
{
"text": "in ",
"font": "serif",
"width": 2.052,
"textWidth": 1.595
},
{
"text": "python, ",
"font": "serif",
"width": 6.749,
"textWidth": 6.291
},
{
"text": "2022. ",
"font": "serif",
"width": 4.769,
"textWidth": 4.111
},
{
"text": "URL ",
"font": "serif",
"width": 3.758,
"textWidth": 3.758
}
]
},
{
"left": 58.462,
"top": 69.002,
"width": 29.634,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2112.0 ",
"font": "mono",
"width": 29.634,
"textWidth": 29.634
}
]
},
{
"left": 13.727,
"top": 70.611,
"width": 4.233,
"height": 1.425,
"words": [
{
"text": "8429 ",
"font": "mono",
"width": 4.233,
"textWidth": 4.233
}
]
},
{
"left": 11.905,
"top": 73.442,
"width": 76.51,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.35,
"textWidth": 1.892
},
{
"text": "Rein, ",
"font": "serif",
"width": 4.65,
"textWidth": 4.193
},
{
"text": "B. ",
"font": "serif",
"width": 2.049,
"textWidth": 1.591
},
{
"text": "L. ",
"font": "serif",
"width": 2.049,
"textWidth": 1.591
},
{
"text": "Hou, ",
"font": "serif",
"width": 4.578,
"textWidth": 4.121
},
{
"text": "A. ",
"font": "serif",
"width": 2.357,
"textWidth": 1.899
},
{
"text": "C. ",
"font": "serif",
"width": 2.23,
"textWidth": 1.772
},
{
"text": "Stickland, ",
"font": "serif",
"width": 8.542,
"textWidth": 8.084
},
{
"text": "J. ",
"font": "serif",
"width": 1.533,
"textWidth": 1.077
},
{
"text": "Petty, ",
"font": "serif",
"width": 4.949,
"textWidth": 4.491
},
{
"text": "R. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "Y. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.491
},
{
"text": "Pang, ",
"font": "serif",
"width": 5.062,
"textWidth": 4.603
},
{
"text": "J. ",
"font": "serif",
"width": 1.533,
"textWidth": 1.077
},
{
"text": "Dirani, ",
"font": "serif",
"width": 6.153,
"textWidth": 5.695
},
{
"text": "J. ",
"font": "serif",
"width": 1.535,
"textWidth": 1.077
},
{
"text": "Michael, ",
"font": "serif",
"width": 7.445,
"textWidth": 6.988
},
{
"text": "and ",
"font": "serif",
"width": 3.586,
"textWidth": 3.127
},
{
"text": "S. ",
"font": "serif",
"width": 1.89,
"textWidth": 1.432
},
{
"text": "R. ",
"font": "serif",
"width": 2.152,
"textWidth": 1.696
},
{
"text": "Bowman. ",
"font": "serif",
"width": 7.77,
"textWidth": 7.77
}
]
},
{
"left": 13.727,
"top": 75.051,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "GPQA: ",
"font": "serif",
"width": 6.131,
"textWidth": 5.713
},
{
"text": "A ",
"font": "serif",
"width": 1.816,
"textWidth": 1.397
},
{
"text": "graduate-level ",
"font": "serif",
"width": 11.925,
"textWidth": 11.507
},
{
"text": "google-proof ",
"font": "serif",
"width": 10.673,
"textWidth": 10.255
},
{
"text": "q&a ",
"font": "serif",
"width": 3.718,
"textWidth": 3.301
},
{
"text": "benchmark. ",
"font": "serif",
"width": 9.955,
"textWidth": 9.382
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.849,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.111,
"textWidth": 6.693
},
{
"text": "arXiv:2311.12022, ",
"font": "serif",
"width": 14.469,
"textWidth": 14.043
},
{
"text": "2023. ",
"font": "serif",
"width": 4.041,
"textWidth": 4.041
}
]
},
{
"left": 11.905,
"top": 77.703,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "G. ",
"font": "serif",
"width": 2.477,
"textWidth": 1.894
},
{
"text": "T. ",
"font": "serif",
"width": 2.06,
"textWidth": 1.477
},
{
"text": "M. ",
"font": "serif",
"width": 2.819,
"textWidth": 2.236
},
{
"text": "Riviere, ",
"font": "serif",
"width": 6.969,
"textWidth": 6.355
},
{
"text": "S. ",
"font": "serif",
"width": 2.032,
"textWidth": 1.449
},
{
"text": "Pathak, ",
"font": "serif",
"width": 6.815,
"textWidth": 6.202
},
{
"text": "P. ",
"font": "serif",
"width": 1.942,
"textWidth": 1.361
},
{
"text": "G. ",
"font": "serif",
"width": 2.477,
"textWidth": 1.894
},
{
"text": "Sessa, ",
"font": "serif",
"width": 5.477,
"textWidth": 4.864
},
{
"text": "C. ",
"font": "serif",
"width": 2.376,
"textWidth": 1.793
},
{
"text": "Hardin, ",
"font": "serif",
"width": 7.051,
"textWidth": 6.436
},
{
"text": "S. ",
"font": "serif",
"width": 2.03,
"textWidth": 1.449
},
{
"text": "Bhupatiraju, ",
"font": "serif",
"width": 10.888,
"textWidth": 10.273
},
{
"text": "L. ",
"font": "serif",
"width": 2.191,
"textWidth": 1.609
},
{
"text": "Hussenot, ",
"font": "serif",
"width": 8.963,
"textWidth": 8.348
},
{
"text": "T. ",
"font": "serif",
"width": 2.06,
"textWidth": 1.477
},
{
"text": "Mesnard, ",
"font": "serif",
"width": 7.793,
"textWidth": 7.793
}
]
},
{
"left": 13.727,
"top": 79.312,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "Shahriari, ",
"font": "serif",
"width": 8.265,
"textWidth": 7.806
},
{
"text": "A. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.861
},
{
"text": "Ram’e, ",
"font": "serif",
"width": 5.997,
"textWidth": 5.537
},
{
"text": "J. ",
"font": "serif",
"width": 1.514,
"textWidth": 1.056
},
{
"text": "Ferret, ",
"font": "serif",
"width": 5.64,
"textWidth": 5.182
},
{
"text": "P. ",
"font": "serif",
"width": 1.769,
"textWidth": 1.311
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.638,
"textWidth": 3.178
},
{
"text": "P. ",
"font": "serif",
"width": 1.767,
"textWidth": 1.309
},
{
"text": "D. ",
"font": "serif",
"width": 2.314,
"textWidth": 1.854
},
{
"text": "Tafti, ",
"font": "serif",
"width": 4.478,
"textWidth": 4.02
},
{
"text": "A. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.861
},
{
"text": "Friesen, ",
"font": "serif",
"width": 6.717,
"textWidth": 6.258
},
{
"text": "M. ",
"font": "serif",
"width": 2.624,
"textWidth": 2.166
},
{
"text": "Casbon, ",
"font": "serif",
"width": 6.913,
"textWidth": 6.453
},
{
"text": "S. ",
"font": "serif",
"width": 1.861,
"textWidth": 1.403
},
{
"text": "Ramos, ",
"font": "serif",
"width": 6.381,
"textWidth": 5.923
},
{
"text": "R. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.662
},
{
"text": "Kumar, ",
"font": "serif",
"width": 5.942,
"textWidth": 5.942
}
]
},
{
"left": 13.727,
"top": 80.922,
"width": 74.672,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.246,
"textWidth": 1.787
},
{
"text": "L. ",
"font": "serif",
"width": 2.065,
"textWidth": 1.605
},
{
"text": "Lan, ",
"font": "serif",
"width": 4.08,
"textWidth": 3.621
},
{
"text": "S. ",
"font": "serif",
"width": 1.905,
"textWidth": 1.444
},
{
"text": "Jerome, ",
"font": "serif",
"width": 6.697,
"textWidth": 6.238
},
{
"text": "A. ",
"font": "serif",
"width": 2.376,
"textWidth": 1.916
},
{
"text": "Tsitsulin, ",
"font": "serif",
"width": 7.925,
"textWidth": 7.466
},
{
"text": "N. ",
"font": "serif",
"width": 2.475,
"textWidth": 2.015
},
{
"text": "Vieillard, ",
"font": "serif",
"width": 8.005,
"textWidth": 7.546
},
{
"text": "P. ",
"font": "serif",
"width": 1.815,
"textWidth": 1.357
},
{
"text": "Sta ́ ",
"font": "serif",
"width": 3.368,
"textWidth": 3.368
},
{
"text": "nczyk, ",
"font": "serif",
"width": 5.841,
"textWidth": 5.383
},
{
"text": "S. ",
"font": "serif",
"width": 1.905,
"textWidth": 1.444
},
{
"text": "Girgin, ",
"font": "serif",
"width": 6.255,
"textWidth": 5.796
},
{
"text": "N. ",
"font": "serif",
"width": 2.475,
"textWidth": 2.015
},
{
"text": "Momchev, ",
"font": "serif",
"width": 9.006,
"textWidth": 8.547
},
{
"text": "M. ",
"font": "serif",
"width": 2.688,
"textWidth": 2.229
},
{
"text": "Hoff- ",
"font": "serif",
"width": 4.397,
"textWidth": 4.397
}
]
},
{
"left": 13.727,
"top": 82.531,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "man, ",
"font": "serif",
"width": 4.77,
"textWidth": 4.14
},
{
"text": "S. ",
"font": "serif",
"width": 2.045,
"textWidth": 1.449
},
{
"text": "Thakoor, ",
"font": "serif",
"width": 7.948,
"textWidth": 7.318
},
{
"text": "J.-B. ",
"font": "serif",
"width": 3.918,
"textWidth": 3.322
},
{
"text": "Grill, ",
"font": "serif",
"width": 4.894,
"textWidth": 4.264
},
{
"text": "B. ",
"font": "serif",
"width": 2.206,
"textWidth": 1.609
},
{
"text": "Neyshabur, ",
"font": "serif",
"width": 10.163,
"textWidth": 9.533
},
{
"text": "A. ",
"font": "serif",
"width": 2.518,
"textWidth": 1.922
},
{
"text": "Walton, ",
"font": "serif",
"width": 6.993,
"textWidth": 6.363
},
{
"text": "A. ",
"font": "serif",
"width": 2.518,
"textWidth": 1.922
},
{
"text": "Severyn, ",
"font": "serif",
"width": 7.791,
"textWidth": 7.161
},
{
"text": "A. ",
"font": "serif",
"width": 2.518,
"textWidth": 1.922
},
{
"text": "Parrish, ",
"font": "serif",
"width": 7.062,
"textWidth": 6.432
},
{
"text": "A. ",
"font": "serif",
"width": 2.516,
"textWidth": 1.922
},
{
"text": "Ahmad, ",
"font": "serif",
"width": 6.737,
"textWidth": 6.737
}
]
},
{
"left": 13.656,
"top": 84.14,
"width": 74.67,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Hutchison, ",
"font": "serif",
"width": 9.644,
"textWidth": 9.122
},
{
"text": "A. ",
"font": "serif",
"width": 2.428,
"textWidth": 1.922
},
{
"text": "Abdagic, ",
"font": "serif",
"width": 7.967,
"textWidth": 7.445
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Carl, ",
"font": "serif",
"width": 4.531,
"textWidth": 4.01
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Shen, ",
"font": "serif",
"width": 5.04,
"textWidth": 4.52
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Brock, ",
"font": "serif",
"width": 5.726,
"textWidth": 5.206
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Coenen, ",
"font": "serif",
"width": 7.301,
"textWidth": 6.78
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Laforge, ",
"font": "serif",
"width": 7.348,
"textWidth": 6.827
},
{
"text": "A. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.922
},
{
"text": "Paterson, ",
"font": "serif",
"width": 7.675,
"textWidth": 7.675
}
]
},
{
"left": 13.727,
"top": 85.75,
"width": 74.672,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.015,
"textWidth": 1.556
},
{
"text": "Bastian, ",
"font": "serif",
"width": 6.754,
"textWidth": 6.295
},
{
"text": "B. ",
"font": "serif",
"width": 2.015,
"textWidth": 1.556
},
{
"text": "Piot, ",
"font": "serif",
"width": 4.104,
"textWidth": 3.645
},
{
"text": "B. ",
"font": "serif",
"width": 2.015,
"textWidth": 1.556
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.715,
"textWidth": 3.256
},
{
"text": "B. ",
"font": "serif",
"width": 2.015,
"textWidth": 1.556
},
{
"text": "Royal, ",
"font": "serif",
"width": 5.54,
"textWidth": 5.079
},
{
"text": "C. ",
"font": "serif",
"width": 2.192,
"textWidth": 1.733
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.161,
"textWidth": 4.7
},
{
"text": "C. ",
"font": "serif",
"width": 2.192,
"textWidth": 1.733
},
{
"text": "Kumar, ",
"font": "serif",
"width": 6.389,
"textWidth": 5.929
},
{
"text": "C. ",
"font": "serif",
"width": 2.192,
"textWidth": 1.733
},
{
"text": "Perry, ",
"font": "serif",
"width": 5.096,
"textWidth": 4.637
},
{
"text": "C. ",
"font": "serif",
"width": 2.192,
"textWidth": 1.733
},
{
"text": "A. ",
"font": "serif",
"width": 2.317,
"textWidth": 1.858
},
{
"text": "Welty, ",
"font": "serif",
"width": 5.331,
"textWidth": 4.872
},
{
"text": "C. ",
"font": "serif",
"width": 2.192,
"textWidth": 1.733
},
{
"text": "A. ",
"font": "serif",
"width": 2.317,
"textWidth": 1.858
},
{
"text": "Choquette- ",
"font": "serif",
"width": 8.932,
"textWidth": 8.932
}
]
},
{
"left": 13.727,
"top": 87.359,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "Choo, ",
"font": "serif",
"width": 5.208,
"textWidth": 4.748
},
{
"text": "D. ",
"font": "serif",
"width": 2.308,
"textWidth": 1.847
},
{
"text": "Sinopalnikov, ",
"font": "serif",
"width": 11.303,
"textWidth": 10.843
},
{
"text": "D. ",
"font": "serif",
"width": 2.306,
"textWidth": 1.847
},
{
"text": "Weinberger, ",
"font": "serif",
"width": 9.969,
"textWidth": 9.507
},
{
"text": "D. ",
"font": "serif",
"width": 2.306,
"textWidth": 1.847
},
{
"text": "Vijaykumar, ",
"font": "serif",
"width": 10.124,
"textWidth": 9.664
},
{
"text": "D. ",
"font": "serif",
"width": 2.306,
"textWidth": 1.847
},
{
"text": "Rogozi’nska, ",
"font": "serif",
"width": 10.735,
"textWidth": 10.273
},
{
"text": "D. ",
"font": "serif",
"width": 2.306,
"textWidth": 1.847
},
{
"text": "Herbison, ",
"font": "serif",
"width": 8.308,
"textWidth": 7.848
},
{
"text": "E. ",
"font": "serif",
"width": 2.012,
"textWidth": 1.553
},
{
"text": "Bandy, ",
"font": "serif",
"width": 5.404,
"textWidth": 5.404
}
]
},
{
"left": 13.727,
"top": 88.969,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "E. ",
"font": "serif",
"width": 1.954,
"textWidth": 1.546
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.436,
"textWidth": 5.02
},
{
"text": "E. ",
"font": "serif",
"width": 1.956,
"textWidth": 1.546
},
{
"text": "Noland, ",
"font": "serif",
"width": 6.904,
"textWidth": 6.485
},
{
"text": "E. ",
"font": "serif",
"width": 1.954,
"textWidth": 1.546
},
{
"text": "Moreira, ",
"font": "serif",
"width": 7.214,
"textWidth": 6.796
},
{
"text": "E. ",
"font": "serif",
"width": 1.954,
"textWidth": 1.546
},
{
"text": "Senter, ",
"font": "serif",
"width": 5.734,
"textWidth": 5.316
},
{
"text": "E. ",
"font": "serif",
"width": 1.956,
"textWidth": 1.546
},
{
"text": "Eltyshev, ",
"font": "serif",
"width": 7.548,
"textWidth": 7.13
},
{
"text": "F. ",
"font": "serif",
"width": 1.688,
"textWidth": 1.279
},
{
"text": "Visin, ",
"font": "serif",
"width": 4.916,
"textWidth": 4.497
},
{
"text": "G. ",
"font": "serif",
"width": 2.227,
"textWidth": 1.819
},
{
"text": "Rasskin, ",
"font": "serif",
"width": 7.055,
"textWidth": 6.636
},
{
"text": "G. ",
"font": "serif",
"width": 2.227,
"textWidth": 1.819
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.877,
"textWidth": 3.459
},
{
"text": "G. ",
"font": "serif",
"width": 2.229,
"textWidth": 1.819
},
{
"text": "Cameron, ",
"font": "serif",
"width": 7.768,
"textWidth": 7.768
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "50 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"51": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 13.727,
"top": 10.472,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "G. ",
"font": "serif",
"width": 2.449,
"textWidth": 1.894
},
{
"text": "Martins, ",
"font": "serif",
"width": 7.52,
"textWidth": 6.942
},
{
"text": "H. ",
"font": "serif",
"width": 2.576,
"textWidth": 2.023
},
{
"text": "Hashemi, ",
"font": "serif",
"width": 8.507,
"textWidth": 7.928
},
{
"text": "H. ",
"font": "serif",
"width": 2.576,
"textWidth": 2.023
},
{
"text": "Klimczak-Pluci’nska, ",
"font": "serif",
"width": 18.051,
"textWidth": 17.472
},
{
"text": "H. ",
"font": "serif",
"width": 2.576,
"textWidth": 2.023
},
{
"text": "Batra, ",
"font": "serif",
"width": 5.406,
"textWidth": 4.826
},
{
"text": "H. ",
"font": "serif",
"width": 2.576,
"textWidth": 2.023
},
{
"text": "Dhand, ",
"font": "serif",
"width": 6.746,
"textWidth": 6.167
},
{
"text": "I. ",
"font": "serif",
"width": 1.651,
"textWidth": 1.097
},
{
"text": "Nardini, ",
"font": "serif",
"width": 7.557,
"textWidth": 6.978
},
{
"text": "J. ",
"font": "serif",
"width": 1.643,
"textWidth": 1.09
},
{
"text": "Mein, ",
"font": "serif",
"width": 4.763,
"textWidth": 4.763
}
]
},
{
"left": 13.696,
"top": 12.082,
"width": 74.704,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.316,
"textWidth": 4.858
},
{
"text": "J. ",
"font": "serif",
"width": 1.526,
"textWidth": 1.069
},
{
"text": "Svensson, ",
"font": "serif",
"width": 8.488,
"textWidth": 8.029
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Stanway, ",
"font": "serif",
"width": 7.727,
"textWidth": 7.268
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Chan, ",
"font": "serif",
"width": 5.27,
"textWidth": 4.812
},
{
"text": "J. ",
"font": "serif",
"width": 1.526,
"textWidth": 1.069
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.316,
"textWidth": 4.858
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Carrasqueira, ",
"font": "serif",
"width": 11.467,
"textWidth": 11.009
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Iljazi, ",
"font": "serif",
"width": 4.865,
"textWidth": 4.406
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Becker, ",
"font": "serif",
"width": 6.219,
"textWidth": 5.76
},
{
"text": "J. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Fernan- ",
"font": "serif",
"width": 6.287,
"textWidth": 6.287
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "dez, ",
"font": "serif",
"width": 3.899,
"textWidth": 3.439
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "R. ",
"font": "serif",
"width": 2.176,
"textWidth": 1.716
},
{
"text": "van ",
"font": "serif",
"width": 3.539,
"textWidth": 3.079
},
{
"text": "Amersfoort, ",
"font": "serif",
"width": 10.47,
"textWidth": 10.01
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Gordon, ",
"font": "serif",
"width": 7.329,
"textWidth": 6.87
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Lipschultz, ",
"font": "serif",
"width": 9.662,
"textWidth": 9.202
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Newlan, ",
"font": "serif",
"width": 7.501,
"textWidth": 7.042
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.09
},
{
"text": "Ji, ",
"font": "serif",
"width": 2.094,
"textWidth": 1.634
},
{
"text": "K. ",
"font": "serif",
"width": 2.282,
"textWidth": 1.824
},
{
"text": "Mohamed, ",
"font": "serif",
"width": 9.429,
"textWidth": 8.967
},
{
"text": "K. ",
"font": "serif",
"width": 2.282,
"textWidth": 1.824
},
{
"text": "Badola, ",
"font": "serif",
"width": 6.185,
"textWidth": 6.185
}
]
},
{
"left": 13.727,
"top": 15.3,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "K. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.787
},
{
"text": "Black, ",
"font": "serif",
"width": 5.311,
"textWidth": 4.855
},
{
"text": "K. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.787
},
{
"text": "Millican, ",
"font": "serif",
"width": 7.572,
"textWidth": 7.114
},
{
"text": "K. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.787
},
{
"text": "McDonell, ",
"font": "serif",
"width": 8.883,
"textWidth": 8.425
},
{
"text": "K. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.787
},
{
"text": "Nguyen, ",
"font": "serif",
"width": 7.519,
"textWidth": 7.061
},
{
"text": "K. ",
"font": "serif",
"width": 2.243,
"textWidth": 1.787
},
{
"text": "Sodhia, ",
"font": "serif",
"width": 6.508,
"textWidth": 6.051
},
{
"text": "K. ",
"font": "serif",
"width": 2.245,
"textWidth": 1.787
},
{
"text": "Greene, ",
"font": "serif",
"width": 6.699,
"textWidth": 6.241
},
{
"text": "L. ",
"font": "serif",
"width": 2.032,
"textWidth": 1.576
},
{
"text": "L. ",
"font": "serif",
"width": 2.034,
"textWidth": 1.576
},
{
"text": "Sjoesund, ",
"font": "serif",
"width": 8.246,
"textWidth": 7.788
},
{
"text": "L. ",
"font": "serif",
"width": 2.032,
"textWidth": 1.576
},
{
"text": "Usui, ",
"font": "serif",
"width": 4.295,
"textWidth": 4.295
}
]
},
{
"left": 13.727,
"top": 16.91,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "Sifre, ",
"font": "serif",
"width": 4.562,
"textWidth": 4.104
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "Heuermann, ",
"font": "serif",
"width": 10.622,
"textWidth": 10.163
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "cia ",
"font": "serif",
"width": 2.706,
"textWidth": 2.247
},
{
"text": "Lago, ",
"font": "serif",
"width": 4.941,
"textWidth": 4.482
},
{
"text": "L. ",
"font": "serif",
"width": 2.024,
"textWidth": 1.567
},
{
"text": "McNealus, ",
"font": "serif",
"width": 9.135,
"textWidth": 8.677
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "B. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "Soares, ",
"font": "serif",
"width": 6.102,
"textWidth": 5.643
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "Kilpatrick, ",
"font": "serif",
"width": 8.959,
"textWidth": 8.5
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "Dixon, ",
"font": "serif",
"width": 5.843,
"textWidth": 5.385
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "L. ",
"font": "serif",
"width": 2.025,
"textWidth": 1.567
},
{
"text": "B. ",
"font": "serif",
"width": 1.567,
"textWidth": 1.567
}
]
},
{
"left": 13.727,
"top": 18.519,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "Martins, ",
"font": "serif",
"width": 7.679,
"textWidth": 6.942
},
{
"text": "M. ",
"font": "serif",
"width": 2.918,
"textWidth": 2.236
},
{
"text": "Reid, ",
"font": "serif",
"width": 5.034,
"textWidth": 4.297
},
{
"text": "M. ",
"font": "serif",
"width": 2.916,
"textWidth": 2.236
},
{
"text": "Singh, ",
"font": "serif",
"width": 5.944,
"textWidth": 5.208
},
{
"text": "M. ",
"font": "serif",
"width": 2.918,
"textWidth": 2.236
},
{
"text": "Iverson, ",
"font": "serif",
"width": 7.425,
"textWidth": 6.688
},
{
"text": "M. ",
"font": "serif",
"width": 2.916,
"textWidth": 2.236
},
{
"text": "Gorner, ",
"font": "serif",
"width": 6.976,
"textWidth": 6.24
},
{
"text": "M. ",
"font": "serif",
"width": 2.916,
"textWidth": 2.236
},
{
"text": "Velloso, ",
"font": "serif",
"width": 7.169,
"textWidth": 6.43
},
{
"text": "M. ",
"font": "serif",
"width": 2.916,
"textWidth": 2.236
},
{
"text": "Wirth, ",
"font": "serif",
"width": 5.952,
"textWidth": 5.215
},
{
"text": "M. ",
"font": "serif",
"width": 2.918,
"textWidth": 2.236
},
{
"text": "Davidow, ",
"font": "serif",
"width": 8.0,
"textWidth": 8.0
}
]
},
{
"left": 13.727,
"top": 20.129,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Miller, ",
"font": "serif",
"width": 5.764,
"textWidth": 5.307
},
{
"text": "M. ",
"font": "serif",
"width": 2.67,
"textWidth": 2.212
},
{
"text": "Rahtz, ",
"font": "serif",
"width": 5.682,
"textWidth": 5.226
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Watson, ",
"font": "serif",
"width": 6.999,
"textWidth": 6.54
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.21
},
{
"text": "Risdal, ",
"font": "serif",
"width": 6.069,
"textWidth": 5.612
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Kazemi, ",
"font": "serif",
"width": 7.169,
"textWidth": 6.71
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Moynihan, ",
"font": "serif",
"width": 9.397,
"textWidth": 8.94
},
{
"text": "M. ",
"font": "serif",
"width": 2.67,
"textWidth": 2.212
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.257,
"textWidth": 5.801
},
{
"text": "M. ",
"font": "serif",
"width": 2.668,
"textWidth": 2.212
},
{
"text": "Kahng, ",
"font": "serif",
"width": 5.91,
"textWidth": 5.91
}
]
},
{
"left": 13.727,
"top": 21.738,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.617,
"textWidth": 2.157
},
{
"text": "Park, ",
"font": "serif",
"width": 4.618,
"textWidth": 4.157
},
{
"text": "M. ",
"font": "serif",
"width": 2.617,
"textWidth": 2.157
},
{
"text": "Rahman, ",
"font": "serif",
"width": 7.61,
"textWidth": 7.15
},
{
"text": "M. ",
"font": "serif",
"width": 2.617,
"textWidth": 2.157
},
{
"text": "Khatwani, ",
"font": "serif",
"width": 8.741,
"textWidth": 8.279
},
{
"text": "N. ",
"font": "serif",
"width": 2.409,
"textWidth": 1.949
},
{
"text": "Dao, ",
"font": "serif",
"width": 4.193,
"textWidth": 3.733
},
{
"text": "N. ",
"font": "serif",
"width": 2.409,
"textWidth": 1.949
},
{
"text": "shad ",
"font": "serif",
"width": 4.279,
"textWidth": 3.818
},
{
"text": "Bardoliwalla, ",
"font": "serif",
"width": 11.087,
"textWidth": 10.625
},
{
"text": "N. ",
"font": "serif",
"width": 2.409,
"textWidth": 1.949
},
{
"text": "Devanathan, ",
"font": "serif",
"width": 10.63,
"textWidth": 10.171
},
{
"text": "N. ",
"font": "serif",
"width": 2.409,
"textWidth": 1.949
},
{
"text": "Dumai, ",
"font": "serif",
"width": 5.953,
"textWidth": 5.953
}
]
},
{
"left": 13.727,
"top": 23.347,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.941
},
{
"text": "Chauhan, ",
"font": "serif",
"width": 8.164,
"textWidth": 7.737
},
{
"text": "O. ",
"font": "serif",
"width": 2.279,
"textWidth": 1.861
},
{
"text": "Wahltinez, ",
"font": "serif",
"width": 8.881,
"textWidth": 8.455
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.298
},
{
"text": "Botarda, ",
"font": "serif",
"width": 7.108,
"textWidth": 6.683
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.298
},
{
"text": "Barnes, ",
"font": "serif",
"width": 6.248,
"textWidth": 5.821
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.297
},
{
"text": "Barham, ",
"font": "serif",
"width": 7.076,
"textWidth": 6.649
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.297
},
{
"text": "Michel, ",
"font": "serif",
"width": 6.322,
"textWidth": 5.896
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.298
},
{
"text": "chong ",
"font": "serif",
"width": 5.286,
"textWidth": 4.867
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.042,
"textWidth": 2.615
},
{
"text": "P. ",
"font": "serif",
"width": 1.717,
"textWidth": 1.298
},
{
"text": "Georgiev, ",
"font": "serif",
"width": 7.529,
"textWidth": 7.529
}
]
},
{
"left": 13.727,
"top": 24.957,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "P. ",
"font": "serif",
"width": 1.744,
"textWidth": 1.297
},
{
"text": "Culliton, ",
"font": "serif",
"width": 7.433,
"textWidth": 6.984
},
{
"text": "P. ",
"font": "serif",
"width": 1.744,
"textWidth": 1.297
},
{
"text": "Kuppala, ",
"font": "serif",
"width": 7.762,
"textWidth": 7.313
},
{
"text": "R. ",
"font": "serif",
"width": 2.096,
"textWidth": 1.649
},
{
"text": "Comanescu, ",
"font": "serif",
"width": 10.183,
"textWidth": 9.734
},
{
"text": "R. ",
"font": "serif",
"width": 2.094,
"textWidth": 1.649
},
{
"text": "Merhej, ",
"font": "serif",
"width": 6.46,
"textWidth": 6.011
},
{
"text": "R. ",
"font": "serif",
"width": 2.096,
"textWidth": 1.649
},
{
"text": "Jana, ",
"font": "serif",
"width": 4.337,
"textWidth": 3.888
},
{
"text": "R. ",
"font": "serif",
"width": 2.094,
"textWidth": 1.649
},
{
"text": "A. ",
"font": "serif",
"width": 2.293,
"textWidth": 1.846
},
{
"text": "Rokni, ",
"font": "serif",
"width": 5.645,
"textWidth": 5.196
},
{
"text": "R. ",
"font": "serif",
"width": 2.096,
"textWidth": 1.649
},
{
"text": "Agarwal, ",
"font": "serif",
"width": 7.82,
"textWidth": 7.371
},
{
"text": "R. ",
"font": "serif",
"width": 2.094,
"textWidth": 1.649
},
{
"text": "Mullins, ",
"font": "serif",
"width": 6.606,
"textWidth": 6.606
}
]
},
{
"left": 13.727,
"top": 26.566,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 2.088,
"textWidth": 1.449
},
{
"text": "Saadat, ",
"font": "serif",
"width": 6.686,
"textWidth": 6.004
},
{
"text": "S. ",
"font": "serif",
"width": 2.088,
"textWidth": 1.449
},
{
"text": "M. ",
"font": "serif",
"width": 2.873,
"textWidth": 2.236
},
{
"text": "M. ",
"font": "serif",
"width": 2.875,
"textWidth": 2.236
},
{
"text": "Carthy, ",
"font": "serif",
"width": 6.681,
"textWidth": 5.998
},
{
"text": "S. ",
"font": "serif",
"width": 2.088,
"textWidth": 1.449
},
{
"text": "Perrin, ",
"font": "serif",
"width": 6.284,
"textWidth": 5.6
},
{
"text": "S. ",
"font": "serif",
"width": 2.086,
"textWidth": 1.449
},
{
"text": "M. ",
"font": "serif",
"width": 2.875,
"textWidth": 2.236
},
{
"text": "R. ",
"font": "serif",
"width": 2.353,
"textWidth": 1.716
},
{
"text": "Arnold, ",
"font": "serif",
"width": 7.139,
"textWidth": 6.455
},
{
"text": "S. ",
"font": "serif",
"width": 2.086,
"textWidth": 1.449
},
{
"text": "bastian ",
"font": "serif",
"width": 6.576,
"textWidth": 5.937
},
{
"text": "Krause, ",
"font": "serif",
"width": 6.995,
"textWidth": 6.313
},
{
"text": "S. ",
"font": "serif",
"width": 2.088,
"textWidth": 1.449
},
{
"text": "Dai, ",
"font": "serif",
"width": 4.075,
"textWidth": 3.393
},
{
"text": "S. ",
"font": "serif",
"width": 2.088,
"textWidth": 1.449
},
{
"text": "Garg, ",
"font": "serif",
"width": 4.572,
"textWidth": 4.572
}
]
},
{
"left": 13.727,
"top": 28.176,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.899,
"textWidth": 1.442
},
{
"text": "Sheth, ",
"font": "serif",
"width": 5.562,
"textWidth": 5.104
},
{
"text": "S. ",
"font": "serif",
"width": 1.899,
"textWidth": 1.442
},
{
"text": "Ronstrom, ",
"font": "serif",
"width": 9.018,
"textWidth": 8.56
},
{
"text": "S. ",
"font": "serif",
"width": 1.899,
"textWidth": 1.442
},
{
"text": "Chan, ",
"font": "serif",
"width": 5.337,
"textWidth": 4.879
},
{
"text": "T. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.469
},
{
"text": "Jordan, ",
"font": "serif",
"width": 6.408,
"textWidth": 5.95
},
{
"text": "T. ",
"font": "serif",
"width": 1.929,
"textWidth": 1.471
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.119,
"textWidth": 2.662
},
{
"text": "T. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.469
},
{
"text": "Eccles, ",
"font": "serif",
"width": 5.932,
"textWidth": 5.474
},
{
"text": "T. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.469
},
{
"text": "Hennigan, ",
"font": "serif",
"width": 9.114,
"textWidth": 8.657
},
{
"text": "T. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.469
},
{
"text": "Kociský, ",
"font": "serif",
"width": 7.513,
"textWidth": 7.055
},
{
"text": "T. ",
"font": "serif",
"width": 1.927,
"textWidth": 1.469
},
{
"text": "Doshi, ",
"font": "serif",
"width": 5.333,
"textWidth": 5.333
}
]
},
{
"left": 13.661,
"top": 29.785,
"width": 74.663,
"height": 1.296,
"words": [
{
"text": "V. ",
"font": "serif",
"width": 1.947,
"textWidth": 1.509
},
{
"text": "Jain, ",
"font": "serif",
"width": 3.955,
"textWidth": 3.513
},
{
"text": "V. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.51
},
{
"text": "Yadav, ",
"font": "serif",
"width": 5.625,
"textWidth": 5.183
},
{
"text": "V. ",
"font": "serif",
"width": 1.947,
"textWidth": 1.509
},
{
"text": "Meshram, ",
"font": "serif",
"width": 8.45,
"textWidth": 8.008
},
{
"text": "V. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.51
},
{
"text": "Dharmadhikari, ",
"font": "serif",
"width": 13.211,
"textWidth": 12.769
},
{
"text": "W. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.076
},
{
"text": "Barkley, ",
"font": "serif",
"width": 6.773,
"textWidth": 6.331
},
{
"text": "W. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.076
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.901,
"textWidth": 3.459
},
{
"text": "W. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.076
},
{
"text": "Ye, ",
"font": "serif",
"width": 2.782,
"textWidth": 2.338
},
{
"text": "W. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.076
},
{
"text": "Han, ",
"font": "serif",
"width": 4.328,
"textWidth": 3.886
},
{
"text": "W. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.076
},
{
"text": "Kwon, ",
"font": "serif",
"width": 5.277,
"textWidth": 5.277
}
]
},
{
"left": 13.666,
"top": 31.394,
"width": 74.658,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.134,
"textWidth": 1.674
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.233,
"textWidth": 2.774
},
{
"text": "Z. ",
"font": "serif",
"width": 2.134,
"textWidth": 1.674
},
{
"text": "Shen, ",
"font": "serif",
"width": 4.874,
"textWidth": 4.414
},
{
"text": "Z. ",
"font": "serif",
"width": 2.132,
"textWidth": 1.674
},
{
"text": "Gong, ",
"font": "serif",
"width": 5.383,
"textWidth": 4.923
},
{
"text": "Z. ",
"font": "serif",
"width": 2.134,
"textWidth": 1.674
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.977,
"textWidth": 3.517
},
{
"text": "V. ",
"font": "serif",
"width": 1.997,
"textWidth": 1.537
},
{
"text": "Cotruta, ",
"font": "serif",
"width": 7.117,
"textWidth": 6.657
},
{
"text": "P. ",
"font": "serif",
"width": 1.781,
"textWidth": 1.322
},
{
"text": "Kirk, ",
"font": "serif",
"width": 4.507,
"textWidth": 4.048
},
{
"text": "A. ",
"font": "serif",
"width": 2.336,
"textWidth": 1.876
},
{
"text": "Rao, ",
"font": "serif",
"width": 4.045,
"textWidth": 3.585
},
{
"text": "M. ",
"font": "serif",
"width": 2.641,
"textWidth": 2.183
},
{
"text": "Giang, ",
"font": "serif",
"width": 5.83,
"textWidth": 5.37
},
{
"text": "L. ",
"font": "serif",
"width": 2.032,
"textWidth": 1.572
},
{
"text": "Peran, ",
"font": "serif",
"width": 5.587,
"textWidth": 5.129
},
{
"text": "T. ",
"font": "serif",
"width": 1.9,
"textWidth": 1.44
},
{
"text": "Warkentin, ",
"font": "serif",
"width": 8.885,
"textWidth": 8.885
}
]
},
{
"left": 13.727,
"top": 33.004,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "E. ",
"font": "serif",
"width": 2.165,
"textWidth": 1.609
},
{
"text": "Collins, ",
"font": "serif",
"width": 6.903,
"textWidth": 6.326
},
{
"text": "J. ",
"font": "serif",
"width": 1.643,
"textWidth": 1.09
},
{
"text": "Barral, ",
"font": "serif",
"width": 6.079,
"textWidth": 5.499
},
{
"text": "Z. ",
"font": "serif",
"width": 2.267,
"textWidth": 1.714
},
{
"text": "Ghahramani, ",
"font": "serif",
"width": 11.474,
"textWidth": 10.894
},
{
"text": "R. ",
"font": "serif",
"width": 2.269,
"textWidth": 1.716
},
{
"text": "Hadsell, ",
"font": "serif",
"width": 7.455,
"textWidth": 6.875
},
{
"text": "D. ",
"font": "serif",
"width": 2.467,
"textWidth": 1.914
},
{
"text": "Sculley, ",
"font": "serif",
"width": 6.804,
"textWidth": 6.225
},
{
"text": "J. ",
"font": "serif",
"width": 1.643,
"textWidth": 1.09
},
{
"text": "Banks, ",
"font": "serif",
"width": 6.041,
"textWidth": 5.464
},
{
"text": "A. ",
"font": "serif",
"width": 2.477,
"textWidth": 1.922
},
{
"text": "Dragan, ",
"font": "serif",
"width": 7.227,
"textWidth": 6.649
},
{
"text": "S. ",
"font": "serif",
"width": 2.004,
"textWidth": 1.449
},
{
"text": "Petrov, ",
"font": "serif",
"width": 5.679,
"textWidth": 5.679
}
]
},
{
"left": 13.727,
"top": 34.613,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "O. ",
"font": "serif",
"width": 2.394,
"textWidth": 1.935
},
{
"text": "Vinyals, ",
"font": "serif",
"width": 7.111,
"textWidth": 6.652
},
{
"text": "J. ",
"font": "serif",
"width": 1.55,
"textWidth": 1.089
},
{
"text": "Dean, ",
"font": "serif",
"width": 5.287,
"textWidth": 4.825
},
{
"text": "D. ",
"font": "serif",
"width": 2.372,
"textWidth": 1.912
},
{
"text": "Hassabis, ",
"font": "serif",
"width": 8.299,
"textWidth": 7.839
},
{
"text": "K. ",
"font": "serif",
"width": 2.282,
"textWidth": 1.823
},
{
"text": "Kavukcuoglu, ",
"font": "serif",
"width": 12.118,
"textWidth": 11.658
},
{
"text": "C. ",
"font": "serif",
"width": 2.252,
"textWidth": 1.791
},
{
"text": "Farabet, ",
"font": "serif",
"width": 7.106,
"textWidth": 6.644
},
{
"text": "E. ",
"font": "serif",
"width": 2.067,
"textWidth": 1.608
},
{
"text": "Buchatskaya, ",
"font": "serif",
"width": 11.388,
"textWidth": 10.928
},
{
"text": "S. ",
"font": "serif",
"width": 1.907,
"textWidth": 1.447
},
{
"text": "Borgeaud, ",
"font": "serif",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 13.727,
"top": 36.222,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.552,
"textWidth": 2.021
},
{
"text": "Fiedel, ",
"font": "serif",
"width": 6.077,
"textWidth": 5.527
},
{
"text": "A. ",
"font": "serif",
"width": 2.452,
"textWidth": 1.922
},
{
"text": "Joulin, ",
"font": "serif",
"width": 5.961,
"textWidth": 5.412
},
{
"text": "K. ",
"font": "serif",
"width": 2.355,
"textWidth": 1.824
},
{
"text": "Kenealy, ",
"font": "serif",
"width": 7.567,
"textWidth": 7.017
},
{
"text": "R. ",
"font": "serif",
"width": 2.247,
"textWidth": 1.716
},
{
"text": "Dadashi, ",
"font": "serif",
"width": 7.898,
"textWidth": 7.35
},
{
"text": "and ",
"font": "serif",
"width": 3.696,
"textWidth": 3.165
},
{
"text": "A. ",
"font": "serif",
"width": 2.452,
"textWidth": 1.922
},
{
"text": "Andreev. ",
"font": "serif",
"width": 8.393,
"textWidth": 7.501
},
{
"text": "Gemma ",
"font": "serif",
"width": 7.088,
"textWidth": 6.557
},
{
"text": "2: ",
"font": "serif",
"width": 2.116,
"textWidth": 1.402
},
{
"text": "Improving ",
"font": "serif",
"width": 9.387,
"textWidth": 8.857
},
{
"text": "open ",
"font": "serif",
"width": 4.127,
"textWidth": 4.127
}
]
},
{
"left": 13.727,
"top": 37.832,
"width": 59.946,
"height": 1.296,
"words": [
{
"text": "language ",
"font": "serif",
"width": 7.911,
"textWidth": 7.453
},
{
"text": "models ",
"font": "serif",
"width": 6.385,
"textWidth": 5.927
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "a ",
"font": "serif",
"width": 1.374,
"textWidth": 0.916
},
{
"text": "practical ",
"font": "serif",
"width": 7.407,
"textWidth": 6.949
},
{
"text": "size. ",
"font": "serif",
"width": 4.222,
"textWidth": 3.563
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2408.00118, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 40.506,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 2.073,
"textWidth": 1.449
},
{
"text": "Roller, ",
"font": "serif",
"width": 5.989,
"textWidth": 5.324
},
{
"text": "S. ",
"font": "serif",
"width": 2.073,
"textWidth": 1.449
},
{
"text": "Sukhbaatar, ",
"font": "serif",
"width": 10.419,
"textWidth": 9.754
},
{
"text": "A. ",
"font": "serif",
"width": 2.548,
"textWidth": 1.922
},
{
"text": "Szlam, ",
"font": "serif",
"width": 6.178,
"textWidth": 5.512
},
{
"text": "and ",
"font": "serif",
"width": 3.791,
"textWidth": 3.165
},
{
"text": "J. ",
"font": "serif",
"width": 1.714,
"textWidth": 1.088
},
{
"text": "Weston. ",
"font": "serif",
"width": 7.767,
"textWidth": 6.574
},
{
"text": "Hash ",
"font": "serif",
"width": 4.995,
"textWidth": 4.37
},
{
"text": "layers ",
"font": "serif",
"width": 5.569,
"textWidth": 4.944
},
{
"text": "for ",
"font": "serif",
"width": 3.008,
"textWidth": 2.381
},
{
"text": "large ",
"font": "serif",
"width": 4.742,
"textWidth": 4.118
},
{
"text": "sparse ",
"font": "serif",
"width": 5.901,
"textWidth": 5.277
},
{
"text": "models. ",
"font": "serif",
"width": 7.707,
"textWidth": 6.513
},
{
"text": "In ",
"font": "serif",
"width": 1.718,
"textWidth": 1.718
}
]
},
{
"left": 13.727,
"top": 42.116,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.674,
"textWidth": 2.216
},
{
"text": "Ranzato, ",
"font": "serif",
"width": 7.633,
"textWidth": 7.174
},
{
"text": "A. ",
"font": "serif",
"width": 2.362,
"textWidth": 1.905
},
{
"text": "Beygelzimer, ",
"font": "serif",
"width": 11.013,
"textWidth": 10.555
},
{
"text": "Y. ",
"font": "serif",
"width": 1.955,
"textWidth": 1.495
},
{
"text": "N. ",
"font": "serif",
"width": 2.46,
"textWidth": 2.003
},
{
"text": "Dauphin, ",
"font": "serif",
"width": 8.208,
"textWidth": 7.75
},
{
"text": "P. ",
"font": "serif",
"width": 1.805,
"textWidth": 1.347
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.627,
"textWidth": 5.169
},
{
"text": "and ",
"font": "serif",
"width": 3.594,
"textWidth": 3.137
},
{
"text": "J. ",
"font": "serif",
"width": 1.54,
"textWidth": 1.08
},
{
"text": "W. ",
"font": "serif",
"width": 2.605,
"textWidth": 2.147
},
{
"text": "Vaughan, ",
"font": "serif",
"width": 8.247,
"textWidth": 7.789
},
{
"text": "editors, ",
"font": "serif",
"width": 6.614,
"textWidth": 6.155
},
{
"text": "Advances ",
"font": "serif",
"width": 8.032,
"textWidth": 8.032
}
]
},
{
"left": 13.727,
"top": 43.725,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "in ",
"font": "serif",
"width": 2.265,
"textWidth": 1.6
},
{
"text": "Neural ",
"font": "serif",
"width": 6.344,
"textWidth": 5.679
},
{
"text": "Information ",
"font": "serif",
"width": 10.416,
"textWidth": 9.751
},
{
"text": "Processing ",
"font": "serif",
"width": 9.327,
"textWidth": 8.663
},
{
"text": "Systems ",
"font": "serif",
"width": 7.293,
"textWidth": 6.629
},
{
"text": "34: ",
"font": "serif",
"width": 3.272,
"textWidth": 2.291
},
{
"text": "Annual ",
"font": "serif",
"width": 6.778,
"textWidth": 6.114
},
{
"text": "Conference ",
"font": "serif",
"width": 9.846,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.732,
"textWidth": 2.067
},
{
"text": "Neural ",
"font": "serif",
"width": 6.344,
"textWidth": 5.679
},
{
"text": "Information ",
"font": "serif",
"width": 9.751,
"textWidth": 9.751
}
]
},
{
"left": 13.727,
"top": 45.334,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "Processing ",
"font": "serif",
"width": 9.295,
"textWidth": 8.663
},
{
"text": "Systems ",
"font": "serif",
"width": 7.26,
"textWidth": 6.629
},
{
"text": "2021, ",
"font": "serif",
"width": 4.799,
"textWidth": 4.123
},
{
"text": "NeurIPS ",
"font": "serif",
"width": 7.548,
"textWidth": 6.916
},
{
"text": "2021, ",
"font": "serif",
"width": 4.799,
"textWidth": 4.123
},
{
"text": "December ",
"font": "serif",
"width": 8.853,
"textWidth": 8.221
},
{
"text": "6-14, ",
"font": "serif",
"width": 4.493,
"textWidth": 3.817
},
{
"text": "2021, ",
"font": "serif",
"width": 4.799,
"textWidth": 4.123
},
{
"text": "virtual, ",
"font": "serif",
"width": 6.587,
"textWidth": 5.912
},
{
"text": "pages ",
"font": "serif",
"width": 5.417,
"textWidth": 4.785
},
{
"text": "17555-17566, ",
"font": "serif",
"width": 10.748,
"textWidth": 10.748
}
]
},
{
"left": 13.727,
"top": 46.944,
"width": 8.926,
"height": 1.296,
"words": [
{
"text": "2021. ",
"font": "serif",
"width": 5.081,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 23.178,
"top": 46.765,
"width": 64.97,
"height": 1.425,
"words": [
{
"text": "https://proceedings.neurips.cc/paper/2021/hash/92bf5e6240737 ",
"font": "mono",
"width": 64.97,
"textWidth": 64.97
}
]
},
{
"left": 13.727,
"top": 48.374,
"width": 35.008,
"height": 1.425,
"words": [
{
"text": "e0326ea59846a83e076-Abstract.html ",
"font": "mono",
"width": 35.008,
"textWidth": 35.008
}
]
},
{
"left": 11.905,
"top": 51.228,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.019,
"textWidth": 1.559
},
{
"text": "D. ",
"font": "serif",
"width": 2.314,
"textWidth": 1.854
},
{
"text": "Rouhani, ",
"font": "serif",
"width": 7.742,
"textWidth": 7.282
},
{
"text": "R. ",
"font": "serif",
"width": 2.122,
"textWidth": 1.662
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.068,
"textWidth": 4.608
},
{
"text": "A. ",
"font": "serif",
"width": 2.319,
"textWidth": 1.861
},
{
"text": "More, ",
"font": "serif",
"width": 5.164,
"textWidth": 4.704
},
{
"text": "M. ",
"font": "serif",
"width": 2.625,
"textWidth": 2.166
},
{
"text": "Hall, ",
"font": "serif",
"width": 4.378,
"textWidth": 3.918
},
{
"text": "A. ",
"font": "serif",
"width": 2.321,
"textWidth": 1.861
},
{
"text": "Khodamoradi, ",
"font": "serif",
"width": 12.122,
"textWidth": 11.662
},
{
"text": "S. ",
"font": "serif",
"width": 1.863,
"textWidth": 1.403
},
{
"text": "Deng, ",
"font": "serif",
"width": 5.242,
"textWidth": 4.782
},
{
"text": "D. ",
"font": "serif",
"width": 2.314,
"textWidth": 1.854
},
{
"text": "Choudhary, ",
"font": "serif",
"width": 9.913,
"textWidth": 9.453
},
{
"text": "M. ",
"font": "serif",
"width": 2.625,
"textWidth": 2.166
},
{
"text": "Cornea, ",
"font": "serif",
"width": 6.267,
"textWidth": 6.267
}
]
},
{
"left": 13.727,
"top": 52.837,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "E. ",
"font": "serif",
"width": 2.043,
"textWidth": 1.587
},
{
"text": "Dellinger, ",
"font": "serif",
"width": 8.411,
"textWidth": 7.955
},
{
"text": "K. ",
"font": "serif",
"width": 2.255,
"textWidth": 1.799
},
{
"text": "Denolf, ",
"font": "serif",
"width": 6.458,
"textWidth": 6.001
},
{
"text": "S. ",
"font": "serif",
"width": 1.884,
"textWidth": 1.429
},
{
"text": "Dusan, ",
"font": "serif",
"width": 6.233,
"textWidth": 5.776
},
{
"text": "V. ",
"font": "serif",
"width": 2.011,
"textWidth": 1.554
},
{
"text": "Elango, ",
"font": "serif",
"width": 6.606,
"textWidth": 6.15
},
{
"text": "M. ",
"font": "serif",
"width": 2.66,
"textWidth": 2.205
},
{
"text": "Golub, ",
"font": "serif",
"width": 5.999,
"textWidth": 5.542
},
{
"text": "A. ",
"font": "serif",
"width": 2.351,
"textWidth": 1.895
},
{
"text": "Heinecke, ",
"font": "serif",
"width": 8.552,
"textWidth": 8.097
},
{
"text": "P. ",
"font": "serif",
"width": 1.794,
"textWidth": 1.338
},
{
"text": "James-Roxby, ",
"font": "serif",
"width": 11.392,
"textWidth": 10.934
},
{
"text": "D. ",
"font": "serif",
"width": 2.343,
"textWidth": 1.888
},
{
"text": "Jani, ",
"font": "serif",
"width": 3.606,
"textWidth": 3.606
}
]
},
{
"left": 13.727,
"top": 54.446,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "G. ",
"font": "serif",
"width": 2.186,
"textWidth": 1.819
},
{
"text": "Kolhe, ",
"font": "serif",
"width": 5.548,
"textWidth": 5.162
},
{
"text": "M. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.148
},
{
"text": "Langhammer, ",
"font": "serif",
"width": 11.422,
"textWidth": 11.038
},
{
"text": "A. ",
"font": "serif",
"width": 2.213,
"textWidth": 1.846
},
{
"text": "Li, ",
"font": "serif",
"width": 2.455,
"textWidth": 2.069
},
{
"text": "L. ",
"font": "serif",
"width": 1.913,
"textWidth": 1.546
},
{
"text": "Melnick, ",
"font": "serif",
"width": 7.281,
"textWidth": 6.895
},
{
"text": "M. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.148
},
{
"text": "Mesmakhosroshahi, ",
"font": "serif",
"width": 16.354,
"textWidth": 15.97
},
{
"text": "A. ",
"font": "serif",
"width": 2.213,
"textWidth": 1.846
},
{
"text": "Rodriguez, ",
"font": "serif",
"width": 9.185,
"textWidth": 8.798
},
{
"text": "M. ",
"font": "serif",
"width": 2.514,
"textWidth": 2.148
},
{
"text": "Schulte, ",
"font": "serif",
"width": 6.286,
"textWidth": 6.286
}
]
},
{
"left": 13.727,
"top": 56.056,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "R. ",
"font": "serif",
"width": 2.262,
"textWidth": 1.716
},
{
"text": "Shafipour, ",
"font": "serif",
"width": 9.045,
"textWidth": 8.477
},
{
"text": "L. ",
"font": "serif",
"width": 2.155,
"textWidth": 1.609
},
{
"text": "Shao, ",
"font": "serif",
"width": 5.06,
"textWidth": 4.492
},
{
"text": "M. ",
"font": "serif",
"width": 2.781,
"textWidth": 2.236
},
{
"text": "Siu, ",
"font": "serif",
"width": 3.688,
"textWidth": 3.12
},
{
"text": "P. ",
"font": "serif",
"width": 1.907,
"textWidth": 1.361
},
{
"text": "Dubey, ",
"font": "serif",
"width": 6.374,
"textWidth": 5.806
},
{
"text": "P. ",
"font": "serif",
"width": 1.907,
"textWidth": 1.359
},
{
"text": "Micikevicius, ",
"font": "serif",
"width": 11.548,
"textWidth": 10.982
},
{
"text": "M. ",
"font": "serif",
"width": 2.783,
"textWidth": 2.236
},
{
"text": "Naumov, ",
"font": "serif",
"width": 8.174,
"textWidth": 7.606
},
{
"text": "C. ",
"font": "serif",
"width": 2.338,
"textWidth": 1.793
},
{
"text": "Verrilli, ",
"font": "serif",
"width": 6.729,
"textWidth": 6.161
},
{
"text": "R. ",
"font": "serif",
"width": 2.262,
"textWidth": 1.716
},
{
"text": "Wittig, ",
"font": "serif",
"width": 5.582,
"textWidth": 5.582
}
]
},
{
"left": 13.727,
"top": 57.665,
"width": 61.526,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.335,
"textWidth": 1.877
},
{
"text": "Burger, ",
"font": "serif",
"width": 6.317,
"textWidth": 5.859
},
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "E. ",
"font": "serif",
"width": 2.036,
"textWidth": 1.578
},
{
"text": "Chung. ",
"font": "serif",
"width": 6.674,
"textWidth": 6.015
},
{
"text": "Microscaling ",
"font": "serif",
"width": 10.889,
"textWidth": 10.431
},
{
"text": "data ",
"font": "serif",
"width": 4.008,
"textWidth": 3.55
},
{
"text": "formats ",
"font": "serif",
"width": 6.702,
"textWidth": 6.244
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "deep ",
"font": "serif",
"width": 4.435,
"textWidth": 3.977
},
{
"text": "learning, ",
"font": "serif",
"width": 7.653,
"textWidth": 7.195
},
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 60.339,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "K. ",
"font": "serif",
"width": 2.268,
"textWidth": 1.808
},
{
"text": "Sakaguchi, ",
"font": "serif",
"width": 9.366,
"textWidth": 8.906
},
{
"text": "R. ",
"font": "serif",
"width": 2.16,
"textWidth": 1.701
},
{
"text": "L. ",
"font": "serif",
"width": 2.055,
"textWidth": 1.595
},
{
"text": "Bras, ",
"font": "serif",
"width": 4.5,
"textWidth": 4.039
},
{
"text": "C. ",
"font": "serif",
"width": 2.236,
"textWidth": 1.777
},
{
"text": "Bhagavatula, ",
"font": "serif",
"width": 11.176,
"textWidth": 10.716
},
{
"text": "and ",
"font": "serif",
"width": 3.596,
"textWidth": 3.137
},
{
"text": "Y. ",
"font": "serif",
"width": 1.955,
"textWidth": 1.495
},
{
"text": "Choi. ",
"font": "serif",
"width": 5.071,
"textWidth": 4.406
},
{
"text": "Winogrande: ",
"font": "serif",
"width": 11.2,
"textWidth": 10.629
},
{
"text": "An ",
"font": "serif",
"width": 2.981,
"textWidth": 2.52
},
{
"text": "adversarial ",
"font": "serif",
"width": 9.633,
"textWidth": 9.171
},
{
"text": "winograd ",
"font": "serif",
"width": 7.993,
"textWidth": 7.993
}
]
},
{
"left": 13.727,
"top": 61.949,
"width": 25.62,
"height": 1.296,
"words": [
{
"text": "schema ",
"font": "serif",
"width": 6.528,
"textWidth": 6.07
},
{
"text": "challenge ",
"font": "serif",
"width": 8.162,
"textWidth": 7.704
},
{
"text": "at ",
"font": "serif",
"width": 1.972,
"textWidth": 1.514
},
{
"text": "scale, ",
"font": "serif",
"width": 4.834,
"textWidth": 4.376
},
{
"text": "2019. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 64.623,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Shao, ",
"font": "serif",
"width": 4.905,
"textWidth": 4.448
},
{
"text": "Y. ",
"font": "serif",
"width": 1.951,
"textWidth": 1.494
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.176,
"textWidth": 3.72
},
{
"text": "C. ",
"font": "serif",
"width": 2.232,
"textWidth": 1.775
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.167,
"textWidth": 2.71
},
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Ren, ",
"font": "serif",
"width": 4.118,
"textWidth": 3.663
},
{
"text": "J. ",
"font": "serif",
"width": 1.536,
"textWidth": 1.079
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.576,
"textWidth": 3.119
},
{
"text": "T. ",
"font": "serif",
"width": 1.919,
"textWidth": 1.462
},
{
"text": "Ye, ",
"font": "serif",
"width": 2.871,
"textWidth": 2.415
},
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Gou, ",
"font": "serif",
"width": 4.459,
"textWidth": 4.002
},
{
"text": "S. ",
"font": "serif",
"width": 1.892,
"textWidth": 1.434
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.596,
"textWidth": 3.139
},
{
"text": "and ",
"font": "serif",
"width": 3.591,
"textWidth": 3.134
},
{
"text": "X. ",
"font": "serif",
"width": 2.153,
"textWidth": 1.697
},
{
"text": "Zhang. ",
"font": "serif",
"width": 6.463,
"textWidth": 5.806
},
{
"text": "Deepseekmath-v2: ",
"font": "serif",
"width": 15.196,
"textWidth": 15.196
}
]
},
{
"left": 13.67,
"top": 66.233,
"width": 48.57,
"height": 1.296,
"words": [
{
"text": "Towards ",
"font": "serif",
"width": 7.565,
"textWidth": 7.11
},
{
"text": "self-verifiable ",
"font": "serif",
"width": 11.671,
"textWidth": 11.216
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.649,
"textWidth": 11.192
},
{
"text": "reasoning, ",
"font": "serif",
"width": 9.004,
"textWidth": 8.549
},
{
"text": "2025. ",
"font": "serif",
"width": 4.848,
"textWidth": 4.193
},
{
"text": "URL ",
"font": "serif",
"width": 3.834,
"textWidth": 3.834
}
]
},
{
"left": 62.695,
"top": 66.054,
"width": 25.4,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/25 ",
"font": "mono",
"width": 25.4,
"textWidth": 25.4
}
]
},
{
"left": 13.674,
"top": 67.663,
"width": 8.467,
"height": 1.425,
"words": [
{
"text": "11.22570 ",
"font": "mono",
"width": 8.467,
"textWidth": 8.467
}
]
},
{
"left": 11.905,
"top": 70.516,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.428,
"textWidth": 1.967
},
{
"text": "Shazeer. ",
"font": "serif",
"width": 7.281,
"textWidth": 6.615
},
{
"text": "Fast ",
"font": "serif",
"width": 3.747,
"textWidth": 3.287
},
{
"text": "transformer ",
"font": "serif",
"width": 10.029,
"textWidth": 9.568
},
{
"text": "decoding: ",
"font": "serif",
"width": 8.524,
"textWidth": 7.952
},
{
"text": "One ",
"font": "serif",
"width": 3.822,
"textWidth": 3.361
},
{
"text": "write-head ",
"font": "serif",
"width": 9.248,
"textWidth": 8.79
},
{
"text": "is ",
"font": "serif",
"width": 1.762,
"textWidth": 1.301
},
{
"text": "all ",
"font": "serif",
"width": 2.429,
"textWidth": 1.969
},
{
"text": "you ",
"font": "serif",
"width": 3.563,
"textWidth": 3.103
},
{
"text": "need. ",
"font": "serif",
"width": 5.035,
"textWidth": 4.369
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.664,
"textWidth": 5.203
},
{
"text": "abs/1911.02150, ",
"font": "serif",
"width": 12.89,
"textWidth": 12.89
}
]
},
{
"left": 13.727,
"top": 72.126,
"width": 8.553,
"height": 1.296,
"words": [
{
"text": "2019. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 22.737,
"top": 71.947,
"width": 32.809,
"height": 1.425,
"words": [
{
"text": "http://arxiv.org/abs/1911.02150 ",
"font": "mono",
"width": 32.809,
"textWidth": 32.809
}
]
},
{
"left": 11.905,
"top": 74.8,
"width": 68.889,
"height": 1.296,
"words": [
{
"text": "N. ",
"font": "serif",
"width": 2.439,
"textWidth": 1.981
},
{
"text": "Shazeer. ",
"font": "serif",
"width": 7.323,
"textWidth": 6.663
},
{
"text": "Glu ",
"font": "serif",
"width": 3.495,
"textWidth": 3.037
},
{
"text": "variants ",
"font": "serif",
"width": 7.024,
"textWidth": 6.566
},
{
"text": "improve ",
"font": "serif",
"width": 7.316,
"textWidth": 6.858
},
{
"text": "transformer. ",
"font": "serif",
"width": 10.618,
"textWidth": 9.958
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2002.05202, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2020. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 77.475,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "F. ",
"font": "serif",
"width": 1.8,
"textWidth": 1.338
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.544,
"textWidth": 3.081
},
{
"text": "M. ",
"font": "serif",
"width": 2.699,
"textWidth": 2.236
},
{
"text": "Suzgun, ",
"font": "serif",
"width": 7.228,
"textWidth": 6.765
},
{
"text": "M. ",
"font": "serif",
"width": 2.697,
"textWidth": 2.236
},
{
"text": "Freitag, ",
"font": "serif",
"width": 6.699,
"textWidth": 6.236
},
{
"text": "X. ",
"font": "serif",
"width": 2.176,
"textWidth": 1.714
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.694,
"textWidth": 5.23
},
{
"text": "S. ",
"font": "serif",
"width": 1.912,
"textWidth": 1.449
},
{
"text": "Srivats, ",
"font": "serif",
"width": 6.587,
"textWidth": 6.124
},
{
"text": "S. ",
"font": "serif",
"width": 1.91,
"textWidth": 1.449
},
{
"text": "Vosoughi, ",
"font": "serif",
"width": 8.711,
"textWidth": 8.247
},
{
"text": "H. ",
"font": "serif",
"width": 2.484,
"textWidth": 2.023
},
{
"text": "W. ",
"font": "serif",
"width": 2.63,
"textWidth": 2.168
},
{
"text": "Chung, ",
"font": "serif",
"width": 6.6,
"textWidth": 6.135
},
{
"text": "Y. ",
"font": "serif",
"width": 1.972,
"textWidth": 1.51
},
{
"text": "Tay, ",
"font": "serif",
"width": 3.679,
"textWidth": 3.215
},
{
"text": "S. ",
"font": "serif",
"width": 1.912,
"textWidth": 1.449
},
{
"text": "Ruder, ",
"font": "serif",
"width": 5.483,
"textWidth": 5.483
}
]
},
{
"left": 13.727,
"top": 79.084,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.353,
"textWidth": 1.897
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.362,
"textWidth": 4.906
},
{
"text": "D. ",
"font": "serif",
"width": 2.353,
"textWidth": 1.897
},
{
"text": "Das, ",
"font": "serif",
"width": 4.065,
"textWidth": 3.609
},
{
"text": "and ",
"font": "serif",
"width": 3.591,
"textWidth": 3.137
},
{
"text": "J. ",
"font": "serif",
"width": 1.536,
"textWidth": 1.08
},
{
"text": "Wei. ",
"font": "serif",
"width": 4.228,
"textWidth": 3.574
},
{
"text": "Language ",
"font": "serif",
"width": 8.584,
"textWidth": 8.128
},
{
"text": "models ",
"font": "serif",
"width": 6.448,
"textWidth": 5.992
},
{
"text": "are ",
"font": "serif",
"width": 2.968,
"textWidth": 2.512
},
{
"text": "multilingual ",
"font": "serif",
"width": 10.659,
"textWidth": 10.203
},
{
"text": "chain-of-thought ",
"font": "serif",
"width": 14.287,
"textWidth": 13.831
},
{
"text": "reasoners. ",
"font": "serif",
"width": 8.256,
"textWidth": 8.256
}
]
},
{
"left": 13.727,
"top": 80.693,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "In ",
"font": "serif",
"width": 2.35,
"textWidth": 1.718
},
{
"text": "The ",
"font": "serif",
"width": 3.699,
"textWidth": 3.068
},
{
"text": "Eleventh ",
"font": "serif",
"width": 7.806,
"textWidth": 7.175
},
{
"text": "International ",
"font": "serif",
"width": 11.145,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.813,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.699,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.955,
"textWidth": 7.323
},
{
"text": "Representations, ",
"font": "serif",
"width": 14.115,
"textWidth": 13.44
},
{
"text": "ICLR ",
"font": "serif",
"width": 4.892,
"textWidth": 4.261
},
{
"text": "2023, ",
"font": "serif",
"width": 4.799,
"textWidth": 4.123
},
{
"text": "Kigali, ",
"font": "serif",
"width": 5.324,
"textWidth": 5.324
}
]
},
{
"left": 13.727,
"top": 82.303,
"width": 42.161,
"height": 1.296,
"words": [
{
"text": "Rwanda, ",
"font": "serif",
"width": 7.687,
"textWidth": 7.23
},
{
"text": "May ",
"font": "serif",
"width": 4.125,
"textWidth": 3.669
},
{
"text": "1-5, ",
"font": "serif",
"width": 3.358,
"textWidth": 2.901
},
{
"text": "2023. ",
"font": "serif",
"width": 4.57,
"textWidth": 4.114
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 14.03,
"textWidth": 13.572
},
{
"text": "2023. ",
"font": "serif",
"width": 4.696,
"textWidth": 4.041
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 56.345,
"top": 82.124,
"width": 31.75,
"height": 1.425,
"words": [
{
"text": "https://openreview.net/forum?i ",
"font": "mono",
"width": 31.75,
"textWidth": 31.75
}
]
},
{
"left": 13.727,
"top": 83.733,
"width": 13.843,
"height": 1.425,
"words": [
{
"text": "d=fR3wGCk-IXp ",
"font": "mono",
"width": 13.843,
"textWidth": 13.843
}
]
},
{
"left": 11.905,
"top": 86.587,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.521,
"textWidth": 1.062
},
{
"text": "Su, ",
"font": "serif",
"width": 2.967,
"textWidth": 2.51
},
{
"text": "M. ",
"font": "serif",
"width": 2.638,
"textWidth": 2.179
},
{
"text": "Ahmed, ",
"font": "serif",
"width": 6.986,
"textWidth": 6.527
},
{
"text": "Y. ",
"font": "serif",
"width": 1.925,
"textWidth": 1.466
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.124,
"textWidth": 2.667
},
{
"text": "S. ",
"font": "serif",
"width": 1.871,
"textWidth": 1.412
},
{
"text": "Pan, ",
"font": "serif",
"width": 3.986,
"textWidth": 3.527
},
{
"text": "W. ",
"font": "serif",
"width": 2.567,
"textWidth": 2.108
},
{
"text": "Bo, ",
"font": "serif",
"width": 3.022,
"textWidth": 2.563
},
{
"text": "and ",
"font": "serif",
"width": 3.541,
"textWidth": 3.084
},
{
"text": "Y. ",
"font": "serif",
"width": 1.925,
"textWidth": 1.468
},
{
"text": "Liu. ",
"font": "serif",
"width": 3.858,
"textWidth": 3.197
},
{
"text": "Roformer: ",
"font": "serif",
"width": 8.757,
"textWidth": 8.188
},
{
"text": "Enhanced ",
"font": "serif",
"width": 8.458,
"textWidth": 7.999
},
{
"text": "transformer ",
"font": "serif",
"width": 10.037,
"textWidth": 9.578
},
{
"text": "with ",
"font": "serif",
"width": 4.161,
"textWidth": 3.702
},
{
"text": "rotary ",
"font": "serif",
"width": 4.918,
"textWidth": 4.918
}
]
},
{
"left": 13.672,
"top": 88.196,
"width": 46.145,
"height": 1.296,
"words": [
{
"text": "position ",
"font": "serif",
"width": 7.068,
"textWidth": 6.61
},
{
"text": "embedding. ",
"font": "serif",
"width": 10.363,
"textWidth": 9.704
},
{
"text": "Neurocomputing, ",
"font": "serif",
"width": 14.969,
"textWidth": 14.511
},
{
"text": "568:127063, ",
"font": "serif",
"width": 9.621,
"textWidth": 9.163
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "51 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"52": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.695,
"textWidth": 2.236
},
{
"text": "Suzgun, ",
"font": "serif",
"width": 7.227,
"textWidth": 6.765
},
{
"text": "N. ",
"font": "serif",
"width": 2.481,
"textWidth": 2.021
},
{
"text": "Scales, ",
"font": "serif",
"width": 5.905,
"textWidth": 5.445
},
{
"text": "N. ",
"font": "serif",
"width": 2.481,
"textWidth": 2.021
},
{
"text": "Schärli, ",
"font": "serif",
"width": 6.589,
"textWidth": 6.127
},
{
"text": "S. ",
"font": "serif",
"width": 1.909,
"textWidth": 1.449
},
{
"text": "Gehrmann, ",
"font": "serif",
"width": 9.836,
"textWidth": 9.376
},
{
"text": "Y. ",
"font": "serif",
"width": 1.972,
"textWidth": 1.51
},
{
"text": "Tay, ",
"font": "serif",
"width": 3.675,
"textWidth": 3.215
},
{
"text": "H. ",
"font": "serif",
"width": 2.482,
"textWidth": 2.023
},
{
"text": "W. ",
"font": "serif",
"width": 2.628,
"textWidth": 2.168
},
{
"text": "Chung, ",
"font": "serif",
"width": 6.597,
"textWidth": 6.135
},
{
"text": "A. ",
"font": "serif",
"width": 2.381,
"textWidth": 1.922
},
{
"text": "Chowdhery, ",
"font": "serif",
"width": 10.619,
"textWidth": 10.159
},
{
"text": "Q. ",
"font": "serif",
"width": 2.396,
"textWidth": 1.937
},
{
"text": "V. ",
"font": "serif",
"width": 2.041,
"textWidth": 1.581
},
{
"text": "Le, ",
"font": "serif",
"width": 2.505,
"textWidth": 2.505
}
]
},
{
"left": 13.727,
"top": 12.082,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "E. ",
"font": "serif",
"width": 1.974,
"textWidth": 1.546
},
{
"text": "H. ",
"font": "serif",
"width": 2.371,
"textWidth": 1.943
},
{
"text": "Chi, ",
"font": "serif",
"width": 3.723,
"textWidth": 3.29
},
{
"text": "D. ",
"font": "serif",
"width": 2.267,
"textWidth": 1.839
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.189,
"textWidth": 4.756
},
{
"text": "et ",
"font": "serif",
"width": 1.873,
"textWidth": 1.446
},
{
"text": "al. ",
"font": "serif",
"width": 2.46,
"textWidth": 1.87
},
{
"text": "Challenging ",
"font": "serif",
"width": 10.16,
"textWidth": 9.732
},
{
"text": "big-bench ",
"font": "serif",
"width": 8.281,
"textWidth": 7.854
},
{
"text": "tasks ",
"font": "serif",
"width": 4.432,
"textWidth": 4.005
},
{
"text": "and ",
"font": "serif",
"width": 3.468,
"textWidth": 3.041
},
{
"text": "whether ",
"font": "serif",
"width": 7.029,
"textWidth": 6.602
},
{
"text": "chain-of-thought ",
"font": "serif",
"width": 13.834,
"textWidth": 13.407
},
{
"text": "can ",
"font": "serif",
"width": 3.168,
"textWidth": 2.741
},
{
"text": "solve ",
"font": "serif",
"width": 4.14,
"textWidth": 4.14
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 35.952,
"height": 1.296,
"words": [
{
"text": "them. ",
"font": "serif",
"width": 5.278,
"textWidth": 4.618
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2210.09261, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2022. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 16.365,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "G. ",
"font": "serif",
"width": 2.454,
"textWidth": 1.894
},
{
"text": "Tsoukalas, ",
"font": "serif",
"width": 9.219,
"textWidth": 8.632
},
{
"text": "J. ",
"font": "serif",
"width": 1.649,
"textWidth": 1.09
},
{
"text": "Lee, ",
"font": "serif",
"width": 3.987,
"textWidth": 3.4
},
{
"text": "J. ",
"font": "serif",
"width": 1.649,
"textWidth": 1.09
},
{
"text": "Jennings, ",
"font": "serif",
"width": 8.212,
"textWidth": 7.625
},
{
"text": "J. ",
"font": "serif",
"width": 1.649,
"textWidth": 1.09
},
{
"text": "Xin, ",
"font": "serif",
"width": 3.933,
"textWidth": 3.346
},
{
"text": "M. ",
"font": "serif",
"width": 2.795,
"textWidth": 2.236
},
{
"text": "Ding, ",
"font": "serif",
"width": 5.172,
"textWidth": 4.585
},
{
"text": "M. ",
"font": "serif",
"width": 2.795,
"textWidth": 2.236
},
{
"text": "Jennings, ",
"font": "serif",
"width": 8.212,
"textWidth": 7.625
},
{
"text": "A. ",
"font": "serif",
"width": 2.481,
"textWidth": 1.922
},
{
"text": "Thakur, ",
"font": "serif",
"width": 6.991,
"textWidth": 6.406
},
{
"text": "and ",
"font": "serif",
"width": 3.725,
"textWidth": 3.165
},
{
"text": "S. ",
"font": "serif",
"width": 2.008,
"textWidth": 1.449
},
{
"text": "Chaudhuri. ",
"font": "serif",
"width": 9.582,
"textWidth": 9.582
}
]
},
{
"left": 13.727,
"top": 17.975,
"width": 74.598,
"height": 1.296,
"words": [
{
"text": "Putnambench: ",
"font": "serif",
"width": 12.158,
"textWidth": 11.59
},
{
"text": "Evaluating ",
"font": "serif",
"width": 9.213,
"textWidth": 8.754
},
{
"text": "neural ",
"font": "serif",
"width": 5.63,
"textWidth": 5.171
},
{
"text": "theorem-provers ",
"font": "serif",
"width": 13.868,
"textWidth": 13.409
},
{
"text": "on ",
"font": "serif",
"width": 2.506,
"textWidth": 2.047
},
{
"text": "the ",
"font": "serif",
"width": 2.974,
"textWidth": 2.516
},
{
"text": "putnam ",
"font": "serif",
"width": 6.8,
"textWidth": 6.341
},
{
"text": "mathematical ",
"font": "serif",
"width": 11.354,
"textWidth": 10.895
},
{
"text": "competition, ",
"font": "serif",
"width": 10.097,
"textWidth": 10.097
}
]
},
{
"left": 13.727,
"top": 19.584,
"width": 8.553,
"height": 1.296,
"words": [
{
"text": "2024. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 22.737,
"top": 19.406,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2407.11214 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 22.259,
"width": 76.495,
"height": 1.296,
"words": [
{
"text": "A. ",
"font": "serif",
"width": 2.374,
"textWidth": 1.916
},
{
"text": "Vaswani, ",
"font": "serif",
"width": 7.936,
"textWidth": 7.477
},
{
"text": "N. ",
"font": "serif",
"width": 2.473,
"textWidth": 2.015
},
{
"text": "Shazeer, ",
"font": "serif",
"width": 7.237,
"textWidth": 6.78
},
{
"text": "N. ",
"font": "serif",
"width": 2.473,
"textWidth": 2.015
},
{
"text": "Parmar, ",
"font": "serif",
"width": 6.898,
"textWidth": 6.439
},
{
"text": "J. ",
"font": "serif",
"width": 1.543,
"textWidth": 1.087
},
{
"text": "Uszkoreit, ",
"font": "serif",
"width": 8.898,
"textWidth": 8.439
},
{
"text": "L. ",
"font": "serif",
"width": 2.063,
"textWidth": 1.605
},
{
"text": "Jones, ",
"font": "serif",
"width": 5.329,
"textWidth": 4.872
},
{
"text": "A. ",
"font": "serif",
"width": 2.374,
"textWidth": 1.916
},
{
"text": "N. ",
"font": "serif",
"width": 2.473,
"textWidth": 2.015
},
{
"text": "Gomez, ",
"font": "serif",
"width": 8.898,
"textWidth": 6.376
},
{
"text": "Kaiser, ",
"font": "serif",
"width": 6.035,
"textWidth": 5.576
},
{
"text": "and ",
"font": "serif",
"width": 3.614,
"textWidth": 3.155
},
{
"text": "I. ",
"font": "serif",
"width": 1.553,
"textWidth": 1.094
},
{
"text": "Polo- ",
"font": "serif",
"width": 4.324,
"textWidth": 4.324
}
]
},
{
"left": 13.727,
"top": 23.868,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "sukhin. ",
"font": "serif",
"width": 7.03,
"textWidth": 6.146
},
{
"text": "Attention ",
"font": "serif",
"width": 8.447,
"textWidth": 7.918
},
{
"text": "is ",
"font": "serif",
"width": 1.866,
"textWidth": 1.337
},
{
"text": "all ",
"font": "serif",
"width": 2.552,
"textWidth": 2.023
},
{
"text": "you ",
"font": "serif",
"width": 3.714,
"textWidth": 3.187
},
{
"text": "need. ",
"font": "serif",
"width": 5.374,
"textWidth": 4.488
},
{
"text": "Advances ",
"font": "serif",
"width": 8.561,
"textWidth": 8.032
},
{
"text": "in ",
"font": "serif",
"width": 2.128,
"textWidth": 1.6
},
{
"text": "neural ",
"font": "serif",
"width": 5.751,
"textWidth": 5.223
},
{
"text": "information ",
"font": "serif",
"width": 10.195,
"textWidth": 9.667
},
{
"text": "processing ",
"font": "serif",
"width": 9.186,
"textWidth": 8.657
},
{
"text": "systems, ",
"font": "serif",
"width": 7.457,
"textWidth": 6.911
},
{
"text": "30, ",
"font": "serif",
"width": 2.337,
"textWidth": 2.337
}
]
},
{
"left": 13.727,
"top": 25.477,
"width": 4.123,
"height": 1.296,
"words": [
{
"text": "2017. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 28.152,
"width": 76.227,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.065,
"textWidth": 1.608
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.683,
"textWidth": 5.225
},
{
"text": "H. ",
"font": "serif",
"width": 2.478,
"textWidth": 2.021
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.303,
"textWidth": 3.845
},
{
"text": "C. ",
"font": "serif",
"width": 2.248,
"textWidth": 1.791
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.21,
"textWidth": 4.753
},
{
"text": "X. ",
"font": "serif",
"width": 2.17,
"textWidth": 1.712
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.118,
"textWidth": 3.66
},
{
"text": "and ",
"font": "serif",
"width": 3.619,
"textWidth": 3.162
},
{
"text": "D. ",
"font": "serif",
"width": 2.37,
"textWidth": 1.912
},
{
"text": "Dai. ",
"font": "serif",
"width": 4.049,
"textWidth": 3.389
},
{
"text": "Auxiliary-loss-free ",
"font": "serif",
"width": 15.845,
"textWidth": 15.388
},
{
"text": "load ",
"font": "serif",
"width": 4.095,
"textWidth": 3.638
},
{
"text": "balancing ",
"font": "serif",
"width": 8.486,
"textWidth": 8.028
},
{
"text": "strategy ",
"font": "serif",
"width": 7.109,
"textWidth": 6.652
},
{
"text": "for ",
"font": "serif",
"width": 2.379,
"textWidth": 2.379
}
]
},
{
"left": 13.727,
"top": 29.761,
"width": 44.33,
"height": 1.296,
"words": [
{
"text": "mixture-of-experts. ",
"font": "serif",
"width": 16.029,
"textWidth": 15.372
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.657,
"textWidth": 5.201
},
{
"text": "abs/2408.15664, ",
"font": "serif",
"width": 13.283,
"textWidth": 12.825
},
{
"text": "2024a. ",
"font": "serif",
"width": 5.636,
"textWidth": 4.979
},
{
"text": "URL ",
"font": "serif",
"width": 3.724,
"textWidth": 3.724
}
]
},
{
"left": 58.515,
"top": 29.583,
"width": 29.634,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arX ",
"font": "mono",
"width": 29.634,
"textWidth": 29.634
}
]
},
{
"left": 13.727,
"top": 31.192,
"width": 13.758,
"height": 1.425,
"words": [
{
"text": "iv.2408.15664 ",
"font": "mono",
"width": 13.758,
"textWidth": 13.758
}
]
},
{
"left": 11.905,
"top": 34.045,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.109,
"textWidth": 1.609
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.737,
"textWidth": 5.228
},
{
"text": "Y. ",
"font": "serif",
"width": 2.009,
"textWidth": 1.51
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.412,
"textWidth": 5.903
},
{
"text": "Y. ",
"font": "serif",
"width": 2.009,
"textWidth": 1.51
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.589,
"textWidth": 3.081
},
{
"text": "Z. ",
"font": "serif",
"width": 2.211,
"textWidth": 1.714
},
{
"text": "Mo, ",
"font": "serif",
"width": 3.765,
"textWidth": 3.256
},
{
"text": "Z. ",
"font": "serif",
"width": 2.213,
"textWidth": 1.714
},
{
"text": "Tang, ",
"font": "serif",
"width": 5.013,
"textWidth": 4.505
},
{
"text": "W. ",
"font": "serif",
"width": 2.667,
"textWidth": 2.168
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.662,
"textWidth": 3.153
},
{
"text": "T. ",
"font": "serif",
"width": 1.976,
"textWidth": 1.477
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.879,
"textWidth": 3.372
},
{
"text": "L. ",
"font": "serif",
"width": 2.109,
"textWidth": 1.609
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.679,
"textWidth": 3.17
},
{
"text": "Y. ",
"font": "serif",
"width": 2.009,
"textWidth": 1.51
},
{
"text": "Xia, ",
"font": "serif",
"width": 3.701,
"textWidth": 3.193
},
{
"text": "J. ",
"font": "serif",
"width": 1.587,
"textWidth": 1.09
},
{
"text": "Xue, ",
"font": "serif",
"width": 4.245,
"textWidth": 3.737
},
{
"text": "et ",
"font": "serif",
"width": 2.004,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 2.733,
"textWidth": 1.946
},
{
"text": "Tilelang: ",
"font": "serif",
"width": 7.101,
"textWidth": 7.101
}
]
},
{
"left": 13.727,
"top": 35.654,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Bridge ",
"font": "serif",
"width": 6.172,
"textWidth": 5.501
},
{
"text": "programmability ",
"font": "serif",
"width": 14.782,
"textWidth": 14.111
},
{
"text": "and ",
"font": "serif",
"width": 3.836,
"textWidth": 3.165
},
{
"text": "performance ",
"font": "serif",
"width": 11.208,
"textWidth": 10.537
},
{
"text": "in ",
"font": "serif",
"width": 2.303,
"textWidth": 1.632
},
{
"text": "modern ",
"font": "serif",
"width": 7.208,
"textWidth": 6.535
},
{
"text": "neural ",
"font": "serif",
"width": 5.998,
"textWidth": 5.327
},
{
"text": "kernels. ",
"font": "serif",
"width": 7.8,
"textWidth": 6.46
},
{
"text": "In ",
"font": "serif",
"width": 2.389,
"textWidth": 1.718
},
{
"text": "The ",
"font": "serif",
"width": 3.739,
"textWidth": 3.068
},
{
"text": "Fourteenth ",
"font": "serif",
"width": 8.932,
"textWidth": 8.932
}
]
},
{
"left": 13.727,
"top": 37.264,
"width": 48.939,
"height": 1.296,
"words": [
{
"text": "International ",
"font": "serif",
"width": 10.972,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.639,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.781,
"textWidth": 7.323
},
{
"text": "Representations, ",
"font": "serif",
"width": 13.899,
"textWidth": 13.44
},
{
"text": "2026. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 39.938,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Y. ",
"font": "serif",
"width": 1.951,
"textWidth": 1.494
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.636,
"textWidth": 5.177
},
{
"text": "X. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.596,
"textWidth": 3.139
},
{
"text": "G. ",
"font": "serif",
"width": 2.334,
"textWidth": 1.875
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.264,
"textWidth": 5.806
},
{
"text": "Y. ",
"font": "serif",
"width": 1.951,
"textWidth": 1.494
},
{
"text": "Ni, ",
"font": "serif",
"width": 2.999,
"textWidth": 2.539
},
{
"text": "A. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.903
},
{
"text": "Chandra, ",
"font": "serif",
"width": 8.102,
"textWidth": 7.643
},
{
"text": "S. ",
"font": "serif",
"width": 1.892,
"textWidth": 1.434
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.459,
"textWidth": 4.002
},
{
"text": "W. ",
"font": "serif",
"width": 2.602,
"textWidth": 2.145
},
{
"text": "Ren, ",
"font": "serif",
"width": 4.122,
"textWidth": 3.663
},
{
"text": "A. ",
"font": "serif",
"width": 2.36,
"textWidth": 1.903
},
{
"text": "Arulraj, ",
"font": "serif",
"width": 6.823,
"textWidth": 6.364
},
{
"text": "X. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "He, ",
"font": "serif",
"width": 3.346,
"textWidth": 2.889
},
{
"text": "Z. ",
"font": "serif",
"width": 2.156,
"textWidth": 1.697
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.107,
"textWidth": 4.65
},
{
"text": "T. ",
"font": "serif",
"width": 1.919,
"textWidth": 1.462
},
{
"text": "Li, ",
"font": "serif",
"width": 2.132,
"textWidth": 2.132
}
]
},
{
"left": 13.727,
"top": 41.548,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "M. ",
"font": "serif",
"width": 2.75,
"textWidth": 2.236
},
{
"text": "Ku, ",
"font": "serif",
"width": 3.477,
"textWidth": 2.95
},
{
"text": "K. ",
"font": "serif",
"width": 2.338,
"textWidth": 1.824
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.755,
"textWidth": 5.23
},
{
"text": "A. ",
"font": "serif",
"width": 2.436,
"textWidth": 1.922
},
{
"text": "Zhuang, ",
"font": "serif",
"width": 7.518,
"textWidth": 6.991
},
{
"text": "R. ",
"font": "serif",
"width": 2.228,
"textWidth": 1.716
},
{
"text": "Fan, ",
"font": "serif",
"width": 4.056,
"textWidth": 3.529
},
{
"text": "X. ",
"font": "serif",
"width": 2.226,
"textWidth": 1.714
},
{
"text": "Yue, ",
"font": "serif",
"width": 4.099,
"textWidth": 3.572
},
{
"text": "and ",
"font": "serif",
"width": 3.679,
"textWidth": 3.165
},
{
"text": "W. ",
"font": "serif",
"width": 2.681,
"textWidth": 2.166
},
{
"text": "Chen. ",
"font": "serif",
"width": 5.699,
"textWidth": 4.864
},
{
"text": "Mmlu-pro: ",
"font": "serif",
"width": 9.707,
"textWidth": 9.029
},
{
"text": "A ",
"font": "serif",
"width": 1.966,
"textWidth": 1.454
},
{
"text": "more ",
"font": "serif",
"width": 4.785,
"textWidth": 4.273
},
{
"text": "robust ",
"font": "serif",
"width": 5.802,
"textWidth": 5.288
},
{
"text": "and ",
"font": "serif",
"width": 3.165,
"textWidth": 3.165
}
]
},
{
"left": 13.727,
"top": 43.157,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "challenging ",
"font": "serif",
"width": 10.074,
"textWidth": 9.615
},
{
"text": "multi-task ",
"font": "serif",
"width": 8.918,
"textWidth": 8.457
},
{
"text": "language ",
"font": "serif",
"width": 8.046,
"textWidth": 7.586
},
{
"text": "understanding ",
"font": "serif",
"width": 12.664,
"textWidth": 12.205
},
{
"text": "benchmark. ",
"font": "serif",
"width": 10.41,
"textWidth": 9.746
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.674,
"textWidth": 5.215
},
{
"text": "abs/2406.01574, ",
"font": "serif",
"width": 13.675,
"textWidth": 13.214
},
{
"text": "2024b. ",
"font": "serif",
"width": 5.229,
"textWidth": 5.229
}
]
},
{
"left": 13.727,
"top": 44.766,
"width": 3.77,
"height": 1.296,
"words": [
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 17.954,
"top": 44.588,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2406.01574 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 47.441,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.561,
"textWidth": 1.09
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.081,
"textWidth": 3.606
},
{
"text": "Z. ",
"font": "serif",
"width": 2.183,
"textWidth": 1.714
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.139,
"textWidth": 3.664
},
{
"text": "S. ",
"font": "serif",
"width": 1.918,
"textWidth": 1.449
},
{
"text": "Papay, ",
"font": "serif",
"width": 5.899,
"textWidth": 5.426
},
{
"text": "S. ",
"font": "serif",
"width": 1.92,
"textWidth": 1.449
},
{
"text": "McKinney, ",
"font": "serif",
"width": 9.346,
"textWidth": 8.873
},
{
"text": "J. ",
"font": "serif",
"width": 1.561,
"textWidth": 1.09
},
{
"text": "Han, ",
"font": "serif",
"width": 4.518,
"textWidth": 4.045
},
{
"text": "I. ",
"font": "serif",
"width": 1.568,
"textWidth": 1.097
},
{
"text": "Fulford, ",
"font": "serif",
"width": 7.141,
"textWidth": 6.668
},
{
"text": "H. ",
"font": "serif",
"width": 2.494,
"textWidth": 2.023
},
{
"text": "W. ",
"font": "serif",
"width": 2.638,
"textWidth": 2.168
},
{
"text": "Chung, ",
"font": "serif",
"width": 6.61,
"textWidth": 6.135
},
{
"text": "A. ",
"font": "serif",
"width": 2.391,
"textWidth": 1.922
},
{
"text": "T. ",
"font": "serif",
"width": 1.948,
"textWidth": 1.479
},
{
"text": "Passos, ",
"font": "serif",
"width": 6.404,
"textWidth": 5.929
},
{
"text": "W. ",
"font": "serif",
"width": 2.638,
"textWidth": 2.168
},
{
"text": "Fedus, ",
"font": "serif",
"width": 5.464,
"textWidth": 5.464
}
]
},
{
"left": 13.727,
"top": 49.05,
"width": 74.42,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.49,
"textWidth": 3.041
},
{
"text": "A. ",
"font": "serif",
"width": 2.295,
"textWidth": 1.846
},
{
"text": "Glaese. ",
"font": "serif",
"width": 6.363,
"textWidth": 5.722
},
{
"text": "Browsecomp: ",
"font": "serif",
"width": 11.331,
"textWidth": 10.767
},
{
"text": "A ",
"font": "serif",
"width": 1.846,
"textWidth": 1.397
},
{
"text": "simple ",
"font": "serif",
"width": 5.781,
"textWidth": 5.332
},
{
"text": "yet ",
"font": "serif",
"width": 2.893,
"textWidth": 2.444
},
{
"text": "challenging ",
"font": "serif",
"width": 9.705,
"textWidth": 9.256
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.382,
"textWidth": 8.933
},
{
"text": "for ",
"font": "serif",
"width": 2.737,
"textWidth": 2.288
},
{
"text": "browsing ",
"font": "serif",
"width": 7.926,
"textWidth": 7.477
},
{
"text": "agents. ",
"font": "serif",
"width": 6.239,
"textWidth": 5.598
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.431,
"textWidth": 4.431
}
]
},
{
"left": 13.727,
"top": 50.66,
"width": 25.785,
"height": 1.296,
"words": [
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2504.12516, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 53.334,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.461
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.024,
"textWidth": 3.567
},
{
"text": "J. ",
"font": "serif",
"width": 1.535,
"textWidth": 1.078
},
{
"text": "Luan, ",
"font": "serif",
"width": 5.163,
"textWidth": 4.708
},
{
"text": "W. ",
"font": "serif",
"width": 2.6,
"textWidth": 2.143
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.702,
"textWidth": 3.245
},
{
"text": "S. ",
"font": "serif",
"width": 1.888,
"textWidth": 1.433
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.464,
"textWidth": 5.007
},
{
"text": "and ",
"font": "serif",
"width": 3.587,
"textWidth": 3.131
},
{
"text": "B. ",
"font": "serif",
"width": 2.047,
"textWidth": 1.592
},
{
"text": "Wang. ",
"font": "serif",
"width": 5.827,
"textWidth": 5.172
},
{
"text": "Cmath: ",
"font": "serif",
"width": 6.577,
"textWidth": 6.01
},
{
"text": "Can ",
"font": "serif",
"width": 3.768,
"textWidth": 3.312
},
{
"text": "your ",
"font": "serif",
"width": 4.338,
"textWidth": 3.883
},
{
"text": "language ",
"font": "serif",
"width": 7.977,
"textWidth": 7.52
},
{
"text": "model ",
"font": "serif",
"width": 5.651,
"textWidth": 5.196
},
{
"text": "pass ",
"font": "serif",
"width": 4.061,
"textWidth": 3.604
},
{
"text": "chinese ",
"font": "serif",
"width": 6.067,
"textWidth": 6.067
}
]
},
{
"left": 13.727,
"top": 54.943,
"width": 28.576,
"height": 1.296,
"words": [
{
"text": "elementary ",
"font": "serif",
"width": 9.566,
"textWidth": 9.108
},
{
"text": "school ",
"font": "serif",
"width": 5.65,
"textWidth": 5.192
},
{
"text": "math ",
"font": "serif",
"width": 4.657,
"textWidth": 4.199
},
{
"text": "test?, ",
"font": "serif",
"width": 4.58,
"textWidth": 4.122
},
{
"text": "2023. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 57.618,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "G. ",
"font": "serif",
"width": 2.467,
"textWidth": 1.894
},
{
"text": "Xiao, ",
"font": "serif",
"width": 4.817,
"textWidth": 4.213
},
{
"text": "Y. ",
"font": "serif",
"width": 2.086,
"textWidth": 1.51
},
{
"text": "Tian, ",
"font": "serif",
"width": 4.683,
"textWidth": 4.079
},
{
"text": "B. ",
"font": "serif",
"width": 2.183,
"textWidth": 1.609
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.468,
"textWidth": 4.864
},
{
"text": "S. ",
"font": "serif",
"width": 2.023,
"textWidth": 1.449
},
{
"text": "Han, ",
"font": "serif",
"width": 4.649,
"textWidth": 4.045
},
{
"text": "and ",
"font": "serif",
"width": 3.74,
"textWidth": 3.165
},
{
"text": "M. ",
"font": "serif",
"width": 2.81,
"textWidth": 2.236
},
{
"text": "Lewis. ",
"font": "serif",
"width": 6.432,
"textWidth": 5.4
},
{
"text": "Efficient ",
"font": "serif",
"width": 7.402,
"textWidth": 6.828
},
{
"text": "streaming ",
"font": "serif",
"width": 8.834,
"textWidth": 8.26
},
{
"text": "language ",
"font": "serif",
"width": 8.176,
"textWidth": 7.602
},
{
"text": "models ",
"font": "serif",
"width": 6.621,
"textWidth": 6.045
},
{
"text": "with ",
"font": "serif",
"width": 3.8,
"textWidth": 3.8
}
]
},
{
"left": 13.727,
"top": 59.227,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "attention ",
"font": "serif",
"width": 7.704,
"textWidth": 7.246
},
{
"text": "sinks. ",
"font": "serif",
"width": 5.287,
"textWidth": 4.626
},
{
"text": "In ",
"font": "serif",
"width": 2.142,
"textWidth": 1.682
},
{
"text": "The ",
"font": "serif",
"width": 3.526,
"textWidth": 3.068
},
{
"text": "Twelfth ",
"font": "serif",
"width": 6.631,
"textWidth": 6.172
},
{
"text": "International ",
"font": "serif",
"width": 10.972,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.64,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.526,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.782,
"textWidth": 7.323
},
{
"text": "Representations, ",
"font": "serif",
"width": 13.899,
"textWidth": 13.44
},
{
"text": "ICLR ",
"font": "serif",
"width": 4.261,
"textWidth": 4.261
}
]
},
{
"left": 13.727,
"top": 60.836,
"width": 54.742,
"height": 1.296,
"words": [
{
"text": "2024, ",
"font": "serif",
"width": 4.611,
"textWidth": 4.123
},
{
"text": "Vienna, ",
"font": "serif",
"width": 6.629,
"textWidth": 6.141
},
{
"text": "Austria, ",
"font": "serif",
"width": 7.024,
"textWidth": 6.537
},
{
"text": "May ",
"font": "serif",
"width": 4.151,
"textWidth": 3.669
},
{
"text": "7-11, ",
"font": "serif",
"width": 4.305,
"textWidth": 3.817
},
{
"text": "2024. ",
"font": "serif",
"width": 4.615,
"textWidth": 4.133
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 14.62,
"textWidth": 14.132
},
{
"text": "2024. ",
"font": "serif",
"width": 4.942,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 68.95,
"top": 60.658,
"width": 19.199,
"height": 1.425,
"words": [
{
"text": "https://openreview ",
"font": "mono",
"width": 19.199,
"textWidth": 19.199
}
]
},
{
"left": 13.727,
"top": 62.267,
"width": 25.4,
"height": 1.425,
"words": [
{
"text": ".net/forum?id=NG7sS51zVF ",
"font": "mono",
"width": 25.4,
"textWidth": 25.4
}
]
},
{
"left": 11.905,
"top": 65.12,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Z. ",
"font": "serif",
"width": 2.125,
"textWidth": 1.667
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.525,
"textWidth": 3.067
},
{
"text": "Y. ",
"font": "serif",
"width": 1.922,
"textWidth": 1.463
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.963,
"textWidth": 3.505
},
{
"text": "H. ",
"font": "serif",
"width": 2.425,
"textWidth": 1.967
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.103,
"textWidth": 3.645
},
{
"text": "C. ",
"font": "serif",
"width": 2.202,
"textWidth": 1.743
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.085,
"textWidth": 4.627
},
{
"text": "C. ",
"font": "serif",
"width": 2.202,
"textWidth": 1.743
},
{
"text": "Deng, ",
"font": "serif",
"width": 5.259,
"textWidth": 4.801
},
{
"text": "J. ",
"font": "serif",
"width": 1.518,
"textWidth": 1.06
},
{
"text": "Li, ",
"font": "serif",
"width": 2.552,
"textWidth": 2.094
},
{
"text": "D. ",
"font": "serif",
"width": 2.32,
"textWidth": 1.862
},
{
"text": "Dai, ",
"font": "serif",
"width": 3.758,
"textWidth": 3.3
},
{
"text": "H. ",
"font": "serif",
"width": 2.425,
"textWidth": 1.967
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.201,
"textWidth": 3.743
},
{
"text": "J. ",
"font": "serif",
"width": 1.518,
"textWidth": 1.06
},
{
"text": "Chang, ",
"font": "serif",
"width": 6.239,
"textWidth": 5.779
},
{
"text": "K. ",
"font": "serif",
"width": 2.232,
"textWidth": 1.774
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.056,
"textWidth": 2.598
},
{
"text": "L. ",
"font": "serif",
"width": 2.023,
"textWidth": 1.565
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.085,
"textWidth": 4.627
},
{
"text": "S. ",
"font": "serif",
"width": 1.867,
"textWidth": 1.409
},
{
"text": "Zhou, ",
"font": "serif",
"width": 4.814,
"textWidth": 4.814
}
]
},
{
"left": 13.727,
"top": 66.73,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "Z. ",
"font": "serif",
"width": 2.183,
"textWidth": 1.714
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.312,
"textWidth": 2.841
},
{
"text": "Z. ",
"font": "serif",
"width": 2.181,
"textWidth": 1.714
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.335,
"textWidth": 5.864
},
{
"text": "W. ",
"font": "serif",
"width": 2.638,
"textWidth": 2.168
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.208,
"textWidth": 4.737
},
{
"text": "S. ",
"font": "serif",
"width": 1.918,
"textWidth": 1.449
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.621,
"textWidth": 3.15
},
{
"text": "Y. ",
"font": "serif",
"width": 1.98,
"textWidth": 1.51
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.701,
"textWidth": 5.228
},
{
"text": "J. ",
"font": "serif",
"width": 1.557,
"textWidth": 1.09
},
{
"text": "Yuan, ",
"font": "serif",
"width": 5.17,
"textWidth": 4.699
},
{
"text": "L. ",
"font": "serif",
"width": 2.079,
"textWidth": 1.609
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.701,
"textWidth": 5.23
},
{
"text": "and ",
"font": "serif",
"width": 3.632,
"textWidth": 3.165
},
{
"text": "W. ",
"font": "serif",
"width": 2.638,
"textWidth": 2.168
},
{
"text": "Liang. ",
"font": "serif",
"width": 5.909,
"textWidth": 5.215
},
{
"text": "mhc: ",
"font": "serif",
"width": 4.625,
"textWidth": 4.036
},
{
"text": "Manifold- ",
"font": "serif",
"width": 8.286,
"textWidth": 8.286
}
]
},
{
"left": 13.727,
"top": 68.339,
"width": 34.4,
"height": 1.296,
"words": [
{
"text": "constrained ",
"font": "serif",
"width": 9.951,
"textWidth": 9.493
},
{
"text": "hyper-connections, ",
"font": "serif",
"width": 15.896,
"textWidth": 15.438
},
{
"text": "2026. ",
"font": "serif",
"width": 4.783,
"textWidth": 4.123
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 48.584,
"top": 68.16,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2512.24880 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 71.013,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "L. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.21,
"textWidth": 2.752
},
{
"text": "H. ",
"font": "serif",
"width": 2.417,
"textWidth": 1.959
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.511,
"textWidth": 3.051
},
{
"text": "X. ",
"font": "serif",
"width": 2.118,
"textWidth": 1.66
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.138,
"textWidth": 5.68
},
{
"text": "L. ",
"font": "serif",
"width": 2.017,
"textWidth": 1.559
},
{
"text": "Li, ",
"font": "serif",
"width": 2.544,
"textWidth": 2.086
},
{
"text": "C. ",
"font": "serif",
"width": 2.194,
"textWidth": 1.736
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.088,
"textWidth": 3.63
},
{
"text": "Y. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.458
},
{
"text": "Li, ",
"font": "serif",
"width": 2.544,
"textWidth": 2.086
},
{
"text": "Y. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.458
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.21,
"textWidth": 2.752
},
{
"text": "K. ",
"font": "serif",
"width": 2.225,
"textWidth": 1.767
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.007,
"textWidth": 3.549
},
{
"text": "D. ",
"font": "serif",
"width": 2.314,
"textWidth": 1.854
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.045,
"textWidth": 2.586
},
{
"text": "C. ",
"font": "serif",
"width": 2.194,
"textWidth": 1.736
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.045,
"textWidth": 2.587
},
{
"text": "Y. ",
"font": "serif",
"width": 1.916,
"textWidth": 1.456
},
{
"text": "Tian, ",
"font": "serif",
"width": 4.405,
"textWidth": 3.947
},
{
"text": "Q. ",
"font": "serif",
"width": 2.334,
"textWidth": 1.876
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.361,
"textWidth": 4.903
},
{
"text": "W. ",
"font": "serif",
"width": 2.553,
"textWidth": 2.095
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.178,
"textWidth": 3.178
}
]
},
{
"left": 13.727,
"top": 72.623,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "B. ",
"font": "serif",
"width": 2.084,
"textWidth": 1.609
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.557,
"textWidth": 3.081
},
{
"text": "Y. ",
"font": "serif",
"width": 1.985,
"textWidth": 1.512
},
{
"text": "Cui, ",
"font": "serif",
"width": 3.942,
"textWidth": 3.464
},
{
"text": "J. ",
"font": "serif",
"width": 1.565,
"textWidth": 1.09
},
{
"text": "Li, ",
"font": "serif",
"width": 2.632,
"textWidth": 2.153
},
{
"text": "J. ",
"font": "serif",
"width": 1.563,
"textWidth": 1.09
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.215,
"textWidth": 4.737
},
{
"text": "R. ",
"font": "serif",
"width": 2.191,
"textWidth": 1.716
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.707,
"textWidth": 5.228
},
{
"text": "W. ",
"font": "serif",
"width": 2.643,
"textWidth": 2.168
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.63,
"textWidth": 3.153
},
{
"text": "Y. ",
"font": "serif",
"width": 1.985,
"textWidth": 1.512
},
{
"text": "Li, ",
"font": "serif",
"width": 2.632,
"textWidth": 2.153
},
{
"text": "Y. ",
"font": "serif",
"width": 1.985,
"textWidth": 1.51
},
{
"text": "Patterson, ",
"font": "serif",
"width": 8.763,
"textWidth": 8.285
},
{
"text": "Z. ",
"font": "serif",
"width": 2.187,
"textWidth": 1.714
},
{
"text": "Tian, ",
"font": "serif",
"width": 4.557,
"textWidth": 4.079
},
{
"text": "Y. ",
"font": "serif",
"width": 1.985,
"textWidth": 1.51
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.342,
"textWidth": 5.864
},
{
"text": "H. ",
"font": "serif",
"width": 2.495,
"textWidth": 2.023
},
{
"text": "Zhou, ",
"font": "serif",
"width": 4.95,
"textWidth": 4.95
}
]
},
{
"left": 13.727,
"top": 74.232,
"width": 74.672,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.871,
"textWidth": 1.413
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.66,
"textWidth": 3.2
},
{
"text": "Z. ",
"font": "serif",
"width": 2.13,
"textWidth": 1.672
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.098,
"textWidth": 4.641
},
{
"text": "Q. ",
"font": "serif",
"width": 2.349,
"textWidth": 1.889
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.098,
"textWidth": 4.641
},
{
"text": "C. ",
"font": "serif",
"width": 2.206,
"textWidth": 1.749
},
{
"text": "Yue, ",
"font": "serif",
"width": 3.939,
"textWidth": 3.481
},
{
"text": "X. ",
"font": "serif",
"width": 2.132,
"textWidth": 1.672
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.178,
"textWidth": 5.72
},
{
"text": "Z. ",
"font": "serif",
"width": 2.13,
"textWidth": 1.672
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.949,
"textWidth": 4.491
},
{
"text": "K. ",
"font": "serif",
"width": 2.239,
"textWidth": 1.78
},
{
"text": "Richardson, ",
"font": "serif",
"width": 10.076,
"textWidth": 9.617
},
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.087
},
{
"text": "Z. ",
"font": "serif",
"width": 2.132,
"textWidth": 1.672
},
{
"text": "Lan. ",
"font": "serif",
"width": 4.203,
"textWidth": 3.543
},
{
"text": "CLUE: ",
"font": "serif",
"width": 5.853,
"textWidth": 5.396
},
{
"text": "A ",
"font": "serif",
"width": 1.876,
"textWidth": 1.419
},
{
"text": "chi- ",
"font": "serif",
"width": 3.009,
"textWidth": 3.009
}
]
},
{
"left": 13.727,
"top": 75.842,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "nese ",
"font": "serif",
"width": 3.983,
"textWidth": 3.527
},
{
"text": "language ",
"font": "serif",
"width": 7.759,
"textWidth": 7.304
},
{
"text": "understanding ",
"font": "serif",
"width": 12.205,
"textWidth": 11.749
},
{
"text": "evaluation ",
"font": "serif",
"width": 8.867,
"textWidth": 8.41
},
{
"text": "benchmark. ",
"font": "serif",
"width": 10.036,
"textWidth": 9.382
},
{
"text": "In ",
"font": "serif",
"width": 2.107,
"textWidth": 1.65
},
{
"text": "D. ",
"font": "serif",
"width": 2.293,
"textWidth": 1.839
},
{
"text": "Scott, ",
"font": "serif",
"width": 4.797,
"textWidth": 4.341
},
{
"text": "N. ",
"font": "serif",
"width": 2.398,
"textWidth": 1.941
},
{
"text": "Bel, ",
"font": "serif",
"width": 3.385,
"textWidth": 2.929
},
{
"text": "and ",
"font": "serif",
"width": 3.497,
"textWidth": 3.041
},
{
"text": "C. ",
"font": "serif",
"width": 2.177,
"textWidth": 1.722
},
{
"text": "Zong, ",
"font": "serif",
"width": 5.127,
"textWidth": 4.671
},
{
"text": "editors, ",
"font": "serif",
"width": 5.966,
"textWidth": 5.966
}
]
},
{
"left": 13.727,
"top": 77.451,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "Proceedings ",
"font": "serif",
"width": 10.55,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.278,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.209,
"textWidth": 2.542
},
{
"text": "28th ",
"font": "serif",
"width": 4.164,
"textWidth": 3.497
},
{
"text": "International ",
"font": "serif",
"width": 11.181,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.848,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.734,
"textWidth": 2.067
},
{
"text": "Computational ",
"font": "serif",
"width": 12.953,
"textWidth": 12.286
},
{
"text": "Linguistics, ",
"font": "serif",
"width": 10.053,
"textWidth": 9.333
},
{
"text": "COLING ",
"font": "serif",
"width": 7.398,
"textWidth": 7.398
}
]
},
{
"left": 13.727,
"top": 79.06,
"width": 74.673,
"height": 1.296,
"words": [
{
"text": "2020, ",
"font": "serif",
"width": 4.65,
"textWidth": 4.123
},
{
"text": "Barcelona, ",
"font": "serif",
"width": 8.92,
"textWidth": 8.393
},
{
"text": "Spain ",
"font": "serif",
"width": 5.093,
"textWidth": 4.58
},
{
"text": "(Online), ",
"font": "serif",
"width": 7.724,
"textWidth": 7.197
},
{
"text": "December ",
"font": "serif",
"width": 8.734,
"textWidth": 8.221
},
{
"text": "8-13, ",
"font": "serif",
"width": 4.344,
"textWidth": 3.817
},
{
"text": "2020, ",
"font": "serif",
"width": 4.66,
"textWidth": 4.133
},
{
"text": "pages ",
"font": "serif",
"width": 5.299,
"textWidth": 4.785
},
{
"text": "4762-4772. ",
"font": "serif",
"width": 9.391,
"textWidth": 8.879
},
{
"text": "International ",
"font": "serif",
"width": 11.238,
"textWidth": 10.724
},
{
"text": "Com- ",
"font": "serif",
"width": 4.619,
"textWidth": 4.619
}
]
},
{
"left": 13.727,
"top": 80.67,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "mittee ",
"font": "serif",
"width": 5.44,
"textWidth": 5.0
},
{
"text": "on ",
"font": "serif",
"width": 2.466,
"textWidth": 2.026
},
{
"text": "Computational ",
"font": "serif",
"width": 12.48,
"textWidth": 12.04
},
{
"text": "Linguistics, ",
"font": "serif",
"width": 9.59,
"textWidth": 9.147
},
{
"text": "2020. ",
"font": "serif",
"width": 4.661,
"textWidth": 4.041
},
{
"text": "doi: ",
"font": "serif",
"width": 3.608,
"textWidth": 3.05
},
{
"text": "10.18653/V1/2020.COLING-MAIN.419. ",
"font": "serif",
"width": 32.485,
"textWidth": 31.866
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 13.727,
"top": 82.101,
"width": 50.883,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.18653/v1/2020.coling-main.419 ",
"font": "mono",
"width": 50.883,
"textWidth": 50.883
}
]
},
{
"left": 11.905,
"top": 84.953,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.516,
"textWidth": 1.06
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.934,
"textWidth": 4.478
},
{
"text": "K. ",
"font": "serif",
"width": 2.231,
"textWidth": 1.774
},
{
"text": "Lieret, ",
"font": "serif",
"width": 5.572,
"textWidth": 5.114
},
{
"text": "C. ",
"font": "serif",
"width": 2.2,
"textWidth": 1.743
},
{
"text": "E. ",
"font": "serif",
"width": 2.022,
"textWidth": 1.565
},
{
"text": "Jimenez, ",
"font": "serif",
"width": 7.361,
"textWidth": 6.903
},
{
"text": "A. ",
"font": "serif",
"width": 2.325,
"textWidth": 1.869
},
{
"text": "Wettig, ",
"font": "serif",
"width": 6.157,
"textWidth": 5.699
},
{
"text": "K. ",
"font": "serif",
"width": 2.231,
"textWidth": 1.774
},
{
"text": "Khandpur, ",
"font": "serif",
"width": 9.139,
"textWidth": 8.681
},
{
"text": "Y. ",
"font": "serif",
"width": 1.92,
"textWidth": 1.463
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.161,
"textWidth": 5.703
},
{
"text": "B. ",
"font": "serif",
"width": 2.022,
"textWidth": 1.565
},
{
"text": "Hui, ",
"font": "serif",
"width": 4.049,
"textWidth": 3.592
},
{
"text": "O. ",
"font": "serif",
"width": 2.342,
"textWidth": 1.883
},
{
"text": "Press, ",
"font": "serif",
"width": 5.107,
"textWidth": 4.649
},
{
"text": "L. ",
"font": "serif",
"width": 2.022,
"textWidth": 1.565
},
{
"text": "Schmidt, ",
"font": "serif",
"width": 7.112,
"textWidth": 7.112
}
]
},
{
"left": 13.727,
"top": 86.563,
"width": 67.972,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.664,
"textWidth": 3.165
},
{
"text": "D. ",
"font": "serif",
"width": 2.413,
"textWidth": 1.914
},
{
"text": "Yang. ",
"font": "serif",
"width": 5.4,
"textWidth": 4.608
},
{
"text": "Swe-smith: ",
"font": "serif",
"width": 9.86,
"textWidth": 9.21
},
{
"text": "Scaling ",
"font": "serif",
"width": 6.46,
"textWidth": 5.961
},
{
"text": "data ",
"font": "serif",
"width": 4.12,
"textWidth": 3.621
},
{
"text": "for ",
"font": "serif",
"width": 2.882,
"textWidth": 2.381
},
{
"text": "software ",
"font": "serif",
"width": 7.638,
"textWidth": 7.139
},
{
"text": "engineering ",
"font": "serif",
"width": 10.354,
"textWidth": 9.855
},
{
"text": "agents, ",
"font": "serif",
"width": 6.337,
"textWidth": 5.826
},
{
"text": "2025. ",
"font": "serif",
"width": 4.998,
"textWidth": 4.206
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 82.198,
"top": 86.384,
"width": 6.427,
"height": 1.425,
"words": [
{
"text": "https: ",
"font": "mono",
"width": 6.427,
"textWidth": 6.427
}
]
},
{
"left": 13.621,
"top": 87.994,
"width": 27.517,
"height": 1.425,
"words": [
{
"text": "//arxiv.org/abs/2504.21798 ",
"font": "mono",
"width": 27.517,
"textWidth": 27.517
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "52 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"53": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.472,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "R. ",
"font": "serif",
"width": 2.067,
"textWidth": 1.649
},
{
"text": "Zellers, ",
"font": "serif",
"width": 6.309,
"textWidth": 5.884
},
{
"text": "A. ",
"font": "serif",
"width": 2.263,
"textWidth": 1.846
},
{
"text": "Holtzman, ",
"font": "serif",
"width": 8.885,
"textWidth": 8.459
},
{
"text": "Y. ",
"font": "serif",
"width": 1.862,
"textWidth": 1.444
},
{
"text": "Bisk, ",
"font": "serif",
"width": 4.255,
"textWidth": 3.829
},
{
"text": "A. ",
"font": "serif",
"width": 2.265,
"textWidth": 1.846
},
{
"text": "Farhadi, ",
"font": "serif",
"width": 7.01,
"textWidth": 6.584
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.041
},
{
"text": "Y. ",
"font": "serif",
"width": 1.861,
"textWidth": 1.444
},
{
"text": "Choi. ",
"font": "serif",
"width": 4.844,
"textWidth": 4.271
},
{
"text": "HellaSwag: ",
"font": "serif",
"width": 9.632,
"textWidth": 9.084
},
{
"text": "Can ",
"font": "serif",
"width": 3.635,
"textWidth": 3.217
},
{
"text": "a ",
"font": "serif",
"width": 1.315,
"textWidth": 0.898
},
{
"text": "machine ",
"font": "serif",
"width": 7.173,
"textWidth": 6.755
},
{
"text": "really ",
"font": "serif",
"width": 4.896,
"textWidth": 4.479
},
{
"text": "finish ",
"font": "serif",
"width": 4.461,
"textWidth": 4.461
}
]
},
{
"left": 13.676,
"top": 12.082,
"width": 74.42,
"height": 1.296,
"words": [
{
"text": "your ",
"font": "serif",
"width": 4.172,
"textWidth": 3.772
},
{
"text": "sentence? ",
"font": "serif",
"width": 8.297,
"textWidth": 7.613
},
{
"text": "In ",
"font": "serif",
"width": 2.053,
"textWidth": 1.65
},
{
"text": "A. ",
"font": "serif",
"width": 2.247,
"textWidth": 1.846
},
{
"text": "Korhonen, ",
"font": "serif",
"width": 8.8,
"textWidth": 8.387
},
{
"text": "D. ",
"font": "serif",
"width": 2.24,
"textWidth": 1.839
},
{
"text": "R. ",
"font": "serif",
"width": 2.051,
"textWidth": 1.649
},
{
"text": "Traum, ",
"font": "serif",
"width": 6.074,
"textWidth": 5.661
},
{
"text": "and ",
"font": "serif",
"width": 3.441,
"textWidth": 3.041
},
{
"text": "L. ",
"font": "serif",
"width": 1.949,
"textWidth": 1.546
},
{
"text": "Màrquez, ",
"font": "serif",
"width": 7.981,
"textWidth": 7.568
},
{
"text": "editors, ",
"font": "serif",
"width": 6.379,
"textWidth": 5.966
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.284,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.012,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 2.943,
"textWidth": 2.542
},
{
"text": "57th ",
"font": "serif",
"width": 3.497,
"textWidth": 3.497
}
]
},
{
"left": 13.727,
"top": 13.691,
"width": 74.44,
"height": 1.296,
"words": [
{
"text": "Conference ",
"font": "serif",
"width": 9.653,
"textWidth": 9.181
},
{
"text": "of ",
"font": "serif",
"width": 2.082,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.013,
"textWidth": 2.542
},
{
"text": "Association ",
"font": "serif",
"width": 9.913,
"textWidth": 9.442
},
{
"text": "for ",
"font": "serif",
"width": 2.806,
"textWidth": 2.335
},
{
"text": "Computational ",
"font": "serif",
"width": 12.757,
"textWidth": 12.286
},
{
"text": "Linguistics, ",
"font": "serif",
"width": 9.808,
"textWidth": 9.333
},
{
"text": "ACL ",
"font": "serif",
"width": 4.316,
"textWidth": 3.845
},
{
"text": "2019, ",
"font": "serif",
"width": 4.598,
"textWidth": 4.123
},
{
"text": "Florence, ",
"font": "serif",
"width": 7.813,
"textWidth": 7.338
},
{
"text": "Italy, ",
"font": "serif",
"width": 4.413,
"textWidth": 3.938
},
{
"text": "July ",
"font": "serif",
"width": 3.268,
"textWidth": 3.268
}
]
},
{
"left": 13.727,
"top": 15.3,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "28- ",
"font": "serif",
"width": 2.9,
"textWidth": 2.443
},
{
"text": "August ",
"font": "serif",
"width": 6.486,
"textWidth": 6.029
},
{
"text": "2, ",
"font": "serif",
"width": 1.832,
"textWidth": 1.374
},
{
"text": "2019, ",
"font": "serif",
"width": 4.581,
"textWidth": 4.123
},
{
"text": "Volume ",
"font": "serif",
"width": 6.712,
"textWidth": 6.255
},
{
"text": "1: ",
"font": "serif",
"width": 1.942,
"textWidth": 1.374
},
{
"text": "Long ",
"font": "serif",
"width": 4.663,
"textWidth": 4.206
},
{
"text": "Papers, ",
"font": "serif",
"width": 6.414,
"textWidth": 5.956
},
{
"text": "pages ",
"font": "serif",
"width": 5.091,
"textWidth": 4.635
},
{
"text": "4791-4800. ",
"font": "serif",
"width": 9.059,
"textWidth": 8.6
},
{
"text": "Association ",
"font": "serif",
"width": 9.785,
"textWidth": 9.328
},
{
"text": "for ",
"font": "serif",
"width": 2.765,
"textWidth": 2.307
},
{
"text": "Computational ",
"font": "serif",
"width": 12.138,
"textWidth": 12.138
}
]
},
{
"left": 13.727,
"top": 16.91,
"width": 42.215,
"height": 1.296,
"words": [
{
"text": "Linguistics, ",
"font": "serif",
"width": 9.968,
"textWidth": 9.511
},
{
"text": "2019. ",
"font": "serif",
"width": 4.857,
"textWidth": 4.202
},
{
"text": "doi: ",
"font": "serif",
"width": 3.739,
"textWidth": 3.171
},
{
"text": "10.18653/v1/p19-1472. ",
"font": "serif",
"width": 19.81,
"textWidth": 19.152
},
{
"text": "URL ",
"font": "serif",
"width": 3.841,
"textWidth": 3.841
}
]
},
{
"left": 56.398,
"top": 16.731,
"width": 31.75,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.18653/v1/p1 ",
"font": "mono",
"width": 31.75,
"textWidth": 31.75
}
]
},
{
"left": 13.727,
"top": 18.341,
"width": 6.435,
"height": 1.425,
"words": [
{
"text": "9-1472 ",
"font": "mono",
"width": 6.435,
"textWidth": 6.435
}
]
},
{
"left": 11.905,
"top": 21.194,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.709,
"textWidth": 1.793
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.894,
"textWidth": 5.864
},
{
"text": "K. ",
"font": "serif",
"width": 2.74,
"textWidth": 1.824
},
{
"text": "Du, ",
"font": "serif",
"width": 4.071,
"textWidth": 3.041
},
{
"text": "S. ",
"font": "serif",
"width": 2.363,
"textWidth": 1.449
},
{
"text": "Liu, ",
"font": "serif",
"width": 4.311,
"textWidth": 3.281
},
{
"text": "W. ",
"font": "serif",
"width": 3.084,
"textWidth": 2.168
},
{
"text": "Kwon, ",
"font": "serif",
"width": 6.522,
"textWidth": 5.492
},
{
"text": "X. ",
"font": "serif",
"width": 2.63,
"textWidth": 1.714
},
{
"text": "Mo, ",
"font": "serif",
"width": 4.286,
"textWidth": 3.256
},
{
"text": "Y. ",
"font": "serif",
"width": 2.426,
"textWidth": 1.51
},
{
"text": "Wang, ",
"font": "serif",
"width": 6.258,
"textWidth": 5.228
},
{
"text": "X. ",
"font": "serif",
"width": 2.63,
"textWidth": 1.714
},
{
"text": "Liu, ",
"font": "serif",
"width": 4.311,
"textWidth": 3.281
},
{
"text": "K. ",
"font": "serif",
"width": 2.74,
"textWidth": 1.824
},
{
"text": "You, ",
"font": "serif",
"width": 4.724,
"textWidth": 3.694
},
{
"text": "Z. ",
"font": "serif",
"width": 2.628,
"textWidth": 1.714
},
{
"text": "Li, ",
"font": "serif",
"width": 3.183,
"textWidth": 2.153
},
{
"text": "M. ",
"font": "serif",
"width": 3.152,
"textWidth": 2.236
},
{
"text": "Long, ",
"font": "serif",
"width": 4.757,
"textWidth": 4.757
}
]
},
{
"left": 13.696,
"top": 22.803,
"width": 74.399,
"height": 1.296,
"words": [
{
"text": "J. ",
"font": "serif",
"width": 1.697,
"textWidth": 1.09
},
{
"text": "Zhai, ",
"font": "serif",
"width": 4.926,
"textWidth": 4.281
},
{
"text": "J. ",
"font": "serif",
"width": 1.697,
"textWidth": 1.09
},
{
"text": "Gonzalez, ",
"font": "serif",
"width": 8.89,
"textWidth": 8.245
},
{
"text": "and ",
"font": "serif",
"width": 3.772,
"textWidth": 3.165
},
{
"text": "I. ",
"font": "serif",
"width": 1.705,
"textWidth": 1.097
},
{
"text": "Stoica. ",
"font": "serif",
"width": 6.524,
"textWidth": 5.387
},
{
"text": "Jenga: ",
"font": "serif",
"width": 5.914,
"textWidth": 5.047
},
{
"text": "Effective ",
"font": "serif",
"width": 7.791,
"textWidth": 7.184
},
{
"text": "memory ",
"font": "serif",
"width": 7.602,
"textWidth": 6.995
},
{
"text": "management ",
"font": "serif",
"width": 11.393,
"textWidth": 10.786
},
{
"text": "for ",
"font": "serif",
"width": 2.989,
"textWidth": 2.381
},
{
"text": "serving ",
"font": "serif",
"width": 6.759,
"textWidth": 6.152
},
{
"text": "llm ",
"font": "serif",
"width": 2.738,
"textWidth": 2.738
}
]
},
{
"left": 13.65,
"top": 24.412,
"width": 74.445,
"height": 1.296,
"words": [
{
"text": "with ",
"font": "serif",
"width": 4.548,
"textWidth": 3.8
},
{
"text": "heterogeneity. ",
"font": "serif",
"width": 13.178,
"textWidth": 11.589
},
{
"text": "In ",
"font": "serif",
"width": 2.466,
"textWidth": 1.718
},
{
"text": "Proceedings ",
"font": "serif",
"width": 10.632,
"textWidth": 9.883
},
{
"text": "of ",
"font": "serif",
"width": 2.359,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.29,
"textWidth": 2.542
},
{
"text": "ACM ",
"font": "serif",
"width": 5.207,
"textWidth": 4.459
},
{
"text": "SIGOPS ",
"font": "serif",
"width": 7.235,
"textWidth": 6.487
},
{
"text": "31st ",
"font": "serif",
"width": 3.955,
"textWidth": 3.207
},
{
"text": "Symposium ",
"font": "serif",
"width": 10.483,
"textWidth": 9.735
},
{
"text": "on ",
"font": "serif",
"width": 2.816,
"textWidth": 2.067
},
{
"text": "Operating ",
"font": "serif",
"width": 8.276,
"textWidth": 8.276
}
]
},
{
"left": 13.727,
"top": 26.022,
"width": 74.405,
"height": 1.296,
"words": [
{
"text": "Systems ",
"font": "serif",
"width": 7.271,
"textWidth": 6.629
},
{
"text": "Principles, ",
"font": "serif",
"width": 9.224,
"textWidth": 8.534
},
{
"text": "SOSP ",
"font": "serif",
"width": 5.202,
"textWidth": 4.561
},
{
"text": "’25, ",
"font": "serif",
"width": 3.546,
"textWidth": 2.856
},
{
"text": "page ",
"font": "serif",
"width": 4.636,
"textWidth": 3.993
},
{
"text": "446-461, ",
"font": "serif",
"width": 7.698,
"textWidth": 7.01
},
{
"text": "New ",
"font": "serif",
"width": 4.651,
"textWidth": 4.008
},
{
"text": "York, ",
"font": "serif",
"width": 5.032,
"textWidth": 4.344
},
{
"text": "NY, ",
"font": "serif",
"width": 3.707,
"textWidth": 3.066
},
{
"text": "USA, ",
"font": "serif",
"width": 5.0,
"textWidth": 4.357
},
{
"text": "2025a. ",
"font": "serif",
"width": 5.784,
"textWidth": 5.14
},
{
"text": "Association ",
"font": "serif",
"width": 10.273,
"textWidth": 9.63
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 13.727,
"top": 27.631,
"width": 74.425,
"height": 1.296,
"words": [
{
"text": "Computing ",
"font": "serif",
"width": 10.311,
"textWidth": 9.528
},
{
"text": "Machinery. ",
"font": "serif",
"width": 10.89,
"textWidth": 9.189
},
{
"text": "ISBN ",
"font": "serif",
"width": 5.09,
"textWidth": 4.307
},
{
"text": "9798400718700. ",
"font": "serif",
"width": 14.319,
"textWidth": 12.618
},
{
"text": "doi: ",
"font": "serif",
"width": 4.393,
"textWidth": 3.174
},
{
"text": "10.1145/3731569.3764823. ",
"font": "serif",
"width": 25.577,
"textWidth": 23.876
},
{
"text": "URL ",
"font": "serif",
"width": 3.845,
"textWidth": 3.845
}
]
},
{
"left": 13.727,
"top": 29.062,
"width": 41.275,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.1145/3731569.3764823 ",
"font": "mono",
"width": 41.275,
"textWidth": 41.275
}
]
},
{
"left": 11.905,
"top": 31.915,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.892,
"textWidth": 1.434
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.264,
"textWidth": 5.806
},
{
"text": "N. ",
"font": "serif",
"width": 2.458,
"textWidth": 2.001
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.225,
"textWidth": 5.768
},
{
"text": "H. ",
"font": "serif",
"width": 2.46,
"textWidth": 2.003
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.667,
"textWidth": 3.21
},
{
"text": "Z. ",
"font": "serif",
"width": 2.154,
"textWidth": 1.697
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.109,
"textWidth": 4.65
},
{
"text": "W. ",
"font": "serif",
"width": 2.601,
"textWidth": 2.143
},
{
"text": "Bao, ",
"font": "serif",
"width": 3.989,
"textWidth": 3.53
},
{
"text": "C. ",
"font": "serif",
"width": 2.232,
"textWidth": 1.775
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.107,
"textWidth": 4.65
},
{
"text": "Q. ",
"font": "serif",
"width": 2.375,
"textWidth": 1.918
},
{
"text": "Hou, ",
"font": "serif",
"width": 4.587,
"textWidth": 4.129
},
{
"text": "W. ",
"font": "serif",
"width": 2.602,
"textWidth": 2.145
},
{
"text": "Cui, ",
"font": "serif",
"width": 3.887,
"textWidth": 3.43
},
{
"text": "S. ",
"font": "serif",
"width": 1.892,
"textWidth": 1.434
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.225,
"textWidth": 5.768
},
{
"text": "L.-W. ",
"font": "serif",
"width": 4.812,
"textWidth": 4.355
},
{
"text": "Chang, ",
"font": "serif",
"width": 5.884,
"textWidth": 5.884
}
]
},
{
"left": 13.727,
"top": 33.524,
"width": 74.404,
"height": 1.296,
"words": [
{
"text": "Q. ",
"font": "serif",
"width": 2.544,
"textWidth": 1.937
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.511,
"textWidth": 4.864
},
{
"text": "and ",
"font": "serif",
"width": 3.772,
"textWidth": 3.165
},
{
"text": "X. ",
"font": "serif",
"width": 2.322,
"textWidth": 1.714
},
{
"text": "Liu. ",
"font": "serif",
"width": 4.421,
"textWidth": 3.281
},
{
"text": "Comet: ",
"font": "serif",
"width": 6.836,
"textWidth": 5.969
},
{
"text": "Fine-grained ",
"font": "serif",
"width": 11.178,
"textWidth": 10.571
},
{
"text": "computation-communication ",
"font": "serif",
"width": 24.725,
"textWidth": 24.117
},
{
"text": "overlapping ",
"font": "serif",
"width": 10.715,
"textWidth": 10.107
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 13.727,
"top": 35.134,
"width": 25.785,
"height": 1.296,
"words": [
{
"text": "mixture-of-experts. ",
"font": "serif",
"width": 16.219,
"textWidth": 15.559
},
{
"text": "2025b. ",
"font": "serif",
"width": 5.797,
"textWidth": 5.137
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 39.969,
"top": 34.955,
"width": 33.867,
"height": 1.425,
"words": [
{
"text": "https://arxiv.org/abs/2502.19811 ",
"font": "mono",
"width": 33.867,
"textWidth": 33.867
}
]
},
{
"left": 11.905,
"top": 37.808,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "C. ",
"font": "serif",
"width": 2.183,
"textWidth": 1.724
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.032,
"textWidth": 4.575
},
{
"text": "L. ",
"font": "serif",
"width": 2.006,
"textWidth": 1.548
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.034,
"textWidth": 4.575
},
{
"text": "J. ",
"font": "serif",
"width": 1.507,
"textWidth": 1.048
},
{
"text": "Li, ",
"font": "serif",
"width": 2.528,
"textWidth": 2.071
},
{
"text": "Z. ",
"font": "serif",
"width": 2.107,
"textWidth": 1.649
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.191,
"textWidth": 2.733
},
{
"text": "and ",
"font": "serif",
"width": 3.502,
"textWidth": 3.044
},
{
"text": "C. ",
"font": "serif",
"width": 2.181,
"textWidth": 1.724
},
{
"text": "Xu. ",
"font": "serif",
"width": 3.392,
"textWidth": 2.733
},
{
"text": "Deepgemm: ",
"font": "serif",
"width": 10.247,
"textWidth": 9.679
},
{
"text": "clean ",
"font": "serif",
"width": 4.586,
"textWidth": 4.128
},
{
"text": "and ",
"font": "serif",
"width": 3.5,
"textWidth": 3.044
},
{
"text": "efficient ",
"font": "serif",
"width": 6.788,
"textWidth": 6.33
},
{
"text": "fp8 ",
"font": "serif",
"width": 3.036,
"textWidth": 2.578
},
{
"text": "gemm ",
"font": "serif",
"width": 5.492,
"textWidth": 5.036
},
{
"text": "kernels ",
"font": "serif",
"width": 6.222,
"textWidth": 5.764
},
{
"text": "with ",
"font": "serif",
"width": 3.655,
"textWidth": 3.655
}
]
},
{
"left": 13.727,
"top": 39.418,
"width": 16.495,
"height": 1.296,
"words": [
{
"text": "fine-grained ",
"font": "serif",
"width": 10.378,
"textWidth": 9.92
},
{
"text": "scaling. ",
"font": "serif",
"width": 6.117,
"textWidth": 6.117
}
]
},
{
"left": 30.881,
"top": 39.239,
"width": 41.36,
"height": 1.425,
"words": [
{
"text": "https://github.com/deepseek-ai/DeepGEMM ",
"font": "mono",
"width": 41.36,
"textWidth": 41.36
}
]
},
{
"left": 73.158,
"top": 39.418,
"width": 4.123,
"height": 1.296,
"words": [
{
"text": "2025. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 42.092,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "W. ",
"font": "serif",
"width": 2.523,
"textWidth": 2.076
},
{
"text": "Zhong, ",
"font": "serif",
"width": 6.166,
"textWidth": 5.717
},
{
"text": "R. ",
"font": "serif",
"width": 2.096,
"textWidth": 1.649
},
{
"text": "Cui, ",
"font": "serif",
"width": 3.777,
"textWidth": 3.328
},
{
"text": "Y. ",
"font": "serif",
"width": 1.891,
"textWidth": 1.444
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.332,
"textWidth": 3.883
},
{
"text": "Y. ",
"font": "serif",
"width": 1.891,
"textWidth": 1.444
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.46,
"textWidth": 5.011
},
{
"text": "S. ",
"font": "serif",
"width": 1.839,
"textWidth": 1.392
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.078,
"textWidth": 2.629
},
{
"text": "Y. ",
"font": "serif",
"width": 1.891,
"textWidth": 1.444
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.467,
"textWidth": 5.018
},
{
"text": "A. ",
"font": "serif",
"width": 2.293,
"textWidth": 1.846
},
{
"text": "Saied, ",
"font": "serif",
"width": 5.221,
"textWidth": 4.77
},
{
"text": "W. ",
"font": "serif",
"width": 2.523,
"textWidth": 2.076
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.122,
"textWidth": 4.673
},
{
"text": "and ",
"font": "serif",
"width": 3.488,
"textWidth": 3.041
},
{
"text": "N. ",
"font": "serif",
"width": 2.389,
"textWidth": 1.941
},
{
"text": "Duan. ",
"font": "serif",
"width": 5.501,
"textWidth": 4.865
},
{
"text": "AGIEval: ",
"font": "serif",
"width": 7.917,
"textWidth": 7.354
},
{
"text": "A ",
"font": "serif",
"width": 1.397,
"textWidth": 1.397
}
]
},
{
"left": 13.727,
"top": 43.701,
"width": 74.689,
"height": 1.296,
"words": [
{
"text": "human-centric ",
"font": "serif",
"width": 12.493,
"textWidth": 12.034
},
{
"text": "benchmark ",
"font": "serif",
"width": 9.75,
"textWidth": 9.289
},
{
"text": "for ",
"font": "serif",
"width": 2.838,
"textWidth": 2.379
},
{
"text": "evaluating ",
"font": "serif",
"width": 9.223,
"textWidth": 8.764
},
{
"text": "foundation ",
"font": "serif",
"width": 9.649,
"textWidth": 9.188
},
{
"text": "models. ",
"font": "serif",
"width": 7.171,
"textWidth": 6.504
},
{
"text": "CoRR, ",
"font": "serif",
"width": 5.674,
"textWidth": 5.215
},
{
"text": "abs/2304.06364, ",
"font": "serif",
"width": 13.688,
"textWidth": 13.227
},
{
"text": "2023. ",
"font": "serif",
"width": 4.202,
"textWidth": 4.202
}
]
},
{
"left": 13.727,
"top": 45.311,
"width": 30.145,
"height": 1.296,
"words": [
{
"text": "doi: ",
"font": "serif",
"width": 3.68,
"textWidth": 3.112
},
{
"text": "10.48550/arXiv.2304.06364. ",
"font": "serif",
"width": 22.695,
"textWidth": 22.035
},
{
"text": "URL ",
"font": "serif",
"width": 3.77,
"textWidth": 3.77
}
]
},
{
"left": 44.329,
"top": 45.132,
"width": 43.392,
"height": 1.425,
"words": [
{
"text": "https://doi.org/10.48550/arXiv.2304.06364 ",
"font": "mono",
"width": 43.392,
"textWidth": 43.392
}
]
},
{
"left": 11.905,
"top": 47.985,
"width": 76.494,
"height": 1.296,
"words": [
{
"text": "D. ",
"font": "serif",
"width": 2.753,
"textWidth": 1.914
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.866,
"textWidth": 3.929
},
{
"text": "H. ",
"font": "serif",
"width": 2.862,
"textWidth": 2.023
},
{
"text": "Huang, ",
"font": "serif",
"width": 7.146,
"textWidth": 6.212
},
{
"text": "Z. ",
"font": "serif",
"width": 2.555,
"textWidth": 1.714
},
{
"text": "Huang, ",
"font": "serif",
"width": 7.146,
"textWidth": 6.212
},
{
"text": "Y. ",
"font": "serif",
"width": 2.35,
"textWidth": 1.51
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.673,
"textWidth": 4.737
},
{
"text": "Y. ",
"font": "serif",
"width": 2.35,
"textWidth": 1.51
},
{
"text": "Mao, ",
"font": "serif",
"width": 5.127,
"textWidth": 4.191
},
{
"text": "B. ",
"font": "serif",
"width": 2.449,
"textWidth": 1.609
},
{
"text": "Wu, ",
"font": "serif",
"width": 4.307,
"textWidth": 3.372
},
{
"text": "Q. ",
"font": "serif",
"width": 2.778,
"textWidth": 1.937
},
{
"text": "Min, ",
"font": "serif",
"width": 4.802,
"textWidth": 3.868
},
{
"text": "and ",
"font": "serif",
"width": 4.004,
"textWidth": 3.165
},
{
"text": "X. ",
"font": "serif",
"width": 2.555,
"textWidth": 1.714
},
{
"text": "Zhou. ",
"font": "serif",
"width": 6.83,
"textWidth": 4.95
},
{
"text": "Hyper- ",
"font": "serif",
"width": 5.941,
"textWidth": 5.941
}
]
},
{
"left": 13.727,
"top": 49.595,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "connections. ",
"font": "serif",
"width": 10.65,
"textWidth": 9.991
},
{
"text": "In ",
"font": "serif",
"width": 2.129,
"textWidth": 1.671
},
{
"text": "The ",
"font": "serif",
"width": 3.526,
"textWidth": 3.068
},
{
"text": "Thirteenth ",
"font": "serif",
"width": 8.988,
"textWidth": 8.531
},
{
"text": "International ",
"font": "serif",
"width": 10.971,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.639,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.525,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.781,
"textWidth": 7.323
},
{
"text": "Representations, ",
"font": "serif",
"width": 13.898,
"textWidth": 13.44
},
{
"text": "ICLR ",
"font": "serif",
"width": 4.261,
"textWidth": 4.261
}
]
},
{
"left": 13.727,
"top": 51.204,
"width": 50.628,
"height": 1.296,
"words": [
{
"text": "2025, ",
"font": "serif",
"width": 4.581,
"textWidth": 4.123
},
{
"text": "Singapore, ",
"font": "serif",
"width": 9.084,
"textWidth": 8.626
},
{
"text": "April ",
"font": "serif",
"width": 4.775,
"textWidth": 4.318
},
{
"text": "24-28, ",
"font": "serif",
"width": 5.191,
"textWidth": 4.734
},
{
"text": "2025. ",
"font": "serif",
"width": 4.572,
"textWidth": 4.114
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 14.03,
"textWidth": 13.572
},
{
"text": "2025. ",
"font": "serif",
"width": 4.7,
"textWidth": 4.041
},
{
"text": "URL ",
"font": "serif",
"width": 3.694,
"textWidth": 3.694
}
]
},
{
"left": 64.812,
"top": 51.025,
"width": 23.284,
"height": 1.425,
"words": [
{
"text": "https://openreview.net ",
"font": "mono",
"width": 23.284,
"textWidth": 23.284
}
]
},
{
"left": 13.621,
"top": 52.635,
"width": 21.167,
"height": 1.425,
"words": [
{
"text": "/forum?id=9FqARW7dwB ",
"font": "mono",
"width": 21.167,
"textWidth": 21.167
}
]
},
{
"left": 11.905,
"top": 55.488,
"width": 76.267,
"height": 1.296,
"words": [
{
"text": "X. ",
"font": "serif",
"width": 2.129,
"textWidth": 1.67
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.29,
"textWidth": 3.829
},
{
"text": "D. ",
"font": "serif",
"width": 2.324,
"textWidth": 1.865
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.212,
"textWidth": 5.753
},
{
"text": "H. ",
"font": "serif",
"width": 2.432,
"textWidth": 1.971
},
{
"text": "Li, ",
"font": "serif",
"width": 2.558,
"textWidth": 2.099
},
{
"text": "K. ",
"font": "serif",
"width": 2.237,
"textWidth": 1.778
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.175,
"textWidth": 5.714
},
{
"text": "E. ",
"font": "serif",
"width": 2.027,
"textWidth": 1.568
},
{
"text": "Hua, ",
"font": "serif",
"width": 4.439,
"textWidth": 3.98
},
{
"text": "X. ",
"font": "serif",
"width": 2.129,
"textWidth": 1.67
},
{
"text": "Lv, ",
"font": "serif",
"width": 2.854,
"textWidth": 2.395
},
{
"text": "N. ",
"font": "serif",
"width": 2.428,
"textWidth": 1.969
},
{
"text": "Ding, ",
"font": "serif",
"width": 4.929,
"textWidth": 4.468
},
{
"text": "Z. ",
"font": "serif",
"width": 2.129,
"textWidth": 1.67
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.618,
"textWidth": 3.159
},
{
"text": "Z. ",
"font": "serif",
"width": 2.131,
"textWidth": 1.67
},
{
"text": "Zheng, ",
"font": "serif",
"width": 6.135,
"textWidth": 5.676
},
{
"text": "and ",
"font": "serif",
"width": 3.543,
"textWidth": 3.084
},
{
"text": "B. ",
"font": "serif",
"width": 2.029,
"textWidth": 1.568
},
{
"text": "Zhou. ",
"font": "serif",
"width": 5.487,
"textWidth": 4.824
},
{
"text": "How ",
"font": "serif",
"width": 4.029,
"textWidth": 4.029
}
]
},
{
"left": 13.727,
"top": 57.097,
"width": 69.813,
"height": 1.296,
"words": [
{
"text": "to ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "synthesize ",
"font": "serif",
"width": 8.967,
"textWidth": 8.509
},
{
"text": "text ",
"font": "serif",
"width": 3.476,
"textWidth": 3.018
},
{
"text": "data ",
"font": "serif",
"width": 4.008,
"textWidth": 3.55
},
{
"text": "without ",
"font": "serif",
"width": 6.887,
"textWidth": 6.429
},
{
"text": "model ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "collapse? ",
"font": "serif",
"width": 8.136,
"textWidth": 7.367
},
{
"text": "arXiv ",
"font": "serif",
"width": 4.889,
"textWidth": 4.431
},
{
"text": "preprint ",
"font": "serif",
"width": 7.151,
"textWidth": 6.693
},
{
"text": "arXiv:2412.14689, ",
"font": "serif",
"width": 14.511,
"textWidth": 14.052
},
{
"text": "2024. ",
"font": "serif",
"width": 4.123,
"textWidth": 4.123
}
]
},
{
"left": 11.905,
"top": 59.771,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "T. ",
"font": "serif",
"width": 1.894,
"textWidth": 1.437
},
{
"text": "Y. ",
"font": "serif",
"width": 1.924,
"textWidth": 1.466
},
{
"text": "Zhuo, ",
"font": "serif",
"width": 5.283,
"textWidth": 4.824
},
{
"text": "M. ",
"font": "serif",
"width": 2.636,
"textWidth": 2.179
},
{
"text": "C. ",
"font": "serif",
"width": 2.204,
"textWidth": 1.747
},
{
"text": "Vu, ",
"font": "serif",
"width": 3.159,
"textWidth": 2.701
},
{
"text": "J. ",
"font": "serif",
"width": 1.519,
"textWidth": 1.062
},
{
"text": "Chim, ",
"font": "serif",
"width": 5.403,
"textWidth": 4.946
},
{
"text": "H. ",
"font": "serif",
"width": 2.43,
"textWidth": 1.971
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.527,
"textWidth": 3.069
},
{
"text": "W. ",
"font": "serif",
"width": 2.567,
"textWidth": 2.108
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.06,
"textWidth": 2.603
},
{
"text": "R. ",
"font": "serif",
"width": 2.131,
"textWidth": 1.672
},
{
"text": "Widyasari, ",
"font": "serif",
"width": 9.134,
"textWidth": 8.675
},
{
"text": "I. ",
"font": "serif",
"width": 1.527,
"textWidth": 1.069
},
{
"text": "N. ",
"font": "serif",
"width": 2.426,
"textWidth": 1.969
},
{
"text": "B. ",
"font": "serif",
"width": 2.026,
"textWidth": 1.568
},
{
"text": "Yusuf, ",
"font": "serif",
"width": 5.54,
"textWidth": 5.082
},
{
"text": "H. ",
"font": "serif",
"width": 2.428,
"textWidth": 1.971
},
{
"text": "Zhan, ",
"font": "serif",
"width": 5.161,
"textWidth": 4.702
},
{
"text": "J. ",
"font": "serif",
"width": 1.519,
"textWidth": 1.062
},
{
"text": "He, ",
"font": "serif",
"width": 3.301,
"textWidth": 2.844
},
{
"text": "I. ",
"font": "serif",
"width": 1.528,
"textWidth": 1.069
},
{
"text": "Paul, ",
"font": "serif",
"width": 4.095,
"textWidth": 4.095
}
]
},
{
"left": 13.727,
"top": 61.381,
"width": 74.597,
"height": 1.296,
"words": [
{
"text": "S. ",
"font": "serif",
"width": 1.955,
"textWidth": 1.449
},
{
"text": "Brunner, ",
"font": "serif",
"width": 7.651,
"textWidth": 7.133
},
{
"text": "C. ",
"font": "serif",
"width": 2.297,
"textWidth": 1.793
},
{
"text": "Gong, ",
"font": "serif",
"width": 5.559,
"textWidth": 5.041
},
{
"text": "J. ",
"font": "serif",
"width": 1.596,
"textWidth": 1.09
},
{
"text": "Hoang, ",
"font": "serif",
"width": 6.623,
"textWidth": 6.105
},
{
"text": "A. ",
"font": "serif",
"width": 2.426,
"textWidth": 1.922
},
{
"text": "R. ",
"font": "serif",
"width": 2.223,
"textWidth": 1.716
},
{
"text": "Zebaze, ",
"font": "serif",
"width": 6.924,
"textWidth": 6.408
},
{
"text": "X. ",
"font": "serif",
"width": 2.221,
"textWidth": 1.714
},
{
"text": "Hong, ",
"font": "serif",
"width": 5.688,
"textWidth": 5.17
},
{
"text": "W. ",
"font": "serif",
"width": 2.673,
"textWidth": 2.166
},
{
"text": "Li, ",
"font": "serif",
"width": 2.671,
"textWidth": 2.153
},
{
"text": "J. ",
"font": "serif",
"width": 1.594,
"textWidth": 1.09
},
{
"text": "Kaddour, ",
"font": "serif",
"width": 8.313,
"textWidth": 7.795
},
{
"text": "M. ",
"font": "serif",
"width": 2.74,
"textWidth": 2.236
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.359,
"textWidth": 2.841
},
{
"text": "Z. ",
"font": "serif",
"width": 2.219,
"textWidth": 1.714
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.864,
"textWidth": 5.864
}
]
},
{
"left": 13.727,
"top": 62.99,
"width": 74.369,
"height": 1.296,
"words": [
{
"text": "P. ",
"font": "serif",
"width": 1.957,
"textWidth": 1.361
},
{
"text": "Yadav, ",
"font": "serif",
"width": 6.041,
"textWidth": 5.41
},
{
"text": "and ",
"font": "serif",
"width": 3.761,
"textWidth": 3.165
},
{
"text": "et ",
"font": "serif",
"width": 2.101,
"textWidth": 1.505
},
{
"text": "al. ",
"font": "serif",
"width": 3.051,
"textWidth": 1.946
},
{
"text": "Bigcodebench: ",
"font": "serif",
"width": 12.861,
"textWidth": 12.016
},
{
"text": "Benchmarking ",
"font": "serif",
"width": 12.675,
"textWidth": 12.077
},
{
"text": "code ",
"font": "serif",
"width": 4.484,
"textWidth": 3.888
},
{
"text": "generation ",
"font": "serif",
"width": 9.449,
"textWidth": 8.853
},
{
"text": "with ",
"font": "serif",
"width": 4.398,
"textWidth": 3.8
},
{
"text": "diverse ",
"font": "serif",
"width": 6.66,
"textWidth": 6.064
},
{
"text": "function ",
"font": "serif",
"width": 6.929,
"textWidth": 6.929
}
]
},
{
"left": 13.727,
"top": 64.6,
"width": 74.368,
"height": 1.296,
"words": [
{
"text": "calls ",
"font": "serif",
"width": 4.357,
"textWidth": 3.645
},
{
"text": "and ",
"font": "serif",
"width": 3.879,
"textWidth": 3.165
},
{
"text": "complex ",
"font": "serif",
"width": 7.741,
"textWidth": 7.028
},
{
"text": "instructions. ",
"font": "serif",
"width": 11.713,
"textWidth": 10.236
},
{
"text": "In ",
"font": "serif",
"width": 2.43,
"textWidth": 1.718
},
{
"text": "The ",
"font": "serif",
"width": 3.781,
"textWidth": 3.068
},
{
"text": "Thirteenth ",
"font": "serif",
"width": 9.244,
"textWidth": 8.531
},
{
"text": "International ",
"font": "serif",
"width": 11.227,
"textWidth": 10.514
},
{
"text": "Conference ",
"font": "serif",
"width": 9.894,
"textWidth": 9.181
},
{
"text": "on ",
"font": "serif",
"width": 2.78,
"textWidth": 2.067
},
{
"text": "Learning ",
"font": "serif",
"width": 7.323,
"textWidth": 7.323
}
]
},
{
"left": 13.727,
"top": 66.209,
"width": 69.676,
"height": 1.296,
"words": [
{
"text": "Representations, ",
"font": "serif",
"width": 13.899,
"textWidth": 13.44
},
{
"text": "ICLR ",
"font": "serif",
"width": 4.719,
"textWidth": 4.261
},
{
"text": "2025, ",
"font": "serif",
"width": 4.582,
"textWidth": 4.123
},
{
"text": "Singapore, ",
"font": "serif",
"width": 9.084,
"textWidth": 8.626
},
{
"text": "April ",
"font": "serif",
"width": 4.776,
"textWidth": 4.318
},
{
"text": "24-28, ",
"font": "serif",
"width": 5.192,
"textWidth": 4.734
},
{
"text": "2025. ",
"font": "serif",
"width": 4.581,
"textWidth": 4.123
},
{
"text": "OpenReview.net, ",
"font": "serif",
"width": 14.298,
"textWidth": 13.839
},
{
"text": "2025. ",
"font": "serif",
"width": 4.778,
"textWidth": 4.119
},
{
"text": "URL ",
"font": "serif",
"width": 3.766,
"textWidth": 3.766
}
]
},
{
"left": 83.862,
"top": 66.03,
"width": 4.233,
"height": 1.425,
"words": [
{
"text": "http ",
"font": "mono",
"width": 4.233,
"textWidth": 4.233
}
]
},
{
"left": 13.727,
"top": 67.64,
"width": 40.217,
"height": 1.425,
"words": [
{
"text": "s://openreview.net/forum?id=YrycTjllL0 ",
"font": "mono",
"width": 40.217,
"textWidth": 40.217
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "53 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"54": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 10.274,
"width": 9.91,
"height": 1.538,
"words": [
{
"text": "Appendix ",
"font": "serif-bold",
"width": 9.91,
"textWidth": 9.91
}
]
},
{
"left": 11.905,
"top": 13.327,
"width": 37.346,
"height": 1.538,
"words": [
{
"text": "A. ",
"font": "serif-bold",
"width": 3.324,
"textWidth": 2.237
},
{
"text": "Author ",
"font": "serif-bold",
"width": 7.676,
"textWidth": 7.132
},
{
"text": "List ",
"font": "serif-bold",
"width": 4.288,
"textWidth": 3.744
},
{
"text": "and ",
"font": "serif-bold",
"width": 4.29,
"textWidth": 3.747
},
{
"text": "Acknowledgment ",
"font": "serif-bold",
"width": 17.767,
"textWidth": 17.767
}
]
},
{
"left": 11.905,
"top": 16.643,
"width": 13.794,
"height": 1.296,
"words": [
{
"text": "A.1. ",
"font": "serif-bold",
"width": 4.175,
"textWidth": 3.258
},
{
"text": "Author ",
"font": "serif-bold",
"width": 6.465,
"textWidth": 6.007
},
{
"text": "List ",
"font": "serif-bold",
"width": 3.154,
"textWidth": 3.154
}
]
},
{
"left": 11.833,
"top": 19.314,
"width": 76.262,
"height": 1.296,
"words": [
{
"text": "Authors ",
"font": "serif",
"width": 7.155,
"textWidth": 6.696
},
{
"text": "are ",
"font": "serif",
"width": 2.941,
"textWidth": 2.485
},
{
"text": "listed ",
"font": "serif",
"width": 4.897,
"textWidth": 4.439
},
{
"text": "alphabetically ",
"font": "serif",
"width": 11.828,
"textWidth": 11.371
},
{
"text": "by ",
"font": "serif",
"width": 2.491,
"textWidth": 2.032
},
{
"text": "their ",
"font": "serif",
"width": 4.255,
"textWidth": 3.799
},
{
"text": "first ",
"font": "serif",
"width": 3.665,
"textWidth": 3.207
},
{
"text": "name. ",
"font": "serif",
"width": 5.505,
"textWidth": 4.937
},
{
"text": "Names ",
"font": "serif",
"width": 6.17,
"textWidth": 5.712
},
{
"text": "marked ",
"font": "serif",
"width": 6.731,
"textWidth": 6.273
},
{
"text": "with ",
"font": "serif",
"width": 5.353,
"textWidth": 3.726
},
{
"text": "denote ",
"font": "serif",
"width": 5.998,
"textWidth": 5.54
},
{
"text": "individuals ",
"font": "serif",
"width": 9.273,
"textWidth": 9.273
}
]
},
{
"left": 11.828,
"top": 20.924,
"width": 28.334,
"height": 1.296,
"words": [
{
"text": "who ",
"font": "serif",
"width": 4.054,
"textWidth": 3.596
},
{
"text": "have ",
"font": "serif",
"width": 4.354,
"textWidth": 3.896
},
{
"text": "departed ",
"font": "serif",
"width": 7.792,
"textWidth": 7.334
},
{
"text": "from ",
"font": "serif",
"width": 4.378,
"textWidth": 3.92
},
{
"text": "our ",
"font": "serif",
"width": 3.288,
"textWidth": 2.83
},
{
"text": "team. ",
"font": "serif",
"width": 4.468,
"textWidth": 4.468
}
]
},
{
"left": 11.905,
"top": 23.317,
"width": 21.22,
"height": 1.296,
"words": [
{
"text": "Research ",
"font": "serif-bold",
"width": 10.264,
"textWidth": 7.683
},
{
"text": "Engineering: ",
"font": "serif-bold",
"width": 10.956,
"textWidth": 10.956
}
]
},
{
"left": 33.803,
"top": 23.338,
"width": 54.521,
"height": 1.296,
"words": [
{
"text": "Anyi ",
"font": "serif",
"width": 4.638,
"textWidth": 4.125
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.367,
"textWidth": 2.841
},
{
"text": "Bangcai ",
"font": "serif",
"width": 7.025,
"textWidth": 6.513
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.768,
"textWidth": 3.241
},
{
"text": "Bing ",
"font": "serif",
"width": 4.325,
"textWidth": 3.813
},
{
"text": "Xue, ",
"font": "serif",
"width": 4.264,
"textWidth": 3.737
},
{
"text": "Bingxuan ",
"font": "serif",
"width": 8.44,
"textWidth": 7.928
},
{
"text": "Wang*, ",
"font": "serif",
"width": 6.483,
"textWidth": 5.957
},
{
"text": "Bingzheng ",
"font": "serif",
"width": 9.371,
"textWidth": 8.858
},
{
"text": "Xu, ",
"font": "serif",
"width": 2.841,
"textWidth": 2.841
}
]
},
{
"left": 11.905,
"top": 24.947,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Bochao ",
"font": "serif",
"width": 6.408,
"textWidth": 5.947
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.783,
"textWidth": 3.321
},
{
"text": "Bowei ",
"font": "serif",
"width": 5.546,
"textWidth": 5.085
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.238,
"textWidth": 5.778
},
{
"text": "Chaofan ",
"font": "serif",
"width": 7.371,
"textWidth": 6.91
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.656,
"textWidth": 3.194
},
{
"text": "Chen ",
"font": "serif",
"width": 4.792,
"textWidth": 4.332
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.448,
"textWidth": 4.988
},
{
"text": "Chengda ",
"font": "serif",
"width": 7.863,
"textWidth": 7.402
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.159,
"textWidth": 2.696
},
{
"text": "Chenggang ",
"font": "serif",
"width": 9.857,
"textWidth": 9.397
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.148,
"textWidth": 4.687
},
{
"text": "Chengqi ",
"font": "serif",
"width": 6.923,
"textWidth": 6.923
}
]
},
{
"left": 11.905,
"top": 26.557,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Deng, ",
"font": "serif",
"width": 5.391,
"textWidth": 4.932
},
{
"text": "Chenhao ",
"font": "serif",
"width": 7.892,
"textWidth": 7.432
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.3,
"textWidth": 2.838
},
{
"text": "Chenze ",
"font": "serif",
"width": 6.68,
"textWidth": 6.22
},
{
"text": "Shao, ",
"font": "serif",
"width": 4.947,
"textWidth": 4.487
},
{
"text": "Chong ",
"font": "serif",
"width": 6.015,
"textWidth": 5.556
},
{
"text": "Ruan*, ",
"font": "serif",
"width": 6.047,
"textWidth": 5.587
},
{
"text": "Conner ",
"font": "serif",
"width": 6.611,
"textWidth": 6.149
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.12,
"textWidth": 3.66
},
{
"text": "Damai ",
"font": "serif",
"width": 5.965,
"textWidth": 5.505
},
{
"text": "Dai, ",
"font": "serif",
"width": 3.849,
"textWidth": 3.389
},
{
"text": "Daya ",
"font": "serif",
"width": 4.811,
"textWidth": 4.351
},
{
"text": "Guo*, ",
"font": "serif",
"width": 5.225,
"textWidth": 4.764
},
{
"text": "Dejian ",
"font": "serif",
"width": 5.341,
"textWidth": 5.341
}
]
},
{
"left": 11.844,
"top": 28.166,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "Yang, ",
"font": "serif",
"width": 5.226,
"textWidth": 4.608
},
{
"text": "Deli ",
"font": "serif",
"width": 4.017,
"textWidth": 3.43
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.484,
"textWidth": 4.864
},
{
"text": "Donghao ",
"font": "serif",
"width": 8.225,
"textWidth": 7.638
},
{
"text": "Li, ",
"font": "serif",
"width": 2.772,
"textWidth": 2.153
},
{
"text": "Erhang ",
"font": "serif",
"width": 6.585,
"textWidth": 5.997
},
{
"text": "Li, ",
"font": "serif",
"width": 2.772,
"textWidth": 2.153
},
{
"text": "Fangyun ",
"font": "serif",
"width": 7.943,
"textWidth": 7.356
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.86,
"textWidth": 3.241
},
{
"text": "Fangzhou ",
"font": "serif",
"width": 8.858,
"textWidth": 8.271
},
{
"text": "Yuan, ",
"font": "serif",
"width": 5.32,
"textWidth": 4.699
},
{
"text": "Feiyu ",
"font": "serif",
"width": 5.232,
"textWidth": 4.645
},
{
"text": "Xia, ",
"font": "serif",
"width": 3.811,
"textWidth": 3.193
},
{
"text": "Fucong ",
"font": "serif",
"width": 6.144,
"textWidth": 6.144
}
]
},
{
"left": 11.905,
"top": 29.775,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Dai, ",
"font": "serif",
"width": 3.765,
"textWidth": 3.306
},
{
"text": "Guangbo ",
"font": "serif",
"width": 7.931,
"textWidth": 7.474
},
{
"text": "Hao, ",
"font": "serif",
"width": 4.335,
"textWidth": 3.876
},
{
"text": "Guanting ",
"font": "serif",
"width": 8.115,
"textWidth": 7.656
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.197,
"textWidth": 4.74
},
{
"text": "Guoai ",
"font": "serif",
"width": 5.383,
"textWidth": 4.924
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.111,
"textWidth": 3.652
},
{
"text": "Guolai ",
"font": "serif",
"width": 5.911,
"textWidth": 5.454
},
{
"text": "Meng, ",
"font": "serif",
"width": 5.583,
"textWidth": 5.124
},
{
"text": "Guowei ",
"font": "serif",
"width": 6.862,
"textWidth": 6.405
},
{
"text": "Li, ",
"font": "serif",
"width": 2.558,
"textWidth": 2.099
},
{
"text": "Han ",
"font": "serif",
"width": 3.946,
"textWidth": 3.487
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.062,
"textWidth": 2.603
},
{
"text": "Han ",
"font": "serif",
"width": 3.946,
"textWidth": 3.487
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.714,
"textWidth": 5.714
}
]
},
{
"left": 11.905,
"top": 31.385,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Hanwei ",
"font": "serif",
"width": 6.842,
"textWidth": 6.383
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.219,
"textWidth": 2.758
},
{
"text": "Hao ",
"font": "serif",
"width": 3.868,
"textWidth": 3.407
},
{
"text": "Li, ",
"font": "serif",
"width": 2.551,
"textWidth": 2.09
},
{
"text": "Haofen ",
"font": "serif",
"width": 6.395,
"textWidth": 5.935
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.523,
"textWidth": 5.062
},
{
"text": "Haoling ",
"font": "serif",
"width": 6.987,
"textWidth": 6.528
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.152,
"textWidth": 5.691
},
{
"text": "Haoming ",
"font": "serif",
"width": 8.061,
"textWidth": 7.602
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.108,
"textWidth": 3.647
},
{
"text": "Haoran ",
"font": "serif",
"width": 6.548,
"textWidth": 6.087
},
{
"text": "Wei*, ",
"font": "serif",
"width": 4.661,
"textWidth": 4.202
},
{
"text": "Haotian ",
"font": "serif",
"width": 6.951,
"textWidth": 6.49
},
{
"text": "Yuan, ",
"font": "serif",
"width": 4.556,
"textWidth": 4.556
}
]
},
{
"left": 11.905,
"top": 32.994,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Haowei ",
"font": "serif",
"width": 6.659,
"textWidth": 6.254
},
{
"text": "Zhang*, ",
"font": "serif",
"width": 6.747,
"textWidth": 6.333
},
{
"text": "Haowen ",
"font": "serif",
"width": 7.182,
"textWidth": 6.776
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.025,
"textWidth": 3.61
},
{
"text": "Haoyu ",
"font": "serif",
"width": 5.86,
"textWidth": 5.454
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.09,
"textWidth": 4.673
},
{
"text": "Haozhe ",
"font": "serif",
"width": 6.58,
"textWidth": 6.176
},
{
"text": "Ji, ",
"font": "serif",
"width": 1.986,
"textWidth": 1.57
},
{
"text": "Honghui ",
"font": "serif",
"width": 7.574,
"textWidth": 7.169
},
{
"text": "Ding, ",
"font": "serif",
"width": 4.822,
"textWidth": 4.405
},
{
"text": "Hongxuan ",
"font": "serif",
"width": 8.877,
"textWidth": 8.472
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.738,
"textWidth": 4.323
},
{
"text": "Huanqi ",
"font": "serif",
"width": 6.049,
"textWidth": 6.049
}
]
},
{
"left": 11.905,
"top": 34.604,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Cao, ",
"font": "serif",
"width": 4.29,
"textWidth": 3.748
},
{
"text": "Huazuo ",
"font": "serif",
"width": 7.225,
"textWidth": 6.699
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.389,
"textWidth": 3.849
},
{
"text": "Hui ",
"font": "serif",
"width": 3.752,
"textWidth": 3.226
},
{
"text": "Qu, ",
"font": "serif",
"width": 3.606,
"textWidth": 3.064
},
{
"text": "Hui ",
"font": "serif",
"width": 3.752,
"textWidth": 3.226
},
{
"text": "Zeng, ",
"font": "serif",
"width": 5.279,
"textWidth": 4.737
},
{
"text": "J. ",
"font": "serif",
"width": 1.613,
"textWidth": 1.09
},
{
"text": "Yang, ",
"font": "serif",
"width": 5.15,
"textWidth": 4.608
},
{
"text": "J.Q. ",
"font": "serif",
"width": 3.552,
"textWidth": 3.026
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.471,
"textWidth": 3.929
},
{
"text": "Jia ",
"font": "serif",
"width": 2.624,
"textWidth": 2.101
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.219,
"textWidth": 2.677
},
{
"text": "Jialiang ",
"font": "serif",
"width": 6.776,
"textWidth": 6.251
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.754,
"textWidth": 6.212
},
{
"text": "Jiasheng ",
"font": "serif",
"width": 7.528,
"textWidth": 7.004
},
{
"text": "Ye, ",
"font": "serif",
"width": 2.441,
"textWidth": 2.441
}
]
},
{
"left": 11.874,
"top": 36.213,
"width": 76.222,
"height": 1.296,
"words": [
{
"text": "Jiashi ",
"font": "serif",
"width": 4.935,
"textWidth": 4.477
},
{
"text": "Li, ",
"font": "serif",
"width": 2.591,
"textWidth": 2.13
},
{
"text": "Jiaxin ",
"font": "serif",
"width": 5.105,
"textWidth": 4.647
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.271,
"textWidth": 2.811
},
{
"text": "Jiewen ",
"font": "serif",
"width": 6.002,
"textWidth": 5.544
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.576,
"textWidth": 3.116
},
{
"text": "Jin ",
"font": "serif",
"width": 2.689,
"textWidth": 2.23
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.989,
"textWidth": 3.528
},
{
"text": "Jingchang ",
"font": "serif",
"width": 8.643,
"textWidth": 8.184
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.272,
"textWidth": 4.811
},
{
"text": "Jingli ",
"font": "serif",
"width": 4.793,
"textWidth": 4.334
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.357,
"textWidth": 4.896
},
{
"text": "Jingting ",
"font": "serif",
"width": 6.962,
"textWidth": 6.503
},
{
"text": "Xiang, ",
"font": "serif",
"width": 5.723,
"textWidth": 5.263
},
{
"text": "Jingyang ",
"font": "serif",
"width": 7.315,
"textWidth": 7.315
}
]
},
{
"left": 11.844,
"top": 37.822,
"width": 76.479,
"height": 1.296,
"words": [
{
"text": "Yuan, ",
"font": "serif",
"width": 4.984,
"textWidth": 4.528
},
{
"text": "Jingyuan ",
"font": "serif",
"width": 7.677,
"textWidth": 7.219
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.153,
"textWidth": 5.695
},
{
"text": "Jinhua ",
"font": "serif",
"width": 5.671,
"textWidth": 5.213
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.249,
"textWidth": 3.791
},
{
"text": "Jiping ",
"font": "serif",
"width": 5.242,
"textWidth": 4.786
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.035,
"textWidth": 2.577
},
{
"text": "Joseph ",
"font": "serif",
"width": 5.805,
"textWidth": 5.347
},
{
"text": "Sun, ",
"font": "serif",
"width": 3.991,
"textWidth": 3.534
},
{
"text": "Jun ",
"font": "serif",
"width": 3.195,
"textWidth": 2.737
},
{
"text": "Ran*, ",
"font": "serif",
"width": 4.766,
"textWidth": 4.308
},
{
"text": "Junguang ",
"font": "serif",
"width": 8.239,
"textWidth": 7.781
},
{
"text": "Jiang, ",
"font": "serif",
"width": 4.988,
"textWidth": 4.53
},
{
"text": "Junjie ",
"font": "serif",
"width": 5.004,
"textWidth": 4.548
},
{
"text": "Qiu, ",
"font": "serif",
"width": 3.48,
"textWidth": 3.48
}
]
},
{
"left": 11.874,
"top": 39.432,
"width": 76.451,
"height": 1.296,
"words": [
{
"text": "Junlong ",
"font": "serif",
"width": 7.0,
"textWidth": 6.529
},
{
"text": "Li*, ",
"font": "serif",
"width": 3.357,
"textWidth": 2.881
},
{
"text": "Junxiao ",
"font": "serif",
"width": 6.772,
"textWidth": 6.301
},
{
"text": "Song, ",
"font": "serif",
"width": 5.073,
"textWidth": 4.597
},
{
"text": "Kai ",
"font": "serif",
"width": 3.307,
"textWidth": 2.836
},
{
"text": "Dong, ",
"font": "serif",
"width": 5.539,
"textWidth": 5.062
},
{
"text": "Kaige ",
"font": "serif",
"width": 5.241,
"textWidth": 4.77
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.325,
"textWidth": 3.849
},
{
"text": "Kang ",
"font": "serif",
"width": 4.89,
"textWidth": 4.419
},
{
"text": "Guan, ",
"font": "serif",
"width": 5.518,
"textWidth": 5.043
},
{
"text": "Kexing ",
"font": "serif",
"width": 6.361,
"textWidth": 5.888
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.425,
"textWidth": 4.95
},
{
"text": "Kezhao ",
"font": "serif",
"width": 6.703,
"textWidth": 6.23
},
{
"text": "Huang*, ",
"font": "serif",
"width": 6.939,
"textWidth": 6.939
}
]
},
{
"left": 11.905,
"top": 41.041,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Kuai ",
"font": "serif",
"width": 4.481,
"textWidth": 3.963
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.21,
"textWidth": 2.677
},
{
"text": "Lean ",
"font": "serif",
"width": 4.58,
"textWidth": 4.06
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.763,
"textWidth": 5.228
},
{
"text": "Lecong ",
"font": "serif",
"width": 6.533,
"textWidth": 6.015
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.397,
"textWidth": 5.864
},
{
"text": "Lei ",
"font": "serif",
"width": 3.101,
"textWidth": 2.581
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.763,
"textWidth": 5.23
},
{
"text": "Li ",
"font": "serif",
"width": 2.204,
"textWidth": 1.686
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.397,
"textWidth": 5.864
},
{
"text": "Liang ",
"font": "serif",
"width": 5.268,
"textWidth": 4.748
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.29,
"textWidth": 4.757
},
{
"text": "Lihua ",
"font": "serif",
"width": 5.354,
"textWidth": 4.836
},
{
"text": "Guo, ",
"font": "serif",
"width": 4.576,
"textWidth": 4.041
},
{
"text": "Lingxiao ",
"font": "serif",
"width": 7.277,
"textWidth": 7.277
}
]
},
{
"left": 11.905,
"top": 42.65,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Luo, ",
"font": "serif",
"width": 4.423,
"textWidth": 3.757
},
{
"text": "Linwang ",
"font": "serif",
"width": 8.019,
"textWidth": 7.395
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.836,
"textWidth": 3.17
},
{
"text": "Litong ",
"font": "serif",
"width": 6.068,
"textWidth": 5.443
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.894,
"textWidth": 5.228
},
{
"text": "Liyu ",
"font": "serif",
"width": 4.477,
"textWidth": 3.853
},
{
"text": "Cai, ",
"font": "serif",
"width": 3.937,
"textWidth": 3.271
},
{
"text": "Liyue ",
"font": "serif",
"width": 5.372,
"textWidth": 4.748
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.529,
"textWidth": 5.864
},
{
"text": "Longhao ",
"font": "serif",
"width": 7.957,
"textWidth": 7.333
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.529,
"textWidth": 4.864
},
{
"text": "M.S. ",
"font": "serif",
"width": 4.307,
"textWidth": 3.684
},
{
"text": "Di, ",
"font": "serif",
"width": 3.124,
"textWidth": 2.458
},
{
"text": "M.Y ",
"font": "serif",
"width": 4.107,
"textWidth": 3.482
},
{
"text": "Xu, ",
"font": "serif",
"width": 2.841,
"textWidth": 2.841
}
]
},
{
"left": 11.905,
"top": 44.26,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Max ",
"font": "serif",
"width": 4.101,
"textWidth": 3.642
},
{
"text": "Mei, ",
"font": "serif",
"width": 4.11,
"textWidth": 3.65
},
{
"text": "Mingchuan ",
"font": "serif",
"width": 9.9,
"textWidth": 9.442
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.284,
"textWidth": 5.824
},
{
"text": "Minghua ",
"font": "serif",
"width": 7.996,
"textWidth": 7.537
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.284,
"textWidth": 5.824
},
{
"text": "Minghui ",
"font": "serif",
"width": 7.608,
"textWidth": 7.147
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.934,
"textWidth": 4.474
},
{
"text": "Mingxu ",
"font": "serif",
"width": 6.945,
"textWidth": 6.485
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.374,
"textWidth": 4.916
},
{
"text": "Panpan ",
"font": "serif",
"width": 6.715,
"textWidth": 6.254
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.169,
"textWidth": 6.169
}
]
},
{
"left": 11.905,
"top": 45.869,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Peixin ",
"font": "serif",
"width": 5.527,
"textWidth": 5.069
},
{
"text": "Cong, ",
"font": "serif",
"width": 5.305,
"textWidth": 4.848
},
{
"text": "Peiyi ",
"font": "serif",
"width": 4.533,
"textWidth": 4.074
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.588,
"textWidth": 5.129
},
{
"text": "Qiancheng ",
"font": "serif",
"width": 9.266,
"textWidth": 8.809
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.588,
"textWidth": 5.129
},
{
"text": "Qihao ",
"font": "serif",
"width": 5.419,
"textWidth": 4.962
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.315,
"textWidth": 3.856
},
{
"text": "Qingyang ",
"font": "serif",
"width": 8.547,
"textWidth": 8.088
},
{
"text": "Li, ",
"font": "serif",
"width": 2.57,
"textWidth": 2.113
},
{
"text": "Qinyu ",
"font": "serif",
"width": 5.628,
"textWidth": 5.169
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.232,
"textWidth": 4.773
},
{
"text": "Qiushi ",
"font": "serif",
"width": 5.918,
"textWidth": 5.461
},
{
"text": "Du, ",
"font": "serif",
"width": 2.985,
"textWidth": 2.985
}
]
},
{
"left": 11.905,
"top": 47.479,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Qiwei ",
"font": "serif",
"width": 5.361,
"textWidth": 4.903
},
{
"text": "Jiang, ",
"font": "serif",
"width": 5.052,
"textWidth": 4.594
},
{
"text": "Rui ",
"font": "serif",
"width": 3.312,
"textWidth": 2.857
},
{
"text": "Tian, ",
"font": "serif",
"width": 4.446,
"textWidth": 3.989
},
{
"text": "Ruifan ",
"font": "serif",
"width": 5.902,
"textWidth": 5.445
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.237,
"textWidth": 2.78
},
{
"text": "Ruijie ",
"font": "serif",
"width": 5.15,
"textWidth": 4.693
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.135,
"textWidth": 2.678
},
{
"text": "Ruiling ",
"font": "serif",
"width": 6.458,
"textWidth": 6.003
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.237,
"textWidth": 2.78
},
{
"text": "Ruiqi ",
"font": "serif",
"width": 4.87,
"textWidth": 4.413
},
{
"text": "Ge, ",
"font": "serif",
"width": 3.186,
"textWidth": 2.729
},
{
"text": "Ruisong ",
"font": "serif",
"width": 7.169,
"textWidth": 6.712
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.195,
"textWidth": 5.737
},
{
"text": "Ruizhe ",
"font": "serif",
"width": 6.167,
"textWidth": 5.712
},
{
"text": "Pan, ",
"font": "serif",
"width": 3.541,
"textWidth": 3.541
}
]
},
{
"left": 11.905,
"top": 49.088,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Runji ",
"font": "serif",
"width": 4.887,
"textWidth": 4.432
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.67,
"textWidth": 5.215
},
{
"text": "Runqian ",
"font": "serif",
"width": 7.511,
"textWidth": 7.056
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.304,
"textWidth": 4.85
},
{
"text": "Runqiu ",
"font": "serif",
"width": 6.618,
"textWidth": 6.163
},
{
"text": "Yin, ",
"font": "serif",
"width": 3.692,
"textWidth": 3.235
},
{
"text": "Runxin ",
"font": "serif",
"width": 6.497,
"textWidth": 6.042
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.288,
"textWidth": 2.833
},
{
"text": "Ruomeng ",
"font": "serif",
"width": 8.501,
"textWidth": 8.046
},
{
"text": "Shen, ",
"font": "serif",
"width": 4.961,
"textWidth": 4.507
},
{
"text": "Ruoyu ",
"font": "serif",
"width": 6.001,
"textWidth": 5.547
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.303,
"textWidth": 5.847
},
{
"text": "S.H. ",
"font": "serif",
"width": 3.916,
"textWidth": 3.461
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.271,
"textWidth": 3.271
}
]
},
{
"left": 11.905,
"top": 50.697,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Shanghao ",
"font": "serif",
"width": 8.526,
"textWidth": 8.07
},
{
"text": "Lu, ",
"font": "serif",
"width": 3.159,
"textWidth": 2.702
},
{
"text": "Shangyan ",
"font": "serif",
"width": 8.546,
"textWidth": 8.089
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.343,
"textWidth": 4.887
},
{
"text": "Shanhuang ",
"font": "serif",
"width": 9.707,
"textWidth": 9.249
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.258,
"textWidth": 4.802
},
{
"text": "Shaofei ",
"font": "serif",
"width": 6.466,
"textWidth": 6.009
},
{
"text": "Cai, ",
"font": "serif",
"width": 3.685,
"textWidth": 3.23
},
{
"text": "Shaoheng ",
"font": "serif",
"width": 8.489,
"textWidth": 8.031
},
{
"text": "Nie, ",
"font": "serif",
"width": 3.872,
"textWidth": 3.416
},
{
"text": "Shaoyuan ",
"font": "serif",
"width": 8.567,
"textWidth": 8.109
},
{
"text": "Chen, ",
"font": "serif",
"width": 4.802,
"textWidth": 4.802
}
]
},
{
"left": 11.905,
"top": 52.307,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Shengding ",
"font": "serif",
"width": 9.352,
"textWidth": 8.896
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.602,
"textWidth": 3.147
},
{
"text": "Shengyu ",
"font": "serif",
"width": 7.705,
"textWidth": 7.251
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.733,
"textWidth": 3.277
},
{
"text": "Shiqiang ",
"font": "serif",
"width": 7.714,
"textWidth": 7.259
},
{
"text": "Hu, ",
"font": "serif",
"width": 3.602,
"textWidth": 3.147
},
{
"text": "Shirong ",
"font": "serif",
"width": 6.915,
"textWidth": 6.459
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.623,
"textWidth": 3.167
},
{
"text": "Shiyu ",
"font": "serif",
"width": 5.231,
"textWidth": 4.775
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.679,
"textWidth": 5.223
},
{
"text": "Shuiping ",
"font": "serif",
"width": 7.983,
"textWidth": 7.528
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.13,
"textWidth": 2.674
},
{
"text": "Shunfeng ",
"font": "serif",
"width": 7.922,
"textWidth": 7.922
}
]
},
{
"left": 11.905,
"top": 53.916,
"width": 76.419,
"height": 1.296,
"words": [
{
"text": "Zhou, ",
"font": "serif",
"width": 5.412,
"textWidth": 4.95
},
{
"text": "Shuting ",
"font": "serif",
"width": 6.939,
"textWidth": 6.477
},
{
"text": "Pan, ",
"font": "serif",
"width": 4.081,
"textWidth": 3.619
},
{
"text": "Shuying ",
"font": "serif",
"width": 7.367,
"textWidth": 6.907
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.138,
"textWidth": 2.677
},
{
"text": "Songyang ",
"font": "serif",
"width": 8.692,
"textWidth": 8.23
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.412,
"textWidth": 4.95
},
{
"text": "Tao ",
"font": "serif",
"width": 3.395,
"textWidth": 2.933
},
{
"text": "Ni, ",
"font": "serif",
"width": 3.026,
"textWidth": 2.565
},
{
"text": "Tao ",
"font": "serif",
"width": 3.393,
"textWidth": 2.931
},
{
"text": "Yun, ",
"font": "serif",
"width": 4.226,
"textWidth": 3.765
},
{
"text": "Tian ",
"font": "serif",
"width": 4.073,
"textWidth": 3.611
},
{
"text": "Jin, ",
"font": "serif",
"width": 3.183,
"textWidth": 2.722
},
{
"text": "Tian ",
"font": "serif",
"width": 4.073,
"textWidth": 3.611
},
{
"text": "Pei, ",
"font": "serif",
"width": 3.497,
"textWidth": 3.036
},
{
"text": "Tian ",
"font": "serif",
"width": 4.071,
"textWidth": 3.611
},
{
"text": "Ye, ",
"font": "serif",
"width": 2.441,
"textWidth": 2.441
}
]
},
{
"left": 11.848,
"top": 55.525,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Tianle ",
"font": "serif",
"width": 5.424,
"textWidth": 4.965
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.645,
"textWidth": 3.187
},
{
"text": "Tianran ",
"font": "serif",
"width": 6.724,
"textWidth": 6.264
},
{
"text": "Ji, ",
"font": "serif",
"width": 2.064,
"textWidth": 1.607
},
{
"text": "Tianyi ",
"font": "serif",
"width": 5.566,
"textWidth": 5.106
},
{
"text": "Cui, ",
"font": "serif",
"width": 3.864,
"textWidth": 3.406
},
{
"text": "Tianyuan ",
"font": "serif",
"width": 8.128,
"textWidth": 7.67
},
{
"text": "Yue, ",
"font": "serif",
"width": 3.968,
"textWidth": 3.509
},
{
"text": "Tingting ",
"font": "serif",
"width": 7.336,
"textWidth": 6.878
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.088,
"textWidth": 2.63
},
{
"text": "Tun ",
"font": "serif",
"width": 3.599,
"textWidth": 3.141
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.599,
"textWidth": 5.139
},
{
"text": "W. ",
"font": "serif",
"width": 2.588,
"textWidth": 2.129
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.224,
"textWidth": 5.766
},
{
"text": "Wangding ",
"font": "serif",
"width": 8.43,
"textWidth": 8.43
}
]
},
{
"left": 11.905,
"top": 57.135,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Zeng, ",
"font": "serif",
"width": 5.099,
"textWidth": 4.639
},
{
"text": "Weilin ",
"font": "serif",
"width": 5.663,
"textWidth": 5.203
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.119,
"textWidth": 4.659
},
{
"text": "Wen ",
"font": "serif",
"width": 4.064,
"textWidth": 3.605
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.674,
"textWidth": 3.213
},
{
"text": "Wenfeng ",
"font": "serif",
"width": 7.634,
"textWidth": 7.175
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.567,
"textWidth": 5.108
},
{
"text": "Wenjie ",
"font": "serif",
"width": 5.902,
"textWidth": 5.443
},
{
"text": "Pang, ",
"font": "serif",
"width": 5.022,
"textWidth": 4.562
},
{
"text": "Wenjing ",
"font": "serif",
"width": 7.109,
"textWidth": 6.649
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.139,
"textWidth": 3.68
},
{
"text": "Wenjing ",
"font": "serif",
"width": 7.109,
"textWidth": 6.649
},
{
"text": "Yao, ",
"font": "serif",
"width": 3.887,
"textWidth": 3.425
},
{
"text": "Wenjun ",
"font": "serif",
"width": 6.201,
"textWidth": 6.201
}
]
},
{
"left": 11.905,
"top": 58.744,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Gao, ",
"font": "serif",
"width": 4.26,
"textWidth": 3.804
},
{
"text": "Wenkai ",
"font": "serif",
"width": 6.584,
"textWidth": 6.127
},
{
"text": "Yang, ",
"font": "serif",
"width": 5.008,
"textWidth": 4.552
},
{
"text": "Wenlve ",
"font": "serif",
"width": 6.562,
"textWidth": 6.105
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.595,
"textWidth": 6.138
},
{
"text": "Wentao ",
"font": "serif",
"width": 6.63,
"textWidth": 6.174
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.251,
"textWidth": 5.795
},
{
"text": "Wenting ",
"font": "serif",
"width": 7.337,
"textWidth": 6.881
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.589,
"textWidth": 3.133
},
{
"text": "Xi ",
"font": "serif",
"width": 2.226,
"textWidth": 1.77
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.262,
"textWidth": 3.804
},
{
"text": "Xiang ",
"font": "serif",
"width": 5.252,
"textWidth": 4.796
},
{
"text": "He, ",
"font": "serif",
"width": 3.34,
"textWidth": 2.884
},
{
"text": "Xiangwen ",
"font": "serif",
"width": 8.296,
"textWidth": 8.296
}
]
},
{
"left": 11.813,
"top": 60.354,
"width": 76.511,
"height": 1.296,
"words": [
{
"text": "Wang, ",
"font": "serif",
"width": 5.714,
"textWidth": 5.23
},
{
"text": "Xiao ",
"font": "serif",
"width": 4.226,
"textWidth": 3.746
},
{
"text": "Bi, ",
"font": "serif",
"width": 2.638,
"textWidth": 2.153
},
{
"text": "Xiaodong ",
"font": "serif",
"width": 8.516,
"textWidth": 8.036
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.765,
"textWidth": 3.281
},
{
"text": "Xiaohan ",
"font": "serif",
"width": 7.337,
"textWidth": 6.856
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.714,
"textWidth": 5.228
},
{
"text": "Xiaokang ",
"font": "serif",
"width": 8.326,
"textWidth": 7.847
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.35,
"textWidth": 4.864
},
{
"text": "Xiaokang ",
"font": "serif",
"width": 8.326,
"textWidth": 7.847
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.35,
"textWidth": 5.864
},
{
"text": "Xiaotao ",
"font": "serif",
"width": 6.789,
"textWidth": 6.311
},
{
"text": "Nie, ",
"font": "serif",
"width": 3.46,
"textWidth": 3.46
}
]
},
{
"left": 11.844,
"top": 61.963,
"width": 76.479,
"height": 1.296,
"words": [
{
"text": "Xin ",
"font": "serif",
"width": 3.274,
"textWidth": 2.817
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.233,
"textWidth": 5.776
},
{
"text": "Xin ",
"font": "serif",
"width": 3.274,
"textWidth": 2.817
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.665,
"textWidth": 3.21
},
{
"text": "Xin ",
"font": "serif",
"width": 3.274,
"textWidth": 2.817
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.543,
"textWidth": 3.085
},
{
"text": "Xingchao ",
"font": "serif",
"width": 8.08,
"textWidth": 7.623
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.667,
"textWidth": 3.21
},
{
"text": "Xingchen ",
"font": "serif",
"width": 8.108,
"textWidth": 7.65
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.667,
"textWidth": 3.21
},
{
"text": "Xingkai ",
"font": "serif",
"width": 6.752,
"textWidth": 6.297
},
{
"text": "Yu, ",
"font": "serif",
"width": 3.073,
"textWidth": 2.615
},
{
"text": "Xingyou ",
"font": "serif",
"width": 7.409,
"textWidth": 6.952
},
{
"text": "Li, ",
"font": "serif",
"width": 2.564,
"textWidth": 2.107
},
{
"text": "Xinyu ",
"font": "serif",
"width": 5.394,
"textWidth": 4.936
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.503,
"textWidth": 4.503
}
]
},
{
"left": 11.844,
"top": 63.572,
"width": 76.48,
"height": 1.296,
"words": [
{
"text": "Xu ",
"font": "serif",
"width": 2.798,
"textWidth": 2.339
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.249,
"textWidth": 4.79
},
{
"text": "Xuanyu ",
"font": "serif",
"width": 6.925,
"textWidth": 6.466
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.608,
"textWidth": 5.15
},
{
"text": "Xuecheng ",
"font": "serif",
"width": 8.546,
"textWidth": 8.087
},
{
"text": "Su, ",
"font": "serif",
"width": 2.997,
"textWidth": 2.538
},
{
"text": "Xuheng ",
"font": "serif",
"width": 6.846,
"textWidth": 6.389
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.652,
"textWidth": 3.194
},
{
"text": "Xuwei ",
"font": "serif",
"width": 5.75,
"textWidth": 5.293
},
{
"text": "Fu, ",
"font": "serif",
"width": 3.054,
"textWidth": 2.595
},
{
"text": "Y.C. ",
"font": "serif",
"width": 3.709,
"textWidth": 3.251
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.971,
"textWidth": 3.512
},
{
"text": "Y.Q. ",
"font": "serif",
"width": 3.851,
"textWidth": 3.393
},
{
"text": "Wang*, ",
"font": "serif",
"width": 6.325,
"textWidth": 5.866
},
{
"text": "Y.W. ",
"font": "serif",
"width": 4.076,
"textWidth": 3.619
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.124,
"textWidth": 3.124
}
]
},
{
"left": 11.844,
"top": 65.182,
"width": 76.48,
"height": 1.296,
"words": [
{
"text": "Yanfeng ",
"font": "serif",
"width": 7.183,
"textWidth": 6.726
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.205,
"textWidth": 3.746
},
{
"text": "Yang ",
"font": "serif",
"width": 4.585,
"textWidth": 4.126
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.303,
"textWidth": 5.847
},
{
"text": "Yanhong ",
"font": "serif",
"width": 7.772,
"textWidth": 7.315
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.291,
"textWidth": 2.833
},
{
"text": "Yanru ",
"font": "serif",
"width": 5.394,
"textWidth": 4.935
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.618,
"textWidth": 3.161
},
{
"text": "Yanwen ",
"font": "serif",
"width": 7.08,
"textWidth": 6.624
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.652,
"textWidth": 6.193
},
{
"text": "Yao ",
"font": "serif",
"width": 3.482,
"textWidth": 3.025
},
{
"text": "Li, ",
"font": "serif",
"width": 2.606,
"textWidth": 2.147
},
{
"text": "Yao ",
"font": "serif",
"width": 3.482,
"textWidth": 3.023
},
{
"text": "Li, ",
"font": "serif",
"width": 2.604,
"textWidth": 2.147
},
{
"text": "Yao ",
"font": "serif",
"width": 3.482,
"textWidth": 3.025
},
{
"text": "Zhao, ",
"font": "serif",
"width": 4.743,
"textWidth": 4.743
}
]
},
{
"left": 11.844,
"top": 66.791,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "Yaofeng ",
"font": "serif",
"width": 6.821,
"textWidth": 6.41
},
{
"text": "Sun, ",
"font": "serif",
"width": 3.94,
"textWidth": 3.52
},
{
"text": "Yaohui ",
"font": "serif",
"width": 5.97,
"textWidth": 5.558
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.438,
"textWidth": 5.018
},
{
"text": "Yi ",
"font": "serif",
"width": 2.029,
"textWidth": 1.62
},
{
"text": "Qian, ",
"font": "serif",
"width": 4.747,
"textWidth": 4.326
},
{
"text": "Yi ",
"font": "serif",
"width": 2.031,
"textWidth": 1.62
},
{
"text": "Yu, ",
"font": "serif",
"width": 2.985,
"textWidth": 2.565
},
{
"text": "Yichao ",
"font": "serif",
"width": 5.752,
"textWidth": 5.341
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.054,
"textWidth": 5.634
},
{
"text": "Yifan ",
"font": "serif",
"width": 4.571,
"textWidth": 4.159
},
{
"text": "Ding, ",
"font": "serif",
"width": 4.826,
"textWidth": 4.405
},
{
"text": "Yifan ",
"font": "serif",
"width": 4.573,
"textWidth": 4.161
},
{
"text": "Shi, ",
"font": "serif",
"width": 3.38,
"textWidth": 2.96
},
{
"text": "Yijia ",
"font": "serif",
"width": 3.87,
"textWidth": 3.459
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.657,
"textWidth": 3.236
},
{
"text": "Yiliang ",
"font": "serif",
"width": 5.607,
"textWidth": 5.607
}
]
},
{
"left": 11.844,
"top": 68.401,
"width": 76.481,
"height": 1.296,
"words": [
{
"text": "Xiong, ",
"font": "serif",
"width": 5.612,
"textWidth": 5.194
},
{
"text": "Ying ",
"font": "serif",
"width": 4.073,
"textWidth": 3.664
},
{
"text": "He, ",
"font": "serif",
"width": 3.222,
"textWidth": 2.803
},
{
"text": "Ying ",
"font": "serif",
"width": 4.073,
"textWidth": 3.664
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.174,
"textWidth": 4.756
},
{
"text": "Yingjia ",
"font": "serif",
"width": 5.914,
"textWidth": 5.505
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.03,
"textWidth": 3.61
},
{
"text": "Yinmin ",
"font": "serif",
"width": 6.227,
"textWidth": 5.817
},
{
"text": "Zhong, ",
"font": "serif",
"width": 6.137,
"textWidth": 5.717
},
{
"text": "Yishi ",
"font": "serif",
"width": 4.357,
"textWidth": 3.948
},
{
"text": "Piao, ",
"font": "serif",
"width": 4.355,
"textWidth": 3.935
},
{
"text": "Yisong ",
"font": "serif",
"width": 5.814,
"textWidth": 5.404
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.438,
"textWidth": 5.018
},
{
"text": "Yixiang ",
"font": "serif",
"width": 6.421,
"textWidth": 6.011
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.634,
"textWidth": 5.634
}
]
},
{
"left": 11.844,
"top": 70.01,
"width": 76.481,
"height": 1.296,
"words": [
{
"text": "Yixiao ",
"font": "serif",
"width": 5.553,
"textWidth": 5.096
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.268,
"textWidth": 4.811
},
{
"text": "Yixuan ",
"font": "serif",
"width": 6.196,
"textWidth": 5.74
},
{
"text": "Tan, ",
"font": "serif",
"width": 3.885,
"textWidth": 3.428
},
{
"text": "Yixuan ",
"font": "serif",
"width": 6.196,
"textWidth": 5.74
},
{
"text": "Wei, ",
"font": "serif",
"width": 4.022,
"textWidth": 3.567
},
{
"text": "Yiyang ",
"font": "serif",
"width": 6.183,
"textWidth": 5.729
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.593,
"textWidth": 3.136
},
{
"text": "Yiyuan ",
"font": "serif",
"width": 6.27,
"textWidth": 5.815
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.702,
"textWidth": 3.245
},
{
"text": "Yonglun ",
"font": "serif",
"width": 7.365,
"textWidth": 6.908
},
{
"text": "Yang, ",
"font": "serif",
"width": 5.011,
"textWidth": 4.554
},
{
"text": "Yongqiang ",
"font": "serif",
"width": 9.238,
"textWidth": 8.781
},
{
"text": "Guo, ",
"font": "serif",
"width": 3.998,
"textWidth": 3.998
}
]
},
{
"left": 11.844,
"top": 71.619,
"width": 76.251,
"height": 1.296,
"words": [
{
"text": "Yongtong ",
"font": "serif",
"width": 8.361,
"textWidth": 7.904
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.794,
"textWidth": 3.337
},
{
"text": "Yu ",
"font": "serif",
"width": 2.643,
"textWidth": 2.186
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.794,
"textWidth": 3.337
},
{
"text": "Yuan ",
"font": "serif",
"width": 4.646,
"textWidth": 4.189
},
{
"text": "Cheng, ",
"font": "serif",
"width": 6.302,
"textWidth": 5.845
},
{
"text": "Yuan ",
"font": "serif",
"width": 4.644,
"textWidth": 4.189
},
{
"text": "Ou, ",
"font": "serif",
"width": 3.491,
"textWidth": 3.034
},
{
"text": "Yuanfan ",
"font": "serif",
"width": 7.265,
"textWidth": 6.808
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.271,
"textWidth": 2.813
},
{
"text": "Yuanhao ",
"font": "serif",
"width": 7.659,
"textWidth": 7.202
},
{
"text": "Li, ",
"font": "serif",
"width": 2.588,
"textWidth": 2.132
},
{
"text": "Yuduan ",
"font": "serif",
"width": 6.893,
"textWidth": 6.436
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.634,
"textWidth": 5.177
},
{
"text": "Yuhan ",
"font": "serif",
"width": 5.266,
"textWidth": 5.266
}
]
},
{
"left": 11.813,
"top": 73.229,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "Wu, ",
"font": "serif",
"width": 3.862,
"textWidth": 3.372
},
{
"text": "Yuhao ",
"font": "serif",
"width": 5.735,
"textWidth": 5.253
},
{
"text": "Meng, ",
"font": "serif",
"width": 5.748,
"textWidth": 5.258
},
{
"text": "Yuheng ",
"font": "serif",
"width": 6.802,
"textWidth": 6.32
},
{
"text": "Zou, ",
"font": "serif",
"width": 4.352,
"textWidth": 3.862
},
{
"text": "YuKun ",
"font": "serif",
"width": 6.264,
"textWidth": 5.782
},
{
"text": "Li, ",
"font": "serif",
"width": 2.643,
"textWidth": 2.153
},
{
"text": "Yunfan ",
"font": "serif",
"width": 6.425,
"textWidth": 5.942
},
{
"text": "Xiong, ",
"font": "serif",
"width": 5.896,
"textWidth": 5.406
},
{
"text": "Yupeng ",
"font": "serif",
"width": 6.838,
"textWidth": 6.355
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.354,
"textWidth": 4.864
},
{
"text": "Yuqian ",
"font": "serif",
"width": 6.305,
"textWidth": 5.823
},
{
"text": "Cao, ",
"font": "serif",
"width": 4.238,
"textWidth": 3.748
},
{
"text": "Yuqian ",
"font": "serif",
"width": 5.823,
"textWidth": 5.823
}
]
},
{
"left": 11.813,
"top": 74.838,
"width": 76.282,
"height": 1.296,
"words": [
{
"text": "Wang, ",
"font": "serif",
"width": 5.543,
"textWidth": 5.086
},
{
"text": "Yushun ",
"font": "serif",
"width": 6.589,
"textWidth": 6.134
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.165,
"textWidth": 5.709
},
{
"text": "Yutong ",
"font": "serif",
"width": 6.26,
"textWidth": 5.803
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.612,
"textWidth": 3.156
},
{
"text": "Yuxian ",
"font": "serif",
"width": 6.04,
"textWidth": 5.583
},
{
"text": "Gu, ",
"font": "serif",
"width": 3.398,
"textWidth": 2.941
},
{
"text": "Yuxiang ",
"font": "serif",
"width": 7.052,
"textWidth": 6.595
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.115,
"textWidth": 3.658
},
{
"text": "Yuxiang ",
"font": "serif",
"width": 7.052,
"textWidth": 6.595
},
{
"text": "You, ",
"font": "serif",
"width": 4.047,
"textWidth": 3.59
},
{
"text": "Yuxuan ",
"font": "serif",
"width": 6.608,
"textWidth": 6.151
},
{
"text": "Liu, ",
"font": "serif",
"width": 3.65,
"textWidth": 3.194
},
{
"text": "Yuxuan ",
"font": "serif",
"width": 6.151,
"textWidth": 6.151
}
]
},
{
"left": 11.905,
"top": 76.447,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Zhou, ",
"font": "serif",
"width": 5.381,
"textWidth": 4.926
},
{
"text": "Yuyang ",
"font": "serif",
"width": 6.735,
"textWidth": 6.28
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.381,
"textWidth": 4.926
},
{
"text": "Yuzhen ",
"font": "serif",
"width": 6.641,
"textWidth": 6.183
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.637,
"textWidth": 6.181
},
{
"text": "Z.F. ",
"font": "serif",
"width": 3.493,
"textWidth": 3.036
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.811,
"textWidth": 3.354
},
{
"text": "Zehao ",
"font": "serif",
"width": 5.616,
"textWidth": 5.16
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.658,
"textWidth": 5.203
},
{
"text": "Zehua ",
"font": "serif",
"width": 5.724,
"textWidth": 5.266
},
{
"text": "Zhao, ",
"font": "serif",
"width": 5.19,
"textWidth": 4.734
},
{
"text": "Zehui ",
"font": "serif",
"width": 5.333,
"textWidth": 4.877
},
{
"text": "Ren, ",
"font": "serif",
"width": 4.137,
"textWidth": 3.681
},
{
"text": "Zhangli ",
"font": "serif",
"width": 6.453,
"textWidth": 6.453
}
]
},
{
"left": 11.905,
"top": 78.057,
"width": 76.42,
"height": 1.296,
"words": [
{
"text": "Sha, ",
"font": "serif",
"width": 3.805,
"textWidth": 3.349
},
{
"text": "Zhe ",
"font": "serif",
"width": 3.574,
"textWidth": 3.116
},
{
"text": "Fu, ",
"font": "serif",
"width": 2.997,
"textWidth": 2.541
},
{
"text": "Zhean ",
"font": "serif",
"width": 5.523,
"textWidth": 5.067
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.199,
"textWidth": 2.741
},
{
"text": "Zhenda ",
"font": "serif",
"width": 6.625,
"textWidth": 6.169
},
{
"text": "Xie, ",
"font": "serif",
"width": 3.5,
"textWidth": 3.042
},
{
"text": "Zhengyan ",
"font": "serif",
"width": 8.578,
"textWidth": 8.122
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.113,
"textWidth": 5.657
},
{
"text": "Zhewen ",
"font": "serif",
"width": 6.99,
"textWidth": 6.533
},
{
"text": "Hao, ",
"font": "serif",
"width": 4.295,
"textWidth": 3.837
},
{
"text": "Zhibin ",
"font": "serif",
"width": 5.805,
"textWidth": 5.349
},
{
"text": "Gou, ",
"font": "serif",
"width": 4.357,
"textWidth": 3.899
},
{
"text": "Zhicheng ",
"font": "serif",
"width": 7.999,
"textWidth": 7.543
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.058,
"textWidth": 3.058
}
]
},
{
"left": 11.905,
"top": 79.666,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Zhigang ",
"font": "serif",
"width": 7.192,
"textWidth": 6.733
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.895,
"textWidth": 3.437
},
{
"text": "Zhihong ",
"font": "serif",
"width": 7.321,
"textWidth": 6.863
},
{
"text": "Shao, ",
"font": "serif",
"width": 4.791,
"textWidth": 4.333
},
{
"text": "Zhixian ",
"font": "serif",
"width": 6.642,
"textWidth": 6.183
},
{
"text": "Huang, ",
"font": "serif",
"width": 6.45,
"textWidth": 5.992
},
{
"text": "Zhixuan ",
"font": "serif",
"width": 7.204,
"textWidth": 6.746
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.15,
"textWidth": 4.692
},
{
"text": "Zhiyu ",
"font": "serif",
"width": 5.325,
"textWidth": 4.867
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.709,
"textWidth": 3.251
},
{
"text": "Zhizhou ",
"font": "serif",
"width": 7.258,
"textWidth": 6.8
},
{
"text": "Ren, ",
"font": "serif",
"width": 4.027,
"textWidth": 3.569
},
{
"text": "Zhuoshu ",
"font": "serif",
"width": 7.226,
"textWidth": 7.226
}
]
},
{
"left": 11.905,
"top": 81.275,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Li, ",
"font": "serif",
"width": 2.572,
"textWidth": 2.113
},
{
"text": "Zhuping ",
"font": "serif",
"width": 7.58,
"textWidth": 7.121
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.211,
"textWidth": 5.755
},
{
"text": "Zian ",
"font": "serif",
"width": 4.201,
"textWidth": 3.742
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.247,
"textWidth": 2.788
},
{
"text": "Zihao ",
"font": "serif",
"width": 5.202,
"textWidth": 4.744
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.588,
"textWidth": 5.129
},
{
"text": "Zihui ",
"font": "serif",
"width": 4.924,
"textWidth": 4.465
},
{
"text": "Gu, ",
"font": "serif",
"width": 3.421,
"textWidth": 2.964
},
{
"text": "Zijia ",
"font": "serif",
"width": 4.096,
"textWidth": 3.638
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.315,
"textWidth": 3.856
},
{
"text": "Zilin ",
"font": "serif",
"width": 4.351,
"textWidth": 3.893
},
{
"text": "Li, ",
"font": "serif",
"width": 2.572,
"textWidth": 2.113
},
{
"text": "Zipeng ",
"font": "serif",
"width": 6.285,
"textWidth": 5.826
},
{
"text": "Zhang*, ",
"font": "serif",
"width": 6.925,
"textWidth": 6.466
},
{
"text": "Ziwei ",
"font": "serif",
"width": 4.7,
"textWidth": 4.7
}
]
},
{
"left": 11.844,
"top": 82.885,
"width": 34.554,
"height": 1.296,
"words": [
{
"text": "Xie, ",
"font": "serif",
"width": 3.55,
"textWidth": 3.092
},
{
"text": "Ziyi ",
"font": "serif",
"width": 3.766,
"textWidth": 3.308
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.232,
"textWidth": 3.773
},
{
"text": "Zizheng ",
"font": "serif",
"width": 7.16,
"textWidth": 6.702
},
{
"text": "Pan, ",
"font": "serif",
"width": 4.006,
"textWidth": 3.548
},
{
"text": "Zongqing ",
"font": "serif",
"width": 8.412,
"textWidth": 7.954
},
{
"text": "Yao. ",
"font": "serif",
"width": 3.429,
"textWidth": 3.429
}
]
},
{
"left": 11.905,
"top": 85.278,
"width": 19.93,
"height": 1.296,
"words": [
{
"text": "Business ",
"font": "serif-bold",
"width": 9.605,
"textWidth": 7.281
},
{
"text": "Compliance: ",
"font": "serif-bold",
"width": 10.325,
"textWidth": 10.325
}
]
},
{
"left": 32.379,
"top": 85.299,
"width": 55.946,
"height": 1.296,
"words": [
{
"text": "Chenchen ",
"font": "serif",
"width": 8.387,
"textWidth": 7.972
},
{
"text": "Ling, ",
"font": "serif",
"width": 4.535,
"textWidth": 4.113
},
{
"text": "Chengyu ",
"font": "serif",
"width": 7.717,
"textWidth": 7.304
},
{
"text": "Hou, ",
"font": "serif",
"width": 4.429,
"textWidth": 4.007
},
{
"text": "Dongjie ",
"font": "serif",
"width": 6.632,
"textWidth": 6.218
},
{
"text": "Ji, ",
"font": "serif",
"width": 1.992,
"textWidth": 1.57
},
{
"text": "Fang ",
"font": "serif",
"width": 4.353,
"textWidth": 3.94
},
{
"text": "Wei, ",
"font": "serif",
"width": 3.883,
"textWidth": 3.459
},
{
"text": "Hengqing ",
"font": "serif",
"width": 8.384,
"textWidth": 7.97
},
{
"text": "Zhang, ",
"font": "serif",
"width": 5.634,
"textWidth": 5.634
}
]
},
{
"left": 11.874,
"top": 86.908,
"width": 76.222,
"height": 1.296,
"words": [
{
"text": "Jia ",
"font": "serif",
"width": 2.441,
"textWidth": 2.019
},
{
"text": "Luo, ",
"font": "serif",
"width": 4.039,
"textWidth": 3.61
},
{
"text": "Jia ",
"font": "serif",
"width": 2.439,
"textWidth": 2.019
},
{
"text": "Song, ",
"font": "serif",
"width": 4.845,
"textWidth": 4.416
},
{
"text": "Jialu ",
"font": "serif",
"width": 4.046,
"textWidth": 3.624
},
{
"text": "Cai, ",
"font": "serif",
"width": 3.572,
"textWidth": 3.143
},
{
"text": "Jian ",
"font": "serif",
"width": 3.484,
"textWidth": 3.064
},
{
"text": "Liang, ",
"font": "serif",
"width": 5.44,
"textWidth": 5.011
},
{
"text": "Jiangting ",
"font": "serif",
"width": 7.636,
"textWidth": 7.214
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.185,
"textWidth": 4.756
},
{
"text": "Jieyu ",
"font": "serif",
"width": 4.485,
"textWidth": 4.062
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.849,
"textWidth": 4.42
},
{
"text": "Jin ",
"font": "serif",
"width": 2.586,
"textWidth": 2.164
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.102,
"textWidth": 4.673
},
{
"text": "Jingzi ",
"font": "serif",
"width": 5.007,
"textWidth": 4.585
},
{
"text": "Zhou, ",
"font": "serif",
"width": 5.185,
"textWidth": 4.756
},
{
"text": "Junmin ",
"font": "serif",
"width": 5.88,
"textWidth": 5.88
}
]
},
{
"left": 11.905,
"top": 88.518,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Zheng, ",
"font": "serif",
"width": 6.146,
"textWidth": 5.688
},
{
"text": "Leyi ",
"font": "serif",
"width": 3.992,
"textWidth": 3.536
},
{
"text": "Xia, ",
"font": "serif",
"width": 3.576,
"textWidth": 3.118
},
{
"text": "Linyan ",
"font": "serif",
"width": 6.155,
"textWidth": 5.699
},
{
"text": "Zhu, ",
"font": "serif",
"width": 4.295,
"textWidth": 3.837
},
{
"text": "Miaojun ",
"font": "serif",
"width": 7.214,
"textWidth": 6.757
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.56,
"textWidth": 5.103
},
{
"text": "Mingming ",
"font": "serif",
"width": 9.013,
"textWidth": 8.555
},
{
"text": "Li, ",
"font": "serif",
"width": 2.559,
"textWidth": 2.103
},
{
"text": "Minmin ",
"font": "serif",
"width": 6.984,
"textWidth": 6.525
},
{
"text": "Han, ",
"font": "serif",
"width": 4.406,
"textWidth": 3.95
},
{
"text": "Ning ",
"font": "serif",
"width": 4.583,
"textWidth": 4.125
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.56,
"textWidth": 5.102
},
{
"text": "Panpan ",
"font": "serif",
"width": 6.149,
"textWidth": 6.149
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "54 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"55": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.813,
"top": 10.472,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "Wang, ",
"font": "serif",
"width": 5.739,
"textWidth": 5.23
},
{
"text": "Peng ",
"font": "serif",
"width": 4.649,
"textWidth": 4.152
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.372,
"textWidth": 5.864
},
{
"text": "Ruyi ",
"font": "serif",
"width": 4.456,
"textWidth": 3.959
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.372,
"textWidth": 4.864
},
{
"text": "Shangmian ",
"font": "serif",
"width": 9.847,
"textWidth": 9.348
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.17,
"textWidth": 3.664
},
{
"text": "Shaoqing ",
"font": "serif",
"width": 8.242,
"textWidth": 7.742
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.881,
"textWidth": 3.372
},
{
"text": "W.L. ",
"font": "serif",
"width": 4.275,
"textWidth": 3.776
},
{
"text": "Xiao, ",
"font": "serif",
"width": 4.722,
"textWidth": 4.213
},
{
"text": "Wei ",
"font": "serif",
"width": 3.638,
"textWidth": 3.14
},
{
"text": "An, ",
"font": "serif",
"width": 3.518,
"textWidth": 3.01
},
{
"text": "Wenqing ",
"font": "serif",
"width": 7.402,
"textWidth": 7.402
}
]
},
{
"left": 11.905,
"top": 12.082,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Hou, ",
"font": "serif",
"width": 4.729,
"textWidth": 4.17
},
{
"text": "Xianzu ",
"font": "serif",
"width": 6.413,
"textWidth": 5.875
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.787,
"textWidth": 5.23
},
{
"text": "Xiaowen ",
"font": "serif",
"width": 7.827,
"textWidth": 7.288
},
{
"text": "Sun, ",
"font": "serif",
"width": 4.223,
"textWidth": 3.664
},
{
"text": "Xiaoxiang ",
"font": "serif",
"width": 8.855,
"textWidth": 8.316
},
{
"text": "Wang, ",
"font": "serif",
"width": 5.789,
"textWidth": 5.23
},
{
"text": "Xinyu ",
"font": "serif",
"width": 5.583,
"textWidth": 5.045
},
{
"text": "Zhang, ",
"font": "serif",
"width": 6.421,
"textWidth": 5.864
},
{
"text": "Xueyin ",
"font": "serif",
"width": 6.479,
"textWidth": 5.941
},
{
"text": "Chen, ",
"font": "serif",
"width": 5.423,
"textWidth": 4.864
},
{
"text": "Yao ",
"font": "serif",
"width": 3.572,
"textWidth": 3.034
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.4,
"textWidth": 2.841
},
{
"text": "Yi ",
"font": "serif",
"width": 1.69,
"textWidth": 1.69
}
]
},
{
"left": 11.905,
"top": 13.691,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Shao, ",
"font": "serif",
"width": 4.873,
"textWidth": 4.417
},
{
"text": "Yiling ",
"font": "serif",
"width": 5.277,
"textWidth": 4.821
},
{
"text": "Ma, ",
"font": "serif",
"width": 3.573,
"textWidth": 3.117
},
{
"text": "Ying ",
"font": "serif",
"width": 4.207,
"textWidth": 3.752
},
{
"text": "Tang, ",
"font": "serif",
"width": 4.884,
"textWidth": 4.428
},
{
"text": "Yuehan ",
"font": "serif",
"width": 6.564,
"textWidth": 6.108
},
{
"text": "Yang, ",
"font": "serif",
"width": 4.983,
"textWidth": 4.527
},
{
"text": "Yuer ",
"font": "serif",
"width": 4.231,
"textWidth": 3.775
},
{
"text": "Xu, ",
"font": "serif",
"width": 3.25,
"textWidth": 2.794
},
{
"text": "Yukun ",
"font": "serif",
"width": 5.825,
"textWidth": 5.369
},
{
"text": "Zha, ",
"font": "serif",
"width": 4.13,
"textWidth": 3.674
},
{
"text": "Yuping ",
"font": "serif",
"width": 6.354,
"textWidth": 5.9
},
{
"text": "Lin, ",
"font": "serif",
"width": 3.643,
"textWidth": 3.187
},
{
"text": "Yuting ",
"font": "serif",
"width": 5.851,
"textWidth": 5.397
},
{
"text": "Yan, ",
"font": "serif",
"width": 3.963,
"textWidth": 3.507
},
{
"text": "Zekai ",
"font": "serif",
"width": 4.581,
"textWidth": 4.581
}
]
},
{
"left": 11.905,
"top": 15.3,
"width": 51.309,
"height": 1.296,
"words": [
{
"text": "Zhang, ",
"font": "serif",
"width": 6.207,
"textWidth": 5.749
},
{
"text": "Zhe ",
"font": "serif",
"width": 3.625,
"textWidth": 3.167
},
{
"text": "Ju, ",
"font": "serif",
"width": 2.632,
"textWidth": 2.173
},
{
"text": "Zheren ",
"font": "serif",
"width": 6.26,
"textWidth": 5.802
},
{
"text": "Gao, ",
"font": "serif",
"width": 4.232,
"textWidth": 3.773
},
{
"text": "Zhongyu ",
"font": "serif",
"width": 7.957,
"textWidth": 7.499
},
{
"text": "Wu, ",
"font": "serif",
"width": 3.762,
"textWidth": 3.304
},
{
"text": "Zihua ",
"font": "serif",
"width": 5.302,
"textWidth": 4.844
},
{
"text": "Qu, ",
"font": "serif",
"width": 3.462,
"textWidth": 3.004
},
{
"text": "Ziyi ",
"font": "serif",
"width": 3.766,
"textWidth": 3.308
},
{
"text": "Wan. ",
"font": "serif",
"width": 4.105,
"textWidth": 4.105
}
]
},
{
"left": 11.905,
"top": 19.146,
"width": 19.14,
"height": 1.296,
"words": [
{
"text": "A.2. ",
"font": "serif-bold",
"width": 4.175,
"textWidth": 3.258
},
{
"text": "Acknowledgment ",
"font": "serif-bold",
"width": 14.965,
"textWidth": 14.965
}
]
},
{
"left": 11.813,
"top": 21.817,
"width": 76.334,
"height": 1.296,
"words": [
{
"text": "We ",
"font": "serif",
"width": 2.906,
"textWidth": 2.487
},
{
"text": "would ",
"font": "serif",
"width": 5.598,
"textWidth": 5.181
},
{
"text": "like ",
"font": "serif",
"width": 3.321,
"textWidth": 2.904
},
{
"text": "to ",
"font": "serif",
"width": 1.985,
"textWidth": 1.566
},
{
"text": "thank ",
"font": "serif",
"width": 4.989,
"textWidth": 4.573
},
{
"text": "Dolly ",
"font": "serif",
"width": 4.833,
"textWidth": 4.414
},
{
"text": "Deng ",
"font": "serif",
"width": 4.711,
"textWidth": 4.294
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.041
},
{
"text": "other ",
"font": "serif",
"width": 4.598,
"textWidth": 4.181
},
{
"text": "testers ",
"font": "serif",
"width": 5.542,
"textWidth": 5.124
},
{
"text": "for ",
"font": "serif",
"width": 2.705,
"textWidth": 2.288
},
{
"text": "their ",
"font": "serif",
"width": 4.141,
"textWidth": 3.723
},
{
"text": "valuable ",
"font": "serif",
"width": 7.209,
"textWidth": 6.792
},
{
"text": "suggestions ",
"font": "serif",
"width": 9.775,
"textWidth": 9.359
},
{
"text": "and ",
"font": "serif",
"width": 3.459,
"textWidth": 3.041
},
{
"text": "feedback ",
"font": "serif",
"width": 7.103,
"textWidth": 7.103
}
]
},
{
"left": 11.905,
"top": 23.427,
"width": 45.795,
"height": 1.296,
"words": [
{
"text": "regarding ",
"font": "serif",
"width": 8.392,
"textWidth": 7.933
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "capabilities ",
"font": "serif",
"width": 9.605,
"textWidth": 9.147
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "DeepSeek-V4 ",
"font": "serif",
"width": 11.32,
"textWidth": 10.862
},
{
"text": "series ",
"font": "serif",
"width": 5.025,
"textWidth": 4.567
},
{
"text": "models. ",
"font": "serif",
"width": 6.385,
"textWidth": 6.385
}
]
},
{
"left": 11.905,
"top": 27.411,
"width": 21.511,
"height": 1.538,
"words": [
{
"text": "B. ",
"font": "serif-bold",
"width": 3.083,
"textWidth": 1.995
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 11.301,
"textWidth": 10.757
},
{
"text": "Details ",
"font": "serif-bold",
"width": 7.128,
"textWidth": 7.128
}
]
},
{
"left": 11.848,
"top": 31.178,
"width": 63.766,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.754,
"textWidth": 4.296
},
{
"text": "9 ",
"font": "serif",
"width": 2.346,
"textWidth": 0.916
},
{
"text": "Agentic ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "Search ",
"font": "serif",
"width": 5.786,
"textWidth": 5.327
},
{
"text": "vs. ",
"font": "serif",
"width": 2.839,
"textWidth": 2.271
},
{
"text": "Retrieval ",
"font": "serif",
"width": 7.778,
"textWidth": 7.319
},
{
"text": "Augmented ",
"font": "serif",
"width": 10.165,
"textWidth": 9.707
},
{
"text": "Search ",
"font": "serif",
"width": 5.786,
"textWidth": 5.327
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "DeepSeek-V4-Pro. ",
"font": "serif",
"width": 14.729,
"textWidth": 14.729
}
]
},
{
"left": 12.746,
"top": 34.366,
"width": 74.509,
"height": 1.183,
"words": [
{
"text": "Difficulty ",
"font": "serif-bold",
"width": 8.745,
"textWidth": 7.406
},
{
"text": "Category ",
"font": "serif-bold",
"width": 25.35,
"textWidth": 6.882
},
{
"text": "Agent ",
"font": "serif-bold",
"width": 5.068,
"textWidth": 4.649
},
{
"text": "Win ",
"font": "serif-bold",
"width": 4.53,
"textWidth": 3.192
},
{
"text": "RAG ",
"font": "serif-bold",
"width": 4.323,
"textWidth": 3.905
},
{
"text": "Win ",
"font": "serif-bold",
"width": 4.623,
"textWidth": 3.192
},
{
"text": "Tie ",
"font": "serif-bold",
"width": 3.757,
"textWidth": 2.418
},
{
"text": "Agent% ",
"font": "serif-bold",
"width": 7.476,
"textWidth": 6.137
},
{
"text": "RAG% ",
"font": "serif-bold",
"width": 6.731,
"textWidth": 5.392
},
{
"text": "Tie% ",
"font": "serif-bold",
"width": 3.906,
"textWidth": 3.906
}
]
},
{
"left": 21.49,
"top": 36.464,
"width": 65.764,
"height": 1.183,
"words": [
{
"text": "Objective ",
"font": "serif",
"width": 7.376,
"textWidth": 6.957
},
{
"text": "Q&A ",
"font": "serif",
"width": 14.058,
"textWidth": 3.92
},
{
"text": "196 ",
"font": "serif",
"width": 6.791,
"textWidth": 2.51
},
{
"text": "110 ",
"font": "serif",
"width": 9.643,
"textWidth": 2.51
},
{
"text": "43 ",
"font": "serif",
"width": 6.77,
"textWidth": 1.674
},
{
"text": "43 ",
"font": "serif",
"width": 6.221,
"textWidth": 1.674
},
{
"text": "56.1 ",
"font": "serif",
"width": 6.731,
"textWidth": 2.929
},
{
"text": "21.9 ",
"font": "serif",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "21.9 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.746,
"top": 37.174,
"width": 3.5,
"height": 1.183,
"words": [
{
"text": "Easy ",
"font": "serif",
"width": 3.5,
"textWidth": 3.5
}
]
},
{
"left": 21.49,
"top": 37.893,
"width": 65.764,
"height": 1.183,
"words": [
{
"text": "Subjective ",
"font": "serif",
"width": 7.948,
"textWidth": 7.53
},
{
"text": "Q&A ",
"font": "serif",
"width": 13.486,
"textWidth": 3.92
},
{
"text": "321 ",
"font": "serif",
"width": 6.791,
"textWidth": 2.51
},
{
"text": "198 ",
"font": "serif",
"width": 9.643,
"textWidth": 2.51
},
{
"text": "56 ",
"font": "serif",
"width": 6.77,
"textWidth": 1.674
},
{
"text": "67 ",
"font": "serif",
"width": 6.221,
"textWidth": 1.674
},
{
"text": "61.7 ",
"font": "serif",
"width": 6.731,
"textWidth": 2.929
},
{
"text": "17.4 ",
"font": "serif",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "20.9 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.49,
"top": 39.946,
"width": 65.764,
"height": 1.183,
"words": [
{
"text": "Objective ",
"font": "serif",
"width": 7.376,
"textWidth": 6.957
},
{
"text": "Q&A ",
"font": "serif",
"width": 14.058,
"textWidth": 3.92
},
{
"text": "168 ",
"font": "serif",
"width": 6.791,
"textWidth": 2.51
},
{
"text": "102 ",
"font": "serif",
"width": 9.643,
"textWidth": 2.51
},
{
"text": "33 ",
"font": "serif",
"width": 6.77,
"textWidth": 1.674
},
{
"text": "33 ",
"font": "serif",
"width": 6.221,
"textWidth": 1.674
},
{
"text": "60.7 ",
"font": "serif",
"width": 6.731,
"textWidth": 2.929
},
{
"text": "19.6 ",
"font": "serif",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "19.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.746,
"top": 40.656,
"width": 3.883,
"height": 1.183,
"words": [
{
"text": "Hard ",
"font": "serif",
"width": 3.883,
"textWidth": 3.883
}
]
},
{
"left": 21.49,
"top": 41.375,
"width": 65.764,
"height": 1.183,
"words": [
{
"text": "Subjective ",
"font": "serif",
"width": 7.948,
"textWidth": 7.53
},
{
"text": "Q&A ",
"font": "serif",
"width": 13.486,
"textWidth": 3.92
},
{
"text": "184 ",
"font": "serif",
"width": 6.791,
"textWidth": 2.51
},
{
"text": "126 ",
"font": "serif",
"width": 9.643,
"textWidth": 2.51
},
{
"text": "27 ",
"font": "serif",
"width": 6.77,
"textWidth": 1.674
},
{
"text": "31 ",
"font": "serif",
"width": 6.221,
"textWidth": 1.674
},
{
"text": "68.5 ",
"font": "serif",
"width": 6.731,
"textWidth": 2.929
},
{
"text": "14.7 ",
"font": "serif",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "16.8 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.354,
"top": 43.402,
"width": 65.899,
"height": 1.183,
"words": [
{
"text": "Total ",
"font": "serif-bold",
"width": 21.569,
"textWidth": 3.812
},
{
"text": "869 ",
"font": "serif-bold",
"width": 6.791,
"textWidth": 2.51
},
{
"text": "536 ",
"font": "serif-bold",
"width": 9.225,
"textWidth": 2.51
},
{
"text": "159 ",
"font": "serif-bold",
"width": 6.351,
"textWidth": 2.51
},
{
"text": "174 ",
"font": "serif-bold",
"width": 7.058,
"textWidth": 2.51
},
{
"text": "61.7 ",
"font": "serif-bold",
"width": 6.731,
"textWidth": 2.929
},
{
"text": "18.3 ",
"font": "serif-bold",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "20.0 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 11.848,
"top": 47.12,
"width": 76.283,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 5.197,
"textWidth": 4.385
},
{
"text": "10 ",
"font": "serif",
"width": 4.004,
"textWidth": 1.869
},
{
"text": "Cost ",
"font": "serif",
"width": 4.559,
"textWidth": 3.748
},
{
"text": "Comparison:Agentic ",
"font": "serif",
"width": 17.977,
"textWidth": 17.165
},
{
"text": "Search ",
"font": "serif",
"width": 6.245,
"textWidth": 5.434
},
{
"text": "vs. ",
"font": "serif",
"width": 3.944,
"textWidth": 2.316
},
{
"text": "Retrieval ",
"font": "serif",
"width": 8.275,
"textWidth": 7.464
},
{
"text": "Augmented ",
"font": "serif",
"width": 10.713,
"textWidth": 9.901
},
{
"text": "Search ",
"font": "serif",
"width": 6.247,
"textWidth": 5.436
},
{
"text": "(Mean) ",
"font": "serif",
"width": 6.741,
"textWidth": 5.931
},
{
"text": "for ",
"font": "serif",
"width": 2.381,
"textWidth": 2.381
}
]
},
{
"left": 11.905,
"top": 48.729,
"width": 57.462,
"height": 1.296,
"words": [
{
"text": "DeepSeek-V4-Pro. ",
"font": "serif",
"width": 15.297,
"textWidth": 14.729
},
{
"text": "Most ",
"font": "serif",
"width": 4.567,
"textWidth": 4.109
},
{
"text": "of ",
"font": "serif",
"width": 2.069,
"textWidth": 1.611
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "tool ",
"font": "serif",
"width": 3.59,
"textWidth": 3.132
},
{
"text": "calls ",
"font": "serif",
"width": 4.032,
"textWidth": 3.574
},
{
"text": "are ",
"font": "serif",
"width": 2.943,
"textWidth": 2.485
},
{
"text": "parallel ",
"font": "serif",
"width": 6.594,
"textWidth": 6.136
},
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "Agentic ",
"font": "serif",
"width": 6.792,
"textWidth": 6.334
},
{
"text": "Search. ",
"font": "serif",
"width": 5.786,
"textWidth": 5.786
}
]
},
{
"left": 19.537,
"top": 51.917,
"width": 60.926,
"height": 1.183,
"words": [
{
"text": "Version ",
"font": "serif-bold",
"width": 25.723,
"textWidth": 5.858
},
{
"text": "Tool ",
"font": "serif-bold",
"width": 3.767,
"textWidth": 3.349
},
{
"text": "Calls ",
"font": "serif-bold",
"width": 5.911,
"textWidth": 3.903
},
{
"text": "Prefill ",
"font": "serif-bold",
"width": 5.066,
"textWidth": 4.648
},
{
"text": "(tokens) ",
"font": "serif-bold",
"width": 8.236,
"textWidth": 6.228
},
{
"text": "Output ",
"font": "serif-bold",
"width": 5.995,
"textWidth": 5.576
},
{
"text": "(tokens) ",
"font": "serif-bold",
"width": 6.228,
"textWidth": 6.228
}
]
},
{
"left": 19.537,
"top": 54.006,
"width": 60.926,
"height": 1.183,
"words": [
{
"text": "V4 ",
"font": "serif",
"width": 2.464,
"textWidth": 2.045
},
{
"text": "Agentic ",
"font": "serif",
"width": 6.202,
"textWidth": 5.784
},
{
"text": "Search ",
"font": "serif",
"width": 21.799,
"textWidth": 4.865
},
{
"text": "16.2 ",
"font": "serif",
"width": 12.047,
"textWidth": 2.929
},
{
"text": "13649 ",
"font": "serif",
"width": 15.068,
"textWidth": 4.184
},
{
"text": "1526 ",
"font": "serif",
"width": 3.347,
"textWidth": 3.347
}
]
},
{
"left": 19.537,
"top": 55.426,
"width": 60.926,
"height": 1.183,
"words": [
{
"text": "V4 ",
"font": "serif",
"width": 2.464,
"textWidth": 2.045
},
{
"text": "Retrieval ",
"font": "serif",
"width": 7.103,
"textWidth": 6.684
},
{
"text": "Augmented ",
"font": "serif",
"width": 9.284,
"textWidth": 8.865
},
{
"text": "Search ",
"font": "serif",
"width": 23.662,
"textWidth": 4.865
},
{
"text": "10453 ",
"font": "serif",
"width": 15.068,
"textWidth": 4.184
},
{
"text": "1308 ",
"font": "serif",
"width": 3.347,
"textWidth": 3.347
}
]
},
{
"left": 11.848,
"top": 59.124,
"width": 76.318,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.926,
"textWidth": 4.385
},
{
"text": "11 ",
"font": "serif",
"width": 3.465,
"textWidth": 1.869
},
{
"text": "Comparative ",
"font": "serif",
"width": 11.373,
"textWidth": 10.832
},
{
"text": "Evaluation ",
"font": "serif",
"width": 9.543,
"textWidth": 9.001
},
{
"text": "of ",
"font": "serif",
"width": 2.183,
"textWidth": 1.643
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 15.098,
"textWidth": 14.558
},
{
"text": "and ",
"font": "serif",
"width": 3.707,
"textWidth": 3.165
},
{
"text": "DeepSeek-V3.2 ",
"font": "serif",
"width": 13.021,
"textWidth": 12.481
},
{
"text": "on ",
"font": "serif",
"width": 2.651,
"textWidth": 2.109
},
{
"text": "Search ",
"font": "serif",
"width": 5.974,
"textWidth": 5.434
},
{
"text": "Q&A ",
"font": "serif",
"width": 4.378,
"textWidth": 4.378
}
]
},
{
"left": 11.848,
"top": 60.734,
"width": 4.902,
"height": 1.296,
"words": [
{
"text": "Tasks. ",
"font": "serif",
"width": 4.902,
"textWidth": 4.902
}
]
},
{
"left": 58.884,
"top": 63.933,
"width": 14.828,
"height": 1.183,
"words": [
{
"text": "Internal ",
"font": "serif-bold",
"width": 6.554,
"textWidth": 6.135
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 8.274,
"textWidth": 8.274
}
]
},
{
"left": 12.574,
"top": 65.977,
"width": 76.246,
"height": 1.183,
"words": [
{
"text": "Category ",
"font": "serif-bold",
"width": 9.426,
"textWidth": 6.882
},
{
"text": "Subcategory ",
"font": "serif-bold",
"width": 33.35,
"textWidth": 9.484
},
{
"text": "V4 ",
"font": "serif-bold",
"width": 2.557,
"textWidth": 2.139
},
{
"text": "win ",
"font": "serif-bold",
"width": 4.313,
"textWidth": 2.974
},
{
"text": "V3.2 ",
"font": "serif-bold",
"width": 3.812,
"textWidth": 3.394
},
{
"text": "win ",
"font": "serif-bold",
"width": 4.872,
"textWidth": 2.974
},
{
"text": "tie ",
"font": "serif-bold",
"width": 3.29,
"textWidth": 1.951
},
{
"text": "V4% ",
"font": "serif-bold",
"width": 4.966,
"textWidth": 3.627
},
{
"text": "V3.2% ",
"font": "serif-bold",
"width": 6.221,
"textWidth": 4.882
},
{
"text": "tie% ",
"font": "serif-bold",
"width": 3.439,
"textWidth": 3.439
}
]
},
{
"left": 22.0,
"top": 68.083,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Single-value ",
"font": "serif",
"width": 9.615,
"textWidth": 9.196
},
{
"text": "Search ",
"font": "serif",
"width": 20.656,
"textWidth": 4.865
},
{
"text": "95 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "36 ",
"font": "serif",
"width": 8.125,
"textWidth": 1.674
},
{
"text": "10 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "49 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "37.9 ",
"font": "serif",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "10.5 ",
"font": "serif",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "51.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 68.588,
"width": 7.436,
"height": 1.183,
"words": [
{
"text": "Objective ",
"font": "serif-bold",
"width": 7.436,
"textWidth": 7.436
}
]
},
{
"left": 22.0,
"top": 69.519,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Entity ",
"font": "serif",
"width": 4.924,
"textWidth": 4.505
},
{
"text": "Search ",
"font": "serif",
"width": 25.347,
"textWidth": 4.865
},
{
"text": "99 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "24 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "7 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "68 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "24.2 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "7.1 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "68.7 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 70.075,
"width": 4.09,
"height": 1.183,
"words": [
{
"text": "Q&A ",
"font": "serif-bold",
"width": 4.09,
"textWidth": 4.09
}
]
},
{
"left": 22.0,
"top": 70.955,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Enumerative ",
"font": "serif",
"width": 9.981,
"textWidth": 9.563
},
{
"text": "Search ",
"font": "serif",
"width": 20.289,
"textWidth": 4.865
},
{
"text": "95 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "19 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "8 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "68 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "20.0 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "8.4 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "71.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 72.98,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 29.434,
"textWidth": 6.507
},
{
"text": "289 ",
"font": "serif-bold",
"width": 7.774,
"textWidth": 2.51
},
{
"text": "79 ",
"font": "serif-bold",
"width": 8.125,
"textWidth": 1.674
},
{
"text": "25 ",
"font": "serif-bold",
"width": 3.012,
"textWidth": 1.674
},
{
"text": "185 ",
"font": "serif-bold",
"width": 4.547,
"textWidth": 2.51
},
{
"text": "27.3 ",
"font": "serif-bold",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "8.7 ",
"font": "serif-bold",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "64.0 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 75.076,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Causal ",
"font": "serif",
"width": 5.484,
"textWidth": 5.066
},
{
"text": "Analysis ",
"font": "serif",
"width": 23.949,
"textWidth": 6.437
},
{
"text": "100 ",
"font": "serif",
"width": 7.774,
"textWidth": 2.51
},
{
"text": "28 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "5 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "67 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "28.0 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "5.0 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "67.0 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 76.497,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Comparison ",
"font": "serif",
"width": 30.271,
"textWidth": 9.166
},
{
"text": "96 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "28 ",
"font": "serif",
"width": 8.125,
"textWidth": 1.674
},
{
"text": "20 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "48 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "29.2 ",
"font": "serif",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "20.8 ",
"font": "serif",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "50.0 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 77.925,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Advice ",
"font": "serif",
"width": 5.72,
"textWidth": 5.302
},
{
"text": "Seeking ",
"font": "serif",
"width": 24.55,
"textWidth": 5.804
},
{
"text": "92 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "23 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "8 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "61 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "25.0 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "8.7 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "66.3 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 78.422,
"width": 8.087,
"height": 1.183,
"words": [
{
"text": "Subjective ",
"font": "serif-bold",
"width": 8.087,
"textWidth": 8.087
}
]
},
{
"left": 22.0,
"top": 79.35,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Recommendation ",
"font": "serif",
"width": 30.271,
"textWidth": 13.088
},
{
"text": "95 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "26 ",
"font": "serif",
"width": 8.125,
"textWidth": 1.674
},
{
"text": "19 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "50 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "27.4 ",
"font": "serif",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "20.0 ",
"font": "serif",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "52.6 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 79.908,
"width": 4.09,
"height": 1.183,
"words": [
{
"text": "Q&A ",
"font": "serif-bold",
"width": 4.09,
"textWidth": 4.09
}
]
},
{
"left": 22.0,
"top": 80.778,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Planning ",
"font": "serif",
"width": 8.813,
"textWidth": 6.674
},
{
"text": "Strategy ",
"font": "serif",
"width": 21.457,
"textWidth": 6.13
},
{
"text": "92 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "32 ",
"font": "serif",
"width": 8.125,
"textWidth": 1.674
},
{
"text": "11 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "49 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "34.8 ",
"font": "serif",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "12.0 ",
"font": "serif",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "53.3 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 82.206,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Opinion ",
"font": "serif",
"width": 8.296,
"textWidth": 6.157
},
{
"text": "Evaluation ",
"font": "serif",
"width": 21.975,
"textWidth": 8.058
},
{
"text": "96 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "30 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "8 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "58 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "31.2 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "8.3 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "60.4 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 83.633,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Trend ",
"font": "serif",
"width": 4.723,
"textWidth": 4.305
},
{
"text": "Analysis ",
"font": "serif",
"width": 25.548,
"textWidth": 6.437
},
{
"text": "96 ",
"font": "serif",
"width": 6.937,
"textWidth": 1.674
},
{
"text": "23 ",
"font": "serif",
"width": 8.962,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "70 ",
"font": "serif",
"width": 3.71,
"textWidth": 1.674
},
{
"text": "24.0 ",
"font": "serif",
"width": 7.058,
"textWidth": 2.929
},
{
"text": "3.1 ",
"font": "serif",
"width": 3.941,
"textWidth": 2.092
},
{
"text": "72.9 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 22.0,
"top": 85.659,
"width": 66.821,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 29.434,
"textWidth": 6.507
},
{
"text": "667 ",
"font": "serif-bold",
"width": 6.937,
"textWidth": 2.51
},
{
"text": "190 ",
"font": "serif-bold",
"width": 8.962,
"textWidth": 2.51
},
{
"text": "74 ",
"font": "serif-bold",
"width": 3.012,
"textWidth": 1.674
},
{
"text": "403 ",
"font": "serif-bold",
"width": 4.547,
"textWidth": 2.51
},
{
"text": "28.5 ",
"font": "serif-bold",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "11.1 ",
"font": "serif-bold",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "60.4 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 25.996,
"top": 87.73,
"width": 62.825,
"height": 1.183,
"words": [
{
"text": "TOTAL ",
"font": "serif-bold",
"width": 25.437,
"textWidth": 5.797
},
{
"text": "956 ",
"font": "serif-bold",
"width": 6.938,
"textWidth": 2.51
},
{
"text": "269 ",
"font": "serif-bold",
"width": 8.962,
"textWidth": 2.51
},
{
"text": "99 ",
"font": "serif-bold",
"width": 3.012,
"textWidth": 1.674
},
{
"text": "588 ",
"font": "serif-bold",
"width": 4.547,
"textWidth": 2.51
},
{
"text": "28.1 ",
"font": "serif-bold",
"width": 6.221,
"textWidth": 2.929
},
{
"text": "10.4 ",
"font": "serif-bold",
"width": 4.778,
"textWidth": 2.929
},
{
"text": "61.5 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "55 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"56": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.905,
"top": 43.123,
"width": 76.191,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.661,
"textWidth": 5.203
},
{
"text": "14 ",
"font": "serif",
"width": 3.248,
"textWidth": 1.818
},
{
"text": "Example ",
"font": "serif",
"width": 7.514,
"textWidth": 7.055
},
{
"text": "output ",
"font": "serif",
"width": 5.921,
"textWidth": 5.463
},
{
"text": "of ",
"font": "serif",
"width": 2.056,
"textWidth": 1.598
},
{
"text": "a ",
"font": "serif",
"width": 1.367,
"textWidth": 0.909
},
{
"text": "task ",
"font": "serif",
"width": 3.743,
"textWidth": 3.283
},
{
"text": "that ",
"font": "serif",
"width": 3.61,
"textWidth": 3.152
},
{
"text": "requires ",
"font": "serif",
"width": 6.983,
"textWidth": 6.525
},
{
"text": "comparing ",
"font": "serif",
"width": 9.182,
"textWidth": 8.723
},
{
"text": "two ",
"font": "serif",
"width": 3.56,
"textWidth": 3.101
},
{
"text": "regular ",
"font": "serif",
"width": 6.277,
"textWidth": 5.819
},
{
"text": "investment ",
"font": "serif",
"width": 9.433,
"textWidth": 8.975
},
{
"text": "strategies ",
"font": "serif",
"width": 7.635,
"textWidth": 7.635
}
]
},
{
"left": 11.905,
"top": 44.732,
"width": 14.446,
"height": 1.296,
"words": [
{
"text": "for ",
"font": "serif",
"width": 2.793,
"textWidth": 2.335
},
{
"text": "the ",
"font": "serif",
"width": 3.0,
"textWidth": 2.542
},
{
"text": "NASDAQ. ",
"font": "serif",
"width": 8.654,
"textWidth": 8.654
}
]
},
{
"left": 11.905,
"top": 80.342,
"width": 76.19,
"height": 1.296,
"words": [
{
"text": "Figure ",
"font": "serif",
"width": 5.63,
"textWidth": 5.172
},
{
"text": "15 ",
"font": "serif",
"width": 3.241,
"textWidth": 1.807
},
{
"text": "Example ",
"font": "serif",
"width": 7.474,
"textWidth": 7.013
},
{
"text": "output ",
"font": "serif",
"width": 5.889,
"textWidth": 5.43
},
{
"text": "of ",
"font": "serif",
"width": 2.049,
"textWidth": 1.588
},
{
"text": "a ",
"font": "serif",
"width": 1.364,
"textWidth": 0.903
},
{
"text": "task ",
"font": "serif",
"width": 3.722,
"textWidth": 3.263
},
{
"text": "which ",
"font": "serif",
"width": 5.399,
"textWidth": 4.938
},
{
"text": "requires ",
"font": "serif",
"width": 6.946,
"textWidth": 6.485
},
{
"text": "researching ",
"font": "serif",
"width": 9.658,
"textWidth": 9.199
},
{
"text": "2020-2025 ",
"font": "serif",
"width": 8.29,
"textWidth": 7.83
},
{
"text": "Nobel ",
"font": "serif",
"width": 5.34,
"textWidth": 4.879
},
{
"text": "Science ",
"font": "serif",
"width": 6.321,
"textWidth": 5.862
},
{
"text": "Prizes ",
"font": "serif",
"width": 4.866,
"textWidth": 4.866
}
]
},
{
"left": 11.905,
"top": 81.952,
"width": 32.914,
"height": 1.296,
"words": [
{
"text": "and ",
"font": "serif",
"width": 3.561,
"textWidth": 3.103
},
{
"text": "generating ",
"font": "serif",
"width": 9.156,
"textWidth": 8.698
},
{
"text": "an ",
"font": "serif",
"width": 2.441,
"textWidth": 1.983
},
{
"text": "analytical ",
"font": "serif",
"width": 8.304,
"textWidth": 7.845
},
{
"text": "PDF ",
"font": "serif",
"width": 4.002,
"textWidth": 3.544
},
{
"text": "report. ",
"font": "serif",
"width": 5.45,
"textWidth": 5.45
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "56 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"57": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 11.013,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.681,
"textWidth": 4.223
},
{
"text": "12 ",
"font": "serif",
"width": 3.229,
"textWidth": 1.803
},
{
"text": "Comparative ",
"font": "serif",
"width": 10.906,
"textWidth": 10.45
},
{
"text": "Analysis ",
"font": "serif",
"width": 7.392,
"textWidth": 6.935
},
{
"text": "of ",
"font": "serif",
"width": 2.041,
"textWidth": 1.585
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.498,
"textWidth": 14.042
},
{
"text": "and ",
"font": "serif",
"width": 3.509,
"textWidth": 3.053
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.596,
"textWidth": 12.14
},
{
"text": "in ",
"font": "serif",
"width": 2.031,
"textWidth": 1.574
},
{
"text": "Chinese ",
"font": "serif",
"width": 6.851,
"textWidth": 6.394
},
{
"text": "Functional ",
"font": "serif",
"width": 8.513,
"textWidth": 8.513
}
]
},
{
"left": 11.813,
"top": 12.622,
"width": 6.629,
"height": 1.296,
"words": [
{
"text": "Writing. ",
"font": "serif",
"width": 6.629,
"textWidth": 6.629
}
]
},
{
"left": 58.661,
"top": 15.821,
"width": 14.828,
"height": 1.183,
"words": [
{
"text": "Internal ",
"font": "serif-bold",
"width": 6.554,
"textWidth": 6.135
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 8.274,
"textWidth": 8.274
}
]
},
{
"left": 12.574,
"top": 17.866,
"width": 77.209,
"height": 1.183,
"words": [
{
"text": "Category ",
"font": "serif-bold",
"width": 9.334,
"textWidth": 6.882
},
{
"text": "Subcategory ",
"font": "serif-bold",
"width": 32.034,
"textWidth": 9.484
},
{
"text": "DS ",
"font": "serif-bold",
"width": 2.835,
"textWidth": 2.417
},
{
"text": "win ",
"font": "serif-bold",
"width": 4.313,
"textWidth": 2.974
},
{
"text": "Gem ",
"font": "serif-bold",
"width": 4.137,
"textWidth": 3.719
},
{
"text": "win ",
"font": "serif-bold",
"width": 4.405,
"textWidth": 2.974
},
{
"text": "Tie ",
"font": "serif-bold",
"width": 4.455,
"textWidth": 2.418
},
{
"text": "DS% ",
"font": "serif-bold",
"width": 5.243,
"textWidth": 3.905
},
{
"text": "Gem% ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 5.207
},
{
"text": "Tie% ",
"font": "serif-bold",
"width": 3.906,
"textWidth": 3.906
}
]
},
{
"left": 21.908,
"top": 19.96,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Report ",
"font": "serif",
"width": 28.118,
"textWidth": 5.046
},
{
"text": "527 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "350 ",
"font": "serif",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "162 ",
"font": "serif",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "15 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "66.41 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "30.74 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.85 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 21.393,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Proposal ",
"font": "serif",
"width": 28.118,
"textWidth": 6.509
},
{
"text": "291 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "181 ",
"font": "serif",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "103 ",
"font": "serif",
"width": 5.523,
"textWidth": 2.51
},
{
"text": "7 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "62.20 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "35.40 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.41 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 22.83,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Education ",
"font": "serif",
"width": 28.118,
"textWidth": 7.555
},
{
"text": "159 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "100 ",
"font": "serif",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "56 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "62.89 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "35.22 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "1.89 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 24.266,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Email ",
"font": "serif",
"width": 6.45,
"textWidth": 4.311
},
{
"text": "Letter ",
"font": "serif",
"width": 21.668,
"textWidth": 4.378
},
{
"text": "146 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "107 ",
"font": "serif",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "37 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "73.29 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "25.34 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "1.37 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 24.82,
"width": 6.785,
"height": 1.183,
"words": [
{
"text": "Business ",
"font": "serif-bold",
"width": 6.785,
"textWidth": 6.785
}
]
},
{
"left": 12.574,
"top": 26.017,
"width": 5.826,
"height": 1.183,
"words": [
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.826,
"textWidth": 5.826
}
]
},
{
"left": 21.908,
"top": 25.691,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Notice ",
"font": "serif",
"width": 28.955,
"textWidth": 4.882
},
{
"text": "72 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "43 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "24 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "5 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "59.72 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "33.33 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "6.94 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 27.118,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Professional ",
"font": "serif",
"width": 28.955,
"textWidth": 9.032
},
{
"text": "63 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "34 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "27 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "53.97 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "42.86 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.17 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 28.543,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Recruitment ",
"font": "serif",
"width": 28.955,
"textWidth": 9.151
},
{
"text": "42 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "27 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "15 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "64.29 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "35.71 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 29.971,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Technical ",
"font": "serif",
"width": 28.955,
"textWidth": 6.919
},
{
"text": "29 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "22 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "7 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "75.86 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "24.14 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 31.393,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Review ",
"font": "serif",
"width": 28.955,
"textWidth": 5.55
},
{
"text": "20 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "15 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "5 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "75.00 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "25.00 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 33.418,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 27.282,
"textWidth": 6.507
},
{
"text": "1349 ",
"font": "serif-bold",
"width": 8.052,
"textWidth": 3.347
},
{
"text": "879 ",
"font": "serif-bold",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "436 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "34 ",
"font": "serif-bold",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "65.16 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "32.32 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.52 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 35.52,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Social ",
"font": "serif",
"width": 4.765,
"textWidth": 4.346
},
{
"text": "Media ",
"font": "serif",
"width": 23.354,
"textWidth": 4.731
},
{
"text": "267 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "156 ",
"font": "serif",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "101 ",
"font": "serif",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "10 ",
"font": "serif",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "58.43 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "37.83 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.75 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 36.956,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Ad ",
"font": "serif",
"width": 2.743,
"textWidth": 2.325
},
{
"text": "Copy ",
"font": "serif",
"width": 25.375,
"textWidth": 4.037
},
{
"text": "214 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "109 ",
"font": "serif",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "98 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "7 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "50.93 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "45.79 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.27 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 38.389,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Long-form ",
"font": "serif",
"width": 8.427,
"textWidth": 8.008
},
{
"text": "Content ",
"font": "serif",
"width": 20.529,
"textWidth": 5.941
},
{
"text": "99 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "71 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "25 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "71.72 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "25.25 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.03 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 39.683,
"width": 4.927,
"height": 1.183,
"words": [
{
"text": "Media ",
"font": "serif-bold",
"width": 4.927,
"textWidth": 4.927
}
]
},
{
"left": 21.908,
"top": 39.825,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "News ",
"font": "serif",
"width": 4.716,
"textWidth": 4.298
},
{
"text": "Report ",
"font": "serif",
"width": 24.239,
"textWidth": 5.046
},
{
"text": "51 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "27 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "22 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "52.94 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "43.14 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.92 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 40.88,
"width": 5.826,
"height": 1.183,
"words": [
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.826,
"textWidth": 5.826
}
]
},
{
"left": 21.908,
"top": 41.253,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Advertorial ",
"font": "serif",
"width": 28.955,
"textWidth": 8.664
},
{
"text": "17 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "12 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "4 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "70.59 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "23.53 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "5.88 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 42.682,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Headline ",
"font": "serif",
"width": 28.955,
"textWidth": 6.803
},
{
"text": "11 ",
"font": "serif",
"width": 8.052,
"textWidth": 1.674
},
{
"text": "7 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "4 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "63.64 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "36.36 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 44.115,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Narration ",
"font": "serif",
"width": 7.725,
"textWidth": 7.307
},
{
"text": "Script ",
"font": "serif",
"width": 22.067,
"textWidth": 4.321
},
{
"text": "4 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "2 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "50.00 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "25.00 ",
"font": "serif",
"width": 5.245,
"textWidth": 3.766
},
{
"text": "25.00 ",
"font": "serif",
"width": 3.766,
"textWidth": 3.766
}
]
},
{
"left": 21.908,
"top": 45.535,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Comment ",
"font": "serif",
"width": 29.792,
"textWidth": 7.377
},
{
"text": "3 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "2 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "66.67 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "33.33 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 47.561,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 28.118,
"textWidth": 6.507
},
{
"text": "666 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "386 ",
"font": "serif-bold",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "256 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "24 ",
"font": "serif-bold",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "57.96 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "38.44 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.60 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 49.66,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Congratulatory ",
"font": "serif",
"width": 28.118,
"textWidth": 11.432
},
{
"text": "101 ",
"font": "serif",
"width": 8.052,
"textWidth": 2.51
},
{
"text": "54 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "41 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "6 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "53.47 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "40.59 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "5.94 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 51.09,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Communication ",
"font": "serif",
"width": 28.118,
"textWidth": 12.027
},
{
"text": "100 ",
"font": "serif",
"width": 8.052,
"textWidth": 2.51
},
{
"text": "71 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "26 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "71.00 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "26.00 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 51.548,
"width": 7.161,
"height": 1.183,
"words": [
{
"text": "Everyday ",
"font": "serif-bold",
"width": 7.161,
"textWidth": 7.161
}
]
},
{
"left": 21.908,
"top": 52.52,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Reflection ",
"font": "serif",
"width": 28.955,
"textWidth": 7.402
},
{
"text": "90 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "68 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "17 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "5 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "75.56 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "18.89 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "5.56 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 53.035,
"width": 5.826,
"height": 1.183,
"words": [
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.826,
"textWidth": 5.826
}
]
},
{
"left": 21.908,
"top": 53.941,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Review ",
"font": "serif",
"width": 28.955,
"textWidth": 5.55
},
{
"text": "55 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "44 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "9 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "80.00 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "16.36 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.64 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 55.361,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Comment ",
"font": "serif",
"width": 28.955,
"textWidth": 7.377
},
{
"text": "44 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "34 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "8 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "77.27 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "18.18 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "4.55 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 57.387,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 28.118,
"textWidth": 6.507
},
{
"text": "390 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "271 ",
"font": "serif-bold",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "101 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "18 ",
"font": "serif-bold",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "69.49 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "25.90 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "4.62 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 59.484,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Speech ",
"font": "serif",
"width": 28.118,
"textWidth": 5.205
},
{
"text": "226 ",
"font": "serif",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "135 ",
"font": "serif",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "85 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "6 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "59.73 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "37.61 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.65 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 60.917,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Narration ",
"font": "serif",
"width": 7.725,
"textWidth": 7.307
},
{
"text": "Script ",
"font": "serif",
"width": 21.23,
"textWidth": 4.321
},
{
"text": "51 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "25 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "23 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "49.02 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "45.10 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "5.88 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 61.517,
"width": 3.439,
"height": 1.183,
"words": [
{
"text": "Oral ",
"font": "serif-bold",
"width": 3.439,
"textWidth": 3.439
}
]
},
{
"left": 12.574,
"top": 62.714,
"width": 5.826,
"height": 1.183,
"words": [
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.826,
"textWidth": 5.826
}
]
},
{
"left": 21.908,
"top": 62.337,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Sales ",
"font": "serif",
"width": 4.132,
"textWidth": 3.714
},
{
"text": "Script ",
"font": "serif",
"width": 24.823,
"textWidth": 4.321
},
{
"text": "31 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "22 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "6 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "3 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "70.97 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "19.35 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "9.68 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 63.764,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Dialogue ",
"font": "serif",
"width": 28.955,
"textWidth": 6.761
},
{
"text": "10 ",
"font": "serif",
"width": 8.052,
"textWidth": 1.674
},
{
"text": "4 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "6 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "40.00 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "60.00 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 65.195,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Congratulatory ",
"font": "serif",
"width": 29.792,
"textWidth": 11.432
},
{
"text": "1 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 2.176,
"textWidth": 0.837
},
{
"text": "100.00 ",
"font": "serif",
"width": 8.219,
"textWidth": 4.602
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.245,
"textWidth": 2.929
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 67.22,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 28.118,
"textWidth": 6.507
},
{
"text": "319 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "187 ",
"font": "serif-bold",
"width": 8.45,
"textWidth": 2.51
},
{
"text": "120 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "12 ",
"font": "serif-bold",
"width": 3.849,
"textWidth": 1.674
},
{
"text": "58.62 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "37.62 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.76 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 69.317,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Administrative ",
"font": "serif",
"width": 11.702,
"textWidth": 11.283
},
{
"text": "Doc ",
"font": "serif",
"width": 16.416,
"textWidth": 2.952
},
{
"text": "117 ",
"font": "serif",
"width": 8.052,
"textWidth": 2.51
},
{
"text": "60 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "53 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "4 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "51.28 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "45.30 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.42 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 70.744,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Personal ",
"font": "serif",
"width": 6.813,
"textWidth": 6.395
},
{
"text": "Doc ",
"font": "serif",
"width": 22.142,
"textWidth": 2.952
},
{
"text": "73 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "45 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "27 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "61.64 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "36.99 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "1.37 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 71.512,
"width": 5.732,
"height": 1.183,
"words": [
{
"text": "Official ",
"font": "serif-bold",
"width": 5.732,
"textWidth": 5.732
}
]
},
{
"left": 21.908,
"top": 72.179,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Government ",
"font": "serif",
"width": 9.791,
"textWidth": 9.372
},
{
"text": "Doc ",
"font": "serif",
"width": 19.165,
"textWidth": 2.952
},
{
"text": "34 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "19 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "14 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "55.88 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "41.18 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.94 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 72.674,
"width": 7.995,
"height": 1.183,
"words": [
{
"text": "Document ",
"font": "serif-bold",
"width": 7.995,
"textWidth": 7.995
}
]
},
{
"left": 21.908,
"top": 73.607,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Speech ",
"font": "serif",
"width": 29.792,
"textWidth": 5.205
},
{
"text": "3 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "2 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "33.33 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "66.67 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 75.044,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Essay ",
"font": "serif",
"width": 4.628,
"textWidth": 4.209
},
{
"text": "Writing ",
"font": "serif",
"width": 25.164,
"textWidth": 5.635
},
{
"text": "3 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "33.33 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "33.33 ",
"font": "serif",
"width": 5.245,
"textWidth": 3.766
},
{
"text": "33.33 ",
"font": "serif",
"width": 3.766,
"textWidth": 3.766
}
]
},
{
"left": 21.908,
"top": 77.07,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 28.118,
"textWidth": 6.507
},
{
"text": "230 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "126 ",
"font": "serif-bold",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "97 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "7 ",
"font": "serif-bold",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "54.78 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "42.17 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.04 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 79.166,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Research ",
"font": "serif",
"width": 7.034,
"textWidth": 6.616
},
{
"text": "Paper ",
"font": "serif",
"width": 21.084,
"textWidth": 4.316
},
{
"text": "104 ",
"font": "serif",
"width": 8.052,
"textWidth": 2.51
},
{
"text": "67 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "32 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "5 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "64.42 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "30.77 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "4.81 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 80.49,
"width": 7.53,
"height": 1.183,
"words": [
{
"text": "Academic ",
"font": "serif-bold",
"width": 7.53,
"textWidth": 7.53
}
]
},
{
"left": 21.908,
"top": 80.603,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Coursework ",
"font": "serif",
"width": 28.955,
"textWidth": 9.183
},
{
"text": "90 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "53 ",
"font": "serif",
"width": 8.45,
"textWidth": 1.674
},
{
"text": "35 ",
"font": "serif",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "2 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "58.89 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "38.89 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "2.22 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 81.687,
"width": 5.826,
"height": 1.183,
"words": [
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.826,
"textWidth": 5.826
}
]
},
{
"left": 21.908,
"top": 82.03,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Academic ",
"font": "serif",
"width": 7.832,
"textWidth": 7.414
},
{
"text": "Support ",
"font": "serif",
"width": 21.123,
"textWidth": 6.02
},
{
"text": "15 ",
"font": "serif",
"width": 7.215,
"textWidth": 1.674
},
{
"text": "11 ",
"font": "serif",
"width": 9.287,
"textWidth": 1.674
},
{
"text": "3 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "73.33 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "20.00 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "6.67 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 83.466,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Science ",
"font": "serif",
"width": 5.848,
"textWidth": 5.429
},
{
"text": "Outreach ",
"font": "serif",
"width": 23.944,
"textWidth": 6.857
},
{
"text": "7 ",
"font": "serif",
"width": 7.215,
"textWidth": 0.837
},
{
"text": "6 ",
"font": "serif",
"width": 8.45,
"textWidth": 0.837
},
{
"text": "1 ",
"font": "serif",
"width": 3.849,
"textWidth": 0.837
},
{
"text": "0 ",
"font": "serif",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "85.71 ",
"font": "serif",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "14.29 ",
"font": "serif",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 21.908,
"top": 85.491,
"width": 67.875,
"height": 1.183,
"words": [
{
"text": "Subtotal ",
"font": "serif-bold",
"width": 28.118,
"textWidth": 6.507
},
{
"text": "216 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 2.51
},
{
"text": "137 ",
"font": "serif-bold",
"width": 9.287,
"textWidth": 2.51
},
{
"text": "71 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 1.674
},
{
"text": "8 ",
"font": "serif-bold",
"width": 3.012,
"textWidth": 0.837
},
{
"text": "63.43 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "32.87 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.70 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 12.574,
"top": 87.563,
"width": 77.209,
"height": 1.183,
"words": [
{
"text": "Total ",
"font": "serif-bold",
"width": 36.615,
"textWidth": 3.812
},
{
"text": "3170 ",
"font": "serif-bold",
"width": 7.215,
"textWidth": 3.347
},
{
"text": "1986 ",
"font": "serif-bold",
"width": 8.45,
"textWidth": 3.347
},
{
"text": "1081 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 3.347
},
{
"text": "103 ",
"font": "serif-bold",
"width": 4.686,
"textWidth": 2.51
},
{
"text": "62.65 ",
"font": "serif-bold",
"width": 6.545,
"textWidth": 3.766
},
{
"text": "34.10 ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 3.766
},
{
"text": "3.25 ",
"font": "serif-bold",
"width": 2.929,
"textWidth": 2.929
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "57 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
},
"58": {
"width": 595.276,
"height": 841.89,
"lines": [
{
"left": 11.848,
"top": 17.832,
"width": 76.247,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.795,
"textWidth": 4.336
},
{
"text": "13 ",
"font": "serif",
"width": 3.283,
"textWidth": 1.849
},
{
"text": "Comparative ",
"font": "serif",
"width": 11.176,
"textWidth": 10.716
},
{
"text": "Analysis ",
"font": "serif",
"width": 7.57,
"textWidth": 7.112
},
{
"text": "of ",
"font": "serif",
"width": 2.086,
"textWidth": 1.625
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.859,
"textWidth": 14.399
},
{
"text": "and ",
"font": "serif",
"width": 3.589,
"textWidth": 3.131
},
{
"text": "Gemini-3.1-Pro ",
"font": "serif",
"width": 12.909,
"textWidth": 12.448
},
{
"text": "in ",
"font": "serif",
"width": 2.075,
"textWidth": 1.614
},
{
"text": "Chinese ",
"font": "serif",
"width": 7.016,
"textWidth": 6.557
},
{
"text": "Creative ",
"font": "serif",
"width": 6.89,
"textWidth": 6.89
}
]
},
{
"left": 11.813,
"top": 19.441,
"width": 6.629,
"height": 1.296,
"words": [
{
"text": "Writing. ",
"font": "serif",
"width": 6.629,
"textWidth": 6.629
}
]
},
{
"left": 40.009,
"top": 22.633,
"width": 38.734,
"height": 1.065,
"words": [
{
"text": "Instruction ",
"font": "serif-bold",
"width": 7.989,
"textWidth": 7.613
},
{
"text": "Following( ",
"font": "serif-bold",
"width": 19.854,
"textWidth": 7.531
},
{
"text": "Writing ",
"font": "serif-bold",
"width": 5.62,
"textWidth": 5.243
},
{
"text": "Quality ",
"font": "serif-bold",
"width": 5.27,
"textWidth": 5.27
}
]
},
{
"left": 12.323,
"top": 24.559,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Subcategory ",
"font": "serif-bold",
"width": 27.015,
"textWidth": 8.536
},
{
"text": "DS ",
"font": "serif-bold",
"width": 3.013,
"textWidth": 2.175
},
{
"text": "Gem ",
"font": "serif-bold",
"width": 4.183,
"textWidth": 3.347
},
{
"text": "Tie ",
"font": "serif-bold",
"width": 3.642,
"textWidth": 2.177
},
{
"text": "DS% ",
"font": "serif-bold",
"width": 4.35,
"textWidth": 3.514
},
{
"text": "Gem% ",
"font": "serif-bold",
"width": 5.523,
"textWidth": 4.686
},
{
"text": "Tie% ",
"font": "serif-bold",
"width": 5.256,
"textWidth": 3.516
},
{
"text": "DS ",
"font": "serif-bold",
"width": 3.013,
"textWidth": 2.175
},
{
"text": "Gem ",
"font": "serif-bold",
"width": 4.183,
"textWidth": 3.347
},
{
"text": "Tie ",
"font": "serif-bold",
"width": 3.642,
"textWidth": 2.177
},
{
"text": "DS% ",
"font": "serif-bold",
"width": 4.35,
"textWidth": 3.514
},
{
"text": "Gem% ",
"font": "serif-bold",
"width": 5.523,
"textWidth": 4.686
},
{
"text": "Tie% ",
"font": "serif-bold",
"width": 3.516,
"textWidth": 3.516
}
]
},
{
"left": 12.323,
"top": 26.528,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Fiction ",
"font": "serif",
"width": 23.014,
"textWidth": 4.573
},
{
"text": "836 ",
"font": "serif",
"width": 3.917,
"textWidth": 2.259
},
{
"text": "504 ",
"font": "serif",
"width": 4.183,
"textWidth": 2.259
},
{
"text": "323 ",
"font": "serif",
"width": 4.52,
"textWidth": 2.259
},
{
"text": "5 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "60.58 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "38.82 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.60 ",
"font": "serif",
"width": 4.292,
"textWidth": 2.636
},
{
"text": "672 ",
"font": "serif",
"width": 4.184,
"textWidth": 2.259
},
{
"text": "157 ",
"font": "serif",
"width": 4.519,
"textWidth": 2.259
},
{
"text": "3 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "80.77 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "18.87 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.36 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 27.829,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Fiction ",
"font": "serif",
"width": 17.382,
"textWidth": 4.573
},
{
"text": "662 ",
"font": "serif",
"width": 3.917,
"textWidth": 2.259
},
{
"text": "368 ",
"font": "serif",
"width": 4.183,
"textWidth": 2.259
},
{
"text": "290 ",
"font": "serif",
"width": 4.52,
"textWidth": 2.259
},
{
"text": "3 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "55.67 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "43.87 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.45 ",
"font": "serif",
"width": 4.292,
"textWidth": 2.636
},
{
"text": "467 ",
"font": "serif",
"width": 4.184,
"textWidth": 2.259
},
{
"text": "194 ",
"font": "serif",
"width": 4.519,
"textWidth": 2.259
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "70.65 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "29.35 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 29.131,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Fan ",
"font": "serif",
"width": 2.844,
"textWidth": 2.467
},
{
"text": "Fiction ",
"font": "serif",
"width": 20.17,
"textWidth": 4.573
},
{
"text": "410 ",
"font": "serif",
"width": 3.917,
"textWidth": 2.259
},
{
"text": "253 ",
"font": "serif",
"width": 4.183,
"textWidth": 2.259
},
{
"text": "150 ",
"font": "serif",
"width": 4.52,
"textWidth": 2.259
},
{
"text": "3 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "62.32 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "36.95 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.74 ",
"font": "serif",
"width": 4.292,
"textWidth": 2.636
},
{
"text": "338 ",
"font": "serif",
"width": 4.938,
"textWidth": 2.259
},
{
"text": "67 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "1 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "83.25 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "16.50 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.25 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 30.433,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Fan ",
"font": "serif",
"width": 2.844,
"textWidth": 2.467
},
{
"text": "Fic. ",
"font": "serif",
"width": 14.538,
"textWidth": 2.321
},
{
"text": "202 ",
"font": "serif",
"width": 3.917,
"textWidth": 2.259
},
{
"text": "111 ",
"font": "serif",
"width": 4.936,
"textWidth": 2.259
},
{
"text": "90 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "1 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "54.95 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "44.55 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.50 ",
"font": "serif",
"width": 4.292,
"textWidth": 2.636
},
{
"text": "161 ",
"font": "serif",
"width": 4.938,
"textWidth": 2.259
},
{
"text": "40 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "1 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "79.70 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "19.80 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.50 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 31.734,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Narrative ",
"font": "serif",
"width": 23.014,
"textWidth": 6.45
},
{
"text": "171 ",
"font": "serif",
"width": 3.917,
"textWidth": 2.259
},
{
"text": "115 ",
"font": "serif",
"width": 4.936,
"textWidth": 2.259
},
{
"text": "54 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "2 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "67.25 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "31.58 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "1.17 ",
"font": "serif",
"width": 4.292,
"textWidth": 2.636
},
{
"text": "141 ",
"font": "serif",
"width": 4.938,
"textWidth": 2.259
},
{
"text": "30 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "82.46 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "17.54 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 33.036,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Prose ",
"font": "serif",
"width": 17.382,
"textWidth": 3.66
},
{
"text": "124 ",
"font": "serif",
"width": 4.67,
"textWidth": 2.259
},
{
"text": "83 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "40 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "1 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "66.94 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "32.26 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.81 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "88 ",
"font": "serif",
"width": 4.183,
"textWidth": 1.506
},
{
"text": "36 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "70.97 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "29.03 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 34.338,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Prose ",
"font": "serif",
"width": 23.014,
"textWidth": 3.66
},
{
"text": "112 ",
"font": "serif",
"width": 4.67,
"textWidth": 2.259
},
{
"text": "74 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "38 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "66.07 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "33.93 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "92 ",
"font": "serif",
"width": 4.183,
"textWidth": 1.506
},
{
"text": "20 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "82.14 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "17.86 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 35.639,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Writing ",
"font": "serif",
"width": 5.448,
"textWidth": 5.072
},
{
"text": "Style ",
"font": "serif",
"width": 17.566,
"textWidth": 3.279
},
{
"text": "112 ",
"font": "serif",
"width": 4.67,
"textWidth": 2.259
},
{
"text": "81 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "31 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "72.32 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "27.68 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "86 ",
"font": "serif",
"width": 4.183,
"textWidth": 1.506
},
{
"text": "26 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "76.79 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "23.21 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 36.941,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Classical ",
"font": "serif",
"width": 6.212,
"textWidth": 5.835
},
{
"text": "Poetry ",
"font": "serif",
"width": 17.555,
"textWidth": 4.377
},
{
"text": "48 ",
"font": "serif",
"width": 3.917,
"textWidth": 1.506
},
{
"text": "24 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "24 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "50.00 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "50.00 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "39 ",
"font": "serif",
"width": 4.936,
"textWidth": 1.506
},
{
"text": "9 ",
"font": "serif",
"width": 3.014,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "81.25 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "18.75 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 38.243,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Modern ",
"font": "serif",
"width": 5.737,
"textWidth": 5.361
},
{
"text": "Poetry ",
"font": "serif",
"width": 18.03,
"textWidth": 4.377
},
{
"text": "43 ",
"font": "serif",
"width": 3.917,
"textWidth": 1.506
},
{
"text": "23 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "20 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "53.49 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "46.51 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "32 ",
"font": "serif",
"width": 4.183,
"textWidth": 1.506
},
{
"text": "11 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "74.42 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "25.58 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 39.545,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Lyrics ",
"font": "serif",
"width": 23.767,
"textWidth": 4.016
},
{
"text": "30 ",
"font": "serif",
"width": 4.67,
"textWidth": 1.506
},
{
"text": "8 ",
"font": "serif",
"width": 3.431,
"textWidth": 0.753
},
{
"text": "22 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "26.67 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "73.33 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "16 ",
"font": "serif",
"width": 4.183,
"textWidth": 1.506
},
{
"text": "14 ",
"font": "serif",
"width": 3.767,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "53.33 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "46.67 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 40.846,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Literary ",
"font": "serif",
"width": 5.728,
"textWidth": 5.352
},
{
"text": "Appreciation ",
"font": "serif",
"width": 18.039,
"textWidth": 8.76
},
{
"text": "27 ",
"font": "serif",
"width": 3.917,
"textWidth": 1.506
},
{
"text": "20 ",
"font": "serif",
"width": 4.938,
"textWidth": 1.506
},
{
"text": "7 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "74.07 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "25.93 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "18 ",
"font": "serif",
"width": 4.936,
"textWidth": 1.506
},
{
"text": "9 ",
"font": "serif",
"width": 3.014,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "66.67 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "33.33 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 42.148,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Argument. ",
"font": "serif",
"width": 18.135,
"textWidth": 7.281
},
{
"text": "24 ",
"font": "serif",
"width": 3.917,
"textWidth": 1.506
},
{
"text": "15 ",
"font": "serif",
"width": 4.938,
"textWidth": 1.506
},
{
"text": "9 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "62.50 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "37.50 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "17 ",
"font": "serif",
"width": 4.936,
"textWidth": 1.506
},
{
"text": "7 ",
"font": "serif",
"width": 3.014,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "70.83 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "29.17 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 43.45,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Narrative ",
"font": "serif",
"width": 18.135,
"textWidth": 6.45
},
{
"text": "23 ",
"font": "serif",
"width": 3.917,
"textWidth": 1.506
},
{
"text": "11 ",
"font": "serif",
"width": 4.184,
"textWidth": 1.506
},
{
"text": "12 ",
"font": "serif",
"width": 3.766,
"textWidth": 1.506
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "47.83 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "52.17 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.046,
"textWidth": 2.636
},
{
"text": "15 ",
"font": "serif",
"width": 4.936,
"textWidth": 1.506
},
{
"text": "8 ",
"font": "serif",
"width": 3.014,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "65.22 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "34.78 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 44.751,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Classical ",
"font": "serif",
"width": 18.888,
"textWidth": 5.835
},
{
"text": "9 ",
"font": "serif",
"width": 3.917,
"textWidth": 0.753
},
{
"text": "5 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "4 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "55.56 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "44.44 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.799,
"textWidth": 2.636
},
{
"text": "5 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "4 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "55.56 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "44.44 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 46.053,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Creative ",
"font": "serif",
"width": 5.989,
"textWidth": 5.612
},
{
"text": "Writing ",
"font": "serif",
"width": 18.532,
"textWidth": 5.072
},
{
"text": "6 ",
"font": "serif",
"width": 3.917,
"textWidth": 0.753
},
{
"text": "2 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "4 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "33.33 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "66.67 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.799,
"textWidth": 2.636
},
{
"text": "4 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "2 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "66.67 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "33.33 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 47.355,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Argumentative ",
"font": "serif",
"width": 24.52,
"textWidth": 10.16
},
{
"text": "5 ",
"font": "serif",
"width": 3.917,
"textWidth": 0.753
},
{
"text": "5 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 1.591,
"textWidth": 0.753
},
{
"text": "100.00 ",
"font": "serif",
"width": 7.028,
"textWidth": 4.142
},
{
"text": "0.00 ",
"font": "serif",
"width": 4.353,
"textWidth": 2.636
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.799,
"textWidth": 2.636
},
{
"text": "5 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 1.591,
"textWidth": 0.753
},
{
"text": "100.00 ",
"font": "serif",
"width": 7.028,
"textWidth": 4.142
},
{
"text": "0.00 ",
"font": "serif",
"width": 4.353,
"textWidth": 2.636
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 48.656,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "General ",
"font": "serif",
"width": 5.632,
"textWidth": 5.255
},
{
"text": "Mod. ",
"font": "serif",
"width": 4.011,
"textWidth": 3.544
},
{
"text": "Poetry ",
"font": "serif",
"width": 14.877,
"textWidth": 4.377
},
{
"text": "2 ",
"font": "serif",
"width": 3.917,
"textWidth": 0.753
},
{
"text": "1 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "1 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "50.00 ",
"font": "serif",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "50.00 ",
"font": "serif",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.00 ",
"font": "serif",
"width": 5.799,
"textWidth": 2.636
},
{
"text": "2 ",
"font": "serif",
"width": 4.184,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 3.013,
"textWidth": 0.753
},
{
"text": "0 ",
"font": "serif",
"width": 1.591,
"textWidth": 0.753
},
{
"text": "100.00 ",
"font": "serif",
"width": 7.028,
"textWidth": 4.142
},
{
"text": "0.00 ",
"font": "serif",
"width": 4.353,
"textWidth": 2.636
},
{
"text": "0.00 ",
"font": "serif",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 12.323,
"top": 50.591,
"width": 77.209,
"height": 1.065,
"words": [
{
"text": "Total ",
"font": "serif-bold",
"width": 22.261,
"textWidth": 3.431
},
{
"text": "2837 ",
"font": "serif-bold",
"width": 3.917,
"textWidth": 3.013
},
{
"text": "1703 ",
"font": "serif-bold",
"width": 4.184,
"textWidth": 3.013
},
{
"text": "1119 ",
"font": "serif-bold",
"width": 4.519,
"textWidth": 3.013
},
{
"text": "15 ",
"font": "serif-bold",
"width": 3.097,
"textWidth": 1.506
},
{
"text": "60.03 ",
"font": "serif-bold",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "39.44 ",
"font": "serif-bold",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.53 ",
"font": "serif-bold",
"width": 3.539,
"textWidth": 2.636
},
{
"text": "2198 ",
"font": "serif-bold",
"width": 4.938,
"textWidth": 3.013
},
{
"text": "634 ",
"font": "serif-bold",
"width": 4.519,
"textWidth": 2.259
},
{
"text": "5 ",
"font": "serif-bold",
"width": 2.344,
"textWidth": 0.753
},
{
"text": "77.48 ",
"font": "serif-bold",
"width": 5.522,
"textWidth": 3.389
},
{
"text": "22.35 ",
"font": "serif-bold",
"width": 5.106,
"textWidth": 3.389
},
{
"text": "0.18 ",
"font": "serif-bold",
"width": 2.636,
"textWidth": 2.636
}
]
},
{
"left": 11.848,
"top": 68.301,
"width": 76.551,
"height": 1.296,
"words": [
{
"text": "Table ",
"font": "serif",
"width": 4.732,
"textWidth": 4.274
},
{
"text": "14 ",
"font": "serif",
"width": 3.256,
"textWidth": 1.823
},
{
"text": "DeepSeek-V4-Pro ",
"font": "serif",
"width": 14.659,
"textWidth": 14.199
},
{
"text": "vs. ",
"font": "serif",
"width": 2.83,
"textWidth": 2.259
},
{
"text": "Claude-Opus-4.5 ",
"font": "serif",
"width": 14.177,
"textWidth": 13.718
},
{
"text": "on ",
"font": "serif",
"width": 2.515,
"textWidth": 2.057
},
{
"text": "Complex ",
"font": "serif",
"width": 7.799,
"textWidth": 7.339
},
{
"text": "Instruction ",
"font": "serif",
"width": 9.3,
"textWidth": 8.84
},
{
"text": "Following ",
"font": "serif",
"width": 8.652,
"textWidth": 8.193
},
{
"text": "and ",
"font": "serif",
"width": 3.545,
"textWidth": 3.087
},
{
"text": "Multi- ",
"font": "serif",
"width": 5.087,
"textWidth": 5.087
}
]
},
{
"left": 11.848,
"top": 69.911,
"width": 10.941,
"height": 1.296,
"words": [
{
"text": "Turn ",
"font": "serif",
"width": 4.312,
"textWidth": 3.854
},
{
"text": "Writing. ",
"font": "serif",
"width": 6.629,
"textWidth": 6.629
}
]
},
{
"left": 54.416,
"top": 73.11,
"width": 14.828,
"height": 1.183,
"words": [
{
"text": "Internal ",
"font": "serif-bold",
"width": 6.554,
"textWidth": 6.135
},
{
"text": "Evaluation ",
"font": "serif-bold",
"width": 8.274,
"textWidth": 8.274
}
]
},
{
"left": 17.53,
"top": 75.155,
"width": 64.939,
"height": 1.183,
"words": [
{
"text": "Category ",
"font": "serif-bold",
"width": 35.234,
"textWidth": 6.882
},
{
"text": "DS ",
"font": "serif-bold",
"width": 3.756,
"textWidth": 2.417
},
{
"text": "Opus ",
"font": "serif-bold",
"width": 5.521,
"textWidth": 4.182
},
{
"text": "Tie ",
"font": "serif-bold",
"width": 4.269,
"textWidth": 2.418
},
{
"text": "DS% ",
"font": "serif-bold",
"width": 5.243,
"textWidth": 3.905
},
{
"text": "Opus% ",
"font": "serif-bold",
"width": 7.009,
"textWidth": 5.67
},
{
"text": "Tie% ",
"font": "serif-bold",
"width": 3.906,
"textWidth": 3.906
}
]
},
{
"left": 17.53,
"top": 77.254,
"width": 64.939,
"height": 1.183,
"words": [
{
"text": "Complex ",
"font": "serif",
"width": 7.155,
"textWidth": 6.736
},
{
"text": "Inst. ",
"font": "serif",
"width": 3.73,
"textWidth": 3.212
},
{
"text": "Following ",
"font": "serif",
"width": 21.27,
"textWidth": 7.52
},
{
"text": "49 ",
"font": "serif",
"width": 3.822,
"textWidth": 1.674
},
{
"text": "23 ",
"font": "serif",
"width": 5.521,
"textWidth": 1.674
},
{
"text": "26 ",
"font": "serif",
"width": 4.594,
"textWidth": 1.674
},
{
"text": "0 ",
"font": "serif",
"width": 2.258,
"textWidth": 0.837
},
{
"text": "46.9% ",
"font": "serif",
"width": 7.009,
"textWidth": 4.335
},
{
"text": "53.1% ",
"font": "serif",
"width": 6.082,
"textWidth": 4.335
},
{
"text": "0.0% ",
"font": "serif",
"width": 3.498,
"textWidth": 3.498
}
]
},
{
"left": 17.53,
"top": 78.691,
"width": 64.939,
"height": 1.183,
"words": [
{
"text": "Multi-Turn ",
"font": "serif",
"width": 8.607,
"textWidth": 8.189
},
{
"text": "Writing ",
"font": "serif",
"width": 22.711,
"textWidth": 5.635
},
{
"text": "147 ",
"font": "serif",
"width": 4.659,
"textWidth": 2.51
},
{
"text": "67 ",
"font": "serif",
"width": 5.521,
"textWidth": 1.674
},
{
"text": "76 ",
"font": "serif",
"width": 4.594,
"textWidth": 1.674
},
{
"text": "4 ",
"font": "serif",
"width": 2.258,
"textWidth": 0.837
},
{
"text": "45.6% ",
"font": "serif",
"width": 7.009,
"textWidth": 4.335
},
{
"text": "51.7% ",
"font": "serif",
"width": 6.082,
"textWidth": 4.335
},
{
"text": "2.7% ",
"font": "serif",
"width": 3.498,
"textWidth": 3.498
}
]
},
{
"left": 17.53,
"top": 80.744,
"width": 64.939,
"height": 1.183,
"words": [
{
"text": "Total ",
"font": "serif-bold",
"width": 31.318,
"textWidth": 3.812
},
{
"text": "196 ",
"font": "serif-bold",
"width": 4.659,
"textWidth": 2.51
},
{
"text": "90 ",
"font": "serif-bold",
"width": 4.684,
"textWidth": 1.674
},
{
"text": "102 ",
"font": "serif-bold",
"width": 5.431,
"textWidth": 2.51
},
{
"text": "4 ",
"font": "serif-bold",
"width": 2.176,
"textWidth": 0.837
},
{
"text": "45.9% ",
"font": "serif-bold",
"width": 7.009,
"textWidth": 4.417
},
{
"text": "52.0% ",
"font": "serif-bold",
"width": 6.082,
"textWidth": 4.417
},
{
"text": "2.0% ",
"font": "serif-bold",
"width": 3.58,
"textWidth": 3.58
}
]
},
{
"left": 49.084,
"top": 92.519,
"width": 1.833,
"height": 1.296,
"words": [
{
"text": "58 ",
"font": "serif",
"width": 1.833,
"textWidth": 1.833
}
]
}
]
}
};
window.pdfTextLayerBuildInfo = {"pages": 58};