tokenizerchess / merges.json
ItsMaxNorm's picture
Upload folder using huggingface_hub
5c25055 verified
[
{
"token": "�",
"token_bytes": [
226,
153
],
"rank": 256
},
{
"token": ".�",
"token_bytes": [
46,
226,
153
],
"rank": 257
},
{
"token": "..",
"token_bytes": [
46,
46
],
"rank": 258
},
{
"token": " b",
"token_bytes": [
32,
98
],
"rank": 259
},
{
"token": " w",
"token_bytes": [
32,
119
],
"rank": 260
},
{
"token": ".x",
"token_bytes": [
46,
120
],
"rank": 261
},
{
"token": ".♟",
"token_bytes": [
46,
226,
153,
159
],
"rank": 262
},
{
"token": ".♙",
"token_bytes": [
46,
226,
153,
153
],
"rank": 263
},
{
"token": "♟",
"token_bytes": [
226,
153,
159
],
"rank": 264
},
{
"token": "♙",
"token_bytes": [
226,
153,
153
],
"rank": 265
},
{
"token": "♖",
"token_bytes": [
226,
153,
150
],
"rank": 266
},
{
"token": "♜",
"token_bytes": [
226,
153,
156
],
"rank": 267
},
{
"token": "♘",
"token_bytes": [
226,
153,
152
],
"rank": 268
},
{
"token": ".♘",
"token_bytes": [
46,
226,
153,
152
],
"rank": 269
},
{
"token": "♞",
"token_bytes": [
226,
153,
158
],
"rank": 270
},
{
"token": ".♞",
"token_bytes": [
46,
226,
153,
158
],
"rank": 271
},
{
"token": ".♖",
"token_bytes": [
46,
226,
153,
150
],
"rank": 272
},
{
"token": ".♜",
"token_bytes": [
46,
226,
153,
156
],
"rank": 273
},
{
"token": "♗",
"token_bytes": [
226,
153,
151
],
"rank": 274
},
{
"token": ".♗",
"token_bytes": [
46,
226,
153,
151
],
"rank": 275
},
{
"token": "♝",
"token_bytes": [
226,
153,
157
],
"rank": 276
},
{
"token": ".♝",
"token_bytes": [
46,
226,
153,
157
],
"rank": 277
},
{
"token": "♚",
"token_bytes": [
226,
153,
154
],
"rank": 278
},
{
"token": ".♚",
"token_bytes": [
46,
226,
153,
154
],
"rank": 279
},
{
"token": "♔",
"token_bytes": [
226,
153,
148
],
"rank": 280
},
{
"token": ".♔",
"token_bytes": [
46,
226,
153,
148
],
"rank": 281
},
{
"token": "♕",
"token_bytes": [
226,
153,
149
],
"rank": 282
},
{
"token": ".♕",
"token_bytes": [
46,
226,
153,
149
],
"rank": 283
},
{
"token": "♛",
"token_bytes": [
226,
153,
155
],
"rank": 284
},
{
"token": ".♛",
"token_bytes": [
46,
226,
153,
155
],
"rank": 285
},
{
"token": "..+",
"token_bytes": [
46,
46,
43
],
"rank": 286
},
{
"token": "♟d",
"token_bytes": [
226,
153,
159,
100
],
"rank": 287
},
{
"token": "♙d",
"token_bytes": [
226,
153,
153,
100
],
"rank": 288
},
{
"token": "♙e",
"token_bytes": [
226,
153,
153,
101
],
"rank": 289
},
{
"token": "♟e",
"token_bytes": [
226,
153,
159,
101
],
"rank": 290
},
{
"token": "♚g",
"token_bytes": [
226,
153,
154,
103
],
"rank": 291
},
{
"token": "♔g",
"token_bytes": [
226,
153,
148,
103
],
"rank": 292
},
{
"token": "♞f",
"token_bytes": [
226,
153,
158,
102
],
"rank": 293
},
{
"token": "♘f",
"token_bytes": [
226,
153,
152,
102
],
"rank": 294
},
{
"token": "♟c",
"token_bytes": [
226,
153,
159,
99
],
"rank": 295
},
{
"token": "♖d",
"token_bytes": [
226,
153,
150,
100
],
"rank": 296
},
{
"token": "♖f",
"token_bytes": [
226,
153,
150,
102
],
"rank": 297
},
{
"token": "♜f",
"token_bytes": [
226,
153,
156,
102
],
"rank": 298
},
{
"token": "♞d",
"token_bytes": [
226,
153,
158,
100
],
"rank": 299
},
{
"token": "♙c",
"token_bytes": [
226,
153,
153,
99
],
"rank": 300
},
{
"token": "♘d",
"token_bytes": [
226,
153,
152,
100
],
"rank": 301
},
{
"token": "♘c",
"token_bytes": [
226,
153,
152,
99
],
"rank": 302
},
{
"token": "♜d",
"token_bytes": [
226,
153,
156,
100
],
"rank": 303
},
{
"token": ".+",
"token_bytes": [
46,
43
],
"rank": 304
},
{
"token": "♞c",
"token_bytes": [
226,
153,
158,
99
],
"rank": 305
},
{
"token": "♖e",
"token_bytes": [
226,
153,
150,
101
],
"rank": 306
},
{
"token": "♘e",
"token_bytes": [
226,
153,
152,
101
],
"rank": 307
},
{
"token": "♗e",
"token_bytes": [
226,
153,
151,
101
],
"rank": 308
},
{
"token": "♞e",
"token_bytes": [
226,
153,
158,
101
],
"rank": 309
},
{
"token": "♝e",
"token_bytes": [
226,
153,
157,
101
],
"rank": 310
},
{
"token": "♙g",
"token_bytes": [
226,
153,
153,
103
],
"rank": 311
},
{
"token": "♙f",
"token_bytes": [
226,
153,
153,
102
],
"rank": 312
},
{
"token": "♜c",
"token_bytes": [
226,
153,
156,
99
],
"rank": 313
},
{
"token": "♟g",
"token_bytes": [
226,
153,
159,
103
],
"rank": 314
},
{
"token": "♟b",
"token_bytes": [
226,
153,
159,
98
],
"rank": 315
},
{
"token": "♜e",
"token_bytes": [
226,
153,
156,
101
],
"rank": 316
},
{
"token": "♜h",
"token_bytes": [
226,
153,
156,
104
],
"rank": 317
},
{
"token": "♖h",
"token_bytes": [
226,
153,
150,
104
],
"rank": 318
},
{
"token": "♗d",
"token_bytes": [
226,
153,
151,
100
],
"rank": 319
},
{
"token": "♖c",
"token_bytes": [
226,
153,
150,
99
],
"rank": 320
},
{
"token": "♙b",
"token_bytes": [
226,
153,
153,
98
],
"rank": 321
},
{
"token": "♟f",
"token_bytes": [
226,
153,
159,
102
],
"rank": 322
},
{
"token": "♝d",
"token_bytes": [
226,
153,
157,
100
],
"rank": 323
},
{
"token": "♙h",
"token_bytes": [
226,
153,
153,
104
],
"rank": 324
},
{
"token": "♟a",
"token_bytes": [
226,
153,
159,
97
],
"rank": 325
},
{
"token": "♕d",
"token_bytes": [
226,
153,
149,
100
],
"rank": 326
},
{
"token": "♚f",
"token_bytes": [
226,
153,
154,
102
],
"rank": 327
},
{
"token": "♙a",
"token_bytes": [
226,
153,
153,
97
],
"rank": 328
},
{
"token": "♟h",
"token_bytes": [
226,
153,
159,
104
],
"rank": 329
},
{
"token": "♔f",
"token_bytes": [
226,
153,
148,
102
],
"rank": 330
},
{
"token": "♗f",
"token_bytes": [
226,
153,
151,
102
],
"rank": 331
},
{
"token": "♕e",
"token_bytes": [
226,
153,
149,
101
],
"rank": 332
},
{
"token": "♗g",
"token_bytes": [
226,
153,
151,
103
],
"rank": 333
},
{
"token": "♛d",
"token_bytes": [
226,
153,
155,
100
],
"rank": 334
},
{
"token": "♝g",
"token_bytes": [
226,
153,
157,
103
],
"rank": 335
},
{
"token": "♝f",
"token_bytes": [
226,
153,
157,
102
],
"rank": 336
},
{
"token": "♛c",
"token_bytes": [
226,
153,
155,
99
],
"rank": 337
},
{
"token": "♜b",
"token_bytes": [
226,
153,
156,
98
],
"rank": 338
},
{
"token": "♗c",
"token_bytes": [
226,
153,
151,
99
],
"rank": 339
},
{
"token": "♖a",
"token_bytes": [
226,
153,
150,
97
],
"rank": 340
},
{
"token": "♜a",
"token_bytes": [
226,
153,
156,
97
],
"rank": 341
},
{
"token": "♛e",
"token_bytes": [
226,
153,
155,
101
],
"rank": 342
},
{
"token": "♖b",
"token_bytes": [
226,
153,
150,
98
],
"rank": 343
},
{
"token": "♝c",
"token_bytes": [
226,
153,
157,
99
],
"rank": 344
},
{
"token": "♚e",
"token_bytes": [
226,
153,
154,
101
],
"rank": 345
},
{
"token": "♝b",
"token_bytes": [
226,
153,
157,
98
],
"rank": 346
},
{
"token": "♕c",
"token_bytes": [
226,
153,
149,
99
],
"rank": 347
},
{
"token": "♔e",
"token_bytes": [
226,
153,
148,
101
],
"rank": 348
},
{
"token": "♗b",
"token_bytes": [
226,
153,
151,
98
],
"rank": 349
},
{
"token": "♕f",
"token_bytes": [
226,
153,
149,
102
],
"rank": 350
},
{
"token": "♛b",
"token_bytes": [
226,
153,
155,
98
],
"rank": 351
},
{
"token": "♚h",
"token_bytes": [
226,
153,
154,
104
],
"rank": 352
},
{
"token": "♔h",
"token_bytes": [
226,
153,
148,
104
],
"rank": 353
},
{
"token": "♚d",
"token_bytes": [
226,
153,
154,
100
],
"rank": 354
},
{
"token": "♛f",
"token_bytes": [
226,
153,
155,
102
],
"rank": 355
},
{
"token": "♔d",
"token_bytes": [
226,
153,
148,
100
],
"rank": 356
},
{
"token": "♔c",
"token_bytes": [
226,
153,
148,
99
],
"rank": 357
},
{
"token": "♕b",
"token_bytes": [
226,
153,
149,
98
],
"rank": 358
},
{
"token": "♜g",
"token_bytes": [
226,
153,
156,
103
],
"rank": 359
},
{
"token": "♖g",
"token_bytes": [
226,
153,
150,
103
],
"rank": 360
},
{
"token": "♚c",
"token_bytes": [
226,
153,
154,
99
],
"rank": 361
},
{
"token": "♞b",
"token_bytes": [
226,
153,
158,
98
],
"rank": 362
},
{
"token": "♘g",
"token_bytes": [
226,
153,
152,
103
],
"rank": 363
},
{
"token": "♕g",
"token_bytes": [
226,
153,
149,
103
],
"rank": 364
},
{
"token": "♘b",
"token_bytes": [
226,
153,
152,
98
],
"rank": 365
},
{
"token": "♞g",
"token_bytes": [
226,
153,
158,
103
],
"rank": 366
},
{
"token": "♛a",
"token_bytes": [
226,
153,
155,
97
],
"rank": 367
},
{
"token": "♛g",
"token_bytes": [
226,
153,
155,
103
],
"rank": 368
},
{
"token": "♕h",
"token_bytes": [
226,
153,
149,
104
],
"rank": 369
},
{
"token": "♔b",
"token_bytes": [
226,
153,
148,
98
],
"rank": 370
},
{
"token": "♗h",
"token_bytes": [
226,
153,
151,
104
],
"rank": 371
},
{
"token": "♕a",
"token_bytes": [
226,
153,
149,
97
],
"rank": 372
},
{
"token": "♛h",
"token_bytes": [
226,
153,
155,
104
],
"rank": 373
},
{
"token": "♝a",
"token_bytes": [
226,
153,
157,
97
],
"rank": 374
},
{
"token": "♞a",
"token_bytes": [
226,
153,
158,
97
],
"rank": 375
},
{
"token": "♚b",
"token_bytes": [
226,
153,
154,
98
],
"rank": 376
},
{
"token": "♗a",
"token_bytes": [
226,
153,
151,
97
],
"rank": 377
},
{
"token": "♝h",
"token_bytes": [
226,
153,
157,
104
],
"rank": 378
},
{
"token": "♞h",
"token_bytes": [
226,
153,
158,
104
],
"rank": 379
},
{
"token": "♘a",
"token_bytes": [
226,
153,
152,
97
],
"rank": 380
},
{
"token": "♘h",
"token_bytes": [
226,
153,
152,
104
],
"rank": 381
},
{
"token": "♔a",
"token_bytes": [
226,
153,
148,
97
],
"rank": 382
},
{
"token": "♚a",
"token_bytes": [
226,
153,
154,
97
],
"rank": 383
},
{
"token": "..+#",
"token_bytes": [
46,
46,
43,
35
],
"rank": 384
},
{
"token": "*.",
"token_bytes": [
42,
46
],
"rank": 385
},
{
"token": ".+#",
"token_bytes": [
46,
43,
35
],
"rank": 386
},
{
"token": "*.+",
"token_bytes": [
42,
46,
43
],
"rank": 387
}
]