Final model after 129534 steps

config.json

@@ -0,0 +1,71 @@
+{
+  "architectures": [
+    "T5ForConditionalGeneration"
+  ],
+  "bos_token_id": 1,
+  "classifier_dropout": 0.0,
+  "d_ff": 3072,
+  "d_kv": 64,
+  "d_model": 768,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "relu",
+  "dropout_rate": 0.1,
+  "dtype": "float32",
+  "eos_token_id": 2,
+  "feed_forward_proj": "relu",
+  "gradient_checkpointing": false,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_factor": 1.0,
+  "is_decoder": false,
+  "is_encoder_decoder": true,
+  "is_gated_act": false,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 12,
+  "num_heads": 12,
+  "num_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "scale_decoder_outputs": true,
+  "task_specific_params": {
+    "summarization": {
+      "early_stopping": true,
+      "length_penalty": 2.0,
+      "max_length": 200,
+      "min_length": 30,
+      "no_repeat_ngram_size": 3,
+      "num_beams": 4,
+      "prefix": "summarize: "
+    },
+    "translation_en_to_de": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to German: "
+    },
+    "translation_en_to_fr": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to French: "
+    },
+    "translation_en_to_ro": {
+      "early_stopping": true,
+      "max_length": 300,
+      "num_beams": 4,
+      "prefix": "translate English to Romanian: "
+    }
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.17.0",
+  "use_cache": true,
+  "vocab_size": 11577
+}

generation_config.json

@@ -0,0 +1,902 @@
+{
+  "_from_model_config": true,
+  "bad_words_ids": [
+    [
+      11280
+    ],
+    [
+      11281
+    ],
+    [
+      11282
+    ],
+    [
+      11283
+    ],
+    [
+      11284
+    ],
+    [
+      11285
+    ],
+    [
+      11286
+    ],
+    [
+      11287
+    ],
+    [
+      11288
+    ],
+    [
+      11289
+    ],
+    [
+      11290
+    ],
+    [
+      11291
+    ],
+    [
+      11292
+    ],
+    [
+      11293
+    ],
+    [
+      11294
+    ],
+    [
+      11295
+    ],
+    [
+      11296
+    ],
+    [
+      11297
+    ],
+    [
+      11298
+    ],
+    [
+      11299
+    ],
+    [
+      11300
+    ],
+    [
+      11301
+    ],
+    [
+      11302
+    ],
+    [
+      11303
+    ],
+    [
+      11304
+    ],
+    [
+      11305
+    ],
+    [
+      11306
+    ],
+    [
+      11307
+    ],
+    [
+      11308
+    ],
+    [
+      11309
+    ],
+    [
+      11310
+    ],
+    [
+      11311
+    ],
+    [
+      11312
+    ],
+    [
+      11313
+    ],
+    [
+      11314
+    ],
+    [
+      11315
+    ],
+    [
+      11316
+    ],
+    [
+      11317
+    ],
+    [
+      11318
+    ],
+    [
+      11319
+    ],
+    [
+      11320
+    ],
+    [
+      11321
+    ],
+    [
+      11322
+    ],
+    [
+      11323
+    ],
+    [
+      11324
+    ],
+    [
+      11325
+    ],
+    [
+      11326
+    ],
+    [
+      11327
+    ],
+    [
+      11328
+    ],
+    [
+      11329
+    ],
+    [
+      11330
+    ],
+    [
+      11331
+    ],
+    [
+      11332
+    ],
+    [
+      11333
+    ],
+    [
+      11334
+    ],
+    [
+      11335
+    ],
+    [
+      11336
+    ],
+    [
+      11337
+    ],
+    [
+      11338
+    ],
+    [
+      11339
+    ],
+    [
+      11340
+    ],
+    [
+      11341
+    ],
+    [
+      11342
+    ],
+    [
+      11343
+    ],
+    [
+      11344
+    ],
+    [
+      11345
+    ],
+    [
+      11346
+    ],
+    [
+      11347
+    ],
+    [
+      11348
+    ],
+    [
+      11349
+    ],
+    [
+      11350
+    ],
+    [
+      11351
+    ],
+    [
+      11352
+    ],
+    [
+      11353
+    ],
+    [
+      11354
+    ],
+    [
+      11355
+    ],
+    [
+      11356
+    ],
+    [
+      11357
+    ],
+    [
+      11358
+    ],
+    [
+      11359
+    ],
+    [
+      11360
+    ],
+    [
+      11361
+    ],
+    [
+      11362
+    ],
+    [
+      11363
+    ],
+    [
+      11364
+    ],
+    [
+      11365
+    ],
+    [
+      11366
+    ],
+    [
+      11367
+    ],
+    [
+      11368
+    ],
+    [
+      11369
+    ],
+    [
+      11370
+    ],
+    [
+      11371
+    ],
+    [
+      11372
+    ],
+    [
+      11373
+    ],
+    [
+      11374
+    ],
+    [
+      11375
+    ],
+    [
+      11376
+    ],
+    [
+      11377
+    ],
+    [
+      11378
+    ],
+    [
+      11379
+    ],
+    [
+      11380
+    ],
+    [
+      11381
+    ],
+    [
+      11382
+    ],
+    [
+      11383
+    ],
+    [
+      11384
+    ],
+    [
+      11385
+    ],
+    [
+      11386
+    ],
+    [
+      11387
+    ],
+    [
+      11388
+    ],
+    [
+      11389
+    ],
+    [
+      11390
+    ],
+    [
+      11391
+    ],
+    [
+      11392
+    ],
+    [
+      11393
+    ],
+    [
+      11394
+    ],
+    [
+      11395
+    ],
+    [
+      11396
+    ],
+    [
+      11397
+    ],
+    [
+      11398
+    ],
+    [
+      11399
+    ],
+    [
+      11400
+    ],
+    [
+      11401
+    ],
+    [
+      11402
+    ],
+    [
+      11403
+    ],
+    [
+      11404
+    ],
+    [
+      11405
+    ],
+    [
+      11406
+    ],
+    [
+      11407
+    ],
+    [
+      11408
+    ],
+    [
+      11409
+    ],
+    [
+      11410
+    ],
+    [
+      11411
+    ],
+    [
+      11412
+    ],
+    [
+      11413
+    ],
+    [
+      11414
+    ],
+    [
+      11415
+    ],
+    [
+      11416
+    ],
+    [
+      11417
+    ],
+    [
+      11418
+    ],
+    [
+      11419
+    ],
+    [
+      11420
+    ],
+    [
+      11421
+    ],
+    [
+      11422
+    ],
+    [
+      11423
+    ],
+    [
+      11424
+    ],
+    [
+      11425
+    ],
+    [
+      11426
+    ],
+    [
+      11427
+    ],
+    [
+      11428
+    ],
+    [
+      11429
+    ],
+    [
+      11430
+    ],
+    [
+      11431
+    ],
+    [
+      11432
+    ],
+    [
+      11433
+    ],
+    [
+      11434
+    ],
+    [
+      11435
+    ],
+    [
+      11436
+    ],
+    [
+      11437
+    ],
+    [
+      11438
+    ],
+    [
+      11439
+    ],
+    [
+      11440
+    ],
+    [
+      11441
+    ],
+    [
+      11442
+    ],
+    [
+      11443
+    ],
+    [
+      11444
+    ],
+    [
+      11445
+    ],
+    [
+      11446
+    ],
+    [
+      11447
+    ],
+    [
+      11448
+    ],
+    [
+      11449
+    ],
+    [
+      11450
+    ],
+    [
+      11451
+    ],
+    [
+      11452
+    ],
+    [
+      11453
+    ],
+    [
+      11454
+    ],
+    [
+      11455
+    ],
+    [
+      11456
+    ],
+    [
+      11457
+    ],
+    [
+      11458
+    ],
+    [
+      11459
+    ],
+    [
+      11460
+    ],
+    [
+      11461
+    ],
+    [
+      11462
+    ],
+    [
+      11463
+    ],
+    [
+      11464
+    ],
+    [
+      11465
+    ],
+    [
+      11466
+    ],
+    [
+      11467
+    ],
+    [
+      11468
+    ],
+    [
+      11469
+    ],
+    [
+      11470
+    ],
+    [
+      11471
+    ],
+    [
+      11472
+    ],
+    [
+      11473
+    ],
+    [
+      11474
+    ],
+    [
+      11475
+    ],
+    [
+      11476
+    ],
+    [
+      11477
+    ],
+    [
+      11478
+    ],
+    [
+      11479
+    ],
+    [
+      11480
+    ],
+    [
+      11481
+    ],
+    [
+      11482
+    ],
+    [
+      11483
+    ],
+    [
+      11484
+    ],
+    [
+      11485
+    ],
+    [
+      11486
+    ],
+    [
+      11487
+    ],
+    [
+      11488
+    ],
+    [
+      11489
+    ],
+    [
+      11490
+    ],
+    [
+      11491
+    ],
+    [
+      11492
+    ],
+    [
+      11493
+    ],
+    [
+      11494
+    ],
+    [
+      11495
+    ],
+    [
+      11496
+    ],
+    [
+      11497
+    ],
+    [
+      11498
+    ],
+    [
+      11499
+    ],
+    [
+      11500
+    ],
+    [
+      11501
+    ],
+    [
+      11502
+    ],
+    [
+      11503
+    ],
+    [
+      11504
+    ],
+    [
+      11505
+    ],
+    [
+      11506
+    ],
+    [
+      11507
+    ],
+    [
+      11508
+    ],
+    [
+      11509
+    ],
+    [
+      11510
+    ],
+    [
+      11511
+    ],
+    [
+      11512
+    ],
+    [
+      11513
+    ],
+    [
+      11514
+    ],
+    [
+      11515
+    ],
+    [
+      11516
+    ],
+    [
+      11517
+    ],
+    [
+      11518
+    ],
+    [
+      11519
+    ],
+    [
+      11520
+    ],
+    [
+      11521
+    ],
+    [
+      11522
+    ],
+    [
+      11523
+    ],
+    [
+      11524
+    ],
+    [
+      11525
+    ],
+    [
+      11526
+    ],
+    [
+      11527
+    ],
+    [
+      11528
+    ],
+    [
+      11529
+    ],
+    [
+      11530
+    ],
+    [
+      11531
+    ],
+    [
+      11532
+    ],
+    [
+      11533
+    ],
+    [
+      11534
+    ],
+    [
+      11535
+    ],
+    [
+      11536
+    ],
+    [
+      11537
+    ],
+    [
+      11538
+    ],
+    [
+      11539
+    ],
+    [
+      11540
+    ],
+    [
+      11541
+    ],
+    [
+      11542
+    ],
+    [
+      11543
+    ],
+    [
+      11544
+    ],
+    [
+      11545
+    ],
+    [
+      11546
+    ],
+    [
+      11547
+    ],
+    [
+      11548
+    ],
+    [
+      11549
+    ],
+    [
+      11550
+    ],
+    [
+      11551
+    ],
+    [
+      11552
+    ],
+    [
+      11553
+    ],
+    [
+      11554
+    ],
+    [
+      11555
+    ],
+    [
+      11556
+    ],
+    [
+      11557
+    ],
+    [
+      11558
+    ],
+    [
+      11559
+    ],
+    [
+      11560
+    ],
+    [
+      11561
+    ],
+    [
+      11562
+    ],
+    [
+      11563
+    ],
+    [
+      11564
+    ],
+    [
+      11565
+    ],
+    [
+      11566
+    ],
+    [
+      11567
+    ],
+    [
+      11568
+    ],
+    [
+      11569
+    ],
+    [
+      11570
+    ],
+    [
+      11571
+    ],
+    [
+      11572
+    ],
+    [
+      11573
+    ],
+    [
+      11574
+    ],
+    [
+      11575
+    ],
+    [
+      11576
+    ]
+  ],
+  "bos_token_id": 1,
+  "decoder_start_token_id": 0,
+  "eos_token_id": 2,
+  "pad_token_id": 0,
+  "transformers_version": "5.17.0",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5dd3867e2dea2e85f578f3f991011c5ca981cc905f379fa5e9da01ff842c3d58
+size 828512040

tokenizer_config.json

@@ -0,0 +1,956 @@
+{
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "errors": "replace",
+  "extra_special_tokens": [
+    "<pad>",
+    "<s>",
+    "</s>",
+    "<unk>",
+    "<mask>",
+    "!",
+    "\"",
+    "#",
+    "$",
+    "%",
+    "&",
+    "'",
+    "(",
+    ")",
+    "*",
+    "+",
+    ",",
+    "-",
+    ".",
+    "/",
+    "0",
+    "1",
+    "2",
+    "3",
+    "4",
+    "5",
+    "6",
+    "7",
+    "8",
+    "9",
+    ":",
+    ";",
+    "<",
+    "=",
+    ">",
+    "?",
+    "@",
+    "A",
+    "B",
+    "C",
+    "D",
+    "E",
+    "F",
+    "G",
+    "H",
+    "I",
+    "J",
+    "K",
+    "L",
+    "M",
+    "N",
+    "O",
+    "P",
+    "Q",
+    "R",
+    "S",
+    "T",
+    "U",
+    "V",
+    "W",
+    "X",
+    "Y",
+    "Z",
+    "[",
+    "\\",
+    "]",
+    "^",
+    "_",
+    "`",
+    "a",
+    "b",
+    "c",
+    "d",
+    "e",
+    "f",
+    "g",
+    "h",
+    "i",
+    "j",
+    "k",
+    "l",
+    "m",
+    "n",
+    "o",
+    "p",
+    "q",
+    "r",
+    "s",
+    "t",
+    "u",
+    "v",
+    "w",
+    "x",
+    "y",
+    "z",
+    "{",
+    "|",
+    "}",
+    "~",
+    "Ġ",
+    "-=",
+    "<<",
+    ">>",
+    ":=",
+    ">=",
+    "<=",
+    "==",
+    "!=",
+    "+=",
+    "//=",
+    "**=",
+    "/=",
+    "//",
+    "%=",
+    "@=",
+    "&=",
+    "|=",
+    "^=",
+    ">>=",
+    "<<=",
+    "*=",
+    "()",
+    "):",
+    "~>>",
+    "**",
+    "<codeobj:",
+    "<KWARG_PAD>",
+    "E->",
+    "<TAP_0>",
+    "defaults",
+    "args:",
+    "vararg:",
+    "<TAP_1>",
+    "<START_LINE>",
+    "<SUB>",
+    "<TAP_UP>",
+    "E-END",
+    "<TAP_2>",
+    "~~>",
+    "<TAP_ST>",
+    "<SEP>",
+    "</SUB>",
+    "<TAP_3>",
+    "<TAP_4>",
+    "<TAP_5>",
+    "<TAP_6>",
+    "<TAP_7>",
+    "False",
+    "None",
+    "True",
+    "and",
+    "assert",
+    "async",
+    "await",
+    "break",
+    "class",
+    "continue",
+    "def",
+    "del",
+    "elif",
+    "else",
+    "else:",
+    "except",
+    "except:",
+    "finally",
+    "finally:",
+    "for",
+    "from",
+    "global",
+    "if",
+    "import",
+    "in",
+    "is",
+    "lambda",
+    "nonlocal",
+    "not",
+    "or",
+    "pass",
+    "raise",
+    "return",
+    "try",
+    "try:",
+    "while",
+    "with",
+    "yield",
+    "case",
+    "as",
+    "ASYNC_GEN_WRAP",
+    "BEFORE_ASYNC_WITH",
+    "BEFORE_WITH",
+    "BEGIN_FINALLY",
+    "BINARY_ADD",
+    "BINARY_AND",
+    "BINARY_FLOOR_DIVIDE",
+    "BINARY_LSHIFT",
+    "BINARY_MATRIX_MULTIPLY",
+    "BINARY_MODULO",
+    "BINARY_MULTIPLY",
+    "BINARY_OP",
+    "BINARY_OR",
+    "BINARY_POWER",
+    "BINARY_RSHIFT",
+    "BINARY_SLICE",
+    "BINARY_SUBSCR",
+    "BINARY_SUBTRACT",
+    "BINARY_TRUE_DIVIDE",
+    "BINARY_XOR",
+    "BREAK_LOOP",
+    "BUILD_CONST_KEY_MAP",
+    "BUILD_LIST",
+    "BUILD_LIST_UNPACK",
+    "BUILD_MAP",
+    "BUILD_MAP_UNPACK",
+    "BUILD_MAP_UNPACK_WITH_CALL",
+    "BUILD_SET",
+    "BUILD_SET_UNPACK",
+    "BUILD_SLICE",
+    "BUILD_STRING",
+    "BUILD_TUPLE",
+    "BUILD_TUPLE_UNPACK",
+    "BUILD_TUPLE_UNPACK_WITH_CALL",
+    "CACHE",
+    "CALL_FINALLY",
+    "CALL_FUNCTION",
+    "CALL_FUNCTION_EX",
+    "CALL_FUNCTION_KW",
+    "CALL_METHOD",
+    "CHECK_EG_MATCH",
+    "CHECK_EXC_MATCH",
+    "CLEANUP_THROW",
+    "COMPARE_OP",
+    "CONTAINS_OP",
+    "CONTINUE_LOOP",
+    "COPY",
+    "COPY_DICT_WITHOUT_KEYS",
+    "COPY_FREE_VARS",
+    "DELETE_ATTR",
+    "DELETE_DEREF",
+    "DELETE_FAST",
+    "DELETE_GLOBAL",
+    "DELETE_NAME",
+    "DELETE_SUBSCR",
+    "DICT_MERGE",
+    "DICT_UPDATE",
+    "DUP_TOP",
+    "DUP_TOP_TWO",
+    "END_ASYNC_FOR",
+    "END_FINALLY",
+    "END_FOR",
+    "END_SEND",
+    "EXTENDED_ARG",
+    "FOR_ITER",
+    "FORMAT_VALUE",
+    "GEN_START",
+    "GET_AITER",
+    "GET_ANEXT",
+    "GET_AWAITABLE",
+    "GET_ITER",
+    "GET_LEN",
+    "GET_YIELD_FROM_ITER",
+    "IMPORT_FROM",
+    "IMPORT_NAME",
+    "IMPORT_STAR",
+    "INPLACE_ADD",
+    "INPLACE_AND",
+    "INPLACE_FLOOR_DIVIDE",
+    "INPLACE_LSHIFT",
+    "INPLACE_MATRIX_MULTIPLY",
+    "INPLACE_MODULO",
+    "INPLACE_MULTIPLY",
+    "INPLACE_OR",
+    "INPLACE_POWER",
+    "INPLACE_RSHIFT",
+    "INPLACE_SUBTRACT",
+    "INPLACE_TRUE_DIVIDE",
+    "INPLACE_XOR",
+    "INTERPRETER_EXIT",
+    "IS_OP",
+    "JUMP_ABSOLUTE",
+    "JUMP_BACKWARD",
+    "JUMP_BACKWARD_NO_INTERRUPT",
+    "JUMP_FORWARD",
+    "JUMP_IF_FALSE_OR_POP",
+    "JUMP_IF_NOT_EXC_MATCH",
+    "JUMP_IF_TRUE_OR_POP",
+    "LIST_APPEND",
+    "LIST_EXTEND",
+    "LIST_TO_TUPLE",
+    "LOAD_ASSERTION_ERROR",
+    "LOAD_ATTR",
+    "LOAD_BUILD_CLASS",
+    "LOAD_CLASSDEREF",
+    "LOAD_CLOSURE",
+    "LOAD_CONST",
+    "LOAD_DEREF",
+    "LOAD_FAST",
+    "LOAD_FAST_AND_CLEAR",
+    "LOAD_FAST_CHECK",
+    "LOAD_GLOBAL",
+    "LOAD_LOCALS",
+    "LOAD_METHOD",
+    "LOAD_NAME",
+    "LOAD_SUPER_ATTR",
+    "MAKE_CELL",
+    "MAKE_FUNCTION",
+    "MAP_ADD",
+    "MATCH_CLASS",
+    "MATCH_KEYS",
+    "MATCH_MAPPING",
+    "MATCH_SEQUENCE",
+    "NOP",
+    "POP_BLOCK",
+    "POP_EXCEPT",
+    "POP_FINALLY",
+    "POP_JUMP_FORWARD_IF_FALSE",
+    "POP_JUMP_FORWARD_IF_NONE",
+    "POP_JUMP_FORWARD_IF_NOT_NONE",
+    "POP_JUMP_FORWARD_IF_TRUE",
+    "POP_JUMP_IF_FALSE",
+    "POP_JUMP_IF_NONE",
+    "POP_JUMP_IF_NOT_NONE",
+    "POP_JUMP_IF_TRUE",
+    "POP_TOP",
+    "PRECALL",
+    "PREP_RERAISE_STAR",
+    "PRINT_EXPR",
+    "PUSH_EXC_INFO",
+    "PUSH_NULL",
+    "RAISE_VARARGS",
+    "RERAISE",
+    "RESERVED",
+    "RESUME",
+    "RETURN_CONST",
+    "RETURN_GENERATOR",
+    "RETURN_VALUE",
+    "ROT_FOUR",
+    "ROT_N",
+    "ROT_THREE",
+    "ROT_TWO",
+    "SEND",
+    "SET_ADD",
+    "SET_UPDATE",
+    "SETUP_ANNOTATIONS",
+    "SETUP_ASYNC_WITH",
+    "SETUP_EXCEPT",
+    "SETUP_FINALLY",
+    "SETUP_LOOP",
+    "SETUP_WITH",
+    "STORE_ATTR",
+    "STORE_DEREF",
+    "STORE_FAST",
+    "STORE_GLOBAL",
+    "STORE_NAME",
+    "STORE_SLICE",
+    "STORE_SUBSCR",
+    "SWAP",
+    "UNARY_INVERT",
+    "UNARY_NEGATIVE",
+    "UNARY_NOT",
+    "UNARY_POSITIVE",
+    "UNPACK_EX",
+    "UNPACK_SEQUENCE",
+    "WITH_CLEANUP_FINISH",
+    "WITH_CLEANUP_START",
+    "WITH_EXCEPT_START",
+    "YIELD_FROM",
+    "YIELD_VALUE",
+    "<mask_0>",
+    "<mask_1>",
+    "<mask_2>",
+    "<mask_3>",
+    "<mask_4>",
+    "<mask_5>",
+    "<mask_6>",
+    "<mask_7>",
+    "<mask_8>",
+    "<mask_9>",
+    "<mask_10>",
+    "<mask_11>",
+    "<mask_12>",
+    "<mask_13>",
+    "<mask_14>",
+    "<mask_15>",
+    "<mask_16>",
+    "<mask_17>",
+    "<mask_18>",
+    "<mask_19>",
+    "<mask_20>",
+    "<mask_21>",
+    "<mask_22>",
+    "<mask_23>",
+    "<mask_24>",
+    "<mask_25>",
+    "<mask_26>",
+    "<mask_27>",
+    "<mask_28>",
+    "<mask_29>",
+    "<mask_30>",
+    "<mask_31>",
+    "<mask_32>",
+    "<mask_33>",
+    "<mask_34>",
+    "<mask_35>",
+    "<mask_36>",
+    "<mask_37>",
+    "<mask_38>",
+    "<mask_39>",
+    "<mask_40>",
+    "<mask_41>",
+    "<mask_42>",
+    "<mask_43>",
+    "<mask_44>",
+    "<mask_45>",
+    "<mask_46>",
+    "<mask_47>",
+    "<mask_48>",
+    "<mask_49>",
+    "<mask_50>",
+    "<mask_51>",
+    "<mask_52>",
+    "<mask_53>",
+    "<mask_54>",
+    "<mask_55>",
+    "<mask_56>",
+    "<mask_57>",
+    "<mask_58>",
+    "<mask_59>",
+    "<mask_60>",
+    "<mask_61>",
+    "<mask_62>",
+    "<mask_63>",
+    "<mask_64>",
+    "<mask_65>",
+    "<mask_66>",
+    "<mask_67>",
+    "<mask_68>",
+    "<mask_69>",
+    "<mask_70>",
+    "<mask_71>",
+    "<mask_72>",
+    "<mask_73>",
+    "<mask_74>",
+    "<mask_75>",
+    "<mask_76>",
+    "<mask_77>",
+    "<mask_78>",
+    "<mask_79>",
+    "<mask_80>",
+    "<mask_81>",
+    "<mask_82>",
+    "<mask_83>",
+    "<mask_84>",
+    "<mask_85>",
+    "<mask_86>",
+    "<mask_87>",
+    "<mask_88>",
+    "<mask_89>",
+    "<mask_90>",
+    "<mask_91>",
+    "<mask_92>",
+    "<mask_93>",
+    "<mask_94>",
+    "<mask_95>",
+    "<mask_96>",
+    "<mask_97>",
+    "<mask_98>",
+    "<mask_99>",
+    "<mask_100>",
+    "<mask_101>",
+    "<mask_102>",
+    "<mask_103>",
+    "<mask_104>",
+    "<mask_105>",
+    "<mask_106>",
+    "<mask_107>",
+    "<mask_108>",
+    "<mask_109>",
+    "<mask_110>",
+    "<mask_111>",
+    "<mask_112>",
+    "<mask_113>",
+    "<mask_114>",
+    "<mask_115>",
+    "<mask_116>",
+    "<mask_117>",
+    "<mask_118>",
+    "<mask_119>",
+    "<mask_120>",
+    "<mask_121>",
+    "<mask_122>",
+    "<mask_123>",
+    "<mask_124>",
+    "<mask_125>",
+    "<mask_126>",
+    "<mask_127>",
+    "<mask_128>",
+    "<mask_129>",
+    "<mask_130>",
+    "<mask_131>",
+    "<mask_132>",
+    "<mask_133>",
+    "<mask_134>",
+    "<mask_135>",
+    "<mask_136>",
+    "<mask_137>",
+    "<mask_138>",
+    "<mask_139>",
+    "<mask_140>",
+    "<mask_141>",
+    "<mask_142>",
+    "<mask_143>",
+    "<mask_144>",
+    "<mask_145>",
+    "<mask_146>",
+    "<mask_147>",
+    "<mask_148>",
+    "<mask_149>",
+    "<mask_150>",
+    "<mask_151>",
+    "<mask_152>",
+    "<mask_153>",
+    "<mask_154>",
+    "<mask_155>",
+    "<mask_156>",
+    "<mask_157>",
+    "<mask_158>",
+    "<mask_159>",
+    "<mask_160>",
+    "<mask_161>",
+    "<mask_162>",
+    "<mask_163>",
+    "<mask_164>",
+    "<mask_165>",
+    "<mask_166>",
+    "<mask_167>",
+    "<mask_168>",
+    "<mask_169>",
+    "<mask_170>",
+    "<mask_171>",
+    "<mask_172>",
+    "<mask_173>",
+    "<mask_174>",
+    "<mask_175>",
+    "<mask_176>",
+    "<mask_177>",
+    "<mask_178>",
+    "<mask_179>",
+    "<mask_180>",
+    "<mask_181>",
+    "<mask_182>",
+    "<mask_183>",
+    "<mask_184>",
+    "<mask_185>",
+    "<mask_186>",
+    "<mask_187>",
+    "<mask_188>",
+    "<mask_189>",
+    "<mask_190>",
+    "<mask_191>",
+    "<mask_192>",
+    "<mask_193>",
+    "<mask_194>",
+    "<mask_195>",
+    "<mask_196>",
+    "<mask_197>",
+    "<mask_198>",
+    "<mask_199>",
+    "<mask_200>",
+    "<mask_201>",
+    "<mask_202>",
+    "<mask_203>",
+    "<mask_204>",
+    "<mask_205>",
+    "<mask_206>",
+    "<mask_207>",
+    "<mask_208>",
+    "<mask_209>",
+    "<mask_210>",
+    "<mask_211>",
+    "<mask_212>",
+    "<mask_213>",
+    "<mask_214>",
+    "<mask_215>",
+    "<mask_216>",
+    "<mask_217>",
+    "<mask_218>",
+    "<mask_219>",
+    "<mask_220>",
+    "<mask_221>",
+    "<mask_222>",
+    "<mask_223>",
+    "<mask_224>",
+    "<mask_225>",
+    "<mask_226>",
+    "<mask_227>",
+    "<mask_228>",
+    "<mask_229>",
+    "<mask_230>",
+    "<mask_231>",
+    "<mask_232>",
+    "<mask_233>",
+    "<mask_234>",
+    "<mask_235>",
+    "<mask_236>",
+    "<mask_237>",
+    "<mask_238>",
+    "<mask_239>",
+    "<mask_240>",
+    "<mask_241>",
+    "<mask_242>",
+    "<mask_243>",
+    "<mask_244>",
+    "<mask_245>",
+    "<mask_246>",
+    "<mask_247>",
+    "<mask_248>",
+    "<mask_249>",
+    "<mask_250>",
+    "<mask_251>",
+    "<mask_252>",
+    "<mask_253>",
+    "<mask_254>",
+    "<mask_255>",
+    "<mask_256>",
+    "<mask_257>",
+    "<mask_258>",
+    "<mask_259>",
+    "<mask_260>",
+    "<mask_261>",
+    "<mask_262>",
+    "<mask_263>",
+    "<mask_264>",
+    "<mask_265>",
+    "<mask_266>",
+    "<mask_267>",
+    "<mask_268>",
+    "<mask_269>",
+    "<mask_270>",
+    "<mask_271>",
+    "<mask_272>",
+    "<mask_273>",
+    "<mask_274>",
+    "<mask_275>",
+    "<mask_276>",
+    "<mask_277>",
+    "<mask_278>",
+    "<mask_279>",
+    "<mask_280>",
+    "<mask_281>",
+    "<mask_282>",
+    "<mask_283>",
+    "<mask_284>",
+    "<mask_285>",
+    "<mask_286>",
+    "<mask_287>",
+    "<mask_288>",
+    "<mask_289>",
+    "<mask_290>",
+    "<mask_291>",
+    "<mask_292>",
+    "<mask_293>",
+    "<mask_294>",
+    "<mask_295>",
+    "<mask_296>",
+    "<mask_297>",
+    "<mask_298>",
+    "<mask_299>",
+    "<mask_300>",
+    "<mask_301>",
+    "<mask_302>",
+    "<mask_303>",
+    "<mask_304>",
+    "<mask_305>",
+    "<mask_306>",
+    "<mask_307>",
+    "<mask_308>",
+    "<mask_309>",
+    "<mask_310>",
+    "<mask_311>",
+    "<mask_312>",
+    "<mask_313>",
+    "<mask_314>",
+    "<mask_315>",
+    "<mask_316>",
+    "<mask_317>",
+    "<mask_318>",
+    "<mask_319>",
+    "<mask_320>",
+    "<mask_321>",
+    "<mask_322>",
+    "<mask_323>",
+    "<mask_324>",
+    "<mask_325>",
+    "<mask_326>",
+    "<mask_327>",
+    "<mask_328>",
+    "<mask_329>",
+    "<mask_330>",
+    "<mask_331>",
+    "<mask_332>",
+    "<mask_333>",
+    "<mask_334>",
+    "<mask_335>",
+    "<mask_336>",
+    "<mask_337>",
+    "<mask_338>",
+    "<mask_339>",
+    "<mask_340>",
+    "<mask_341>",
+    "<mask_342>",
+    "<mask_343>",
+    "<mask_344>",
+    "<mask_345>",
+    "<mask_346>",
+    "<mask_347>",
+    "<mask_348>",
+    "<mask_349>",
+    "<mask_350>",
+    "<mask_351>",
+    "<mask_352>",
+    "<mask_353>",
+    "<mask_354>",
+    "<mask_355>",
+    "<mask_356>",
+    "<mask_357>",
+    "<mask_358>",
+    "<mask_359>",
+    "<mask_360>",
+    "<mask_361>",
+    "<mask_362>",
+    "<mask_363>",
+    "<mask_364>",
+    "<mask_365>",
+    "<mask_366>",
+    "<mask_367>",
+    "<mask_368>",
+    "<mask_369>",
+    "<mask_370>",
+    "<mask_371>",
+    "<mask_372>",
+    "<mask_373>",
+    "<mask_374>",
+    "<mask_375>",
+    "<mask_376>",
+    "<mask_377>",
+    "<mask_378>",
+    "<mask_379>",
+    "<mask_380>",
+    "<mask_381>",
+    "<mask_382>",
+    "<mask_383>",
+    "<extra_id_99>",
+    "<extra_id_98>",
+    "<extra_id_97>",
+    "<extra_id_96>",
+    "<extra_id_95>",
+    "<extra_id_94>",
+    "<extra_id_93>",
+    "<extra_id_92>",
+    "<extra_id_91>",
+    "<extra_id_90>",
+    "<extra_id_89>",
+    "<extra_id_88>",
+    "<extra_id_87>",
+    "<extra_id_86>",
+    "<extra_id_85>",
+    "<extra_id_84>",
+    "<extra_id_83>",
+    "<extra_id_82>",
+    "<extra_id_81>",
+    "<extra_id_80>",
+    "<extra_id_79>",
+    "<extra_id_78>",
+    "<extra_id_77>",
+    "<extra_id_76>",
+    "<extra_id_75>",
+    "<extra_id_74>",
+    "<extra_id_73>",
+    "<extra_id_72>",
+    "<extra_id_71>",
+    "<extra_id_70>",
+    "<extra_id_69>",
+    "<extra_id_68>",
+    "<extra_id_67>",
+    "<extra_id_66>",
+    "<extra_id_65>",
+    "<extra_id_64>",
+    "<extra_id_63>",
+    "<extra_id_62>",
+    "<extra_id_61>",
+    "<extra_id_60>",
+    "<extra_id_59>",
+    "<extra_id_58>",
+    "<extra_id_57>",
+    "<extra_id_56>",
+    "<extra_id_55>",
+    "<extra_id_54>",
+    "<extra_id_53>",
+    "<extra_id_52>",
+    "<extra_id_51>",
+    "<extra_id_50>",
+    "<extra_id_49>",
+    "<extra_id_48>",
+    "<extra_id_47>",
+    "<extra_id_46>",
+    "<extra_id_45>",
+    "<extra_id_44>",
+    "<extra_id_43>",
+    "<extra_id_42>",
+    "<extra_id_41>",
+    "<extra_id_40>",
+    "<extra_id_39>",
+    "<extra_id_38>",
+    "<extra_id_37>",
+    "<extra_id_36>",
+    "<extra_id_35>",
+    "<extra_id_34>",
+    "<extra_id_33>",
+    "<extra_id_32>",
+    "<extra_id_31>",
+    "<extra_id_30>",
+    "<extra_id_29>",
+    "<extra_id_28>",
+    "<extra_id_27>",
+    "<extra_id_26>",
+    "<extra_id_25>",
+    "<extra_id_24>",
+    "<extra_id_23>",
+    "<extra_id_22>",
+    "<extra_id_21>",
+    "<extra_id_20>",
+    "<extra_id_19>",
+    "<extra_id_18>",
+    "<extra_id_17>",
+    "<extra_id_16>",
+    "<extra_id_15>",
+    "<extra_id_14>",
+    "<extra_id_13>",
+    "<extra_id_12>",
+    "<extra_id_11>",
+    "<extra_id_10>",
+    "<extra_id_9>",
+    "<extra_id_8>",
+    "<extra_id_7>",
+    "<extra_id_6>",
+    "<extra_id_5>",
+    "<extra_id_4>",
+    "<extra_id_3>",
+    "<extra_id_2>",
+    "<extra_id_1>",
+    "<extra_id_0>",
+    "match",
+    "type",
+    "HAVE_ARGUMENT",
+    "CALL_INTRINSIC_1",
+    "CALL_INTRINSIC_2",
+    "JUMP_NO_INTERRUPT",
+    "nargs",
+    "vargs",
+    "compare",
+    "name",
+    "const",
+    "local",
+    "BUILD_INTERPOLATION",
+    "BUILD_TEMPLATE",
+    "CALL",
+    "CALL_KW",
+    "CONVERT_VALUE",
+    "FORMAT_SIMPLE",
+    "FORMAT_WITH_SPEC",
+    "KW_NAMES",
+    "LOAD_COMMON_CONSTANT",
+    "LOAD_FAST_BORROW",
+    "LOAD_FAST_BORROW_LOAD_FAST_BORROW",
+    "LOAD_FAST_LOAD_FAST",
+    "LOAD_FROM_DICT_OR_DEREF",
+    "LOAD_FROM_DICT_OR_GLOBALS",
+    "LOAD_SMALL_INT",
+    "LOAD_SPECIAL",
+    "NOT_TAKEN",
+    "POP_ITER",
+    "SET_FUNCTION_ATTRIBUTE",
+    "STORE_FAST_LOAD_FAST",
+    "STORE_FAST_STORE_FAST",
+    "TO_BOOL",
+    "positional",
+    "annotations-func",
+    "annotations",
+    "closures",
+    "kwonly_defaults",
+    "coroutine",
+    "async_generator",
+    "posonly:",
+    "kwonly:",
+    "kwarg:",
+    "__classdict__",
+    "__annotations__",
+    "__conditional_annotations__",
+    "__class__",
+    "__doc__",
+    "AssertionError",
+    "NotImplementedError",
+    "exception",
+    "instance",
+    "TARGET_0",
+    "TARGET_1",
+    "TARGET_2",
+    "TARGET_3",
+    "TARGET_4",
+    "TARGET_5",
+    "TARGET_6",
+    "TARGET_7",
+    "TARGET_8",
+    "TARGET_9",
+    "TARGET_10",
+    "TARGET_11",
+    "TARGET_12",
+    "TARGET_13",
+    "TARGET_14",
+    "TARGET_15",
+    "INTRINSIC_PRINT",
+    "INTRINSIC_IMPORT_STAR",
+    "INTRINSIC_STOPITERATION_ERROR",
+    "INTRINSIC_ASYNC_GEN_WRAP",
+    "INTRINSIC_UNARY_POSITIVE",
+    "INTRINSIC_LIST_TO_TUPLE",
+    "INTRINSIC_TYPEVAR",
+    "INTRINSIC_PARAMSPEC",
+    "INTRINSIC_TYPEVARTUPLE",
+    "INTRINSIC_SUBSCRIPT_GENERIC",
+    "INTRINSIC_TYPEALIAS",
+    "INTRINSIC_PREP_RERAISE_STAR",
+    "INTRINSIC_TYPEVAR_WITH_BOUND",
+    "INTRINSIC_TYPEVAR_WITH_CONSTRAINTS",
+    "INTRINSIC_SET_FUNCTION_TYPE_PARAMS",
+    "INTRINSIC_SET_TYPEPARAM_DEFAULT"
+  ],
+  "is_local": true,
+  "local_files_only": false,
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "RobertaTokenizer",
+  "trim_offsets": true,
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2d0ca53392f49e650c739b523b5c5b04a708dd0b47a9fa83ab9be8b56ba2b3ba
+size 5393