{
  "version": "1.0",
  "truncation": {
    "direction": "Right",
    "max_length": 128,
    "strategy": "LongestFirst",
    "stride": 0
  },
  "padding": {
    "strategy": {
      "Fixed": 128
    },
    "direction": "Left",
    "pad_to_multiple_of": null,
    "pad_id": 2,
    "pad_type_id": 0,
    "pad_token": "</s>"
  },
  "added_tokens": [
    {
      "id": 0,
      "content": "<unk>",
      "single_word": false,
      "lstrip": false,
      "rstrip": false,
      "normalized": true,
      "special": true
    },
    {
      "id": 1,
      "content": "<s>",
      "single_word": false,
      "lstrip": false,
      "rstrip": false,
      "normalized": true,
      "special": true
    },
    {
      "id": 2,
      "content": "</s>",
      "single_word": false,
      "lstrip": false,
      "rstrip": false,
      "normalized": true,
      "special": true
    }
  ],
  "normalizer": {
    "type": "Sequence",
    "normalizers": [
      {
        "type": "Prepend",
        "prepend": "▁"
      },
      {
        "type": "Replace",
        "pattern": {
          "String": " "
        },
        "content": "▁"
      }
    ]
  },
  "pre_tokenizer": null,
  "post_processor": {
    "type": "TemplateProcessing",
    "single": [
      {
        "SpecialToken": {
          "id": "<s>",
          "type_id": 0
        }
      },
      {
        "Sequence": {
          "id": "A",
          "type_id": 0
        }
      }
    ],
    "pair": [
      {
        "SpecialToken": {
          "id": "<s>",
          "type_id": 0
        }
      },
      {
        "Sequence": {
          "id": "A",
          "type_id": 0
        }
      },
      {
        "SpecialToken": {
          "id": "<s>",
          "type_id": 1
        }
      },
      {
        "Sequence": {
          "id": "B",
          "type_id": 1
        }
      }
    ],
    "special_tokens": {
      "<s>": {
        "id": "<s>",
        "ids": [
          1
        ],
        "tokens": [
          "<s>"
        ]
      }
    }
  },
  "decoder": {
    "type": "Sequence",
    "decoders": [
      {
        "type": "Replace",
        "pattern": {
          "String": "▁"
        },
        "content": " "
      },
      {
        "type": "ByteFallback"
      },
      {
        "type": "Fuse"
      },
      {
        "type": "Strip",
        "content": " ",
        "start": 1,
        "stop": 0
      }
    ]
  },
  "model": {
    "type": "Unigram",
    "unk_id": 0,
    "vocab": [
      [
        "<unk>",
        0.0
      ],
      [
        "<s>",
        0.0
      ],
      [
        "</s>",
        0.0
      ],
      [
        "▁",
        -0.5537281368002951
      ],
      [
        "a",
        -2.206163300308619
      ],
      [
        "i",
        -3.4698377124275996
      ],
      [
        "o",
        -3.625328505181651
      ],
      [
        "d",
        -3.710261874841528
      ],
      [
        "y",
        -3.895623014599913
      ],
      [
        "n",
        -3.9241564889678657
      ],
      [
        "e",
        -3.996031612968597
      ],
      [
        "u",
        -4.020550100040991
      ],
      [
        "l",
        -4.16796601703772
      ],
      [
        "h",
        -4.2061951544872755
      ],
      [
        "s",
        -4.258920876199081
      ],
      [
        "k",
        -4.270646474711075
      ],
      [
        "r",
        -4.366133846179466
      ],
      [
        "m",
        -4.661349427160829
      ],
      [
        "g",
        -4.671853885731711
      ],
      [
        "b",
        -4.764145142326377
      ],
      [
        "w",
        -5.020700862179128
      ],
      [
        "t",
        -5.039283250304928
      ],
      [
        "x",
        -5.041020067562583
      ],
      [
        "q",
        -5.565562390890502
      ],
      [
        "c",
        -5.627498296064616
      ],
      [
        ",",
        -5.821637688768487
      ],
      [
        ".",
        -6.056015545727806
      ],
      [
        "S",
        -6.224462278190527
      ],
      [
        "f",
        -6.228092265837139
      ],
      [
        "M",
        -6.305043609360995
      ],
      [
        "j",
        -6.4046242021046815
      ],
      [
        "A",
        -6.618608152829582
      ],
      [
        "D",
        -6.767235971284624
      ],
      [
        "W",
        -6.784002580071416
      ],
      [
        "C",
        -6.975347072856344
      ],
      [
        "I",
        -7.094522631592117
      ],
      [
        "G",
        -7.12377731380807
      ],
      [
        "-",
        -7.163134595285085
      ],
      [
        "B",
        -7.185302221532661
      ],
      [
        "K",
        -7.284107055272177
      ],
      [
        "X",
        -7.345178282504843
      ],
      [
        "H",
        -7.441136939513969
      ],
      [
        "0",
        -7.610454725175899
      ],
      [
        "1",
        -7.676846365553844
      ],
      [
        "Q",
        -7.6815023490292225
      ],
      [
        "2",
        -7.832934400654507
      ],
      [
        "O",
        -7.855510099432444
      ],
      [
        "’",
        -7.913303956478877
      ],
      [
        "T",
        -7.920521835325051
      ],
      [
        "N",
        -7.927129060971368
      ],
      [
        "L",
        -7.946540647005372
      ],
      [
        "F",
        -8.030392557146758
      ],
      [
        "J",
        -8.044456444862213
      ],
      [
        "R",
        -8.061750108119739
      ],
      [
        "U",
        -8.168080202728104
      ],
      [
        "E",
        -8.322863716456041
      ],
      [
        ":",
        -8.419997311703058
      ],
      [
        ")",
        -8.515578814777218
      ],
      [
        "P",
        -8.547115687654244
      ],
      [
        "Y",
        -8.550819395121305
      ],
      [
        "(",
        -8.564518237708931
      ],
      [
        "\"",
        -8.768258741460592
      ],
      [
        "p",
        -8.841598353802134
      ],
      [
        "3",
        -8.84491235773391
      ],
      [
        "“",
        -8.848237380812833
      ],
      [
        "'",
        -8.861649146182236
      ],
      [
        "5",
        -8.90475925914842
      ],
      [
        "9",
        -8.91005962353548
      ],
      [
        "4",
        -8.957212497597583
      ],
      [
        "”",
        -8.975957183394758
      ],
      [
        "/",
        -8.979748655995529
      ],
      [
        "8",
        -9.062882529049046
      ],
      [
        "7",
        -9.064948644751524
      ],
      [
        "6",
        -9.1513021242946
      ],
      [
        "?",
        -9.42740162082142
      ],
      [
        "v",
        -9.473002191090902
      ],
      [
        "…",
        -9.722540553349848
      ],
      [
        "–",
        -10.13702742185092
      ],
      [
        "z",
        -10.13702742185092
      ],
      [
        "V",
        -10.286656086276462
      ],
      [
        ";",
        -10.307933395522006
      ],
      [
        "[",
        -10.43788633130764
      ],
      [
        "]",
        -10.496726484580272
      ],
      [
        "!",
        -10.496726484580272
      ],
      [
        "Z",
        -10.797478062315149
      ],
      [
        "_",
        -10.821147530102262
      ],
      [
        "&",
        -10.895715264505524
      ],
      [
        "‘",
        -11.160012056497354
      ],
      [
        "%",
        -11.176961209039728
      ],
      [
        "$",
        -11.544672763846052
      ],
      [
        "+",
        -11.705005812336996
      ],
      [
        "`",
        -12.00725762502892
      ],
      [
        "»",
        -12.04725762502892
      ],
      [
        "ل",
        -12.088924291695587
      ],
      [
        "ا",
        -12.132402552565154
      ],
      [
        "—",
        -12.132402552565154
      ],
      [
        "​",
        -12.225476145638746
      ],
      [
        "*",
        -12.225476145638746
      ],
      [
        "«",
        -12.504986809553444
      ],
      [
        "�",
        -12.504986809553444
      ],
      [
        "€",
        -12.64308204764871
      ],
      [
        "\\",
        -12.803338457905266
      ],
      [
        "ö",
        -12.803338457905266
      ],
      [
        "م",
        -13.105358659928983
      ],
      [
        "•",
        -13.105358659928983
      ],
      [
        "ä",
        -13.230358659938087
      ],
      [
        "ي",
        -13.230358659938087
      ],
      [
        "}",
        -13.230358659938087
      ],
      [
        "ه",
        -13.373215802835192
      ],
      [
        "ن",
        -13.373215802835192
      ],
      [
        "â",
        -13.373215802835192
      ],
      [
        "{",
        -13.373215802835192
      ],
      [
        "=",
        -13.373215802835192
      ],
      [
        "@",
        -13.373215802835192
      ],
      [
        "→",
        -13.373215802835192
      ],
      [
        "←",
        -13.539882469501858
      ],
      [
        "و",
        -13.539882469501858
      ],
      [
        "ع",
        -13.73988246950186
      ],
      [
        "£",
        -13.73988246950186
      ],
      [
        "·",
        -13.73988246950186
      ],
      [
        "س",
        -13.73988246950186
      ],
      [
        "^",
        -13.73988246950186
      ],
      [
        "ø",
        -13.73988246950186
      ],
      [
        "ر",
        -13.73988246950186
      ],
      [
        "´",
        -13.73988246950186
      ],
      [
        "ف",
        -13.98988246950186
      ],
      [
        "ص",
        -13.98988246950186
      ],
      [
        "é",
        -13.98988246950186
      ],
      [
        "œ",
        -13.98988246950186
      ],
      [
        "è",
        -13.98988246950186
      ],
      [
        "ح",
        -14.323215802835191
      ],
      [
        "á",
        -14.323215802835191
      ],
      [
        "í",
        -14.323215802835191
      ],
      [
        "„",
        -14.323215802835191
      ],
      [
        "Ø",
        -14.323215802835191
      ],
      [
        "ك",
        -14.323215802835191
      ],
      [
        "ü",
        -14.823215802835191
      ],
      [
        "<",
        -14.823215802835191
      ],
      [
        "أ",
        -14.823215802835191
      ],
      [
        "ُ",
        -14.823215802835191
      ],
      [
        "ى",
        -14.823215802835191
      ],
      [
        "፡",
        -14.823215802835191
      ],
      [
        "²",
        -14.823215802835191
      ],
      [
        "د",
        -14.823215802835191
      ],
      [
        "ء",
        -14.823215802835191
      ],
      [
        "ʼ",
        -14.823215802835191
      ],
      [
        "ب",
        -14.823215802835191
      ],
      [
        "­",
        -14.823215802835191
      ],
      [
        "",
        -14.823215802835191
      ],
      [
        "ط",
        -15.823215802835191
      ],
      [
        "职",
        -15.823215802835191
      ],
      [
        "å",
        -15.823215802835191
      ],
      [
        "ﷺ",
        -15.823215802835191
      ],
      [
        "业",
        -15.823215802835191
      ],
      [
        "”",
        -15.823215802835191
      ],
      [
        "ə",
        -15.823215802835191
      ],
      [
        "川",
        -15.823215802835191
      ],
      [
        "‎",
        -15.823215802835191
      ],
      [
        "ق",
        -15.823215802835191
      ],
      [
        "ē",
        -15.823215802835191
      ],
      [
        "‐",
        -15.823215802835191
      ],
      [
        "#",
        -15.823215802835191
      ],
      [
        "“",
        -15.823215802835191
      ],
      [
        "×",
        -15.823215802835191
      ],
      [
        "ï",
        -15.823215802835191
      ],
      [
        "ñ",
        -15.823215802835191
      ],
      [
        "─",
        -15.823215802835191
      ],
      [
        "®",
        -15.823215802835191
      ],
      [
        "ذ",
        -15.823215802835191
      ],
      [
        "ش",
        -15.823215802835191
      ],
      [
        "四",
        -15.823215802835191
      ],
      [
        "ج",
        -15.823215802835191
      ],
      [
        "↑",
        -15.823215802835191
      ],
      [
        "غ",
        -15.823215802835191
      ],
      [
        "传",
        -15.823215802835191
      ],
      [
        "媒",
        -15.823215802835191
      ],
      [
        "院",
        -15.823215802835191
      ],
      [
        "ë",
        -15.823215802835191
      ],
      [
        "学",
        -15.823215802835191
      ],
      [
        "ş",
        -15.823215802835191
      ],
      [
        "™",
        -15.823215802835191
      ],
      [
        "ğ",
        -15.823215802835191
      ],
      [
        "‏",
        -15.823215802835191
      ],
      [
        "ą",
        -15.823215802835191
      ],
      [
        "ç",
        -15.823215802835191
      ],
      [
        "ث",
        -15.823215802835191
      ],
      [
        "ت",
        -15.823215802835191
      ],
      [
        "ó",
        -15.823215802835191
      ],
      [
        "文",
        -15.823215802835191
      ],
      [
        "ã",
        -15.823215802835191
      ],
      [
        "化",
        -15.823215802835191
      ],
      [
        " ",
        -15.823215802835191
      ],
      [
        ">",
        -15.823215802835191
      ]
    ],
    "byte_fallback": false
  }
}