tokenizer_config.json

{
  "add_prefix_space": true,
  "backend": "tokenizers",
  "bos_token": "<|endoftext|>",
  "clean_up_tokenization_spaces": false,
  "eos_token": "<|im_end|>",
  "extra_special_tokens": [
    "<s>",
    "</s>",
    "<|instruct|>",
    "<|begin_header|>",
    "<|end_header|>",
    "<|system|>",
    "<|user|>",
    "<|assistant|>",
    "<|begin_instruction|>",
    "<|end_instruction|>",
    "<|instruction|>",
    "<|begin_context|>",
    "<|end_context|>",
    "<|context|>",
    "<|begin_message|>",
    "<|end_message|>",
    "<|message|>",
    "<|begin_response|>",
    "<|end_response|>",
    "<|response|>",
    "<|begin_text|>",
    "<|end_text|>",
    "<|text|>",
    "<|begin_user_info|>",
    "<|end_user_info|>",
    "<|user_info|>",
    "<|eod|>",
    "<|bod|>",
    "<|sep|>",
    "<|begin_summary|>",
    "<|end_summary|>",
    "<|begin_source|>",
    "<|end_source|>",
    "<|begin_target|>",
    "<|end_target|>",
    "<|begin_html|>",
    "<|end_html|>",
    "<|begin_latex|>",
    "<|end_latex|>",
    "<|begin_json|>",
    "<|end_json|>",
    "<|begin_csv|>",
    "<|end_csv|>",
    "<|begin_code|>",
    "<|end_code|>",
    "<|begin_link|>",
    "<|end_link|>",
    "<|endoftext|>",
    "<|padding|>",
    "<|extra_0|>",
    "<|extra_1|>",
    "<|extra_2|>",
    "<|extra_3|>",
    "<|extra_4|>",
    "<|extra_5|>",
    "<|extra_6|>",
    "<|extra_7|>",
    "<|extra_8|>",
    "<|extra_9|>",
    "<|extra_10|>",
    "<|extra_11|>",
    "<|extra_12|>",
    "<|extra_13|>",
    "<|extra_14|>",
    "<|extra_15|>",
    "<|extra_16|>",
    "<|extra_17|>",
    "<|extra_18|>",
    "<|extra_19|>",
    "<|extra_20|>",
    "<|extra_21|>",
    "<|extra_22|>",
    "<|extra_23|>",
    "<|extra_24|>",
    "<|extra_25|>",
    "<|extra_26|>",
    "<|extra_27|>",
    "<|extra_28|>",
    "<|extra_29|>",
    "<|extra_30|>",
    "<|extra_31|>",
    "<|extra_32|>",
    "<|extra_33|>",
    "<|extra_34|>",
    "<|extra_35|>",
    "<|extra_36|>",
    "<|extra_37|>",
    "<|extra_38|>",
    "<|extra_39|>",
    "<|extra_40|>",
    "<|extra_41|>",
    "<|extra_42|>",
    "<|extra_43|>",
    "<|extra_44|>",
    "<|extra_45|>",
    "<|extra_46|>",
    "<|extra_47|>",
    "<|extra_48|>",
    "<|extra_49|>",
    "<|extra_50|>",
    "<|extra_51|>",
    "<|extra_52|>",
    "<|extra_53|>",
    "<|extra_54|>",
    "<|extra_55|>",
    "<|extra_56|>",
    "<|extra_57|>",
    "<|extra_58|>",
    "<|extra_59|>",
    "<|extra_60|>",
    "<|extra_61|>",
    "<|extra_62|>",
    "<|extra_63|>",
    "<|extra_64|>",
    "<|extra_65|>",
    "<|extra_66|>",
    "<|extra_67|>",
    "<|extra_68|>",
    "<|extra_69|>",
    "<|extra_70|>",
    "<|extra_71|>",
    "<|extra_72|>",
    "<|extra_73|>",
    "<|extra_74|>",
    "<|extra_75|>",
    "<|extra_76|>",
    "<|extra_77|>",
    "<|extra_78|>",
    "<|extra_79|>",
    "<|extra_80|>",
    "<|extra_81|>",
    "<|extra_82|>",
    "<|extra_83|>",
    "<|extra_84|>",
    "<|extra_85|>",
    "<|extra_86|>",
    "<|extra_87|>",
    "<|extra_88|>",
    "<|extra_89|>",
    "<|extra_90|>",
    "<|extra_91|>",
    "<|extra_92|>",
    "<|extra_93|>",
    "<|extra_94|>",
    "<|extra_95|>",
    "<|extra_96|>",
    "<|extra_97|>",
    "<|extra_98|>",
    "<|extra_99|>",
    "<|extra_100|>",
    "<|extra_101|>",
    "<|extra_102|>",
    "<|extra_103|>",
    "<|extra_104|>",
    "<|extra_105|>",
    "<|extra_106|>",
    "<|extra_107|>",
    "<|extra_108|>",
    "<|extra_109|>",
    "<|extra_110|>",
    "<|extra_111|>",
    "<|extra_112|>",
    "<|extra_113|>",
    "<|extra_114|>",
    "<|extra_115|>",
    "<|extra_116|>",
    "<|extra_117|>",
    "<|extra_118|>",
    "<|extra_119|>",
    "<|extra_120|>",
    "<|extra_121|>",
    "<|extra_122|>",
    "<|extra_123|>",
    "<|extra_124|>",
    "<|extra_125|>",
    "<|extra_126|>",
    "<|extra_127|>",
    "<|extra_128|>",
    " ",
    "  ",
    "   ",
    "    ",
    "        ",
    "                ",
    "\n",
    "\n\n",
    "\n\n\n",
    "\n\n\n\n",
    "\n\n\n\n\n\n\n\n",
    "\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n",
    "\t",
    "\t\t",
    "\t\t\t",
    "\t\t\t\t",
    "\t\t\t\t\t\t\t\t",
    "\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t"
  ],
  "is_local": false,
  "model_max_length": 1000000000000000019884624838656,
  "pad_token": "<|endoftext|>",
  "padding_side": "left",
  "spaces_between_special_tokens": false,
  "tokenizer_class": "LlamaTokenizer",
  "unk_token": "<unk>",
  "use_default_system_prompt": false
}