tokenizer_config.json

{
  "add_prefix_space": false,
  "backend": "tokenizers",
  "bos_token": "<|startoftext|>",
  "clean_up_tokenization_spaces": false,
  "eos_token": "<|im_end|>",
  "extra_special_tokens": [
    "<|startoftext|>",
    "<|endoftext|>",
    "<|Human|>",
    "<|Assistant|>",
    "<|System|>",
    "<|im_start|>",
    "<|im_end|>",
    "<|im_sep|>",
    "<|reserved003|>",
    "<|reserved004|>",
    "<|reserved005|>",
    "<|reserved006|>",
    "<|reserved007|>",
    "<fim_prefix>",
    "<fim_middle>",
    "<fim_suffix>",
    "<fim_pad>",
    "<filename>",
    "<gh_stars>",
    "<issue_start>",
    "<issue_comment>",
    "<issue_closed>",
    "<jupyter_start>",
    "<jupyter_text>",
    "<jupyter_code>",
    "<jupyter_output>",
    "<empty_output>",
    "<commit_before>",
    "<commit_msg>",
    "<commit_after>",
    "<reponame>",
    "<h1>",
    "<h1/>",
    "</h1>",
    "<h2>",
    "<h2/>",
    "</h2>",
    "<h3>",
    "<h3/>",
    "</h3>",
    "<h4>",
    "<h4/>",
    "</h4>",
    "<h5>",
    "<h5/>",
    "</h5>",
    "<br>",
    "<br/>",
    "</br>",
    "<strong>",
    "<strong/>",
    "</strong>",
    "<p>",
    "<p/>",
    "</p>",
    "<table>",
    "<table/>",
    "</table>",
    "<li>",
    "<li/>",
    "</li>",
    "<tr>",
    "<tr/>",
    "</tr>",
    "<tbody>",
    "<tbody/>",
    "</tbody>",
    "<img>",
    "<img/>",
    "</img>",
    "<b>",
    "<b/>",
    "</b>",
    "<td>",
    "<td/>",
    "</td>",
    "0",
    "1",
    "2",
    "3",
    "4",
    "5",
    "6",
    "7",
    "8",
    "9",
    "０",
    "１",
    "２",
    "３",
    "４",
    "５",
    "６",
    "７",
    "８",
    "９",
    ",",
    ".",
    "!",
    "?",
    "，",
    "。",
    "！",
    "？",
    "、",
    "：",
    "￥",
    "《",
    "》",
    "【",
    "】",
    "『",
    "』",
    "```",
    "<!--",
    "-->",
    "---",
    "<!DOCTYPE>",
    "\t\t\t\t\t\t\t\t",
    "\t\t\t\t\t\t\t",
    "\t\t\t\t\t\t",
    "\t\t\t\t\t",
    "\t\t\t\t",
    "\t\t\t",
    "\t\t",
    "\t",
    "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁▁",
    "▁▁▁▁▁▁",
    "▁▁▁▁▁",
    "▁▁▁▁",
    "▁▁▁",
    "▁▁",
    "\b",
    "\r",
    "\n",
    "<|unused000|>",
    "<|unused001|>",
    "<|unused002|>",
    "<|unused003|>",
    "<|unused004|>",
    "<|unused005|>",
    "<|unused006|>",
    "<|unused007|>",
    "<|unused008|>",
    "<|unused009|>",
    "<|unused010|>",
    "<|unused011|>",
    "<|unused012|>",
    "<|unused013|>",
    "<|unused014|>",
    "<|unused015|>",
    "<|unused016|>",
    "<|unused017|>",
    "<|unused018|>",
    "<|unused019|>",
    "<|unused020|>",
    "<|unused021|>",
    "<|unused022|>",
    "<|unused023|>",
    "<|unused024|>",
    "<|unused025|>",
    "<|unused026|>",
    "<|unused027|>",
    "<|unused028|>",
    "<|unused029|>",
    "<|unused030|>",
    "<|unused031|>",
    "<|unused032|>",
    "<|unused033|>",
    "<|unused034|>",
    "<|unused035|>",
    "<|unused036|>",
    "<|unused037|>",
    "<|unused038|>",
    "<|unused039|>",
    "<|unused040|>",
    "<|unused041|>",
    "<|unused042|>",
    "<|unused043|>",
    "<|unused044|>",
    "<|unused045|>",
    "<|unused046|>",
    "<|unused047|>",
    "<|unused048|>",
    "<|unused049|>",
    "<|unused050|>",
    "<|unused051|>",
    "<|unused052|>",
    "<|unused053|>",
    "<|unused054|>",
    "<|unused055|>",
    "<|unused056|>",
    "<|unused057|>",
    "<|unused058|>",
    "<|unused059|>",
    "<|unused060|>",
    "<|unused061|>",
    "<|unused062|>",
    "<|unused063|>",
    "<|unused064|>",
    "<|unused065|>",
    "<|unused066|>",
    "<|unused067|>",
    "<|unused068|>",
    "<|unused069|>",
    "<|unused070|>",
    "<|unused071|>",
    "<|unused072|>",
    "<|unused073|>",
    "<|unused074|>",
    "<|unused075|>",
    "<|unused076|>",
    "<|unused077|>",
    "<|unused078|>",
    "<|unused079|>",
    "<|unused080|>",
    "<|unused081|>",
    "<|unused082|>",
    "<|unused083|>",
    "<|unused084|>",
    "<|unused085|>",
    "<|unused086|>",
    "<|unused087|>",
    "<|unused088|>",
    "<|unused089|>",
    "<|unused090|>",
    "<|unused091|>",
    "<|unused092|>",
    "<|unused093|>",
    "<|unused094|>",
    "<|unused095|>",
    "<|unused096|>",
    "<|unused097|>",
    "<|unused098|>",
    "<|unused099|>",
    "<|unused100|>",
    "<|unused101|>",
    "<|unused102|>",
    "<|unused103|>",
    "<|unused104|>",
    "<|unused105|>",
    "<|unused106|>",
    "<|unused107|>",
    "<|unused108|>",
    "<|unused109|>",
    "<|unused110|>",
    "<|unused111|>",
    "<|unused112|>",
    "<|unused113|>",
    "<|unused114|>",
    "<|unused115|>",
    "<|unused116|>",
    "<|unused117|>",
    "<|unused118|>",
    "<|unused119|>",
    "<|unused120|>",
    "<|unused121|>",
    "<|unused122|>",
    "<|unused123|>",
    "<|unused124|>",
    "<|unused125|>",
    "<|unused126|>",
    "<|unused127|>",
    "<|unused128|>",
    "<|unused129|>",
    "<|unused130|>",
    "<|unused131|>",
    "<|unused132|>",
    "<|unused133|>",
    "<|unused134|>",
    "<|unused135|>",
    "<|unused136|>",
    "<|unused137|>",
    "<|unused138|>",
    "<|unused139|>",
    "<|unused140|>",
    "<|unused141|>",
    "<|unused142|>",
    "<|unused143|>",
    "<|unused144|>",
    "<|unused145|>",
    "<|unused146|>",
    "<|unused147|>",
    "<|unused148|>",
    "<|unused149|>",
    "<|unused150|>",
    "<|unused151|>",
    "<|unused152|>",
    "<|unused153|>",
    "<|unused154|>",
    "<|unused155|>",
    "<|unused156|>",
    "<|unused157|>",
    "<|unused158|>",
    "<|unused159|>"
  ],
  "is_local": true,
  "model_max_length": 200000,
  "pad_token": "<unk>",
  "padding_side": "right",
  "sp_model_kwargs": {},
  "spaces_between_special_tokens": false,
  "split_special_tokens": false,
  "tokenizer_class": "LlamaTokenizer",
  "unk_token": "<unk>",
  "use_default_system_prompt": false
}