tachiwin
/

tokenizer_test4

+recipe_version: hf-bytelevel-bpe-v2-iterator-eval
+algorithm:
+  model: BPE
+  pre_tokenizer: ByteLevel
+  byte_level_use_regex: false
+  byte_level_add_prefix_space: false
+  normalizer: null
+  decoder: ByteLevel
+  post_processor: ByteLevel
+trainer:
+  type: BpeTrainer
+  training_call: Tokenizer.train_from_iterator (streamed, not train(files=...))
+  vocab_size: 256000
+  min_frequency: 2
+  initial_alphabet: ByteLevel.alphabet()
+  special_tokens:
+  - <|pad|>
+  - <|startoftext|>
+  - <|endoftext|>
+  - <|unk|>
+  - <|im_start|>
+  - <|im_end|>
+  - <|tool_call_start|>
+  - <|tool_call_end|>
+  - <|tool_response_start|>
+  - <|tool_response_end|>
+  - <|reasoning_start|>
+  - <|reasoning_end|>
+  - <|fim_prefix|>
+  - <|fim_middle|>
+  - <|fim_suffix|>
+  - <|fim_pad|>
+  - <|repo_name|>
+  - <|file_sep|>
+  - <|lang:agu|>
+  - <|lang:all|>
+  - <|lang:am1*|>
+  - <|lang:amu|>
+  - <|lang:amu0|>
+  - <|lang:azg|>
+  - <|lang:azn|>
+  - <|lang:azn0|>
+  - <|lang:azz|>
+  - <|lang:cac|>
+  - <|lang:cak|>
+  - <|lang:cco|>
+  - <|lang:cco0|>
+  - <|lang:chd|>
+  - <|lang:chf|>
+  - <|lang:chf0|>
+  - <|lang:chj|>
+  - <|lang:chq|>
+  - <|lang:chz|>
+  - <|lang:cle|>
+  - <|lang:cnl|>
+  - <|lang:cnt|>
+  - <|lang:cok|>
+  - <|lang:coz|>
+  - <|lang:cpa|>
+  - <|lang:crn|>
+  - <|lang:cso|>
+  - <|lang:ct2*|>
+  - <|lang:cta|>
+  - <|lang:cte|>
+  - <|lang:ctp|>
+  - <|lang:ctp0|>
+  - <|lang:ctu|>
+  - <|lang:cuc|>
+  - <|lang:cut|>
+  - <|lang:cux|>
+  - <|lang:de|>
+  - <|lang:dih|>
+  - <|lang:en-US|>
+  - <|lang:eng|>
+  - <|lang:es-MX|>
+  - <|lang:esp|>
+  - <|lang:fr|>
+  - <|lang:hch|>
+  - <|lang:hu2*|>
+  - <|lang:hus|>
+  - <|lang:huv|>
+  - <|lang:hve|>
+  - <|lang:hve0|>
+  - <|lang:ixc|>
+  - <|lang:jac|>
+  - <|lang:jmx|>
+  - <|lang:kak|>
+  - <|lang:kek|>
+  - <|lang:klb|>
+  - <|lang:knj|>
+  - <|lang:knja|>
+  - <|lang:lac|>
+  - <|lang:maa|>
+  - <|lang:maj|>
+  - <|lang:mam|>
+  - <|lang:maq|>
+  - <|lang:mat|>
+  - <|lang:mau|>
+  - <|lang:maz|>
+  - <|lang:maz0|>
+  - <|lang:mbz|>
+  - <|lang:mbzl|>
+  - <|lang:mco|>
+  - <|lang:mco0|>
+  - <|lang:meh|>
+  - <|lang:mfy|>
+  - <|lang:mhc|>
+  - <|lang:mib|>
+  - <|lang:mie|>
+  - <|lang:mig|>
+  - <|lang:mih|>
+  - <|lang:mil|>
+  - <|lang:mim|>
+  - <|lang:mim0|>
+  - <|lang:mio|>
+  - <|lang:mir|>
+  - <|lang:mit|>
+  - <|lang:mix|>
+  - <|lang:miy|>
+  - <|lang:miz|>
+  - <|lang:mjc|>
+  - <|lang:mks|>
+  - <|lang:ml2*|>
+  - <|lang:ml8*|>
+  - <|lang:mmc|>
+  - <|lang:mop|>
+  - <|lang:mpm|>
+  - <|lang:mto|>
+  - <|lang:mxb|>
+  - <|lang:mxp|>
+  - <|lang:mxq|>
+  - <|lang:mxt|>
+  - <|lang:mxv|>
+  - <|lang:mxv0|>
+  - <|lang:mza|>
+  - <|lang:mzi|>
+  - <|lang:mzia|>
+  - <|lang:naz|>
+  - <|lang:nch|>
+  - <|lang:ncj|>
+  - <|lang:ncl|>
+  - <|lang:neq|>
+  - <|lang:ngu|>
+  - <|lang:nhe|>
+  - <|lang:nhg|>
+  - <|lang:nhi|>
+  - <|lang:nhm|>
+  - <|lang:nhn|>
+  - <|lang:nhw|>
+  - <|lang:nhx|>
+  - <|lang:nhy|>
+  - <|lang:nlv|>
+  - <|lang:nlv0|>
+  - <|lang:npl|>
+  - <|lang:nsu|>
+  - <|lang:ntp|>
+  - <|lang:ocu|>
+  - <|lang:ood|>
+  - <|lang:opt|>
+  - <|lang:ote|>
+  - <|lang:otm|>
+  - <|lang:otn|>
+  - <|lang:otq|>
+  - <|lang:ots|>
+  - <|lang:ott|>
+  - <|lang:pbs|>
+  - <|lang:pei|>
+  - <|lang:pia|>
+  - <|lang:plo|>
+  - <|lang:pls|>
+  - <|lang:pmq|>
+  - <|lang:pmz|>
+  - <|lang:poe|>
+  - <|lang:poi|>
+  - <|lang:poi0|>
+  - <|lang:pos|>
+  - <|lang:ppi|>
+  - <|lang:pps|>
+  - <|lang:pt-BR|>
+  - <|lang:pua|>
+  - <|lang:quc|>
+  - <|lang:sei|>
+  - <|lang:spa|>
+  - <|lang:stp|>
+  - <|lang:tac|>
+  - <|lang:tar|>
+  - <|lang:tar0|>
+  - <|lang:tcf|>
+  - <|lang:tee|>
+  - <|lang:thh|>
+  - <|lang:tku|>
+  - <|lang:tla|>
+  - <|lang:to1*|>
+  - <|lang:toc|>
+  - <|lang:toj|>
+  - <|lang:too|>
+  - <|lang:top|>
+  - <|lang:tos|>
+  - <|lang:tpl|>
+  - <|lang:tpp|>
+  - <|lang:tpt|>
+  - <|lang:tpx|>
+  - <|lang:tpx0|>
+  - <|lang:tqt|>
+  - <|lang:tr3*|>
+  - <|lang:trc|>
+  - <|lang:trs|>
+  - <|lang:trs0|>
+  - <|lang:ts4*|>
+  - <|lang:ts9*|>
+  - <|lang:tsz|>
+  - <|lang:ttc|>
+  - <|lang:tzh|>
+  - <|lang:tzo|>
+  - <|lang:unk|>
+  - <|lang:var|>
+  - <|lang:vmj|>
+  - <|lang:vmm|>
+  - <|lang:vmp|>
+  - <|lang:vmy|>
+  - <|lang:vmy0|>
+  - <|lang:vmz|>
+  - <|lang:wa1*|>
+  - <|lang:xta|>
+  - <|lang:xtd|>
+  - <|lang:xti|>
+  - <|lang:xtj|>
+  - <|lang:xtm|>
+  - <|lang:xtn|>
+  - <|lang:yaq|>
+  - <|lang:yua|>
+  - <|lang:zaa|>
+  - <|lang:zab|>
+  - <|lang:zac|>
+  - <|lang:zad|>
+  - <|lang:zae|>
+  - <|lang:zai|>
+  - <|lang:zam|>
+  - <|lang:zao|>
+  - <|lang:zaq|>
+  - <|lang:zaq0|>
+  - <|lang:zar|>
+  - <|lang:zas|>
+  - <|lang:zav|>
+  - <|lang:zaw|>
+  - <|lang:zca|>
+  - <|lang:zl3*|>
+  - <|lang:zoc|>
+  - <|lang:zoh|>
+  - <|lang:zoh0|>
+  - <|lang:zoq|>
+  - <|lang:zoqa|>
+  - <|lang:zor|>
+  - <|lang:zos|>
+  - <|lang:zpb|>
+  - <|lang:zpc|>
+  - <|lang:zpd|>
+  - <|lang:zpf|>
+  - <|lang:zpg|>
+  - <|lang:zpi|>
+  - <|lang:zpl|>
+  - <|lang:zpm|>
+  - <|lang:zpn|>
+  - <|lang:zpo|>
+  - <|lang:zpq|>
+  - <|lang:zpr|>
+  - <|lang:zpt|>
+  - <|lang:zpu|>
+  - <|lang:zpv|>
+  - <|lang:zpz|>
+  - <|lang:ztg|>
+  - <|lang:ztp|>
+  - <|lang:ztq|>
+  - <|lang:zts|>
+  - <|reserved_0|>
+  - <|reserved_1|>
+  - <|reserved_2|>
+  - <|reserved_3|>
+  - <|reserved_4|>
+  - <|reserved_5|>
+  - <|reserved_6|>
+  - <|reserved_7|>
+  - <|reserved_8|>
+  - <|reserved_9|>
+  - <|reserved_10|>
+  - <|reserved_11|>
+  - <|reserved_12|>
+  - <|reserved_13|>
+  - <|reserved_14|>
+  - <|reserved_15|>
+corpus_weights:
+  exotic: 0.7
+  english: 0.1
+  spanish: 0.1
+  code: 0.1
+corpus_bytes:
+  modern: 111568315
+  old: 141125041
+  eng: 36099024
+  spa: 36089642
+  code: 35938164
+  exotic: 252693356
+sources:
+  exotic: tachiwin/tokenizer_train
+  english: uonlp/CulturaX:en
+  spanish: uonlp/CulturaX:es
+  code: bigcode/the-stack-smol
+checkpoint_strategy:
+  type: completed-artifact-resume
+  description: Corpus preparation and final tokenizer are resumable via Hub. HF BpeTrainer
+    does not expose an internal merge-state checkpoint.