metadata
license: apache-2.0
AkieTokenizer
Tokenizer SentencePiece do projeto AKIE — 32.000 tokens, treinado em
corpus português (ClassiCC-PT). Convenção de tokens especiais estilo
Llama (<s>/</s>/<pad>/<unk>) + tokens de chat próprios do
projeto (<|user|>, </|user|>, <|assistant|>, </|assistant|>,
<think>, </think>).
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("IuriCerqueira/AkieTokenizer")
len(tok) == 32000. IDs especiais: bos=2, eos=3, pad=0, unk=1.