---
license: apache-2.0
---

# AkieTokenizer

Tokenizer SentencePiece do projeto AKIE — 32.000 tokens, treinado em
corpus português (ClassiCC-PT). Convenção de tokens especiais estilo
Llama (`<s>`/`</s>`/`<pad>`/`<unk>`) + tokens de chat próprios do
projeto (`<|user|>`, `</|user|>`, `<|assistant|>`, `</|assistant|>`,
`<think>`, `</think>`).

```python
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("IuriCerqueira/AkieTokenizer")
```

`len(tok) == 32000`. IDs especiais: `bos=2`, `eos=3`, `pad=0`, `unk=1`.