README.md

---
license: apache-2.0
---

# aetherTokenizer

Tokenizer BPE (152.064 tokens), clone funcional idêntico do tokenizer do
[Qwen2.5-7B](https://huggingface.co/Qwen/Qwen2.5-7B) (Apache 2.0),
hospedado sob marca própria da AETHER OS para uso nos modelos NEXUS.

Nenhum arquivo foi modificado — `vocab.json`, `merges.txt`,
`tokenizer.json` e `tokenizer_config.json` são cópias diretas do
tokenizer original do Qwen2.5-7B. Comportamento de tokenização é
100% idêntico ao original (mesmo vocab_size, mesmo mapeamento
token→id, mesmas regras de merge).

## Uso

```python
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("IuriCerqueira/aetherTokenizer")
```

## Licença e origem

Qwen2.5-7B é distribuído sob Apache License 2.0, que permite
redistribuição sem exigência de atribuição de nome (diferente da
licença customizada do Llama). Esta é uma cópia de propriedade
própria do vocabulário, criada para eliminar dependência de terceiros
no pipeline de produção — não uma alteração do vocabulário em si.