| --- |
| license: apache-2.0 |
| --- |
| |
| # aetherTokenizer |
|
|
| Tokenizer BPE (152.064 tokens), clone funcional idêntico do tokenizer do |
| [Qwen2.5-7B](https://huggingface.co/Qwen/Qwen2.5-7B) (Apache 2.0), |
| hospedado sob marca própria da AETHER OS para uso nos modelos NEXUS. |
|
|
| Nenhum arquivo foi modificado — `vocab.json`, `merges.txt`, |
| `tokenizer.json` e `tokenizer_config.json` são cópias diretas do |
| tokenizer original do Qwen2.5-7B. Comportamento de tokenização é |
| 100% idêntico ao original (mesmo vocab_size, mesmo mapeamento |
| token→id, mesmas regras de merge). |
| |
| ## Uso |
| |
| ```python |
| from transformers import AutoTokenizer |
| tok = AutoTokenizer.from_pretrained("IuriCerqueira/aetherTokenizer") |
| ``` |
| |
| ## Licença e origem |
| |
| Qwen2.5-7B é distribuído sob Apache License 2.0, que permite |
| redistribuição sem exigência de atribuição de nome (diferente da |
| licença customizada do Llama). Esta é uma cópia de propriedade |
| própria do vocabulário, criada para eliminar dependência de terceiros |
| no pipeline de produção — não uma alteração do vocabulário em si. |
| |
