license: apache-2.0
aetherTokenizer
Tokenizer BPE (152.064 tokens), clone funcional idêntico do tokenizer do Qwen2.5-7B (Apache 2.0), hospedado sob marca própria da AETHER OS para uso nos modelos NEXUS.
Nenhum arquivo foi modificado — vocab.json, merges.txt,
tokenizer.json e tokenizer_config.json são cópias diretas do
tokenizer original do Qwen2.5-7B. Comportamento de tokenização é
100% idêntico ao original (mesmo vocab_size, mesmo mapeamento
token→id, mesmas regras de merge).
Uso
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("IuriCerqueira/aetherTokenizer")
Licença e origem
Qwen2.5-7B é distribuído sob Apache License 2.0, que permite redistribuição sem exigência de atribuição de nome (diferente da licença customizada do Llama). Esta é uma cópia de propriedade própria do vocabulário, criada para eliminar dependência de terceiros no pipeline de produção — não uma alteração do vocabulário em si.