aetherTokenizer

Tokenizer BPE (152.064 tokens), clone funcional idêntico do tokenizer do Qwen2.5-7B (Apache 2.0), hospedado sob marca própria da AETHER OS para uso nos modelos NEXUS.

Nenhum arquivo foi modificado — vocab.json, merges.txt, tokenizer.json e tokenizer_config.json são cópias diretas do tokenizer original do Qwen2.5-7B. Comportamento de tokenização é 100% idêntico ao original (mesmo vocab_size, mesmo mapeamento token→id, mesmas regras de merge).

Uso

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("IuriCerqueira/aetherTokenizer")

Licença e origem

Qwen2.5-7B é distribuído sob Apache License 2.0, que permite redistribuição sem exigência de atribuição de nome (diferente da licença customizada do Llama). Esta é uma cópia de propriedade própria do vocabulário, criada para eliminar dependência de terceiros no pipeline de produção — não uma alteração do vocabulário em si.