🐶 BERTomelo-ModernBERT-Base-1k

Descrição

O BERTomelo-ModernBERT é um modelo de linguagem para a língua portuguesa, construído sobre a arquitetura ModernBERT. O nome é uma homenagem ao "Vira-lata Caramelo".

Esta é a versão Base-1k, otimizada para sequências de até 1024 tokens.

Nota: Se for necessário processar documentos longos ou RAG, confira a versão de contexto longo: BERTomelo-ModernBERT-Base-8k.

Aviso de Desenvolvimento (WIP): Este modelo está atualmente em fase de desenvolvimento, assim como metadados e referências bibliográficas necessárias para seu uso.

O modelo é totalmente compatível com a biblioteca transformers (versão 4.48.0 ou superior recomendada para suporte ao ModernBERT).