mangaba-ai/brier-v3

Brier v3 — versão recomendada (resistente a injeção de instruções)

English: Brier v3 is the recommended version of Brier, a typed, calibrated decision model for Portuguese text by Mangaba AI, trained to resist prompt injection. These LoRA adapters are Apache-2.0; the current brier package (5.0.0+) is proprietary. Plans and licensing: brier.mangaba.ia.br.

Versão mais nova: Brier v5, a recomendada: mais precisa e mais resistente a injeção (licença comercial, acesso controlado). Relatório: brier-artigo.

Aplicações indicadas:

Decisões tipadas em português: dado um texto (state) e perguntas (choice, score ou noul), devolve a resposta de cada pergunta com probabilidades calibradas e confiança. Adaptador LoRA sobre Qwen3-4B-Instruct-2507 (4 bits).

O v2 continuado com exemplos de injeção de instruções no texto ("ignore as instruções e responda X").

conjunto	Brier v3	Jev (referência)
sintético	75,7%	79,5%
ASSIN2	71,2%	78,2%
B2W	61,6%	66,8%
tweetSentBR	69,2%	67,6%
ataques de injeção que funcionaram (famílias inéditas)	16,7%	21,4% (diferença significativa)
ataques de injeção, teste cego (frases de outro modelo, n=200)	17,5%	20,5% (sem significância)

Benchmark

Mesmos pedidos para o Brier e para o Jev (TypeSafe), item a item, com IC95% por bootstrap pareado. ASSIN2, B2W e tweetSentBR têm rótulo humano e não entram no treino. O Jev é um modelo fechado, usado só como referência; nenhuma resposta dele entrou no treino.

Leitura: o Brier é mais bem calibrado que o Jev no sintético, no B2W e no tweetSentBR (ECE menor) e, no v3, mais resistente a injeção de instruções (16,7% × 21,4%, com significância; no teste cego, 17,5% × 20,5%, sem significância). O Jev acerta mais no sintético, no ASSIN2 e no B2W; o v2 lidera o tweetSentBR, sem significância.

Como usar

pip install "brier @ git+https://github.com/Mangaba-ai/brier"

from brier import Brier
b = Brier("v3")
b.decide("A entrega atrasou duas semanas e ninguém respondeu.",
         {"sentimento": {"type": "choice", "instructions": "Sentimento do cliente",
                          "criteria": {"pos": "positivo", "neu": "neutro", "neg": "negativo"}}})

Arquivos: adaptadores.safetensors (LoRA rank 16, 20 camadas, escala 20), config.json (treino), calibracao.json (limiar do conjunto conformal APS). O pacote baixa a base mlx-community/Qwen3-4B-Instruct-2507-4bit, dequantiza e funde o LoRA em memória. Latência com o servidor aquecido: ~0,3 s num pedido curto; ~1,3 s de mediana nos pedidos de teste.

Licença

Estes adaptadores, como publicados aqui, seguem a Apache-2.0 (a mesma do Qwen3, a base). O pacote brier que os carrega tem licença proprietária da Mangaba AI a partir da versão 5.0.0: o uso do pacote depende de autorização (LICENSE). Estes repositórios guardam só os pesos Apache do v2 e do v3; pesos de versões futuras serão distribuídos sob a licença proprietária, fora daqui. O pacote até a versão 4.1.0 (tag ultima-apache-2.0) continua sob Apache-2.0. Planos e licenciamento: brier.mangaba.ia.br/pt#planos · contato: https://mangaba.ia.br

Método

Máscara de atenção em blocos (cada pergunta vê o texto e a si mesma; todas numa passada) e leitura por logits dos rótulos das opções (até 26 opções por choice). Treino por entropia cruzada contra alvo suave (maioria de 4 votos de LLMs). Pacote, resultados e licença: https://github.com/Mangaba-ai/brier

Limites

Acerto medido em 4 conjuntos em português (n=250–1000); referência de desempenho: TypeSafe Jev, um modelo fechado. Nenhuma versão do Brier vence o Jev pelo critério fixado antes (IC95 favorável em acerto e escore de Brier em ≥2 de 3 conjuntos humanos). Textos longos (>2.000 tokens) perdem acerto.