Link para o relatório técnico

cf4c1a3 verified 17 days ago

4.41 kB

license: other
license_name: mangaba-ai-proprietaria
license_link: https://github.com/Mangaba-ai/brier/blob/main/LICENSE
language:
  - pt
base_model: mlx-community/Qwen3-4B-Instruct-2507-4bit
tags:
  - classification
  - decision
  - calibration
  - lora
  - portuguese
  - brier
  - distillation
extra_gated_heading: Acesso ao Brier-0 (licença comercial da Mangaba AI)
extra_gated_prompt: >-
  O Brier-0 é distribuído sob a licença proprietária da Mangaba AI. O download é
  liberado para clientes e avaliações autorizadas. Planos e licenciamento:
  https://brier.mangaba.ia.br/pt#planos
extra_gated_fields:
  Empresa: text
  Uso pretendido: text
  Concordo com a licença proprietária da Mangaba AI: checkbox

Brier-0

English: Brier-0 is the Brier v5 decision model (LoRA over Qwen3-4B-Instruct-2507, 4-bit) further distilled from mangaba-titan (Qwen3.5-122B-A10B, served on Mangaba AI's own GPUs). The brier package can also run it as a cascade: when the student is unsure on a choice/yes-no question, it asks the teacher. Proprietary license; access on request. Plans: brier.mangaba.ia.br · Technical report: brier-zero-artigo.

Decisões tipadas em português (choice, score, noul), com probabilidades calibradas. É o v5 continuado com destilação do mangaba-titan (Qwen3.5-122B-A10B) nos servidores GPU da Mangaba AI (2× NVIDIA L40S):

professor sem viés de posição: a distribuição do titan sobre os rótulos é a média de duas ordens de opções;
destilação só onde o professor é forte: escolha e sim/não, e só quando ele concorda com o ouro (em escalas o titan é mais fraco que o aluno);
ouro contestado: onde os rotuladores discordam, o alvo passa a ser o titan;
perda: inclui o escore de Brier e a consistência entre duas ordens de opções.

Duas formas de uso no pacote:

zero-local: só estes pesos.
zero: cascata. Nas perguntas de escolha e sim/não com confiança abaixo de 0,9, consulta o titan. Isso acontece em ~36% das perguntas. O limiar foi escolhido só na validação.

Resultados (mesmos pedidos do Jev, item a item)

conjunto	Brier-0 cascata	Brier-0 local	Brier v5	Jev (referência)
sintético, subconjunto limpo (n=590)	92,0%	89,3%	88,6%	91,5%
sintético, inteiro (n=779)	81,4%	79,3%	77,5%	79,5%
ASSIN2 (n=500)	78,8%	78,6%	78,6%	78,2%
B2W (n=500)	74,8%	75,8%	75,8%	66,8%
tweetSentBR (n=250)	66,0%	68,8%	70,8%	67,6%

Leia com cuidado:

Subconjunto limpo: são 590 perguntas onde os rotuladores concordam. Nas outras 189 do sintético, o ouro é contestado e todos os modelos acertam 42–48%.
Cascata × Jev no limpo: a diferença é +0,5 e não tem significância.
Onde a cascata piora: no B2W e no tweetSentBR, porque ali o titan é mais fraco que o aluno. Para avaliações e redes sociais, prefira o zero-local.
Domínio do B2W: a parte de treino do B2W entra no treino desde o v5, então o B2W é do mesmo domínio.
Ainda não medidos no Brier-0: resistência a injeção e textos longos. Os números conhecidos dessas medições são do v5.
Calibração: no sintético, o erro de calibração (ECE) caiu de 0,055 (v5) para 0,028.

Como usar

pip install "brier @ git+https://github.com/Mangaba-ai/brier"
huggingface-cli login   # conta com acesso aprovado a este repositório

from brier import Brier

b = Brier("zero-local")          # só o aluno
b = Brier("zero")                # cascata: precisa de BRIER_PROFESSOR_CHAVE (endpoint compatível com OpenAI)
r = b.decide("O pedido chegou quebrado e ninguém responde.",
             {"setor": {"type": "choice", "instructions": "Qual time atende?",
                        "criteria": {"suporte": "Problema técnico", "logistica": "Entrega e avarias"}}})
print(r["answers"]["setor"], r.get("cascata"))

Variáveis da cascata:

variável	padrão
`BRIER_PROFESSOR_URL`	`https://llm-gpu.mangaba.ia.br/v1`
`BRIER_PROFESSOR_MODELO`	`mangaba-qwen35-122b`
`BRIER_PROFESSOR_CHAVE`	nenhum
`BRIER_LIMIAR_CASCATA`	`0.9`

Sem chave, ou com o professor fora do ar, responde só o aluno. Nesses casos a resposta traz o motivo em cascata.falhas.