Decisor tipado da triagem de fontes

Checkpoint do Laya (decisões tipadas sobre ModernBERT-large) ajustado para a triagem automática de literatura de quatro temas de pesquisa sobre dados e inteligência artificial no setor público: plataformas de dados do cidadão, infraestrutura pública digital, soberania digital e ética e uso responsável da inteligência artificial. O modelo responde, para cada documento descrito por título e resumo, a perguntas tipadas de sim ou não, de escolha e de escala, e devolve a confiança calibrada de cada resposta. É usado pela ferramenta de triagem curadoria_fontes, que roteia o documento para a fila de revisão humana de cada tema.

Versão

Taxonomia de perguntas na versão 6, com impressão digital registrada em taxonomia_do_treino.json. São 40 perguntas no ciclo histórico (até 2022-11-29) e 37 no ciclo contemporâneo (de 2022-11-30 em diante): uma pergunta de pertinência por tema, a de antecedente histórico, jurisdição, tipo de documento, relevância, fonte primária e eixos temáticos de análise. As perguntas precisam coincidir com a taxonomia registrada, e outra taxonomia exige novo ajuste.

Dados e ajuste

  • Rótulos sintéticos produzidos por um modelo de linguagem local (Qwen3.8-27B em NVFP4, servido pelo vLLM), com cinco amostras por documento, que formam o rótulo suave. Os rótulos de 4.811 documentos foram produzidos nesta versão, e os de outros 1.830 vêm da versão 5 da taxonomia, cujas perguntas se mantêm com o mesmo texto.
  • 179.923 itens de pergunta no treino, divisão 80/10/10 por documento, duas épocas, lote 8, 44.982 passos, em uma RTX 5090 com teto de potência de 500 W.
  • Concordância com o rotulador na validação: 0,4361 antes do ajuste, 0,9419 depois da primeira época e 0,9476 depois da segunda.
  • Calibração por temperatura por faixa de pergunta, ajustada na validação, em calibracao.json. O registro do ajuste está em ajuste_log.json.

Controle local contra a versão anterior

Nos mesmos 20.968 itens de pergunta do conjunto de teste, comparado ao decisor da versão 5:

Medida versão 5 versão 6
Concordância com o rotulador (IC 95%) 0,913 (0,909 a 0,917) 0,946 (0,943 a 0,949)
ECE depois da calibração 0,009 0,004
AUROC da confiança (IC 95%) 0,915 (0,909 a 0,922) 0,948 (0,942 a 0,953)

Diferença pareada pelo teste de McNemar de 3,34 pontos percentuais (IC 95% 2,99 a 3,69). Na pergunta de pertinência ao tema de ética e uso responsável da IA, a revocação no limiar 0,70 passou de 0,313 para 0,923. O tema de plataformas de dados do cidadão tem só 9 positivos no teste, número que não sustenta medida de revocação.

Limites

Todas as medidas acima são de concordância com o rotulador sintético, não de acerto humano: o modelo aprende a imitar o rotulador, erros incluídos. O acerto real é medido pelas decisões dos revisores humanos nas filas de revisão, que servem de referência para recalibrações futuras. O modelo decide a partir de título e resumo em inglês, e textos em outras línguas devem ser traduzidos antes. Uso restrito à triagem para a qual foi treinado.

Uso

Baixe sempre uma revisão fixa deste repositório:

curadoria baixar-modelo --repo pcbrom/decisor-triagem --revisao <hash> --nome decisor
Downloads last month

-

Downloads are not tracked for this model. How to track
Safetensors
Model size
0.4B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for pcbrom/decisor-triagem

Finetuned
(259)
this model