Decisor tipado da triagem de fontes
Checkpoint do Laya (decisões tipadas sobre ModernBERT-large) ajustado para a triagem automática de literatura de quatro temas de pesquisa sobre dados e inteligência artificial no setor público: plataformas de dados do cidadão, infraestrutura pública digital, soberania digital e ética e uso responsável da inteligência artificial. O modelo responde, para cada documento descrito por título e resumo, a perguntas tipadas de sim ou não, de escolha e de escala, e devolve a confiança calibrada de cada resposta. É usado pela ferramenta de triagem curadoria_fontes, que roteia o documento para a fila de revisão humana de cada tema.
Versão
Taxonomia de perguntas na versão 6, com impressão digital registrada em taxonomia_do_treino.json. São 40 perguntas no ciclo histórico (até 2022-11-29) e 37 no ciclo contemporâneo (de 2022-11-30 em diante): uma pergunta de pertinência por tema, a de antecedente histórico, jurisdição, tipo de documento, relevância, fonte primária e eixos temáticos de análise. As perguntas precisam coincidir com a taxonomia registrada, e outra taxonomia exige novo ajuste.
Dados e ajuste
- Rótulos sintéticos produzidos por um modelo de linguagem local (Qwen3.8-27B em NVFP4, servido pelo vLLM), com cinco amostras por documento, que formam o rótulo suave. Os rótulos de 4.811 documentos foram produzidos nesta versão, e os de outros 1.830 vêm da versão 5 da taxonomia, cujas perguntas se mantêm com o mesmo texto.
- 179.923 itens de pergunta no treino, divisão 80/10/10 por documento, duas épocas, lote 8, 44.982 passos, em uma RTX 5090 com teto de potência de 500 W.
- Concordância com o rotulador na validação: 0,4361 antes do ajuste, 0,9419 depois da primeira época e 0,9476 depois da segunda.
- Calibração por temperatura por faixa de pergunta, ajustada na validação, em
calibracao.json. O registro do ajuste está emajuste_log.json.
Controle local contra a versão anterior
Nos mesmos 20.968 itens de pergunta do conjunto de teste, comparado ao decisor da versão 5:
| Medida | versão 5 | versão 6 |
|---|---|---|
| Concordância com o rotulador (IC 95%) | 0,913 (0,909 a 0,917) | 0,946 (0,943 a 0,949) |
| ECE depois da calibração | 0,009 | 0,004 |
| AUROC da confiança (IC 95%) | 0,915 (0,909 a 0,922) | 0,948 (0,942 a 0,953) |
Diferença pareada pelo teste de McNemar de 3,34 pontos percentuais (IC 95% 2,99 a 3,69). Na pergunta de pertinência ao tema de ética e uso responsável da IA, a revocação no limiar 0,70 passou de 0,313 para 0,923. O tema de plataformas de dados do cidadão tem só 9 positivos no teste, número que não sustenta medida de revocação.
Limites
Todas as medidas acima são de concordância com o rotulador sintético, não de acerto humano: o modelo aprende a imitar o rotulador, erros incluídos. O acerto real é medido pelas decisões dos revisores humanos nas filas de revisão, que servem de referência para recalibrações futuras. O modelo decide a partir de título e resumo em inglês, e textos em outras línguas devem ser traduzidos antes. Uso restrito à triagem para a qual foi treinado.
Uso
Baixe sempre uma revisão fixa deste repositório:
curadoria baixar-modelo --repo pcbrom/decisor-triagem --revisao <hash> --nome decisor
Model tree for pcbrom/decisor-triagem
Base model
convaiinnovations/laya