openTARS / app /murph /LEIA-ME.md
ProjectOpenTARS4's picture
Mirror of openTARS 5.2 Ranger (revision 2026110101)
2695555 verified
|
Raw History Blame Contribute Delete
2.1 kB

Murph: treino

A Murph é a ajudante local que decide o tipo de cada pedido (visão, código, Linux, ação, busca, conversa simples, geral). O modelo pronto fica em modelos/murph.json e roda com tars_murph.py, em Python puro.

Esta pasta é só pra treinar de novo. Não vai no pacote .deb.

Arquivo O que é
gerado/*.json frases novas escritas por um modelo grande, por idioma (quem escreveu não viu as frases de teste)
limpar.py junta as geradas, tira repetidas e as parecidas com qualquer frase de teste, em qualquer idioma -> gerado_limpo.json
filtro_traducoes_teste.json as frases de tests/frases_classificador.py traduzidas nos 5 idiomas, SÓ pro filtro achar traduções
treinar_murph.py treina (exemplos do openTARS + gerado_limpo.json), calibra a confiança e salva modelos/murph.json
comparar.py Murph x classificador antigo nas frases de teste (sozinhos e no modo AUTO)
teste_cego.json / teste_cego.py 280 pedidos bagunçados escritos por quem não viu nada do projeto; o script tira os parecidos com o treino e compara
dados.py onde ficam o treino e o teste

Pra treinar de novo (precisa de pip install scikit-learn numpy):

python3 murph/limpar.py
python3 murph/treinar_murph.py
python3 murph/comparar.py
python3 murph/teste_cego.py
python3 tests/test_murph.py

As frases de teste (idiomas/*.json "avaliacao" e tests/frases_classificador.py) nunca entram no treino. Pra corrigir um erro, escreva frases NOVAS parecidas com o pedido real que errou, não copie a frase de teste.

Resultado da 3.0.4

NB antigo Murph
Teste cego, sozinho (140) 84,3% 92,9%
Teste cego, modo AUTO sem Ollama 87,9% 95,0%
Teste cego, AUTO com ajudante perfeito 91,4% (34 chamadas) 98,6% (20 chamadas)
Avaliação de sempre, sozinho (261) 88,1% 95,0%
Avaliação de sempre, AUTO sem Ollama 92,0% 95,4%

O teste cego vale mais: foi rodado uma vez só, com o modelo já pronto. As 261 frases de sempre foram vistas durante o desenvolvimento.