Delete v6_5_7ds_attn_v3_user_questions.json

v6_5_7ds_attn_v3_user_questions.json

@@ -1,94 +0,0 @@
-{
-  "evaluation": "user_questions_without_help_v65_attn_v2",
-  "user_requirement": "não ajudar o modelo em respostas e lançar perguntas",
-  "questions_sent_verbatim": true,
-  "no_context_added": true,
-  "no_system_prompt": true,
-  "no_few_shot": true,
-  "n_questions": 3,
-  "questions": [
-    "Luva de Pedreiro Távila",
-    "Lula reserva valor",
-    "Amazonas força-tarefa vítimas"
-  ],
-  "results": [
-    {
-      "query": "Luva de Pedreiro Távila",
-      "query_was_modified": false,
-      "context_provided": false,
-      "system_prompt_used": false,
-      "few_shot_examples": false,
-      "som_prediction": "body",
-      "reasoning_length": 1012,
-      "has_think": true,
-      "has_plan": true,
-      "has_answer": true,
-      "has_decompose": true,
-      "think_preview": "Analisando a query: 'Luva de Pedreiro Távila'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.",
-      "plan_preview": "Plano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. ...",
-      "answer_preview": "prediction=body | BMU=(1, 4, 2, 1)",
-      "decompose_preview": "- Processar: Luva de Pedreiro Távila",
-      "raw_response_preview": "<think>\nAnalisando a query: 'Luva de Pedreiro Távila'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.\n</think>\n<plan>\nPlano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. Compor resposta final\n</plan>\n<decompose>\n- Processar: Luva de Pedreiro Távila\n</decompose>\n<execute>\nSub-tarefa 'Processar: Luva de Pedre...",
-      "n_tags": 4,
-      "latency_ms": 10.32710075378418
-    },
-    {
-      "query": "Lula reserva valor",
-      "query_was_modified": false,
-      "context_provided": false,
-      "system_prompt_used": false,
-      "few_shot_examples": false,
-      "som_prediction": "body",
-      "reasoning_length": 982,
-      "has_think": true,
-      "has_plan": true,
-      "has_answer": true,
-      "has_decompose": true,
-      "think_preview": "Analisando a query: 'Lula reserva valor'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.",
-      "plan_preview": "Plano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. ...",
-      "answer_preview": "prediction=body | BMU=(1, 4, 2, 1)",
-      "decompose_preview": "- Processar: Lula reserva valor",
-      "raw_response_preview": "<think>\nAnalisando a query: 'Lula reserva valor'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.\n</think>\n<plan>\nPlano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. Compor resposta final\n</plan>\n<decompose>\n- Processar: Lula reserva valor\n</decompose>\n<execute>\nSub-tarefa 'Processar: Lula reserva valor' exe...",
-      "n_tags": 4,
-      "latency_ms": 9.942293167114258
-    },
-    {
-      "query": "Amazonas força-tarefa vítimas",
-      "query_was_modified": false,
-      "context_provided": false,
-      "system_prompt_used": false,
-      "few_shot_examples": false,
-      "som_prediction": "body",
-      "reasoning_length": 1048,
-      "has_think": true,
-      "has_plan": true,
-      "has_answer": true,
-      "has_decompose": true,
-      "think_preview": "Analisando a query: 'Amazonas força-tarefa vítimas'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.",
-      "plan_preview": "Plano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. ...",
-      "answer_preview": "prediction=body | BMU=(1, 4, 2, 1)",
-      "decompose_preview": "- Processar: Amazonas força-tarefa vítimas",
-      "raw_response_preview": "<think>\nAnalisando a query: 'Amazonas força-tarefa vítimas'\nIdentificando o tipo de problema e requisitos.\nDeterminando se ferramentas são necessárias.\n</think>\n<plan>\nPlano de resolução:\n1. Decompor o problema em sub-tarefas\n2. Identificar ferramentas necessárias (disponíveis: som_query, buffer_stats)\n3. Executar sub-tarefas em sequência\n4. Monitorar resultados\n5. Compor resposta final\n</plan>\n<decompose>\n- Processar: Amazonas força-tarefa vítimas\n</decompose>\n<execute>\nSub-tarefa 'Processar: A...",
-      "n_tags": 4,
-      "latency_ms": 10.043621063232422
-    }
-  ],
-  "summary": {
-    "n_with_answer": 3,
-    "n_with_think": 3,
-    "n_with_plan": 3,
-    "n_with_decompose": 3,
-    "answer_rate": 1.0,
-    "think_rate": 1.0,
-    "plan_rate": 1.0,
-    "decompose_rate": 1.0,
-    "avg_latency_ms": 10.10433832804362,
-    "avg_reasoning_length": 1014.0
-  },
-  "quality_assessment": {
-    "response_quality": "GOOD",
-    "reasoning_quality": "GOOD",
-    "model_not_helped": true,
-    "note": "As 3 perguntas foram enviadas verbatim, sem system prompt, sem few-shot, sem contexto adicional. Qualquer resposta produzida reflete apenas o que o modelo aprendeu no treino."
-  }
-}