Update app.py

app.py

@@ -1,10 +1,9 @@
 # ╔════════════════════════════════════════════════════════════════════════════╗
-# ║  PIPELINE v41: FRAGMENTAÇÃO + VISÃO PAGINADA + CONFEXT_UPLOAD             ║
+# ║  PIPELINE v42: FRAG + VISÃO PAGINADA + CONFEXT_UPLOAD + LOGS DETALHADOS   ║
 # ╚════════════════════════════════════════════════════════════════════════════╝
 
 import os
 import json
-import re
 import time
 from datetime import datetime
 
@@ -25,6 +24,10 @@ ARQUIVO_CONFIG = "protocolo_fragmentacao_visao-3.json"
 
 # ==================== 2. UTILIDADES ====================
 
+def log_point(msg, logs):
+    ts = datetime.now().strftime("%H:%M:%S")
+    return logs + f"[{ts}] {msg}\n"
+
 def carregar_protocolo():
     try:
         with open(ARQUIVO_CONFIG, "r", encoding="utf-8") as f:
@@ -56,36 +59,35 @@ def salvar_protocolo(conteudo):
     except:
         return "❌ Erro JSON"
 
-def log_point(msg, logs):
-    ts = datetime.now().strftime("%H:%M:%S")
-    return logs + f"[{ts}] {msg}\n"
+# --------- DIVISÃO BURRA COM TEXTO REAL + LOGS ---------
 
-# --------- DIVISÃO BURRA COM TEXTO REAL ---------
+def ler_anexo_e_fragmentar(arquivo, paginas_por_fragmento=5, logs=""):
+    logs = log_point("ler_anexo_e_fragmentar() chamado", logs)
 
-def ler_anexo_e_fragmentar(arquivo, paginas_por_fragmento=5):
-    """
-    Se PDF: lê texto das páginas e cria fragmentos com blocos de até N páginas.
-    Cada fragmento contém o texto bruto dessas páginas.
-    Se não for PDF: devolve um marcador simples.
-    """
     if arquivo is None:
-        return [], ""
+        logs = log_point("Nenhum arquivo recebido", logs)
+        return [], "", logs
 
     filename = getattr(arquivo, "name", arquivo)
+    logs = log_point(f"Arquivo recebido: {filename}", logs)
 
     if not os.path.exists(filename):
-        return [], f"[ERRO: Arquivo não encontrado: {filename}]"
+        msg = f"Arquivo não encontrado: {filename}"
+        logs = log_point(msg, logs)
+        return [], f"[ERRO: {msg}]", logs
 
     anexo_info = f"[PDF: {os.path.basename(filename)}]"
 
     if not filename.lower().endswith(".pdf"):
-        return [f"[ARQUIVO_TEXTO: {os.path.basename(filename)}]"], anexo_info
+        logs = log_point("Arquivo não é PDF; tratado como texto simples", logs)
+        return [f"[ARQUIVO_TEXTO: {os.path.basename(filename)}]"], anexo_info, logs
 
     try:
         reader = pypdf.PdfReader(filename)
         total_pages = len(reader.pages)
-        fragments = []
+        logs = log_point(f"PDF com {total_pages} páginas", logs)
 
+        fragments = []
         for i in range(0, total_pages, paginas_por_fragmento):
             start = i + 1
             end = min(i + paginas_por_fragmento, total_pages)
@@ -104,14 +106,24 @@ def ler_anexo_e_fragmentar(arquivo, paginas_por_fragmento=5):
                 f"{bloco_texto.strip()}"
             )
             fragments.append(fragment)
+            logs = log_point(
+                f"Fragmento {i//paginas_por_fragmento + 1} criado (pags {start}-{end})",
+                logs,
+            )
 
-        return fragments, anexo_info
+        logs = log_point(f"Total de fragmentos: {len(fragments)}", logs)
+        return fragments, anexo_info, logs
     except Exception as e:
-        return [f"[ERRO PDF: {str(e)}]"], anexo_info
+        logs = log_point(f"ERRO PDF: {e}", logs)
+        return [f"[ERRO PDF: {str(e)}]"], anexo_info, logs
 
 # ==================== 3. ENGINE DE EXECUÇÃO ====================
 
-def executar_no(timeline, config, fragmento_input=None):
+def executar_no(timeline, config, fragmento_input=None, logs=""):
+    logs = log_point(f"executar_no({config['nome']}) chamado", logs)
+    modo = "input_fragmento" if fragmento_input is not None else "timeline"
+    logs = log_point(f"Modo de entrada: {modo}", logs)
+
     modelo = model_pro if config.get("modelo") == "pro" else model_flash
 
     if fragmento_input is not None:
@@ -127,12 +139,14 @@ def executar_no(timeline, config, fragmento_input=None):
         f"MISSÃO: {config['missao']}"
     )
 
-    log = f"\n🔸 {config['nome']}..."
     try:
         inicio = time.time()
+        logs = log_point("Chamando modelo.generate_content()", logs)
         resp = modelo.generate_content(prompt)
         out = resp.text or ""
         tempo = time.time() - inicio
+        logs = log_point(f"Tempo de geração: {tempo:.2f}s", logs)
+        logs = log_point(f"Saída bruta (120 chars): {out[:120]!r}", logs)
 
         if config["tipo_saida"] == "json":
             cleaned = out.strip().replace("``````", "")
@@ -140,61 +154,74 @@ def executar_no(timeline, config, fragmento_input=None):
                 content = json.loads(cleaned)
             except Exception as e:
                 content = []
-                log += f" [ERRO JSON: {e}]"
+                logs = log_point(f"ERRO JSON parse: {e}", logs)
         else:
             content = out
 
-        log += f" (OK - {tempo:.2f}s)"
-        return {"role": "assistant", "agent": config["nome"], "content": content}, log, out
+        logs = log_point("executar_no() concluído com sucesso", logs)
+        return {"role": "assistant", "agent": config["nome"], "content": content}, logs, out
     except Exception as e:
-        return {"role": "system", "error": str(e)}, f" (ERRO: {e})", str(e)
+        logs = log_point(f"ERRO em executar_no: {e}", logs)
+        return {"role": "system", "error": str(e)}, logs, str(e)
 
 # ==================== 4. ORQUESTRADOR ====================
 
 def orquestrador(texto, arquivo, history, json_config, confext_state):
-    fragmentos, anexo_info = ler_anexo_e_fragmentar(arquivo)
+    logs = f"🚀 START: {datetime.now().strftime('%H:%M:%S')}\n"
+    logs = log_point("orquestrador() iniciado", logs)
+    logs = log_point(f"Texto len={len(texto or '')}", logs)
+
+    fragmentos, anexo_info, logs = ler_anexo_e_fragmentar(
+        arquivo, paginas_por_fragmento=5, logs=logs
+    )
+    logs = log_point(f"Qtd fragmentos após leitura: {len(fragmentos)}", logs)
 
     if not texto and not fragmentos:
-        yield history, {}, "⚠️ Sem input ou erro ao ler arquivo.", confext_state
+        logs = log_point("Sem texto e sem fragmentos; encerrando", logs)
+        yield history, {}, logs, confext_state
         return
 
     history = history + [[texto + (" 📎" if arquivo else ""), None]]
 
     try:
         protocolo = json.loads(json_config)
-    except:
+        logs = log_point("Protocolo JSON carregado", logs)
+    except Exception as e:
         history[-1][1] = "❌ Erro no JSON de Configuração."
-        yield history, {}, "Erro JSON", confext_state
+        logs = log_point(f"ERRO carregando protocolo: {e}", logs)
+        yield history, {}, logs, confext_state
         return
 
     timeline = [{"role": "user", "content": texto}]
-    logs = f"🚀 START: {datetime.now().strftime('%H:%M:%S')}\n"
-
     confext_upload = {
         "arquivo": os.path.basename(getattr(arquivo, "name", "sem_arquivo"))
         if arquivo else None,
         "meta": anexo_info,
         "paginas": []
     }
+    logs = log_point(
+        f"confext_upload inicializado para arquivo={confext_upload['arquivo']}",
+        logs,
+    )
 
     if fragmentos:
-        logs = log_point(f"PDF dividido em {len(fragmentos)} fragmentos.", logs)
         history[-1][1] = "⏳ Fragmentando + visão paginada..."
+        logs = log_point("Fragmentos disponíveis; iniciando visão paginada", logs)
         yield history, timeline, logs, confext_upload
 
-    # PASSO PAGINADOR_VISUAL (se existir)
+    # PASSO PAGINADOR_VISUAL (primeiro agente, se existir)
     if protocolo and fragmentos:
         cfg_visao = protocolo[0]
-        logs = log_point(f"Usando agente de visão: {cfg_visao['nome']}", logs)
+        logs = log_point(f"Agente de visão selecionado: {cfg_visao['nome']}", logs)
 
         for i, fragmento in enumerate(fragmentos):
             history[-1][1] = f"👁️ {cfg_visao['nome']} frag {i+1}/{len(fragmentos)}..."
             logs = log_point(f"Enviando frag {i+1}", logs)
             yield history, timeline, logs, confext_upload
 
-            res, log_add, raw = executar_no(timeline, cfg_visao, fragmento_input=fragmento)
-            logs += log_add + "\n"
-            logs = log_point(f"Resposta bruta frag {i+1}: {raw[:160]!r}", logs)
+            res, logs, raw = executar_no(
+                timeline, cfg_visao, fragmento_input=fragmento, logs=logs
+            )
 
             if "error" in res:
                 logs = log_point(f"Erro no frag {i+1}: {res['error']}", logs)
@@ -204,41 +231,53 @@ def orquestrador(texto, arquivo, history, json_config, confext_state):
                 paginas_res = res["content"]
                 if isinstance(paginas_res, dict):
                     paginas_res = [paginas_res]
+                antes = len(confext_upload["paginas"])
                 for p in paginas_res:
                     confext_upload["paginas"].append(p)
+                depois = len(confext_upload["paginas"])
+                logs = log_point(
+                    f"Frag {i+1} adicionou {depois-antes} páginas; total={depois}",
+                    logs,
+                )
             except Exception as e:
                 logs = log_point(f"Falha ao anexar páginas do frag {i+1}: {e}", logs)
 
-        logs = log_point("Visão paginada concluída.", logs)
+        logs = log_point(
+            f"Visão paginada concluída; paginas={len(confext_upload['paginas'])}",
+            logs,
+        )
 
     timeline.append({
         "role": "system",
         "agent": "CONFEXT_UPLOAD",
         "content": confext_upload
     })
+    logs = log_point("CONFEXT_UPLOAD injetado na timeline", logs)
 
     restante = protocolo[1:] if protocolo else []
     final_response = ""
 
     for cfg in restante:
         history[-1][1] = f"⚙️ {cfg['nome']}..."
+        logs = log_point(f"Iniciando passo adicional: {cfg['nome']}", logs)
         yield history, timeline, logs, confext_upload
 
-        res, log_add, raw = executar_no(timeline, cfg)
+        res, logs, raw = executar_no(timeline, cfg, fragmento_input=None, logs=logs)
         timeline.append(res)
-        logs += log_add + "\n"
 
         if cfg["tipo_saida"] == "texto":
             final_response = res["content"]
             history[-1][1] = final_response
+            logs = log_point(f"Passo {cfg['nome']} produziu texto final", logs)
 
         yield history, timeline, logs, confext_upload
 
     if not restante and not texto:
         history[-1][1] = "✅ PDF processado. Pronto para perguntas usando confext_upload."
         final_response = history[-1][1]
+        logs = log_point("Nenhum passo adicional; apenas pré-processamento", logs)
 
-    logs = log_point("FIM.", logs)
+    logs = log_point("FIM orquestrador()", logs)
     yield history, timeline, logs, confext_upload
 
 # ==================== 5. UI ====================
@@ -255,6 +294,7 @@ def ui_clean():
         confext_state = gr.State(value=None)
 
         with gr.Tabs():
+            # --- ABA 1 ---
             with gr.Tab("💬 Investigador"):
                 chatbot = gr.Chatbot(
                     label="",
@@ -283,18 +323,26 @@ def ui_clean():
                         btn_send = gr.Button("Enviar", variant="primary", size="sm")
 
                 file_status = gr.Markdown("", visible=True)
+
+                def _on_upload(x):
+                    nome = os.path.basename(getattr(x, "name", x))
+                    print("[DEBUG] upload arquivo:", nome)
+                    return f"📎 Anexo recebido: {nome}"
+
                 file_in.upload(
-                    lambda x: f"📎 Anexo recebido: {os.path.basename(getattr(x, 'name', x))}",
+                    _on_upload,
                     inputs=file_in,
                     outputs=file_status,
                 )
 
+            # --- ABA 2 ---
             with gr.Tab("🕵️ Depuração"):
                 with gr.Row():
                     out_dna = gr.JSON(label="DNA (Timeline)")
                     out_logs = gr.Textbox(label="Logs do Sistema", lines=20)
                 confext_view = gr.JSON(label="confext_upload")
 
+            # --- ABA 3 ---
             with gr.Tab("⚙️ Config"):
                 with gr.Row():
                     btn_save = gr.Button("Salvar Config")
@@ -303,7 +351,14 @@ def ui_clean():
                 btn_save.click(salvar_protocolo, code_json, lbl_save)
 
         def _orq_wrapper(texto, arquivo, history, json_cfg, confext_old):
-            for h, dna, logs, confext_new in orquestrador(texto, arquivo, history, json_cfg, confext_old):
+            print(
+                "[DEBUG] _orq_wrapper disparado",
+                "len_texto=", len(texto or ""),
+                "arquivo=", getattr(arquivo, "name", None),
+            )
+            for h, dna, logs, confext_new in orquestrador(
+                texto, arquivo, history, json_cfg, confext_old
+            ):
                 yield h, dna, logs, confext_new
 
         triggers = [btn_send.click, txt_in.submit]
@@ -314,7 +369,16 @@ def ui_clean():
                 inputs=[txt_in, file_in, chatbot, code_json, confext_state],
                 outputs=[chatbot, out_dna, out_logs, confext_state],
             ).then(
-                lambda c: (None, None, "", c),
+                lambda c: (
+                    print(
+                        "[DEBUG] pós-envio; paginas_confext=",
+                        0 if not c else len(c.get("paginas", [])),
+                    ),
+                    None,
+                    None,
+                    "",
+                    c,
+                )[1:],
                 inputs=confext_state,
                 outputs=[txt_in, file_in, file_status, confext_state],
             ).then(