Update app.py

app.py

@@ -28,7 +28,6 @@ except ImportError:
     subprocess.run(["pip", "install", "fake-useragent"], check=True)
     from fake_useragent import UserAgent
 
-# --- URL DEL GOBIERNO ---
 URL_LOGO_GOBIERNO = "https://upload.wikimedia.org/wikipedia/commons/thumb/c/c3/Escudo_de_Colombia.svg/250px-Escudo_de_Colombia.svg.png"
 
 def descargar_recurso(url, nombre_archivo):
@@ -79,17 +78,13 @@ def construir_urls_final(operacion, barrio, ciudad, tipo, hab, ban, park, antigu
         if tipo_slug == "local": tipo_fr = "locales"
         elif tipo_slug == "edificio": tipo_fr = "edificios"
         else: tipo_fr = tipo_slug + "s"
-        
-        if tipo_slug in ["lote", "finca"]:
-            filtros_fr = ""; filtros_mc = ""
-        else:
-            filtros_fr = f"/{slug_park}/{slug_ant}"; filtros_mc = ""
+        if tipo_slug in ["lote", "finca"]: filtros_fr = ""; filtros_mc = ""
+        else: filtros_fr = f"/{slug_park}/{slug_ant}"; filtros_mc = ""
 
     url_fr_base = f"https://www.fincaraiz.com.co/{op_slug}/{tipo_fr}/{b_slug}/{c_slug}{filtros_fr}/m2-desde-{int(m2_min)}/m2-hasta-{int(m2_max)}"
     if ascensor and tipo_slug not in ["lote", "finca"]: url_fr_base += "/con-ascensor"
     if piscina and tipo_slug in residenciales + ["finca"]: url_fr_base += "/con-piscina"
     url_mc = f"https://www.metrocuadrado.com/{tipo_slug}/{op_slug}/{c_slug}/{b_slug}{filtros_mc}/?search=form"
-    
     return url_fr_base, url_mc
 
 def extraer_precio(texto, operacion):
@@ -158,11 +153,10 @@ class PDF_SAE(FPDF):
 
 
 # ==========================================
-# FASE 1: BÚSQUEDA Y EXTRACCIÓN (TIEMPO REAL)
+# FASE 1: BÚSQUEDA (CON PROGRESO NATIVO)
 # ==========================================
-def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo, hab, ban, park, antiguedad, ascensor, piscina):
-    yield "⏳ Bloqueando interfaz... Calculando rutas...", pd.DataFrame(), gr.update(visible=False), gr.update(interactive=False), [], [], gr.update(interactive=False)
-    
+def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo, hab, ban, park, antiguedad, ascensor, piscina, progress=gr.Progress()):
+    progress(0.1, desc="Generando rutas y conectando al navegador...")
     resultados = []; urls_vistas = set(); precios_inversos = []
     
     url_fr, url_mc = construir_urls_final(operacion, barrio, ciudad, tipo, hab, ban, park, antiguedad, m2_min, m2_max, ascensor, piscina)
@@ -170,8 +164,6 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
     url_inversa, _ = construir_urls_final(op_inversa, barrio, ciudad, tipo, hab, ban, park, antiguedad, m2_min, m2_max, ascensor, piscina)
 
     log_visible = f"✅ RUTAS GENERADAS:\n- FR: {url_fr}\n- MC: {url_mc}\n\n"
-    yield f"{log_visible}🚀 Levantando robot invisible...", pd.DataFrame(), gr.update(visible=False), gr.update(interactive=False), [], [], gr.update(interactive=False)
-
     ua = UserAgent()
 
     with sync_playwright() as p:
@@ -179,7 +171,7 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
         context = browser.new_context(viewport={'width': 1366, 'height': 768}, user_agent=ua.random)
 
         # 1. Finca Raíz
-        yield f"{log_visible}🏢 ESCANEANDO FINCA RAÍZ...\n(Buscando enlaces de inmuebles...)", pd.DataFrame(), gr.update(visible=False), gr.update(interactive=False), [], [], gr.update(interactive=False)
+        progress(0.3, desc="🏢 Escaneando Finca Raíz...")
         try:
             page = context.new_page()
             page.goto(url_fr, wait_until="domcontentloaded", timeout=60000)
@@ -199,8 +191,7 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
                     card = el.evaluate_handle("el => el.closest('article') || el.closest('[class*=\"card\"]') || el.parentElement.parentElement")
                     if not card: continue
                     
-                    txt = card.inner_text()
-                    precio = extraer_precio(txt, operacion)
+                    txt = card.inner_text(); precio = extraer_precio(txt, operacion)
                     if precio > 0:
                         img_url = ""
                         img_el = card.query_selector("img")
@@ -208,15 +199,13 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
                         if img_url and img_url.startswith("/"): img_url = "https://www.fincaraiz.com.co" + img_url
                         
                         resultados.append({"Portal": "Finca Raiz", "Precio": precio, "Precio_M2": precio / area, "Ubicacion": extraer_ubicacion(txt), "Descripcion": txt.replace('\n', ' | ')[:120] + "...", "URL": full_url, "Imagen": img_url})
-                        urls_vistas.add(full_url)
-                        cont_fr += 1
+                        urls_vistas.add(full_url); cont_fr += 1
                 except: continue
-            page.close()
-            log_visible += f"✅ FR: {cont_fr} inmuebles extraídos.\n"
-        except Exception as e: log_visible += f"⚠️ Error en FR: {e}\n"
+            page.close(); log_visible += f"✅ FR: {cont_fr} inmuebles extraídos.\n"
+        except Exception as e: log_visible += f"⚠️ Error en FR.\n"
 
         # 2. Metrocuadrado
-        yield f"{log_visible}\n🏢 ESCANEANDO METROCUADRADO...", pd.DataFrame(), gr.update(visible=False), gr.update(interactive=False), [], [], gr.update(interactive=False)
+        progress(0.6, desc="🏢 Escaneando Metrocuadrado...")
         try:
             page = context.new_page()
             page.goto(url_mc, wait_until="domcontentloaded", timeout=60000)
@@ -236,8 +225,7 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
                     card = el.evaluate_handle("el => el.closest('li') || el.closest('[class*=\"card\"]') || el.closest('[class*=\"property\"]') || el.parentElement.parentElement.parentElement")
                     if not card: continue
                     
-                    txt = card.inner_text()
-                    precio = extraer_precio(txt, operacion)
+                    txt = card.inner_text(); precio = extraer_precio(txt, operacion)
                     if precio > 0:
                         img_url = ""
                         img_el = card.query_selector("img")
@@ -245,15 +233,13 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
                         if img_url and img_url.startswith("/"): img_url = "https://www.metrocuadrado.com" + img_url
                         
                         resultados.append({"Portal": "Metrocuadrado", "Precio": precio, "Precio_M2": precio / area, "Ubicacion": extraer_ubicacion(txt), "Descripcion": txt.replace('\n', ' | ')[:120] + "...", "URL": full_url, "Imagen": img_url})
-                        urls_vistas.add(full_url)
-                        cont_mc += 1
+                        urls_vistas.add(full_url); cont_mc += 1
                 except: continue
-            page.close()
-            log_visible += f"✅ MC: {cont_mc} inmuebles extraídos.\n"
+            page.close(); log_visible += f"✅ MC: {cont_mc} inmuebles extraídos.\n"
         except Exception as e: log_visible += f"⚠️ Error en MC.\n"
 
         # 3. Módulo Financiero
-        yield f"{log_visible}\n📈 CALCULANDO CAP RATE (Buscando {op_inversa} silenciosamente)...", pd.DataFrame(), gr.update(visible=False), gr.update(interactive=False), [], [], gr.update(interactive=False)
+        progress(0.8, desc="📈 Calculando Cap Rate (Búsqueda Inversa)...")
         try:
             page = context.new_page(); page.goto(url_inversa, wait_until="domcontentloaded", timeout=45000)
             for _ in range(3): page.mouse.wheel(0, 1000); page.wait_for_timeout(1000)
@@ -266,54 +252,55 @@ def fase_1_buscar_testigos(operacion, barrio, ciudad, area, m2_min, m2_max, tipo
                     if not es_inmueble_valido(href, "FR"): continue
                     card = el.evaluate_handle("el => el.closest('article') || el.closest('[class*=\"card\"]') || el.parentElement.parentElement")
                     if not card: continue
-                    txt = card.inner_text()
-                    precio = extraer_precio(txt, op_inversa)
+                    txt = card.inner_text(); precio = extraer_precio(txt, op_inversa)
                     if precio > 0: precios_inversos.append(precio)
                 except: continue
-            page.close()
-            log_visible += f"✅ Finanzas: Capturados {len(precios_inversos)} valores de {op_inversa}.\n"
+            page.close(); log_visible += f"✅ Finanzas: Capturados {len(precios_inversos)} valores de {op_inversa}.\n"
         except Exception as ex: pass
-        
         browser.close()
 
+    progress(1.0, desc="¡Búsqueda Finalizada!")
+
     if not resultados:
-        yield f"{log_visible}\n❌ NO HAY DATOS. Intenta ampliar los filtros.", pd.DataFrame(), gr.update(choices=[], value=[], visible=False), gr.update(interactive=False), [], [], gr.update(interactive=True)
-        return
+        return log_visible, pd.DataFrame(), gr.update(choices=[], value=[], visible=False), gr.update(interactive=False), [], []
 
-    # --- PREPARAR LOS CHECKBOXES (AHORA SÍ CON LA URL VISIBLE) ---
+    # --- TEXTOS LIMPIOS PARA LAS CASILLAS (EVITA BUGS DE GRADIO) ---
     opciones_check = []
     for idx, r in enumerate(resultados):
-        # Aquí agregamos el link para que sea totalmente visible a la hora de seleccionar
-        etiqueta = f"{idx+1}. [{r['Portal']}] ${r['Precio']:,.0f} - {r['Ubicacion'][:35]} 👉 {r['URL']}"
+        etiqueta = f"ID {idx+1} | {r['Portal'][:2]} | ${r['Precio']:,.0f} | {r['Ubicacion'][:25]}"
         r['etiqueta_ui'] = etiqueta 
         opciones_check.append(etiqueta)
 
-    # --- PREPARACIÓN DE TABLA INTERACTIVA EN FORMATO MARKDOWN ---
+    # --- PREPARACIÓN DE TABLA INTERACTIVA CON LINKS CLICKEABLES ---
     df_mostrar = pd.DataFrame(resultados)[['Portal', 'Precio', 'Ubicacion', 'URL']].copy()
+    # Insertamos la columna ID para que el usuario sepa cuál desmarcar
+    df_mostrar.insert(0, 'ID_Testigo', [f"ID {i+1}" for i in range(len(resultados))])
     df_mostrar['Precio'] = df_mostrar['Precio'].apply(lambda x: f"${x:,.0f}")
-    # Convertimos la URL en un enlace clickeable para la tabla visual
-    df_mostrar['URL'] = df_mostrar['URL'].apply(lambda x: f"[🌐 Clic para abrir el Inmueble]({x})")
-    df_mostrar.rename(columns={'URL': 'Enlace'}, inplace=True) 
+    df_mostrar['URL'] = df_mostrar['URL'].apply(lambda x: f"[🌐 CLIC PARA VER INMUEBLE]({x})")
+    df_mostrar.rename(columns={'URL': 'Enlace Origial'}, inplace=True) 
 
-    log_visible += "\n🛑 EXTRACCIÓN FINALIZADA.\n👉 Selecciona los testigos válidos abajo y haz clic en 'Generar Dictamen'."
+    log_visible += "\n🛑 EXTRACCIÓN FINALIZADA.\n👉 Revisa la tabla de enlaces. Luego desmarca los IDs inválidos en la lista izquierda y haz clic en 'Generar Dictamen'."
+
+    return log_visible, df_mostrar, gr.update(choices=opciones_check, value=opciones_check, visible=True), gr.update(interactive=True), resultados, precios_inversos
 
-    # Desbloqueamos botones
-    yield log_visible, df_mostrar, gr.update(choices=opciones_check, value=opciones_check, visible=True), gr.update(interactive=True), resultados, precios_inversos, gr.update(interactive=True)
 
 # ==========================================
-# FASE 2: CÁLCULO Y GENERACIÓN DE PDF
+# FASE 2: CÁLCULO Y GENERACIÓN (CON PROGRESO NATIVO)
 # ==========================================
-def fase_2_generar_dictamen(seleccionados_ui, data_cruda, precios_inversos, operacion, barrio, zona_especifica, ciudad, area, tipo, hab, ban, park):
-    yield None, "⏳ Procesando curaduría y estadísticas...", "<p>Cargando mapa...</p>", gr.update(interactive=False)
-    
+def fase_2_generar_dictamen(seleccionados_ui, data_cruda, precios_inversos, operacion, barrio, zona_especifica, ciudad, area, tipo, hab, ban, park, progress=gr.Progress()):
     if not seleccionados_ui:
-        yield None, "❌ ERROR: Selecciona al menos 1 testigo.", "<p>Error</p>", gr.update(interactive=True)
-        return
+        return None, "❌ ERROR: No dejaste seleccionado ningún testigo. Selecciona al menos 1.", "<p>Error</p>"
 
+    progress(0.1, desc="Filtrando testigos seleccionados...")
     resultados_filtrados = [r for r in data_cruda if r['etiqueta_ui'] in seleccionados_ui]
+    
+    if len(resultados_filtrados) == 0:
+        return None, "❌ ERROR: La lista de testigos válidos está vacía.", "<p>Error</p>"
+
     df_final = pd.DataFrame(resultados_filtrados)
     df_final['V_Homogeneizado'] = df_final['Precio'] * 0.92 
     
+    progress(0.4, desc="Ejecutando cálculos estadísticos SAE...")
     mediana_m2 = df_final['Precio_M2'].median()
     minimo_zona = df_final['Precio'].min()
     maximo_zona = df_final['Precio'].max()
@@ -335,10 +322,10 @@ def fase_2_generar_dictamen(seleccionados_ui, data_cruda, precios_inversos, oper
                 cap_rate_txt = f"Canon Arriendo Promedio: ${mediana_inversa:,.0f} COP\nRentabilidad Bruta Anual (Cap Rate): {rentabilidad:.2f}%"
         except: pass
 
-    yield None, "🗺️ Dibujando mapa interactivo...", "<p>Dibujando mapa...</p>", gr.update(interactive=False)
+    progress(0.6, desc="Dibujando mapa geoespacial...")
     mapa_html, lat_mapa, lon_mapa = generar_mapa(barrio, ciudad)
     
-    yield None, "📄 Creando PDF de dictamen pericial...", mapa_html, gr.update(interactive=False)
+    progress(0.8, desc="Maquetando documento PDF...")
     preparar_entorno_pdf()
     pdf_path = f"Dictamen_Pericial_SAE_{int(time.time())}.pdf"
     pdf = PDF_SAE()
@@ -412,13 +399,14 @@ def fase_2_generar_dictamen(seleccionados_ui, data_cruda, precios_inversos, oper
         pdf.set_x(text_x); pdf.set_font("Arial", '', 8); pdf.set_text_color(*COLOR_NEGRO)
         pdf.multi_cell(0, 4, sanear_texto(r['Descripcion']))
         pdf.set_x(text_x); pdf.set_font("Arial", '', 8); pdf.set_text_color(0, 102, 204)
-        pdf.cell(0, 4, f">> Ver testigo en {sanear_texto(r['Portal'])}", link=r['URL'], ln=True)
+        pdf.cell(0, 4, f">> Ver testigo original online", link=r['URL'], ln=True)
         pdf.set_text_color(*COLOR_NEGRO); y_end = pdf.get_y(); pdf.set_y(max(y_start + 35, y_end + 5))
         pdf.set_draw_color(200, 200, 200); pdf.line(10, pdf.get_y(), 200, pdf.get_y()); pdf.ln(4)
         if img_path and os.path.exists(img_path):
             try: os.remove(img_path)
             except: pass
 
+    progress(1.0, desc="¡Dictamen Finalizado!")
     pdf.output(pdf_path)
     
     resumen = (
@@ -429,7 +417,7 @@ def fase_2_generar_dictamen(seleccionados_ui, data_cruda, precios_inversos, oper
         f"📊 **Análisis de Inversión:**\n{cap_rate_txt}"
     )
     
-    yield pdf_path, resumen, mapa_html, gr.update(interactive=True)
+    return pdf_path, resumen, mapa_html
 
 def adaptar_interfaz(tipo):
     if tipo in ["Lote", "Finca"]: return [gr.update(visible=False)] * 6
@@ -441,7 +429,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     estado_datos_crudos = gr.State([])
     estado_datos_financieros = gr.State([])
 
-    gr.Markdown("## 🏢 TramitIA Pro: Dictamen Pericial (Extracción en Tiempo Real)")
+    gr.Markdown("## 🏢 TramitIA Pro: Dictamen Pericial (Extracción Curada)")
     
     with gr.Row():
         with gr.Column(scale=1):
@@ -467,27 +455,29 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
             
             gr.Markdown("---")
             gr.Markdown("### 📋 CURADURÍA (Selecciona los válidos)")
+            # La caja de Checkboxes usará textos seguros
             selector_testigos = gr.CheckboxGroup(label="Testigos encontrados", choices=[], visible=False)
             btn_generar = gr.Button("📄 2. GENERAR DICTAMEN", variant="secondary", interactive=False)
             
         with gr.Column(scale=2):
             res_fin = gr.Markdown("### 💰 Resultado, Progreso y Rentabilidad...")
             with gr.Tabs():
-                with gr.TabItem("Exploración Bruta (Links)"): out_df = gr.Dataframe(datatype=["str", "str", "str", "markdown"])
-                with gr.TabItem("Log en Tiempo Real"): msg = gr.Textbox(lines=12, label="Progreso del Robot")
+                # Dataframe optimizado para mostrar Markdown clickeables
+                with gr.TabItem("Exploración Bruta (Links)"): out_df = gr.Dataframe(datatype=["str", "str", "str", "str", "markdown"])
+                with gr.TabItem("Log del Sistema"): msg = gr.Textbox(lines=12, label="Progreso del Robot")
                 with gr.TabItem("Descargar Dictamen (PDF)"): out_pdf = gr.File()
                 with gr.TabItem("Mapa Geoespacial"): mapa_ui = gr.HTML("<p style='text-align:center; color:gray;'>El mapa aparecerá aquí...</p>")
 
     btn_buscar.click(
         fase_1_buscar_testigos, 
         inputs=[op, b, c, a, m2_min, m2_max, t, h, ban, p, e, ascensor, piscina], 
-        outputs=[msg, out_df, selector_testigos, btn_generar, estado_datos_crudos, estado_datos_financieros, btn_buscar]
+        outputs=[msg, out_df, selector_testigos, btn_generar, estado_datos_crudos, estado_datos_financieros]
     )
 
     btn_generar.click(
         fase_2_generar_dictamen,
         inputs=[selector_testigos, estado_datos_crudos, estado_datos_financieros, op, b, z, c, a, t, h, ban, p],
-        outputs=[out_pdf, res_fin, mapa_ui, btn_generar]
+        outputs=[out_pdf, res_fin, mapa_ui]
     )
 
 demo.launch(theme=gr.themes.Soft())