Update app.py

app.py

@@ -34,7 +34,6 @@ except ImportError:
 
 # --- FILTRO ANTI-EMOJIS PARA EL PDF ---
 def sanear_texto(texto):
-    """Elimina emojis y caracteres especiales que rompen el PDF (latin-1)"""
     if not isinstance(texto, str): return ""
     return texto.encode('latin-1', 'ignore').decode('latin-1')
 
@@ -44,20 +43,18 @@ def descargar_imagen(url, idx):
         return None
     try:
         headers = {
-            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
             "Accept": "image/*",
             "Referer": "https://www.fincaraiz.com.co/"
         }
         r = requests.get(url, timeout=8, headers=headers)
         if r.status_code == 200:
             img = Image.open(io.BytesIO(r.content))
-            if img.mode != 'RGB': 
-                img = img.convert('RGB')
+            if img.mode != 'RGB': img = img.convert('RGB')
             path = f"temp_img_{idx}.jpg"
             img.save(path, format="JPEG")
             return path
-    except:
-        return None
+    except: return None
     return None
 
 # --- 1. GENERADOR DE URLS ---
@@ -102,7 +99,7 @@ def extraer_ubicacion(texto):
                 return linea[:60]
     return "Ubicacion en zona solicitada"
 
-# --- 3. MOTOR DE EXTRACCIÓN ROBUSTO ---
+# --- 3. MOTOR DE EXTRACCIÓN (NUEVO RADAR 360) ---
 def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo, hab, ban, park, antiguedad, ascensor, piscina):
     resultados = []
     log_visible = ""
@@ -121,7 +118,6 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
                 page = context.new_page()
                 log_visible += "🔄 FR: Buscando inmuebles y fotos...\n"
                 page.goto(url_fr, wait_until="domcontentloaded", timeout=60000)
-                
                 try: page.wait_for_load_state("networkidle", timeout=10000)
                 except: pass
                 
@@ -134,25 +130,33 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
                 for el in elementos:
                     if cont_fr >= 12: break
                     try:
+                        href = el.get_attribute("href")
+                        if not href or len(href) < 15 or "javascript" in href: continue
+                        
                         txt = el.inner_text()
                         precio = extraer_precio(txt, operacion)
                         
+                        # RADAR: Si el link no tiene precio, subimos 4 niveles en el HTML buscando el contenedor
+                        padre = el
+                        niveles = 0
+                        while precio == 0 and niveles < 4:
+                            padre = padre.evaluate_handle("el => el.parentElement")
+                            if not padre: break
+                            txt = padre.inner_text()
+                            precio = extraer_precio(txt, operacion)
+                            niveles += 1
+
                         if precio > 0:
-                            href = el.get_attribute("href")
-                            if not href: continue
-                                
+                            full_url = f"https://www.fincaraiz.com.co{href}" if href.startswith("/") else href
+                            # Evita duplicados en tiempo real
+                            if any(r['URL'] == full_url for r in resultados): continue
+
                             img_url = ""
-                            img_el = el.query_selector("img")
-                            if not img_el:
-                                padre = el.evaluate_handle("el => el.parentElement ? el.parentElement.parentElement : null")
-                                if padre: img_el = padre.query_selector("img")
-                                
+                            img_el = padre.query_selector("img")
                             if img_el:
                                 img_url = img_el.get_attribute("src") or img_el.get_attribute("data-src") or ""
                                 if img_url.startswith("/"): img_url = "https://www.fincaraiz.com.co" + img_url
 
-                            full_url = f"https://www.fincaraiz.com.co{href}" if href.startswith("/") else href
-                            
                             resultados.append({
                                 "Portal": "Finca Raiz",
                                 "Precio": precio,
@@ -168,12 +172,11 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
                 log_visible += f"✅ FR: Encontrados {cont_fr} candidatos.\n"
             except Exception as e: log_visible += f"⚠️ Error buscando en FR.\n"
 
-            # --- METROCUADRADO ---
+            # --- METROCUADRADO (CON RADAR) ---
             try:
                 page = context.new_page()
                 log_visible += "🔄 MC: Buscando inmuebles y fotos...\n"
                 page.goto(url_mc, wait_until="domcontentloaded", timeout=60000)
-                
                 try: page.wait_for_load_state("networkidle", timeout=10000)
                 except: pass
                 
@@ -181,34 +184,47 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
                     page.mouse.wheel(0, 1000)
                     page.wait_for_timeout(2000)
                 
-                cards = page.query_selector_all("li, div.property-card")
+                elementos = page.query_selector_all("a")
                 cont_mc = 0
-                for card in cards:
+                for el in elementos:
                     if cont_mc >= 12: break
                     try:
-                        txt = card.inner_text()
+                        href = el.get_attribute("href")
+                        if not href or len(href) < 15 or "javascript" in href: continue
+                        
+                        txt = el.inner_text()
                         precio = extraer_precio(txt, operacion)
+                        
+                        # EL MISMO RADAR QUE SALVA A METROCUADRADO
+                        padre = el
+                        niveles = 0
+                        while precio == 0 and niveles < 4:
+                            padre = padre.evaluate_handle("el => el.parentElement")
+                            if not padre: break
+                            txt = padre.inner_text()
+                            precio = extraer_precio(txt, operacion)
+                            niveles += 1
+
                         if precio > 0:
-                            enlace_el = card.query_selector("a")
-                            img_el = card.query_selector("img")
-                            
-                            href = enlace_el.get_attribute("href") if enlace_el else ""
+                            full_url = f"https://www.metrocuadrado.com{href}" if href.startswith("/") else href
+                            if any(r['URL'] == full_url for r in resultados): continue
+
                             img_url = ""
+                            img_el = padre.query_selector("img")
                             if img_el:
                                 img_url = img_el.get_attribute("src") or img_el.get_attribute("data-src") or ""
                                 if img_url.startswith("/"): img_url = "https://www.metrocuadrado.com" + img_url
 
-                            if href:
-                                resultados.append({
-                                    "Portal": "Metrocuadrado",
-                                    "Precio": precio,
-                                    "Precio_M2": precio / area,
-                                    "Ubicacion": extraer_ubicacion(txt),
-                                    "Descripcion": txt.replace('\n', ' | ')[:120] + "...",
-                                    "URL": f"https://www.metrocuadrado.com{href}" if href.startswith("/") else href,
-                                    "Imagen": img_url
-                                })
-                                cont_mc += 1
+                            resultados.append({
+                                "Portal": "Metrocuadrado",
+                                "Precio": precio,
+                                "Precio_M2": precio / area,
+                                "Ubicacion": extraer_ubicacion(txt),
+                                "Descripcion": txt.replace('\n', ' | ')[:120] + "...",
+                                "URL": full_url,
+                                "Imagen": img_url
+                            })
+                            cont_mc += 1
                     except: continue
                 page.close()
                 log_visible += f"✅ MC: Encontrados {cont_mc} candidatos.\n"
@@ -217,9 +233,9 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
             browser.close()
 
         if not resultados:
-            return f"{log_visible}\n❌ NO SE ENCONTRARON DATOS. (Verifica si tus filtros son muy estrictos)", pd.DataFrame(), None, "---"
+            return f"{log_visible}\n❌ NO SE ENCONTRARON DATOS.", pd.DataFrame(), None, "---"
 
-        # --- LIMPIEZA ---
+        # --- LIMPIEZA FINAL ---
         df_crudo = pd.DataFrame(resultados).drop_duplicates(subset=['URL'])
         df_fr = df_crudo[df_crudo['Portal'] == 'Finca Raiz'].head(6)
         df_mc = df_crudo[df_crudo['Portal'] == 'Metrocuadrado'].head(6)
@@ -230,7 +246,7 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
 
         log_visible += f"\n✨ PROCESANDO PDF CON {len(df_final)} INMUEBLES..."
 
-        # --- PDF VISUAL (AHORA SANEADO) ---
+        # --- PDF VISUAL Y SANEADO ---
         pdf_path = f"Reporte_Visual_{int(time.time())}.pdf"
         pdf = FPDF()
         pdf.add_page()
@@ -238,7 +254,6 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
         pdf.set_font("Arial", 'B', 16)
         pdf.set_fill_color(40, 53, 147)
         pdf.set_text_color(255, 255, 255)
-        # Saneamos el encabezado por si acaso
         encabezado = sanear_texto(f" REPORTE INMOBILIARIO: {barrio.upper()} ({operacion.upper()})")
         pdf.cell(0, 15, encabezado, ln=True, fill=True)
         pdf.set_text_color(0, 0, 0)
@@ -265,12 +280,10 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
             pdf.set_font("Arial", 'B', 9)
             pdf.set_text_color(100, 100, 100)
             
-            # Saneamiento de textos dinámicos
             ubicacion_limpia = sanear_texto(r['Ubicacion'])
             portal_limpio = sanear_texto(r['Portal'])
             desc_limpia = sanear_texto(r['Descripcion'])
             
-            # Textos limpios sin emojis hardcodeados
             pdf.cell(0, 5, f"Ubicacion: {ubicacion_limpia} | Fuente: {portal_limpio}", ln=True)
             
             pdf.set_x(text_x)
@@ -281,7 +294,7 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
             pdf.set_x(text_x)
             pdf.set_font("Arial", 'U', 8)
             pdf.set_text_color(0, 102, 204)
-            pdf.cell(0, 5, ">> Hacer clic aqui para ver publicacion", link=r['URL'], ln=True)
+            pdf.cell(0, 5, ">> Hacer clic aqui para ver publicacion original", link=r['URL'], ln=True)
             pdf.set_text_color(0, 0, 0)
             
             y_end = pdf.get_y()
@@ -316,7 +329,7 @@ def motor_tramitia_visual(operacion, barrio, ciudad, area, m2_min, m2_max, tipo,
 
 # --- INTERFAZ GRÁFICA ---
 with gr.Blocks() as demo:
-    gr.Markdown("## 📸 TramitIA Pro: Generador Visual Saneado")
+    gr.Markdown("## 📸 TramitIA Pro: Generador Visual (Radar 360)")
     
     with gr.Row():
         with gr.Column(scale=1):