Update app.py

app.py

@@ -2,15 +2,24 @@ import os
 import subprocess
 import pandas as pd
 import datetime
+import re
 from fpdf import FPDF
 import gradio as gr
 from playwright.sync_api import sync_playwright
+import time
+import random
 
 # --- INSTALACIÓN ---
 try:
     subprocess.run(["playwright", "install", "chromium"], check=True)
 except: pass
 
+try:
+    from fake_useragent import UserAgent
+except ImportError:
+    subprocess.run(["pip", "install", "fake-useragent"], check=True)
+    from fake_useragent import UserAgent
+
 # --- 1. GENERADOR DE URLS ---
 def construir_urls_final(zona, ciudad, tipo, hab, ban, park, antiguedad):
     mapa_ant = {
@@ -31,209 +40,209 @@ def construir_urls_final(zona, ciudad, tipo, hab, ban, park, antiguedad):
     
     return url_fr, url_mc
 
-# --- 2. GENERADOR PDF ---
-def generar_pdf_con_estimacion(zona, area, df, url_fr, url_mc):
-    promedio_m2 = df['Precio_M2'].mean()
-    precio_sugerido = promedio_m2 * area
-    precio_min = df['Precio'].min()
-    precio_max = df['Precio'].max()
-    
-    pdf_path = f"Estimacion_{int(datetime.datetime.now().timestamp())}.pdf"
-    pdf = FPDF()
-    pdf.add_page()
-    
-    pdf.set_font("Arial", 'B', 16)
-    pdf.cell(0, 10, f"ESTIMACION DE CANON: {zona.upper()}", ln=True, align='C')
-    pdf.ln(5)
-    
-    pdf.set_fill_color(220, 230, 240)
-    pdf.rect(10, 30, 190, 40, 'F')
-    pdf.set_y(35)
-    
-    pdf.set_font("Arial", 'B', 12)
-    pdf.cell(0, 8, f"CANON SUGERIDO (Area: {area}m2):", ln=True, align='C')
-    
-    pdf.set_font("Arial", 'B', 20)
-    pdf.set_text_color(0, 100, 0)
-    pdf.cell(0, 10, f"${precio_sugerido:,.0f}", ln=True, align='C')
-    
-    pdf.set_font("Arial", '', 10)
-    pdf.set_text_color(0, 0, 0)
-    pdf.cell(0, 8, f"Rango de Mercado: ${precio_min:,.0f} - ${precio_max:,.0f}", ln=True, align='C')
-    pdf.ln(15)
+# --- 2. EXTRACTOR GENÉRICO (Regex) ---
+def extraer_precio_regex(texto):
+    # Busca patrones como $ 1.500.000 o $1500000
+    patron = r'\$\s?(\d{1,3}(?:[.,]\d{3})*)'
+    coincidencias = re.findall(patron, texto)
+    if coincidencias:
+        # Convertir a entero: quitar puntos y comas
+        precios = [int(p.replace('.', '').replace(',', '')) for p in coincidencias]
+        return max(precios) # Retorna el precio más alto encontrado en el texto
+    return 0
 
-    pdf.set_font("Arial", 'B', 8)
-    pdf.set_text_color(100, 100, 100)
-    pdf.cell(0, 5, "URLS DE BUSQUEDA:", ln=True)
-    pdf.set_font("Courier", '', 7)
-    pdf.multi_cell(0, 4, f"FR: {url_fr}\nMC: {url_mc}")
-    pdf.ln(5)
-    
-    pdf.set_text_color(0, 0, 0)
-    pdf.set_font("Arial", 'B', 12)
-    pdf.cell(0, 10, "COMPARABLES UTILIZADOS:", ln=True)
-    
-    pdf.set_font("Arial", '', 10)
-    for _, r in df.iterrows():
-        pdf.set_fill_color(245, 245, 245)
-        pdf.cell(0, 8, f"{r['Portal']} - ${r['Precio']:,.0f} (M2: ${r['Precio_M2']:,.0f})", ln=True, fill=True)
-        pdf.set_font("Arial", '', 8)
-        pdf.multi_cell(0, 4, f"{r['Descripcion']}")
-        pdf.set_font("Arial", 'U', 8)
-        pdf.set_text_color(0, 0, 255)
-        pdf.cell(0, 6, "Clic aqui para abrir publicacion", link=r['URL'], ln=True)
-        pdf.set_text_color(0, 0, 0)
-        pdf.ln(3)
-        
-    pdf.output(pdf_path)
-    return pdf_path, precio_sugerido, precio_min, precio_max
-
-# --- 3. MOTOR DE EXTRACCIÓN BLINDADO ---
-def motor_tramitia_estimador(zona, ciudad, area, tipo, hab, ban, park, antiguedad):
+# --- 3. MOTOR DE EXTRACCIÓN CAMUFLADO ---
+def motor_tramitia_camuflado(zona, ciudad, area, tipo, hab, ban, park, antiguedad):
     resultados = []
     url_fr, url_mc = construir_urls_final(zona, ciudad, tipo, hab, ban, park, antiguedad)
-    log_visible = f"✅ URLs AUDITABLES:\nFR: {url_fr}\nMC: {url_mc}\n\n--- INICIANDO ESCANEO ---\n"
+    log_visible = f"✅ URLs INICIADAS:\nFR: {url_fr}\nMC: {url_mc}\n\n"
+
+    ua = UserAgent()
 
     with sync_playwright() as p:
-        browser = p.chromium.launch(headless=True, args=["--disable-blink-features=AutomationControlled"])
-        context = browser.new_context(user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
+        # LANZAMIENTO EN MODO FURTIVO
+        browser = p.chromium.launch(
+            headless=True,
+            args=[
+                '--disable-blink-features=AutomationControlled', # Oculta que es un robot
+                '--no-sandbox',
+                '--disable-setuid-sandbox',
+                '--disable-infobars',
+                '--window-position=0,0',
+                '--ignore-certifcate-errors',
+                '--ignore-certifcate-errors-spki-list',
+                '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
+            ]
+        )
         
+        # Contexto con Viewport aleatorio para parecer humano
+        context = browser.new_context(
+            user_agent=ua.random,
+            viewport={'width': 1366, 'height': 768},
+            locale='es-CO',
+            timezone_id='America/Bogota'
+        )
+        
+        # Script para evasión de detección de WebDriver
+        init_script = """
+        Object.defineProperty(navigator, 'webdriver', {
+            get: () => undefined
+        });
+        """
+        context.add_init_script(init_script)
+
         # --- FINCA RAÍZ ---
         try:
             page = context.new_page()
+            log_visible += "🔄 Conectando a FR...\n"
             page.goto(url_fr, wait_until="domcontentloaded", timeout=60000)
             
-            # Espera ACTIVA: obligamos al bot a esperar hasta ver un signo de pesos o agotar 10 segundos
-            try:
-                page.wait_for_selector("text=$", timeout=10000)
-            except:
-                log_visible += "⏳ FR: Demoró en cargar precios.\n"
-
-            # Scroll nativo de Playwright
-            for _ in range(3):
-                page.mouse.wheel(0, 1000)
-                page.wait_for_timeout(1000) # Espera 1 segundo real
+            # Simulamos comportamiento humano antes de buscar
+            page.mouse.move(random.randint(100, 500), random.randint(100, 500))
+            page.mouse.wheel(0, 500)
+            time.sleep(random.uniform(2, 4))
             
-            # Selector múltiple de respaldo
-            cards = page.locator("article, div.lc-dataWrapper, div[class*='Card']").all()
+            # Scroll lento
+            for _ in range(3):
+                page.mouse.wheel(0, 1500)
+                time.sleep(1)
+
+            # ESTRATEGIA: Buscar TODOS los enlaces que contengan un precio dentro
+            elementos = page.query_selector_all("a") # Buscamos cualquier link
             
-            for card in cards[:8]:
-                try:
-                    txt = card.inner_text()
-                    if "$" not in txt: continue
-                    
-                    precios = [int(s) for s in txt.replace('.', '').replace('$', '').split() if s.isdigit() and len(s) >= 6]
-                    if not precios: continue
-                    
-                    # Evaluación directa sobre el elemento (infalible para links)
-                    href = card.evaluate("el => el.querySelector('a') ? el.querySelector('a').href : (el.closest('a') ? el.closest('a').href : '')")
-                    
-                    if href:
+            cont_fr = 0
+            for el in elementos:
+                if cont_fr >= 6: break
+                txt = el.inner_text()
+                
+                # Si tiene signo pesos, es un candidato
+                if "$" in txt:
+                    precio = extraer_precio_regex(txt)
+                    if precio > 500000: # Filtro de "precio lógico" (evitar precios de garajes solos)
+                        href = el.get_attribute("href")
+                        full_url = f"https://www.fincaraiz.com.co{href}" if href.startswith("/") else href
+                        
                         resultados.append({
                             "Portal": "Finca Raiz",
-                            "Precio": max(precios),
-                            "Precio_M2": max(precios) / area,
-                            "Descripcion": txt.replace('\n', ' ')[:90] + "...",
-                            "URL": href
+                            "Precio": precio,
+                            "Precio_M2": precio / area,
+                            "Descripcion": txt.replace('\n', ' ')[:80] + "...",
+                            "URL": full_url
                         })
-                except: continue
+                        cont_fr += 1
             page.close()
+            log_visible += f"✅ FR: {cont_fr} datos extraídos.\n"
         except Exception as e: log_visible += f"⚠️ Error FR: {e}\n"
 
         # --- METROCUADRADO ---
         try:
             page = context.new_page()
+            log_visible += "🔄 Conectando a MC...\n"
             page.goto(url_mc, wait_until="domcontentloaded", timeout=60000)
             
-            try:
-                page.wait_for_selector("text=$", timeout=10000)
-            except:
-                log_visible += "⏳ MC: Demoró en cargar precios.\n"
-
-            for _ in range(3):
+            page.mouse.move(random.randint(100, 500), random.randint(100, 500))
+            time.sleep(random.uniform(2, 4))
+            
+            for _ in range(4):
                 page.mouse.wheel(0, 1000)
-                page.wait_for_timeout(1000)
+                time.sleep(1)
             
-            # Selector usando tu clase exacta más respaldos
-            cards = page.locator("div.property-card__detail, li, div.property-card").all()
+            # MC suele usar Li o Div cards. Buscamos contenedores genéricos
+            cards = page.query_selector_all("li, div[class*='card']")
             
-            for card in cards[:8]:
-                try:
-                    txt = card.inner_text()
-                    if "$" not in txt: continue
-                    
-                    precios = [int(s) for s in txt.replace('.', '').replace('$', '').split() if s.isdigit() and len(s) >= 6]
-                    if not precios: continue
-                    
-                    href = card.evaluate("el => el.querySelector('a') ? el.querySelector('a').href : (el.closest('li') && el.closest('li').querySelector('a') ? el.closest('li').querySelector('a').href : '')")
-                    
-                    if href:
-                        resultados.append({
-                            "Portal": "Metrocuadrado",
-                            "Precio": max(precios),
-                            "Precio_M2": max(precios) / area,
-                            "Descripcion": txt.replace('\n', ' ')[:90] + "...",
-                            "URL": href
-                        })
-                except: continue
+            cont_mc = 0
+            for card in cards:
+                if cont_mc >= 6: break
+                txt = card.inner_text()
+                
+                if "$" in txt:
+                    precio = extraer_precio_regex(txt)
+                    if precio > 500000:
+                        # Buscamos el link dentro de esa tarjeta
+                        enlace = card.query_selector("a")
+                        if enlace:
+                            href = enlace.get_attribute("href")
+                            full_url = f"https://www.metrocuadrado.com{href}" if href.startswith("/") else href
+                            
+                            resultados.append({
+                                "Portal": "Metrocuadrado",
+                                "Precio": precio,
+                                "Precio_M2": precio / area,
+                                "Descripcion": txt.replace('\n', ' ')[:80] + "...",
+                                "URL": full_url
+                            })
+                            cont_mc += 1
             page.close()
+            log_visible += f"✅ MC: {cont_mc} datos extraídos.\n"
         except Exception as e: log_visible += f"⚠️ Error MC: {e}\n"
         
         browser.close()
 
     if not resultados:
-        return f"{log_visible}\n❌ NO SE ENCONTRARON DATOS. Posible bloqueo o selectores no coinciden.", None, None, "---"
+        return f"{log_visible}\n❌ NO SE ENCONTRARON DATOS. Bloqueo persistente.", None, None, "---"
 
     df = pd.DataFrame(resultados).drop_duplicates(subset=['URL'])
     
-    if df.empty:
-        return f"{log_visible}\n❌ SE ENCONTRARON DATOS PERO ERAN DUPLICADOS O INVÁLIDOS.", None, None, "---"
-
-    pdf_path, sug, min_p, max_p = generar_pdf_con_estimacion(zona, area, df, url_fr, url_mc)
+    # PDF
+    pdf_path = f"Reporte_{int(time.time())}.pdf"
+    pdf = FPDF()
+    pdf.add_page()
+    pdf.set_font("Arial", 'B', 14)
+    pdf.cell(0, 10, f"ESTUDIO {zona.upper()}", ln=True)
+    pdf.ln(5)
+    for _, r in df.iterrows():
+        pdf.set_font("Arial", 'B', 10)
+        pdf.cell(0, 8, f"${r['Precio']:,.0f} - {r['Portal']}", ln=True)
+        pdf.set_font("Arial", '', 8)
+        pdf.multi_cell(0, 4, f"{r['Descripcion']}")
+        pdf.set_font("Arial", 'U', 8); pdf.set_text_color(0,0,255)
+        pdf.cell(0, 6, "Ver Publicacion", link=r['URL'], ln=True)
+        pdf.set_text_color(0,0,0); pdf.ln(3)
+    pdf.output(pdf_path)
     
-    resumen_financiero = (
+    # Cálculos
+    promedio = df['Precio'].mean()
+    minimo = df['Precio'].min()
+    maximo = df['Precio'].max()
+    
+    resumen = (
         f"💰 **ESTIMACIÓN DE RENTA**\n"
-        f"🔹 **Canon Sugerido:** ${sug:,.0f}\n"
-        f"📉 Mínimo Zona: ${min_p:,.0f}\n"
-        f"📈 Máximo Zona: ${max_p:,.0f}\n"
-        f"📊 Basado en {len(df)} comparables."
+        f"🔹 **Promedio Zona:** ${promedio:,.0f}\n"
+        f"📉 Mínimo: ${minimo:,.0f}\n"
+        f"📈 Máximo: ${maximo:,.0f}"
     )
     
-    return f"{log_visible}\n✅ Extracción exitosa.", df, pdf_path, resumen_financiero
+    return f"{log_visible}\n✅ Proceso Terminado.", df, pdf_path, resumen
 
 # --- INTERFAZ ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("## 🤖 TramitIA Pro: Extracción Blindada")
+    gr.Markdown("## 🤖 TramitIA Pro: Modo Camuflaje")
     
     with gr.Row():
         with gr.Column(scale=1):
             c = gr.Textbox(label="Ciudad", value="Bogota")
-            z = gr.Textbox(label="Zona (Ej: Fontibon)", value="Fontibon")
-            a = gr.Number(label="Área M2 (Tu Cliente)", value=60)
+            z = gr.Textbox(label="Zona", value="Fontibon")
+            a = gr.Number(label="Área M2", value=60)
             t = gr.Dropdown(["Apartamento", "Casa"], label="Tipo", value="Apartamento")
             
             with gr.Row():
-                h = gr.Number(label="Habitaciones", value=3)
+                h = gr.Number(label="Hab", value=3)
                 b = gr.Number(label="Baños", value=2)
-                p = gr.Number(label="Parqueaderos", value=1)
+                p = gr.Number(label="Park", value=1)
                 
             e = gr.Dropdown(
                 ["Menos de 1 año", "1 a 8 años", "9 a 15 años", "16 a 30 años", "Más de 30 años"],
                 label="Antigüedad", value="1 a 8 años"
             )
-            btn = gr.Button("CALCULAR CANON", variant="primary")
+            btn = gr.Button("EJECUTAR ESCANEO", variant="primary")
             
         with gr.Column(scale=2):
-            res_fin = gr.Markdown("### 💰 El resultado aparecerá aquí...")
-            
+            res_fin = gr.Markdown("### 💰 Resultado...")
             with gr.Tabs():
-                with gr.TabItem("🔍 Log URLs"):
-                    msg = gr.Textbox(lines=6, label="Auditoría del Proceso")
-                with gr.TabItem("📋 Tabla de Comparables"):
-                    out_df = gr.Dataframe()
-                with gr.TabItem("📄 Reporte PDF"):
-                    out_pdf = gr.File()
+                with gr.TabItem("Log"): msg = gr.Textbox()
+                with gr.TabItem("Tabla"): out_df = gr.Dataframe()
+                with gr.TabItem("PDF"): out_pdf = gr.File()
 
-    btn.click(motor_tramitia_estimador, [z, c, a, t, h, b, p, e], [msg, out_df, out_pdf, res_fin])
+    btn.click(motor_tramitia_camuflado, [z, c, a, t, h, b, p, e], [msg, out_df, out_pdf, res_fin])
 
 demo.launch()