Create recolector.py

recolector.py

@@ -0,0 +1,135 @@
+import sqlite3
+import time
+import random
+import re
+from duckduckgo_search import DDGS
+import pandas as pd
+from datetime import datetime
+
+# --- CONFIGURACIÓN DEL ROBOT ---
+DB_NAME = "base_datos_inmobiliaria.db"
+CIUDADES_ZONAS = {
+    "Bogota": ["Salitre", "Chico", "Chapinero", "Cedritos", "Colina Campestre", "Suba", "Kennedy", "Modelia"],
+    "Medellin": ["Poblado", "Laureles", "Envigado", "Belen", "Sabaneta"],
+    "Cali": ["Ciudad Jardin", "El Peñon", "Valle del Lili", "Granada"],
+    "Cartagena": ["Bocagrande", "Castillogrande", "Manga", "Crespo"]
+}
+
+# --- 1. GESTIÓN DE BASE DE DATOS ---
+def iniciar_db():
+    conn = sqlite3.connect(DB_NAME)
+    c = conn.cursor()
+    # Creamos una tabla robusta para guardar histórico
+    c.execute('''CREATE TABLE IF NOT EXISTS mercado (
+                    id INTEGER PRIMARY KEY AUTOINCREMENT,
+                    ciudad TEXT,
+                    zona TEXT,
+                    titulo TEXT,
+                    precio REAL,
+                    area REAL,
+                    precio_m2 REAL,
+                    url TEXT UNIQUE,
+                    fuente TEXT,
+                    fecha_captura DATE
+                )''')
+    conn.commit()
+    conn.close()
+
+def guardar_dato(dato):
+    conn = sqlite3.connect(DB_NAME)
+    c = conn.cursor()
+    try:
+        # INSERT OR IGNORE evita duplicados si ya escaneamos esa URL
+        c.execute('''INSERT OR IGNORE INTO mercado 
+                     (ciudad, zona, titulo, precio, area, precio_m2, url, fuente, fecha_captura) 
+                     VALUES (?,?,?,?,?,?,?,?,?)''', 
+                  (dato['ciudad'], dato['zona'], dato['titulo'], dato['precio'], 
+                   dato['area'], dato['precio_m2'], dato['url'], dato['fuente'], datetime.now().date()))
+        conn.commit()
+        return c.rowcount # Retorna 1 si guardó, 0 si ya existía
+    except Exception as e:
+        print(f"Error guardando: {e}")
+        return 0
+    finally:
+        conn.close()
+
+# --- 2. MOTOR DE EXTRACCIÓN (PARSEERS) ---
+def limpiar_precio(texto):
+    match = re.search(r'\$\s?([\d.,]+)', texto)
+    if match:
+        clean = match.group(1).replace('.', '').replace(',', '')
+        try: return float(clean)
+        except: return 0
+    return 0
+
+def limpiar_area(texto):
+    match = re.search(r'(\d+)\s?(m2|mt)', texto.lower())
+    if match:
+        try: return float(match.group(1))
+        except: return 0
+    return 0
+
+# --- 3. EL ROBOT (CRAWLER) ---
+def robot_inmobiliario():
+    print("🤖 INICIANDO ROBOT RECOLECTOR DE DATA INMOBILIARIA...")
+    iniciar_db()
+    
+    total_nuevos = 0
+    
+    # Recorremos cada ciudad y zona configurada
+    for ciudad, zonas in CIUDADES_ZONAS.items():
+        for zona in zonas:
+            print(f"\n📡 Escaneando: {ciudad} - {zona}...")
+            
+            # Usamos DuckDuckGo para buscar fichas específicas sin entrar al portal (Anti-Bloqueo)
+            # Buscamos en los 3 grandes portales
+            query = f'site:fincaraiz.com.co/inmueble OR site:metrocuadrado.com/inmueble OR site:casas.mitula.com.co venta apartamento "{ciudad}" "{zona}"'
+            
+            try:
+                # Usamos el backend 'api' o 'html'
+                results = DDGS().text(query, max_results=20)
+                
+                if not results:
+                    print("   ⚠️ No se encontraron resultados nuevos.")
+                
+                count_zona = 0
+                for r in results:
+                    texto = f"{r['title']} {r['body']}"
+                    precio = limpiar_precio(texto)
+                    area = limpiar_area(texto)
+                    
+                    # Filtros de Calidad de Dato
+                    if precio > 50000000 and area > 10:
+                        dato = {
+                            'ciudad': ciudad,
+                            'zona': zona,
+                            'titulo': r['title'],
+                            'precio': precio,
+                            'area': area,
+                            'precio_m2': round(precio/area, 2),
+                            'url': r['href'],
+                            'fuente': 'Web Scraping'
+                        }
+                        
+                        guardado = guardar_dato(dato)
+                        if guardado:
+                            count_zona += 1
+                            total_nuevos += 1
+                            print(f"   ✅ Guardado: {titulo[:30]}... (${precio:,.0f})")
+                
+                print(f"   📊 Resumen {zona}: {count_zona} inmuebles nuevos agregados.")
+                
+                # PAUSA ESTRATÉGICA (Dormir para parecer humano)
+                tiempo_espera = random.uniform(2, 5)
+                print(f"   💤 Durmiendo {tiempo_espera:.1f} segundos...")
+                time.sleep(tiempo_espera)
+                
+            except Exception as e:
+                print(f"   ❌ Error en zona {zona}: {e}")
+                time.sleep(5) # Espera de error
+
+    print(f"\n🏁 CICLO TERMINADO. Total inmuebles nuevos en base de datos: {total_nuevos}")
+
+if __name__ == "__main__":
+    # Ejecutar el robot
+    robot_inmobiliario()