Add internet search and summarization capabilities to the AI

Integrates DuckDuckGo search and a summarization module into the AI's response generation, allowing it to answer questions beyond its pre-existing knowledge base.

Replit-Commit-Author: Agent
Replit-Commit-Session-Id: e3ff2484-bbd8-4aba-bea0-1940769b874a
Replit-Commit-Checkpoint-Type: full_checkpoint
Replit-Commit-Event-Id: 7188c1b8-fc90-43a9-bbb7-0d608c4caa23
Replit-Commit-Screenshot-Url: https://storage.googleapis.com/screenshot-production-us-central1/1739408b-93a5-479b-a658-30f2493b0467/e3ff2484-bbd8-4aba-bea0-1940769b874a/3MbPI1V
Replit-Helium-Checkpoint-Created: true

chat-app/app.py

@@ -6,6 +6,8 @@ from logica import (
     buscar_respuesta_personalizada, generar_explicacion_juego,
     detectar_roblox, modo_calculadora_activo, extraer_texto_content,
 )
+from buscador import buscar as buscar_web
+from resumidor import resumir
 from roblox_api import buscar_jugador, buscar_juego, formatear_jugador, formatear_juego
 from matematicas import (
     es_solicitud_calculadora, es_operacion_matematica,
@@ -99,7 +101,20 @@ def responder(mensaje, historial):
             yield h, ""
         return
 
-    historial = añadir_turno(historial, mensaje, "🤖 NEO-1 aún no tiene una respuesta para eso. Puedes enseñarle más temas agregando respuestas al modelo.")
+    # ── NEO-2: búsqueda en internet ──────────────────────────────────────────
+    historial = añadir_turno(historial, mensaje, "🌐 Buscando en internet...")
+    yield historial, ""
+
+    resultado_web = buscar_web(mensaje)
+    if resultado_web.get("encontrado"):
+        resumen = resumir(mensaje, resultado_web)
+        if resumen:
+            historial[-1]["content"] = ""
+            for h in stream_tokens(resumen, historial):
+                yield h, ""
+            return
+
+    historial[-1]["content"] = "🤖 No encontré información sobre eso ni en mi base de conocimiento ni en internet. Intenta reformular tu pregunta."
     yield historial, ""
 
 with gr.Blocks(title="mdfjbots-neo-1") as demo:

chat-app/buscador.py

@@ -0,0 +1,63 @@
+"""
+buscador.py — NEO-2 Motor de búsqueda
+--------------------------------------
+Consulta la DuckDuckGo Instant Answer API (sin API key).
+Devuelve abstract, snippets relacionados y metadatos.
+"""
+
+import re
+import requests
+
+_TIMEOUT = 6
+_DDG_URL = "https://api.duckduckgo.com/"
+
+def buscar(query: str) -> dict:
+    """
+    Busca `query` en DuckDuckGo y devuelve:
+      {
+        "titulo":   str,
+        "abstract": str,
+        "snippets": [str, ...],
+        "url":      str,
+        "encontrado": bool,
+      }
+    """
+    try:
+        params = {
+            "q":              query,
+            "format":         "json",
+            "no_html":        1,
+            "skip_disambig":  1,
+            "no_redirect":    1,
+        }
+        r = requests.get(_DDG_URL, params=params, timeout=_TIMEOUT)
+        r.raise_for_status()
+        data = r.json()
+    except Exception as e:
+        return {"encontrado": False, "error": str(e)}
+
+    abstract = data.get("AbstractText", "").strip()
+    titulo   = data.get("Heading", "").strip()
+    url      = data.get("AbstractURL", "").strip()
+
+    snippets = []
+    for topic in data.get("RelatedTopics", []):
+        if isinstance(topic, dict) and topic.get("Text"):
+            texto = topic["Text"].strip()
+            if len(texto) > 30:
+                snippets.append(texto)
+        elif isinstance(topic, dict):
+            for subtopic in topic.get("Topics", []):
+                if isinstance(subtopic, dict) and subtopic.get("Text"):
+                    texto = subtopic["Text"].strip()
+                    if len(texto) > 30:
+                        snippets.append(texto)
+
+    encontrado = bool(abstract or snippets)
+    return {
+        "titulo":    titulo,
+        "abstract":  abstract,
+        "snippets":  snippets[:8],
+        "url":       url,
+        "encontrado": encontrado,
+    }

chat-app/logica.py

@@ -10,6 +10,8 @@ from matematicas import (
     es_solicitud_calculadora, es_operacion_matematica,
     resolver_operacion, formatear_resultado, extraer_nombre_usuario,
 )
+from buscador import buscar as buscar_web
+from resumidor import resumir
 
 # ── BANCO DE VARIACIONES DE LENGUAJE ──────────────────────────────────────────
 
@@ -355,4 +357,11 @@ def respuesta_final(mensaje, historial):
     if respuesta:
         return respuesta
 
-    return "🤖 NEO-1 aún no tiene una respuesta para eso. Puedes enseñarle más temas agregando respuestas al modelo."
+    # ── NEO-2: búsqueda en internet como respaldo ─────────────────────────────
+    resultado_web = buscar_web(mensaje)
+    if resultado_web.get("encontrado"):
+        resumen = resumir(mensaje, resultado_web)
+        if resumen:
+            return resumen
+
+    return "🤖 No encontré información sobre eso ni en mi base de conocimiento ni en internet. Intenta reformular tu pregunta."

chat-app/resumidor.py

@@ -0,0 +1,127 @@
+"""
+resumidor.py — NEO-2 Motor de resumen
+---------------------------------------
+Toma datos crudos de DuckDuckGo y genera una respuesta estructurada
+siguiendo el estilo de NEO-2: secciones, bullets, emojis, sin copiar
+el texto literal — lo reformatea con sus propias palabras.
+"""
+
+import re
+import random
+import unicodedata
+
+# ── Utilidades de texto ────────────────────────────────────────────────────────
+
+def _normalizar(texto: str) -> str:
+    texto = unicodedata.normalize("NFD", texto)
+    texto = "".join(c for c in texto if unicodedata.category(c) != "Mn")
+    return texto.lower()
+
+def _dividir_oraciones(texto: str) -> list[str]:
+    partes = re.split(r"(?<=[.!?])\s+", texto)
+    return [p.strip() for p in partes if len(p.strip()) > 25]
+
+def _puntuar(oracion: str, query_tokens: list[str]) -> float:
+    norm = _normalizar(oracion)
+    score = sum(1.5 for t in query_tokens if t in norm)
+    # Bonus por longitud ideal
+    largo = len(oracion)
+    if 40 <= largo <= 150:
+        score += 1.0
+    elif largo < 40:
+        score -= 0.5
+    return score
+
+# ── Generador de encabezados dinámicos ────────────────────────────────────────
+
+_ENCABEZADOS = [
+    "📡 Esto es lo que encontré en internet:",
+    "🌐 Información actualizada de la web:",
+    "🔍 Aquí tienes lo que hallé:",
+    "📰 Datos frescos de internet:",
+    "🧠 Basándome en fuentes actuales:",
+]
+
+_CIERRES_WEB = [
+    "\n\n_Fuente: búsqueda en internet en tiempo real._",
+    "\n\n_Información obtenida de fuentes web actuales._",
+    "\n\n_Datos traídos directamente de internet para ti._",
+    "",
+]
+
+_CONECTORES_BULLET = ["", "Además, ", "También: ", "Cabe destacar: ", "Dato clave: "]
+
+# ── Resumidor principal ────────────────────────────────────────────────────────
+
+def resumir(query: str, resultado: dict, max_ideas: int = 5) -> str | None:
+    """
+    Genera una respuesta resumida a partir de los datos de DuckDuckGo.
+
+    Estrategia:
+      1. Extrae oraciones del abstract y los snippets.
+      2. Las puntúa por relevancia al query (keyword overlap).
+      3. Selecciona las mejores ideas (sin duplicados).
+      4. Las reformatea en una respuesta estructurada estilo NEO-2.
+    """
+    abstract = resultado.get("abstract", "")
+    snippets = resultado.get("snippets", [])
+    titulo   = resultado.get("titulo", "")
+    url      = resultado.get("url", "")
+
+    if not abstract and not snippets:
+        return None
+
+    query_tokens = _normalizar(query).split()
+
+    # Recopilar todas las oraciones de todas las fuentes
+    pool: list[str] = []
+    if abstract:
+        pool += _dividir_oraciones(abstract)
+    for s in snippets:
+        pool += _dividir_oraciones(s)
+
+    if not pool:
+        # Si no hay oraciones pero sí texto corto, devolverlo tal cual
+        texto_base = abstract or snippets[0] if snippets else ""
+        if texto_base:
+            return f"{random.choice(_ENCABEZADOS)}\n\n{texto_base}"
+        return None
+
+    # Puntuar, deduplicar y seleccionar las mejores ideas
+    puntuadas = sorted(pool, key=lambda o: -_puntuar(o, query_tokens))
+
+    seleccionadas = []
+    vistas = set()
+    for oracion in puntuadas:
+        clave = _normalizar(oracion)[:60]
+        if clave not in vistas:
+            vistas.add(clave)
+            seleccionadas.append(oracion)
+        if len(seleccionadas) >= max_ideas:
+            break
+
+    if not seleccionadas:
+        return None
+
+    # Formatear la respuesta
+    encabezado = random.choice(_ENCABEZADOS)
+
+    if titulo:
+        encabezado_titulo = f"**{titulo}**\n\n"
+    else:
+        encabezado_titulo = ""
+
+    if len(seleccionadas) == 1:
+        cuerpo = seleccionadas[0]
+    else:
+        bullets = []
+        for i, idea in enumerate(seleccionadas):
+            conector = random.choice(_CONECTORES_BULLET) if i > 0 else ""
+            bullets.append(f"- {conector}{idea}")
+        cuerpo = "\n".join(bullets)
+
+    cierre = random.choice(_CIERRES_WEB)
+    if url:
+        cierre += f"\n🔗 {url}"
+
+    return f"{encabezado}\n\n{encabezado_titulo}{cuerpo}{cierre}".strip()