Place embeddings

.env.example

@@ -2,7 +2,7 @@ ENV=local
 API_HOST=0.0.0.0
 API_PORT=8080
 
-MAIN_API_BASE_URL=http://52.86.8.11
+MAIN_API_BASE_URL=http://3.212.166.108
 MAIN_API_PLACES_SEARCH_PATH=/api/v1/places/search
 MAIN_API_PLACES_NEARBY_PATH=/api/v1/places/nearby
 MAIN_API_POSTS_SEARCH_PATH=/api/v1/posts/search

README.md

@@ -49,7 +49,7 @@ ENV=local
 API_HOST=0.0.0.0
 API_PORT=8080
 
-MAIN_API_BASE_URL=http://52.86.8.11
+MAIN_API_BASE_URL=http://3.212.166.108
 MAIN_API_PLACES_SEARCH_PATH=/api/v1/places/search
 MAIN_API_PLACES_NEARBY_PATH=/api/v1/places/nearby
 MAIN_API_POSTS_SEARCH_PATH=/api/v1/posts/search

app/shared/config/settings.py

@@ -16,7 +16,7 @@ class Settings(BaseSettings):
     api_port: int = Field(default=8080, alias="API_PORT")
 
     main_api_base_url: str = Field(
-        default="http://52.86.8.11",
+        default="http://3.212.166.108",
         alias="MAIN_API_BASE_URL",
     )
     main_api_places_search_path: str = Field(

docs/pgadmin_colab_fasttext.md

@@ -39,6 +39,11 @@ principal. Tambien puedes sobrescribirlos con Secrets llamados
 `PGVECTOR_HOST`, `PGVECTOR_DATABASE`, `PGVECTOR_WRITER_USER` y
 `MAIN_API_BASE_URL`.
 
+La URL base actual es `http://3.212.166.108`. No agregues `/api/v1` al valor de
+`MAIN_API_BASE_URL`, porque los paths de lugares y publicaciones ya incluyen ese
+segmento. Si existe un Secret `MAIN_API_BASE_URL` en Colab, actualizalo o eliminalo
+para evitar que reemplace este valor.
+
 ## 4. Permitir Temporalmente La IP De Colab
 
 RDS debe ser accesible desde el runtime. Obten la IP publica actual en una celda:
@@ -69,9 +74,11 @@ Primero lugares:
 !python scripts/colab_initial_load_places.py
 ```
 
-Se recomienda ejecutar los archivos con `!python` como arriba. Tambien pueden pegarse
-en una celda: ahora detectan la carpeta del repositorio aunque Jupyter no defina
-`__file__`, siempre que antes se haya ejecutado `%cd Frimeet-API-NLP`.
+Se recomienda ejecutar los archivos con `!python` como arriba. Tambien puedes copiar
+el contenido completo de cada script en una celda vacia y ejecutarlo directamente:
+si no existe el repositorio, el propio script clonara `hf-deploy`. En ese modo ignora
+los argumentos internos de Jupyter. Si no configuraste `PGVECTOR_WRITER_PASSWORD` en
+Secrets, mostrara una entrada oculta para solicitarlo.
 
 Despues publicaciones, reutilizando dependencias y el modelo ya descargado:
 

scripts/colab_initial_load_places.py

@@ -11,10 +11,20 @@ de las variables de entorno. Nunca imprime los valores secretos.
 from __future__ import annotations
 
 import argparse
+import getpass
 import os
 from pathlib import Path
+import socket
 import subprocess
 import sys
+from urllib.error import HTTPError, URLError
+from urllib.parse import urlencode
+from urllib.request import Request, urlopen
+
+
+REPOSITORY_URL = "https://github.com/AlleksDev/Frimeet-API-NLP.git"
+REPOSITORY_BRANCH = "hf-deploy"
+COLAB_REPOSITORY_PATH = Path("/content/Frimeet-API-NLP")
 
 
 def _find_repo_root() -> Path:
@@ -32,15 +42,36 @@ def _find_repo_root() -> Path:
     candidates.extend(current_directory.parents)
 
     for candidate in candidates:
-        if (candidate / "requirements.txt").is_file() and (
-            candidate / "app"
-        ).is_dir():
+        if _is_repository_root(candidate):
             return candidate
 
-    raise RuntimeError(
-        "No se encontro la raiz de Frimeet-API-NLP. Ejecuta primero "
-        "%cd /content/Frimeet-API-NLP o corre el archivo desde el repositorio."
+    if COLAB_REPOSITORY_PATH.exists():
+        raise RuntimeError(
+            f"Existe {COLAB_REPOSITORY_PATH}, pero no contiene un clon valido. "
+            "Reinicia el runtime de Colab o elimina esa carpeta incompleta."
+        )
+
+    print("No se encontro el repositorio; clonando la rama hf-deploy...")
+    subprocess.run(
+        [
+            "git",
+            "clone",
+            "--depth",
+            "1",
+            "--branch",
+            REPOSITORY_BRANCH,
+            REPOSITORY_URL,
+            str(COLAB_REPOSITORY_PATH),
+        ],
+        check=True,
     )
+    if not _is_repository_root(COLAB_REPOSITORY_PATH):
+        raise RuntimeError("El repositorio se clono, pero su estructura no es valida.")
+    return COLAB_REPOSITORY_PATH
+
+
+def _is_repository_root(path: Path) -> bool:
+    return (path / "requirements.txt").is_file() and (path / "app").is_dir()
 
 
 REPO_ROOT = _find_repo_root()
@@ -53,6 +84,7 @@ def main() -> None:
     _configure_environment()
 
     if not args.skip_install:
+        print("[1/4] Instalando dependencias del proyecto...", flush=True)
         _run(
             sys.executable,
             "-m",
@@ -62,8 +94,15 @@ def main() -> None:
             "-r",
             str(REPO_ROOT / "requirements.txt"),
         )
+    else:
+        print("[1/4] Reutilizando dependencias instaladas.", flush=True)
+
+    print("[2/4] Verificando API principal y acceso de red a RDS...", flush=True)
+    _check_main_api()
+    _check_pgvector_network()
 
     if not args.skip_download:
+        print("[3/4] Descargando o reutilizando el modelo FastText...", flush=True)
         _run(
             sys.executable,
             "-m",
@@ -75,6 +114,8 @@ def main() -> None:
             "--destination",
             os.environ["FASTTEXT_MODEL_PATH"],
         )
+    else:
+        print("[3/4] Reutilizando el modelo FastText descargado.", flush=True)
 
     command = [
         sys.executable,
@@ -90,6 +131,11 @@ def main() -> None:
     if args.dry_run:
         command.append("--dry-run")
 
+    print(
+        "[4/4] Cargando FastText y sincronizando lugares. "
+        "La carga inicial del modelo puede tardar varios minutos...",
+        flush=True,
+    )
     _run(*command)
     print("Carga de lugares terminada correctamente.")
 
@@ -97,7 +143,7 @@ def main() -> None:
 def _configure_environment() -> None:
     defaults = {
         "ENV": "colab",
-        "MAIN_API_BASE_URL": "http://52.86.8.11",
+        "MAIN_API_BASE_URL": "http://3.212.166.108",
         "MAIN_API_PLACES_SEARCH_PATH": "/api/v1/places/search",
         "MAIN_API_TIMEOUT_SECONDS": "60",
         "MAIN_API_PLACES_PAGE_LIMIT": "50",
@@ -119,11 +165,13 @@ def _configure_environment() -> None:
         "LOG_LEVEL": "INFO",
     }
     for name, default in defaults.items():
-        os.environ[name] = _read_setting(name, default=default)
+        # A raw notebook cell shares os.environ with every previous execution.
+        # Use a Colab Secret when explicitly configured; otherwise reset the
+        # value to this script's current default instead of inheriting stale data.
+        os.environ[name] = _read_colab_secret(name) or default
 
-    os.environ["PGVECTOR_WRITER_PASSWORD"] = _read_setting(
-        "PGVECTOR_WRITER_PASSWORD",
-        required=True,
+    os.environ["PGVECTOR_WRITER_PASSWORD"] = _read_required_secret(
+        "PGVECTOR_WRITER_PASSWORD"
     )
 
     for optional_name in (
@@ -139,16 +187,21 @@ def _configure_environment() -> None:
 def _read_setting(
     name: str,
     default: str | None = None,
-    required: bool = False,
 ) -> str:
     value = os.getenv(name) or _read_colab_secret(name) or default
-    if required and not value:
-        raise RuntimeError(
-            f"Falta el Secret {name!r} en Colab. Activa tambien Notebook access."
-        )
     return value or ""
 
 
+def _read_required_secret(name: str) -> str:
+    value = _read_setting(name)
+    if value:
+        return value
+    value = getpass.getpass(f"Escribe {name} (la entrada permanecera oculta): ").strip()
+    if not value:
+        raise RuntimeError(f"No se proporciono el valor requerido {name!r}.")
+    return value
+
+
 def _read_colab_secret(name: str) -> str | None:
     try:
         from google.colab import userdata
@@ -159,8 +212,58 @@ def _read_colab_secret(name: str) -> str | None:
         return None
 
 
+def _check_main_api() -> None:
+    base_url = os.environ["MAIN_API_BASE_URL"].rstrip("/")
+    path = os.environ["MAIN_API_PLACES_SEARCH_PATH"]
+    url = f"{base_url}/{path.lstrip('/')}?{urlencode({'limit': 1})}"
+    headers: dict[str, str] = {}
+    token = os.getenv("MAIN_API_INTERNAL_TOKEN") or os.getenv("MAIN_API_AUTH_TOKEN")
+    if token:
+        headers["Authorization"] = f"Bearer {token}"
+
+    try:
+        with urlopen(Request(url, headers=headers), timeout=30) as response:
+            status = response.status
+    except HTTPError as exc:
+        raise RuntimeError(
+            f"La API principal respondio HTTP {exc.code} en {url}. "
+            "Revisa MAIN_API_INTERNAL_TOKEN y MAIN_API_BASE_URL."
+        ) from exc
+    except URLError as exc:
+        raise RuntimeError(
+            f"Colab no pudo conectarse a la API principal {url}: {exc.reason}"
+        ) from exc
+
+    if status >= 400:
+        raise RuntimeError(f"La API principal respondio HTTP {status} en {url}.")
+    print(f"      API principal accesible (HTTP {status}).", flush=True)
+
+
+def _check_pgvector_network() -> None:
+    host = os.environ["PGVECTOR_HOST"]
+    port = int(os.environ["PGVECTOR_PORT"])
+    try:
+        with socket.create_connection((host, port), timeout=15):
+            pass
+    except OSError as exc:
+        raise RuntimeError(
+            f"Colab no puede abrir una conexion TCP a {host}:{port}. "
+            "Agrega temporalmente la IP publica de este runtime como /32 en el "
+            "Security Group de RDS y confirma que la instancia sea accesible."
+        ) from exc
+    print(f"      RDS accesible por red en {host}:{port}.", flush=True)
+
+
 def _run(*command: str) -> None:
-    subprocess.run(list(command), cwd=REPO_ROOT, check=True)
+    try:
+        subprocess.run(list(command), cwd=REPO_ROOT, check=True)
+    except subprocess.CalledProcessError as exc:
+        executable = " ".join(command)
+        raise RuntimeError(
+            f"Fallo el comando con codigo {exc.returncode}: {executable}. "
+            "Revisa la salida inmediatamente anterior; si API y red aparecen OK, "
+            "verifica la password/permisos de nlp_writer y la migracion VECTOR(300)."
+        ) from exc
 
 
 def _parse_args() -> argparse.Namespace:
@@ -171,7 +274,8 @@ def _parse_args() -> argparse.Namespace:
     parser.add_argument("--dry-run", action="store_true")
     parser.add_argument("--skip-install", action="store_true")
     parser.add_argument("--skip-download", action="store_true")
-    return parser.parse_args()
+    arguments = None if "__file__" in globals() else []
+    return parser.parse_args(arguments)
 
 
 if __name__ == "__main__":

scripts/colab_initial_load_posts.py

@@ -11,10 +11,20 @@ de las variables de entorno. Nunca imprime los valores secretos.
 from __future__ import annotations
 
 import argparse
+import getpass
 import os
 from pathlib import Path
+import socket
 import subprocess
 import sys
+from urllib.error import HTTPError, URLError
+from urllib.parse import urlencode
+from urllib.request import Request, urlopen
+
+
+REPOSITORY_URL = "https://github.com/AlleksDev/Frimeet-API-NLP.git"
+REPOSITORY_BRANCH = "hf-deploy"
+COLAB_REPOSITORY_PATH = Path("/content/Frimeet-API-NLP")
 
 
 def _find_repo_root() -> Path:
@@ -32,15 +42,36 @@ def _find_repo_root() -> Path:
     candidates.extend(current_directory.parents)
 
     for candidate in candidates:
-        if (candidate / "requirements.txt").is_file() and (
-            candidate / "app"
-        ).is_dir():
+        if _is_repository_root(candidate):
             return candidate
 
-    raise RuntimeError(
-        "No se encontro la raiz de Frimeet-API-NLP. Ejecuta primero "
-        "%cd /content/Frimeet-API-NLP o corre el archivo desde el repositorio."
+    if COLAB_REPOSITORY_PATH.exists():
+        raise RuntimeError(
+            f"Existe {COLAB_REPOSITORY_PATH}, pero no contiene un clon valido. "
+            "Reinicia el runtime de Colab o elimina esa carpeta incompleta."
+        )
+
+    print("No se encontro el repositorio; clonando la rama hf-deploy...")
+    subprocess.run(
+        [
+            "git",
+            "clone",
+            "--depth",
+            "1",
+            "--branch",
+            REPOSITORY_BRANCH,
+            REPOSITORY_URL,
+            str(COLAB_REPOSITORY_PATH),
+        ],
+        check=True,
     )
+    if not _is_repository_root(COLAB_REPOSITORY_PATH):
+        raise RuntimeError("El repositorio se clono, pero su estructura no es valida.")
+    return COLAB_REPOSITORY_PATH
+
+
+def _is_repository_root(path: Path) -> bool:
+    return (path / "requirements.txt").is_file() and (path / "app").is_dir()
 
 
 REPO_ROOT = _find_repo_root()
@@ -53,6 +84,7 @@ def main() -> None:
     _configure_environment()
 
     if not args.skip_install:
+        print("[1/4] Instalando dependencias del proyecto...", flush=True)
         _run(
             sys.executable,
             "-m",
@@ -62,8 +94,15 @@ def main() -> None:
             "-r",
             str(REPO_ROOT / "requirements.txt"),
         )
+    else:
+        print("[1/4] Reutilizando dependencias instaladas.", flush=True)
+
+    print("[2/4] Verificando API principal y acceso de red a RDS...", flush=True)
+    _check_main_api()
+    _check_pgvector_network()
 
     if not args.skip_download:
+        print("[3/4] Descargando o reutilizando el modelo FastText...", flush=True)
         _run(
             sys.executable,
             "-m",
@@ -75,6 +114,8 @@ def main() -> None:
             "--destination",
             os.environ["FASTTEXT_MODEL_PATH"],
         )
+    else:
+        print("[3/4] Reutilizando el modelo FastText descargado.", flush=True)
 
     command = [
         sys.executable,
@@ -90,6 +131,11 @@ def main() -> None:
     if args.dry_run:
         command.append("--dry-run")
 
+    print(
+        "[4/4] Cargando FastText y sincronizando publicaciones. "
+        "La carga inicial del modelo puede tardar varios minutos...",
+        flush=True,
+    )
     _run(*command)
     print("Carga de publicaciones terminada correctamente.")
 
@@ -97,7 +143,7 @@ def main() -> None:
 def _configure_environment() -> None:
     defaults = {
         "ENV": "colab",
-        "MAIN_API_BASE_URL": "http://52.86.8.11",
+        "MAIN_API_BASE_URL": "http://3.212.166.108",
         "MAIN_API_POSTS_SEARCH_PATH": "/api/v1/posts/search",
         "MAIN_API_TIMEOUT_SECONDS": "60",
         "MAIN_API_POSTS_PAGE_LIMIT": "50",
@@ -119,11 +165,13 @@ def _configure_environment() -> None:
         "LOG_LEVEL": "INFO",
     }
     for name, default in defaults.items():
-        os.environ[name] = _read_setting(name, default=default)
+        # A raw notebook cell shares os.environ with every previous execution.
+        # Use a Colab Secret when explicitly configured; otherwise reset the
+        # value to this script's current default instead of inheriting stale data.
+        os.environ[name] = _read_colab_secret(name) or default
 
-    os.environ["PGVECTOR_WRITER_PASSWORD"] = _read_setting(
-        "PGVECTOR_WRITER_PASSWORD",
-        required=True,
+    os.environ["PGVECTOR_WRITER_PASSWORD"] = _read_required_secret(
+        "PGVECTOR_WRITER_PASSWORD"
     )
 
     for optional_name in (
@@ -139,16 +187,21 @@ def _configure_environment() -> None:
 def _read_setting(
     name: str,
     default: str | None = None,
-    required: bool = False,
 ) -> str:
     value = os.getenv(name) or _read_colab_secret(name) or default
-    if required and not value:
-        raise RuntimeError(
-            f"Falta el Secret {name!r} en Colab. Activa tambien Notebook access."
-        )
     return value or ""
 
 
+def _read_required_secret(name: str) -> str:
+    value = _read_setting(name)
+    if value:
+        return value
+    value = getpass.getpass(f"Escribe {name} (la entrada permanecera oculta): ").strip()
+    if not value:
+        raise RuntimeError(f"No se proporciono el valor requerido {name!r}.")
+    return value
+
+
 def _read_colab_secret(name: str) -> str | None:
     try:
         from google.colab import userdata
@@ -159,8 +212,58 @@ def _read_colab_secret(name: str) -> str | None:
         return None
 
 
+def _check_main_api() -> None:
+    base_url = os.environ["MAIN_API_BASE_URL"].rstrip("/")
+    path = os.environ["MAIN_API_POSTS_SEARCH_PATH"]
+    url = f"{base_url}/{path.lstrip('/')}?{urlencode({'limit': 1})}"
+    headers: dict[str, str] = {}
+    token = os.getenv("MAIN_API_INTERNAL_TOKEN") or os.getenv("MAIN_API_AUTH_TOKEN")
+    if token:
+        headers["Authorization"] = f"Bearer {token}"
+
+    try:
+        with urlopen(Request(url, headers=headers), timeout=30) as response:
+            status = response.status
+    except HTTPError as exc:
+        raise RuntimeError(
+            f"La API principal respondio HTTP {exc.code} en {url}. "
+            "Revisa MAIN_API_INTERNAL_TOKEN y MAIN_API_BASE_URL."
+        ) from exc
+    except URLError as exc:
+        raise RuntimeError(
+            f"Colab no pudo conectarse a la API principal {url}: {exc.reason}"
+        ) from exc
+
+    if status >= 400:
+        raise RuntimeError(f"La API principal respondio HTTP {status} en {url}.")
+    print(f"      API principal accesible (HTTP {status}).", flush=True)
+
+
+def _check_pgvector_network() -> None:
+    host = os.environ["PGVECTOR_HOST"]
+    port = int(os.environ["PGVECTOR_PORT"])
+    try:
+        with socket.create_connection((host, port), timeout=15):
+            pass
+    except OSError as exc:
+        raise RuntimeError(
+            f"Colab no puede abrir una conexion TCP a {host}:{port}. "
+            "Agrega temporalmente la IP publica de este runtime como /32 en el "
+            "Security Group de RDS y confirma que la instancia sea accesible."
+        ) from exc
+    print(f"      RDS accesible por red en {host}:{port}.", flush=True)
+
+
 def _run(*command: str) -> None:
-    subprocess.run(list(command), cwd=REPO_ROOT, check=True)
+    try:
+        subprocess.run(list(command), cwd=REPO_ROOT, check=True)
+    except subprocess.CalledProcessError as exc:
+        executable = " ".join(command)
+        raise RuntimeError(
+            f"Fallo el comando con codigo {exc.returncode}: {executable}. "
+            "Revisa la salida inmediatamente anterior; si API y red aparecen OK, "
+            "verifica la password/permisos de nlp_writer y la migracion VECTOR(300)."
+        ) from exc
 
 
 def _parse_args() -> argparse.Namespace:
@@ -171,7 +274,8 @@ def _parse_args() -> argparse.Namespace:
     parser.add_argument("--dry-run", action="store_true")
     parser.add_argument("--skip-install", action="store_true")
     parser.add_argument("--skip-download", action="store_true")
-    return parser.parse_args()
+    arguments = None if "__file__" in globals() else []
+    return parser.parse_args(arguments)
 
 
 if __name__ == "__main__":