Fix: garante download completo antes da leitura dos dados

download_data.py

@@ -1,54 +1,35 @@
+# download_data.py
 import os
 from huggingface_hub import hf_hub_download
 
-# REPO_ID = "albertoakel/dados_belem"
-# SUBDIR = "data/process"
-
-# FILES = [
-#     "shape_bairros.gpkg",
-#     "shape_coleta.gpkg",
-#     "Pontos_descartes_ML.gpkg",
-#     "tabela_total_com_DIEs.csv",
-#     "Bairros_Ncoleta.csv",
-# ]
-
-# def ensure_data():
-#     paths = {}
-#     for f in FILES:
-#         path = hf_hub_download(
-#             repo_id=REPO_ID,
-#             filename=f"{SUBDIR}/{f}",
-#             repo_type="dataset"
-#         )
-#         paths[f] = path
-#     return paths
-
-
-
-DATASET_ID = "albertoakel/dados_belem"
+REPO_ID = "albertoakel/dados_belem"
 SUBDIR = "data/process"
 
-# diretório temporário (persistente durante o runtime)
 BASE_DIR = "/tmp/dados_belem"
 os.makedirs(BASE_DIR, exist_ok=True)
 
-
 def get_data_file(filename: str) -> str:
     """
-    Baixa o arquivo do HF Dataset apenas se não existir localmente.
-    Retorna o caminho local do arquivo.
+    Garante que o arquivo existe localmente.
+    Se não existir, baixa do Hugging Face Dataset.
+    Retorna o caminho LOCAL FINAL do arquivo.
     """
     local_path = os.path.join(BASE_DIR, filename)
 
     if not os.path.exists(local_path):
         print(f"⬇️ Baixando {filename} do Hugging Face Dataset...")
-        hf_hub_download(
-            repo_id=DATASET_ID,
+        downloaded_path = hf_hub_download(
+            repo_id=REPO_ID,
             filename=f"{SUBDIR}/{filename}",
             repo_type="dataset",
             local_dir=BASE_DIR,
             local_dir_use_symlinks=False
         )
+
+        # garante que o caminho retornado é o que vamos usar
+        if downloaded_path != local_path:
+            os.rename(downloaded_path, local_path)
+
     else:
         print(f"✅ Usando cache local: {filename}")
 

load_process.py

@@ -4,7 +4,6 @@ import os
 import pandas as pd
 import geopandas as gpd
 from download_data import get_data_file
-#modify to freehun
 
 def load_bairros():
     return gpd.read_file(get_data_file("shape_bairros.gpkg"))