Upload mass_modelos_nlp_db.py

src/embeddings/mass_modelos_nlp_db.py

@@ -156,7 +156,7 @@ import numpy as np
 def search_mass(path_df_iniciativas, top_ods, top_meta, top_indicador):
   
   df_iniciativas = pd.read_excel(path_df_iniciativas)
-  df_categorias = [categoria for categoria in df_iniciativas.columns if categoria.startswith('categoria')]
+  df_categorias = [categoria for categoria in df_iniciativas.columns if categoria.isin(['id_unico', 'iniciativa'])==False]
 #   patr_tblinput = 'data/raw/Copy of Iniciativas priorizadas PATR 385.xlsx' #"CSV with PATR projects (columns: id, descripcion, ...).")
   ods_tblinput = Path('data/raw/v2_tabla_odsDescripcion_revLA 03032026.xlsx') #Entrenamiento 3
 #   ods_tblinput = Path('data/raw/v2_tabla_odsDescripcion_revLA.xlsx') #Entrenamiento 2
@@ -169,6 +169,7 @@ def search_mass(path_df_iniciativas, top_ods, top_meta, top_indicador):
   pilares_tblinput = Path('data/raw/pilares.xlsx' )
   categorias_tblinput = Path('data/raw/categorias.xlsx')
   estrategias_tblinput = Path('data/raw/estrategias.xlsx')
+  recomendaciones_tblinput = Path('data/raw/ODS_169_metas_recomendaciones_detalladas.xlsx')
   out_dir = 'data/embeddings' # '/content/drive/MyDrive/Compartida/06_Desarrollo de la herramienta IA/01_MPTF /archivos_trabajo/salidas/modelo_instructor/data/out' #"Output directory.")
   model_name = "hkunlp/instructor-large" #help="HF model name for embeddings.")
   instr_proj = "Representa el propósito de desarrollo sostenible del siguiente proyecto territorial" #"Instruction for PATR projects.")
@@ -198,6 +199,7 @@ def search_mass(path_df_iniciativas, top_ods, top_meta, top_indicador):
   pilares_df = pd.read_excel(pilares_tblinput)
   estrategias_df = pd.read_excel(estrategias_tblinput)
   categorias_df = pd.read_excel(categorias_tblinput)
+  recomendaciones_df = pd.read_excel(recomendaciones_tblinput)
 
 #   nlp = spacy.load("es_core_news_md")
   # query = limpiar_texto(query, nlp)
@@ -668,6 +670,10 @@ def search_mass(path_df_iniciativas, top_ods, top_meta, top_indicador):
   # bdl_ods = bdl_ods.merge(res_dfs[9], 'inner', left_on='INICIATIVA_ID', right_on='INICIATIVA_ID')
   print(f'Tamaño BDL: {len(bdl_ods)}')
 
+  ## Complementando metas con recomendaciones de indicadores
+  res_dfs[1] = res_dfs[1].merge(recomendaciones_df[['Meta_ODS', 'Recomendaciones_territoriales']], 'left', left_on='META_ID', right_on='META_ID')
+  
+
     
 
 #   return (querys, res_dfs[0], res_dfs[1], res_dfs[2], res_dfs[3], res_dfs[4], res_dfs[5], res_dfs[6], res_dfs[7], res_dfs[8], bdl_ods)