Explorador listo

app.py

@@ -0,0 +1,193 @@
+import streamlit as st
+import pandas as pd
+import geopandas as gpd
+from diagnostics import run_df_diagnostics
+import plotly.express as px
+
+
+st.set_page_config(
+    page_title="Explorador REPDA",
+    page_icon="🧊",
+    layout="wide",
+)
+
+st.title("Explorador REPDA")
+
+
+def load_data():
+    df = pd.read_json("data.json")
+    df = df.drop_duplicates()
+
+    return df
+
+
+df = load_data()
+
+# run_df_diagnostics(df, "Datos iniciales")
+
+
+# Filters
+
+st.sidebar.header("Filtros")
+
+categorical_columns = {
+    "Titular": "titular",
+    "Título": "titulo",
+    "Uso amparado": "uso_amparado",
+    "Anotaciones marginales": "anotaciones_marginales",
+    "Tipo de anexo": "tipo_de_anexo",
+    "Estado": "estado",
+    "Municipio": "municipio",
+    "Región hidrológica": "region_hidrologica",
+    "Cuenca": "cuenca",
+    "Acuífero": "acuifero",
+    "Acuifero homologado": "acuifero_homologado",
+}
+
+st.sidebar.write("Filtrado por region via GeoJSON")
+st.sidebar.write("Instrucciones: Entra a https://geojson.io/ y dibuja un poligono")
+st.sidebar.write("Despues descarga el archivo como GeoJSON y cargalo aqui")
+geojson = st.sidebar.file_uploader("Cargar GeoJSON", type=["geojson"])
+
+if geojson is not None:
+    gdf = gpd.read_file(geojson)
+    df = gpd.GeoDataFrame(df)
+    df["geometry"] = df.apply(lambda row: gpd.points_from_xy([row.lon], [row.lat])[0], axis=1)
+    df.set_geometry('geometry')
+    df = gpd.sjoin(df, gdf, op="within")
+    df = df.drop(columns=["geometry", "index_right"])
+    df = pd.DataFrame(df)
+
+
+columns = st.sidebar.multiselect(
+    "Selecciona columnas para filtrar por valor",
+    categorical_columns.keys(),
+)
+
+if columns:
+    for column in columns:
+        key = categorical_columns[column]
+        column_filters = st.sidebar.multiselect(
+            f"Selecciona valores para: {column}",
+            df[key].unique().tolist(),
+        )
+        if column_filters:
+            df = df[df[key].isin(column_filters)]
+
+numeric_columns = {
+    "Volumen total de aguas nacionales": "volumen_total_de_aguas_nacionales",
+    "Volumen total de aguas superficiales": "volumen_total_de_aguas_superficiales",
+    "Volumen total de aguas subterráneas": "volumen_total_de_aguas_subterraneas",
+    "Volumen total de descargas": "volumen_total_de_descargas",
+    "Número de descargas en el título": "anexos_descargas",
+    "Número de tomas subtarráneas en el título": "anexos_subterraneos",
+    "Número de tomas superficiales en el título": "anexos_superficiales",
+    "Número de tomas en zonas federales en el título": "anexos_zonas_federales",
+    "Volumen individual": "volumen",
+    "Superficie": "superficie",
+    "Volumen de descarga diario": "volumen_de_descarga_diario",
+    "Volumen de descarga anual": "volumen_de_descarga_anual",
+}
+
+# Check if there are not None values in columns
+numeric_columns_alive = {}
+other_category_columns = (
+    set(df.columns.tolist())
+    - set(numeric_columns.values())
+    - set(categorical_columns.values())
+)
+
+other_catergory_columns_alive = {}
+for key in other_category_columns:
+    if df[key].notnull().any():
+        other_catergory_columns_alive[key.capitalize().replace("_", " ")] = key
+
+if other_catergory_columns_alive.keys() != []:
+    other_category_columns = st.sidebar.multiselect(
+        "Selecciona columnas para filtrar",
+        other_catergory_columns_alive.keys(),
+    )
+    if other_category_columns:
+        for key in other_category_columns:
+            column_name = other_catergory_columns_alive[key]
+            column_filters = st.sidebar.multiselect(
+                f"Selecciona valores para: {key}",
+                df[column_name].unique().tolist(),
+            )
+            if column_filters:
+                df = df[df[column_name].isin(column_filters)]
+
+for key, column_name in numeric_columns.items():
+    if df[column_name].notnull().any():
+        if df[column_name].min() != df[column_name].max():
+            numeric_columns_alive[key] = column_name
+
+
+if numeric_columns_alive.keys() != []:
+    numeric_column_filters = st.sidebar.multiselect(
+        "Selecciona columnas para filtrar por rango",
+        numeric_columns_alive.keys(),
+    )
+    if numeric_column_filters:
+        for key in numeric_column_filters:
+            column_name = numeric_columns_alive[key]
+            st.sidebar.write(f"Escoge un rango para: {key}")
+            min_value = st.sidebar.slider(
+                f"Valor mínimo para: {key}",
+                df[column_name].min(),
+                df[column_name].max(),
+                df[column_name].min(),
+            )
+            max_value = st.sidebar.slider(
+                f"Valor máximo para: {key}",
+                df[column_name].min(),
+                df[column_name].max(),
+                df[column_name].max(),
+            )
+            # drop rows that are NONE for that column
+
+            df = df[(df[column_name] >= min_value) & (df[column_name] <= max_value)]
+
+
+# run_df_diagnostics(df, "Datos filtrados")
+
+
+st.header("Mapa")
+
+
+mapbox = px.scatter_mapbox(
+    df,
+    lat="lat",
+    lon="lon",
+    color="tipo_de_anexo",
+    hover_name="titular",
+    hover_data=[
+        "titulo",
+        "estado",
+        "municipio",
+        "region_hidrologica",
+        "cuenca",
+        "acuifero",
+    ],
+    color_discrete_sequence=px.colors.qualitative.Vivid,
+    zoom=4,
+    height=900,
+    width=1000,
+    center={"lat": 23.634501, "lon": -102.552784},
+    mapbox_style="carto-positron",
+)
+mapbox.update_traces(marker={"size": 8})
+
+st.plotly_chart(mapbox)
+
+
+st.header("Datos")
+
+st.dataframe(df)
+
+st.download_button(
+    label="Descargar datos",
+    data=df.to_csv().encode("utf-8"),
+    file_name="data.csv",
+    mime="text/csv",
+)

diagnostics.py

@@ -0,0 +1,21 @@
+import pandas as pd
+import streamlit as st
+
+
+def run_df_diagnostics(df: pd.DataFrame, name: str = 'df'):
+    show = st.checkbox(f'Mostrar diagnóstico de {name}')
+    if show:
+        expander = st.expander(f'Diagnóstico de {name}')
+        expander.write(f'Filas: {df.shape[0]}')
+        expander.write(f'Columnas: {df.shape[1]}')
+        expander.write('Columnas')
+        expander.write(df.columns.tolist())
+        expander.write('Tipos de datos')
+        expander.write(df.dtypes)
+        expander.write('Descripción')
+        expander.write(df.describe())
+        expander.write('Head (5)')
+        expander.write(df.head())
+        expander.write('Tail (5)')
+        expander.write(df.tail())
+    

requirements.txt

@@ -1,5 +1,6 @@
 altair==5.1.2
 attrs==23.1.0
+black==23.11.0
 blinker==1.7.0
 cachetools==5.3.2
 certifi==2023.11.17
@@ -8,6 +9,7 @@ click==8.1.7
 click-plugins==1.1.1
 cligj==0.7.2
 fiona==1.9.5
+flake8==6.1.0
 geopandas==0.14.1
 gitdb==4.0.11
 GitPython==3.1.40
@@ -18,14 +20,22 @@ jsonschema==4.20.0
 jsonschema-specifications==2023.11.1
 markdown-it-py==3.0.0
 MarkupSafe==2.1.3
+mccabe==0.7.0
 mdurl==0.1.2
+mypy-extensions==1.0.0
 numpy==1.26.2
 packaging==23.2
 pandas==2.1.3
+pandas-stubs==2.1.1.230928
+pathspec==0.11.2
 Pillow==10.1.0
+platformdirs==4.0.0
+plotly==5.18.0
 protobuf==4.25.1
 pyarrow==14.0.1
+pycodestyle==2.11.1
 pydeck==0.8.1b0
+pyflakes==3.1.0
 Pygments==2.17.1
 pyproj==3.6.1
 python-dateutil==2.8.2
@@ -42,6 +52,7 @@ tenacity==8.2.3
 toml==0.10.2
 toolz==0.12.0
 tornado==6.3.3
+types-pytz==2023.3.1.1
 typing_extensions==4.8.0
 tzdata==2023.3
 tzlocal==5.2