finalize the final prompting for scenarii ombrage avec et sans comparison

compute_yield.py

@@ -168,33 +168,37 @@ def plot_yield(
     return fig
 
 if __name__ == '__main__':
-    culture = "Colza d'hiver"
-    scenario = "pessimist"
-    shading_coef = 0.2
-    monthly_forecast = compute_yield_forecast(
-        latitude=47,
-        longitude=5,
-        culture=culture,
-        scenario=scenario,
-        shading_coef=0.,
-    )
-    # print(monthly_forecast.head())
-
-    yield_forecast = get_annual_yield(monthly_forecast)
-    # print(yield_forecast)
-
-    monthly_forecast_with_shading = compute_yield_forecast(
-        latitude=47,
-        longitude=5,
-        culture=culture,
-        scenario=scenario,
-        shading_coef=shading_coef,
-    )
-    # print(monthly_forecast_with_shading.head())
-
-    yield_forecast_with_shading = get_annual_yield(monthly_forecast_with_shading)
-    # print(yield_forecast)
-
+    cultures = ["Colza d'hiver", "Blé tendre d'hiver", "Orge d'hiver"]
+    dfs = []
+    for culture in cultures:
+        scenario = "pessimist"
+        shading_coef = 0.2
+        monthly_forecast = compute_yield_forecast(
+            latitude=47,
+            longitude=5,
+            culture=culture,
+            scenario=scenario,
+            shading_coef=0.,
+        )
+        # print(monthly_forecast.head())
+
+        yield_forecast = get_annual_yield(monthly_forecast)
+        yield_forecast_df = yield_forecast.reset_index()
+        yield_forecast_df.columns = ["time", "yield_simple_forecast"]
+        yield_forecast_df["year"] = yield_forecast_df["time"].dt.year
+
+        print(yield_forecast_df.head())
+
+        monthly_forecast_with_shading = compute_yield_forecast(
+            latitude=47,
+            longitude=5,
+            culture=culture,
+            scenario=scenario,
+            shading_coef=shading_coef,
+        )
+        # print(monthly_forecast_with_shading.head())
+
+<<<<<<< Updated upstream
     n_years = 10
     years = 2025 + np.arange(len(yield_forecast_with_shading))
     aggregated_forecasts = yield_forecast.rolling(n_years).sum()[years % n_years == 0]
@@ -214,3 +218,21 @@ if __name__ == '__main__':
     plt.legend()
     plt.ylim(150)
     plt.show()
+=======
+        yield_forecast_with_shading = get_annual_yield(monthly_forecast_with_shading)
+        yield_forecast_with_shading_df = yield_forecast_with_shading.reset_index()
+        yield_forecast_with_shading_df.columns = ["time", "yield_with_shading_forecast"]
+        yield_forecast_with_shading_df["year"] = yield_forecast_with_shading_df["time"].dt.year
+        final_df = pd.merge(yield_forecast_df[["year", "yield_simple_forecast"]], yield_forecast_with_shading_df[["year", "yield_with_shading_forecast"]], on="year")
+        final_df["culture"] = culture
+        dfs.append(final_df)
+        
+
+    result = pd.concat(dfs, axis=0)
+    result.to_csv("data/data_yield/rendement_forecast.csv", index=False)
+
+    # plt.plot(yield_forecast.rolling(5).mean(), label="No shading")
+    # plt.plot(yield_forecast_with_shading.rolling(5).mean(), label="20% Shading")
+    # plt.legend()
+    # plt.show()
+>>>>>>> Stashed changes

prompts/summary_prompt.py

@@ -24,28 +24,33 @@ meterological_data_summary_prompt = """
     Présente ta réponse sous un format structuré avec un résumé des tendances observées et des perspectives climatiques selon le scénario choisi."
     
 """
-
+# * Caractéristiques du sol : [pH, texture, teneur en matière organique, capacité de rétention d’eau, etc.]
 
 agricultural_yield_comparison_prompt = """
-    Tu es un expert agronome et spécialiste en agrivoltaïsme chez Ombrea (entreprise spécialisée en agrivoltaisme). 
-    Ta mission est d’analyser et de comparer deux scénarios agricoles : 
-    Un avec ombrage statique apporté par les panneaux photovoltaïques sur la culture et un sans ombrage.
-    Tu dois conseiller un agriculteur sur la meilleure solution pour optimiser son rendement agricole. 
-    Il faut se concentrer sur la vision long terme qui prend en compte les aléas climatiques.
-    Tu dois baser ton analyse sur les données suivantes :
-        * Caractéristiques du sol : [pH, texture, teneur en matière organique, capacité de rétention d’eau, etc.]
-        * Type de culture : [Nom de la culture et ses besoins spécifiques en lumière, température et eau]
-        * Besoins hydriques : [Quantité d’eau requise et sensibilité au stress hydrique]
-        * Projections climatiques : [Température moyenne, précipitations, risques de sécheresse, vagues de chaleur, etc.]
-
-    Ton analyse devra inclure :
-        - Comparaison des rendements agricoles : Différences de productivité avec et sans ombrage agrivoltaïque.
-        - Impact sur la consommation d’eau : Évaluation des économies d’eau potentielles grâce à la régulation thermique et l’ombrage.
-        - Effet sur la qualité des cultures : Influence des conditions microclimatiques créées par l’agrivoltaïsme.
-        - Bilan économique : Gains estimés en production et en coûts d’irrigation.
+    Vous êtes un expert agronome et spécialiste en agrivoltaïsme au sein d’Ombrea, entreprise experte dans ce domaine. 
+    Votre mission est d’analyser et de comparer deux scénarios agricoles afin de conseiller un agriculteur sur 
+    la solution optimale pour maximiser son rendement à long terme, en tenant compte des aléas climatiques. 
+    Vous devez fournir une analyse objective, non biaisée et exclusivement basée sur les données fournies.
+        Scénarios à comparer :
+        Scénario 1 : Culture bénéficiant de l’ombrage statique généré par des panneaux photovoltaïques.
+        Scénario 2 : Culture sans ombrage.
+    Données d’entrée pour l’analyse :
+    - Type de culture : [Nom de la culture et ses besoins spécifiques en lumière, température et eau]
+    - Besoins hydriques : [Conditions hydriques du sol et de la culture, sensibilité de la culture au stress hydrique]
+    - Projections climatiques : [Température moyenne, précipitations, risques de sécheresse, vagues de chaleur, etc.]
+    Ces projections se basent sur le modèle SSP5-8.5 experiment et le modèle CNRM-CM6-1 (France).
+
+    L’analyse devra aborder les points suivants :
+    - Comparaison des rendements agricoles : Analyser la différence de productivité entre les cultures avec et sans ombrage agrivoltaïque.
+    - Impact sur le stress hydrique : Évaluer l’évolution du stress hydrique et ses conséquences sur les besoins en eau des cultures dans chaque scénario.
+    - Effets microclimatiques : Examiner l’influence des conditions microclimatiques induites par l’agrivoltaïsme sur la qualité des cultures.
+    - Conclusion sur l’impact de l’ombrage : Conclure sur l’impact de l’ombrage en précisant s’il constitue ou non un levier pour la pérennisation de l’activité agricole.
     
-    Formule une réponse détaillée et pédagogique pour l’agriculteur, en expliquant pourquoi l’un des scénarios est plus avantageux. 
-    Par exp: Grâce à l’ombrage : Le rendement agricole serait de +X%, Les besoins en eau seraient donc [réduit] de X%.
-    Tu devras vulgariser les concepts techniques pour une meilleure compréhension, en te basant sur des données input et des retours d’expérience.
-    L'utilisateur te founira le nom de la culture, les caractéristiques du sol dans la région en question et les données des rendements avec et sans ombrage.
-"""
+    Consignes pour la réponse :
+    - Fournir une analyse détaillée, structurée et pédagogique.
+    - S’appuyer exclusivement sur les données fournies et argumenter à l’aide d’indicateurs précis concernant l’évolution des variables.
+    - Adopter une approche objective et non biaisée, sans favoriser un scénario par anticipation.
+    - Vulgariser les concepts techniques pour assurer une compréhension optimale par l’agriculteur.
+    - Le format de sortie doit être structuré, avec des sections claires et bien définies.
+    - L’utilisateur vous fournira le nom de la culture, les caractéristiques du sol dans la région concernée ainsi que les données de rendement avec et sans ombrage
+    """

summary_test.py

@@ -4,54 +4,99 @@ import pandas as pd
 import numpy as np
 from forecast import get_forecast_datasets, get_forecast_data
 from data_pipelines.historical_weather_data import download_historical_weather_data, aggregate_hourly_weather_data
-
+from utils.soil_utils import find_nearest_point_to_coordinates
 from utils.summary import get_meterological_summary, get_agricultural_yield_comparison
 
 
 def get_meterological_past_data():
     download_historical_weather_data(latitude, longitude, start_year, end_year)
 
-def process_all_data_for_meterological_summary(scenario: str, lat: float = 47.0, lon:float = 5.0):
-   
+def pre_process_data(scenario: str, lat: float = 47.0, lon:float = 5.0):
     start_year, end_year = 2010, 2025
+
     historical_df = aggregate_hourly_weather_data(download_historical_weather_data(latitude=lat, longitude=lon, start_year=start_year, end_year= end_year))
     forecast_df = get_forecast_data(scenario=scenario, longitude=lon, latitude=lat, shading_coef=0)
 
     forecast_df["time"] = pd.to_datetime(forecast_df["time"])
     forecast_df['year'] = forecast_df["time"].dt.year
-    new_forecast_df = forecast_df.groupby(by="year", as_index=False)[["Near Surface Air Temperature (°C)", "Surface Downwelling Shortwave Radiation (W/m²)", "Precipitation (kg m-2 s-1)"]].mean().reset_index()
+    new_forecast_df = forecast_df.groupby(by="year", as_index=False).mean().reset_index()
     # new_forecast_df = new_forecast_df[new_forecast_df["year"] > 2025]
 
     historical_df = historical_df.reset_index().rename(columns={"index": "time"}).sort_values(by="time")
     historical_df["year"] = historical_df["time"].dt.year
     historical_df["precipitation"] = historical_df["precipitation"] / 3600  # to transform the data to kg m2 per s
 
-    new_historical_df = historical_df.groupby(by="year", as_index=False)[["air_temperature_mean", "irradiance", "precipitation"]].mean().reset_index()
+    new_historical_df = historical_df.groupby(by="year", as_index=False).mean().reset_index()
     new_historical_df = new_historical_df[new_historical_df["year"] < 2024]
 
-    temperature_df = pd.concat([new_historical_df[["year", "air_temperature_mean"]].rename(columns={"air_temperature_mean": "Near Surface Air Temperature (°C)"}), 
-                                new_forecast_df[["year", "Near Surface Air Temperature (°C)"]]], axis=0)
+    return new_historical_df, new_forecast_df
+
+def process_all_data_for_meterological_summary(historical_data: pd.DataFrame, forecast_data: pd.DataFrame):
+    
+    
+    temperature_df = pd.concat([historical_data[["year", "air_temperature_mean"]].rename(columns={"air_temperature_mean": "Near Surface Air Temperature (°C)"}), 
+                                forecast_data[["year", "Near Surface Air Temperature (°C)"]]], axis=0)
 
-    irradiance_df = pd.concat([new_historical_df[["year", "irradiance"]].rename(columns={"irradiance": "Surface Downwelling Shortwave Radiation (W/m²)"}), 
-                                new_forecast_df[["year", "Surface Downwelling Shortwave Radiation (W/m²)"]]], axis=0)
+    irradiance_df = pd.concat([historical_data[["year", "irradiance"]].rename(columns={"irradiance": "Surface Downwelling Shortwave Radiation (W/m²)"}), 
+                                forecast_data[["year", "Surface Downwelling Shortwave Radiation (W/m²)"]]], axis=0)
     
-    rain_df = pd.concat([new_historical_df[["year", "precipitation"]].rename(columns={"precipitation": "Precipitation (kg m-2 s-1)"}), 
-                                new_forecast_df[["year", "Precipitation (kg m-2 s-1)"]]], axis=0)
+    rain_df = pd.concat([historical_data[["year", "precipitation"]].rename(columns={"precipitation": "Precipitation (kg m-2 s-1)"}), 
+                                forecast_data[["year", "Precipitation (kg m-2 s-1)"]]], axis=0)
 
     return temperature_df, rain_df, irradiance_df
 
+def get_yield_data(region: str = "Bourgogne-Franche-Comté", culture: str ="Blé tendre d'hiver"):
+
+    yield_past_data = pd.read_csv("data/data_yield/data_rendement.csv")
+    # yield_forecast_data = pd.read_csv("data/data_yield/data_rendement.csv")
+    yield_past_data = yield_past_data[(yield_past_data["LIB_REG2"]==region) & (yield_past_data["LIB_SAA"].str.contains(culture)) ]
+    yield_past_data = yield_past_data[["LIB_REG2", "LIB_SAA"]+ [col for col in yield_past_data.columns if 'REND' in col ]]
+    # Transformation
+    yield_past_data = yield_past_data.melt(id_vars=["LIB_REG2", "LIB_SAA"], var_name="year", value_name="past_yield")
+
+    # Nettoyer la colonne "temps" pour enlever "REND_"
+    yield_past_data["year"] = yield_past_data["year"].str.replace("REND_", "").astype(int)
+
+    yield_forecast_data = pd.read_csv("data/data_yield/rendement_forecast.csv")
+    yield_forecast_data = yield_forecast_data[yield_forecast_data["culture"].str.contains(culture)]
+    return yield_past_data[["year", "past_yield"]], yield_forecast_data[["year", "yield_simple_forecast", "yield_with_shading_forecast"]]
+
 
 if __name__ == "__main__":
 
     scenario = "pessimist"
     lat, lon = 47.0, 5.0
-    temperature_df, rain_df, irradiance_df = process_all_data_for_meterological_summary(scenario, lat, lon)
+    culture = "Blé tendre d'hiver"
+    region = "Bourgogne-Franche-Comté"
+
+    historical_df, forecast_df = pre_process_data(scenario, lat, lon)
+
+    temperature_df, rain_df, irradiance_df = process_all_data_for_meterological_summary(historical_df, forecast_df)
+    
+    # meterological_summary = get_meterological_summary(scenario=scenario, 
+    #                                                   temperature_df=temperature_df,
+    #                                                   irradiance_df=irradiance_df,
+    #                                                   rain_df=rain_df)
+    # print(meterological_summary)
+
+    climate_data = temperature_df.merge(rain_df, on='year').merge(irradiance_df, on='year') # meteo ok
+    closest_soil_data = find_nearest_point_to_coordinates(latitude=lat, longitude=lon)  # soil ok
+    water_deficit_data = forecast_df[["time", "Water Deficit (mm/day)"]]
+
+    # add a step to transform gps coordinates into french region to be able to filter yield data
+    yield_past_data, yield_forecast_data = get_yield_data(region=region, culture=culture)
+
+    # rendement  (avec et sans ombrage)
     
-    meterological_summary = get_meterological_summary(scenario=scenario, 
-                                                      temperature_df=temperature_df,
-                                                      irradiance_df=irradiance_df,
-                                                      rain_df=rain_df)
-    print(meterological_summary)
+    # print(get_agricultural_yield_comparison(culture=culture, 
+    #                                         region="bourgogne franche comté",
+    #                                         water_df=water_deficit_data, 
+    #                                         climate_df=climate_data,
+    #                                         soil_df=closest_soil_data, 
+    #                                         forecast_yield_df=yield_forecast_data,
+    #                                         historical_yield_df=yield_past_data))
+
+    print(water_deficit_data)
 
     # from utils.soil_utils import find_nearest_point
     # city = "Bourgogne Franche Comté"

utils/summary.py

@@ -49,9 +49,16 @@ def get_meterological_summary(scenario: str, temperature_df: pd.DataFrame, rain_
     return output_parser.parse(response)
 
 
-def get_agricultural_yield_comparison(culture: str, region:str, agri_yield_df: pd.DataFrame, soil_df: pd.DataFrame, climate_df: pd.DataFrame, water_df: pd.DataFrame):
-
-    agricultural_yield = agri_yield_df.head(len(agri_yield_df)).to_string(index=False)
+def get_agricultural_yield_comparison(culture: str, 
+                                      region:str, 
+                                      historical_yield_df: pd.DataFrame, 
+                                      forecast_yield_df: pd.DataFrame, 
+                                      soil_df: pd.DataFrame, 
+                                      climate_df: pd.DataFrame, 
+                                      water_df: pd.DataFrame):
+    
+    historical_yield = historical_yield_df.head(len(historical_yield_df)).to_string(index=False)
+    agricultural_yield = forecast_yield_df.head(len(forecast_yield_df)).to_string(index=False)
     soil_data = soil_df.head(len(soil_df)).to_string(index=False)
     water_data = water_df.head(len(water_df)).to_string(index=False)
     climate_data = climate_df.head(len(climate_df)).to_string(index=False)
@@ -68,7 +75,7 @@ def get_agricultural_yield_comparison(culture: str, region:str, agri_yield_df: p
     prompt = ChatPromptTemplate.from_messages(
         [
             ("system", agricultural_yield_comparison_prompt),
-            ("human", "Je suis agriculteur et je cultive de la {culture} à {region}. Voilà les caractéristiques du sol dans ma région {soil_data} et voilà l'historique et projections du rendement ma culture avec et sans ombrage {agricultural_yield}. J'ai aussi les donnés historiques et prévisions du stress hydrique {water_data} et des données climatiques {climate_data}. " )  
+            ("human", "Je suis agriculteur et je cultive de la {culture} à {region}. Voilà les caractéristiques du sol dans ma région {soil_data} et voilà l'historique de mon rendement {historical_yield} et projections du rendement ma culture avec et sans ombrage {agricultural_yield}. J'ai aussi les donnés historiques et prévisions du stress hydrique {water_data} et des données climatiques {climate_data}. " )  
         ]
     )
     chain = prompt | llm | output_parser
@@ -79,7 +86,8 @@ def get_agricultural_yield_comparison(culture: str, region:str, agri_yield_df: p
         "soil_data": soil_data,
         "water_data": water_data,
         "climate_data": climate_data,
-        "agricultural_yield": agricultural_yield
+        "agricultural_yield": agricultural_yield,
+        "historical_yield": historical_yield
     })
 
     return output_parser.parse(response)