Update app.py

app.py

@@ -64,10 +64,23 @@ class PesticideDataFetcher:
         return {"error": "Max retries exceeded"}
 
     def get_products(self) -> List[Dict]:
-        """Récupère la liste des produits."""
-        url = f"{self.BASE_URL}/pesticide_residues_products?format=json&language=FR&api-version=v2.0"
-        response = self.fetch_data(url)
-        return response.get("value", [])
+        """Récupère la liste complète des produits avec pagination."""
+        all_products = []
+        base_url = f"{self.BASE_URL}/pesticide_residues_products?format=json&language=FR&api-version=v2.0"
+        url = base_url
+        
+        while url:
+            response = self.fetch_data(url)
+            if not response or "value" not in response:
+                break
+                
+            all_products.extend(response["value"])
+            url = response.get("@odata.nextLink")
+            if url and not url.startswith("http"):
+                url = f"{self.BASE_URL}/{url}"
+                
+        logger.info(f"Récupéré {len(all_products)} produits au total")
+        return all_products
 
     def get_mrls(self, product_id: int) -> List[Dict]:
         """Récupère les LMR pour un produit spécifique."""
@@ -75,10 +88,18 @@ class PesticideDataFetcher:
         response = self.fetch_data(url)
         return response.get("value", [])
 
-    def get_substance_details(self, substance_id: int) -> Dict:
-        """Récupère les détails d'une substance."""
-        url = f"{self.BASE_URL}/substances/{substance_id}?format=json&api-version=v2.0"
-        return self.fetch_data(url)
+    def get_substance_details(self, pesticide_residue_id: int) -> Dict:
+        """Récupère les détails d'une substance à partir de son ID."""
+        url = f"{self.BASE_URL}/pesticide_residues/{pesticide_residue_id}?format=json&api-version=v2.0"
+        response = self.fetch_data(url)
+        
+        if not response or "value" not in response:
+            logger.warning(f"Pas de détails trouvés pour la substance {pesticide_residue_id}")
+            return {}
+            
+        substance_data = response.get("value", [{}])[0]
+        substance_name = substance_data.get("substance_name", f"Substance {pesticide_residue_id}")
+        return {"substance_name": substance_name}
 
 class PesticideInterface:
     """Classe pour gérer l'interface utilisateur Gradio."""
@@ -138,7 +159,7 @@ class PesticideInterface:
         return f'<a href="{regulation_url}" target="_blank">{regulation_number}</a>'
 
     def get_product_details(self, product_name: str, period: str, show_only_changes: bool) -> pd.DataFrame:
-        """Récupère et formate les détails des MRLs pour un produit donné."""
+        """Récupère et formate les détails des MRLs pour un produit donné avec les noms des substances."""
         try:
             if not product_name:
                 return pd.DataFrame({"Message": ["Veuillez sélectionner un produit"]})
@@ -162,6 +183,22 @@ class PesticideInterface:
             if not mrls:
                 return pd.DataFrame({"Message": ["Aucune donnée trouvée pour la période sélectionnée"]})
 
+            # Récupérer les noms des substances en parallèle
+            with ThreadPoolExecutor(max_workers=10) as executor:
+                futures = {
+                    executor.submit(self.fetcher.get_substance_details, mrl["pesticide_residue_id"]): mrl 
+                    for mrl in mrls
+                }
+                
+                for future in futures:
+                    mrl = futures[future]
+                    try:
+                        substance_details = future.result()
+                        mrl["substance_name"] = substance_details.get("substance_name", f"Substance {mrl['pesticide_residue_id']}")
+                    except Exception as e:
+                        logger.error(f"Erreur lors de la récupération des détails de la substance: {e}")
+                        mrl["substance_name"] = f"Substance {mrl['pesticide_residue_id']}"
+            
             # Créer le DataFrame
             df = pd.DataFrame(mrls)