Update src/Analytics/pipeline_builder.py

src/Analytics/pipeline_builder.py

@@ -1,30 +1,26 @@
 """
-MODULE: PIPELINE BUILDER (DIAGNOSTIC & CONTRACTS)
-=================================================
+MODULE: PIPELINE BUILDER (FINAL FIX - TIME SUPPORT)
+===================================================
 Responsabilité : 
-1. Nettoyer les données.
-2. Garantir les types (Type Safety).
-3. Localiser précisément les erreurs pour correction (Lineage).
+1. Nettoyer les données (Currency, Int, Date, DateTime).
+2. Localiser précisément les erreurs (Lineage Ligne/Colonne).
+3. Support étendu des formats de date (Heures incluses).
 """
 import re
 import pandas as pd
 from collections import defaultdict
+from datetime import datetime
 
 class PipelineBuilder:
     def __init__(self):
-        # MONITORING : Compteurs globaux
         self.stats = defaultdict(int)
-        # LOGS STRUCTURÉS : Pour le tableau de bord
         self.logs = [] 
 
     def get_health_report(self):
         return dict(self.stats)
 
     def enforce_contract(self, value, target_type, row_id="N/A", col_name="N/A"):
-        """
-        Applique le contrat. Si ça casse, on note QUI (row_id) et QUOI (col_name).
-        """
-        # 1. Gestion des valeurs vides
+        # 1. Gestion Nulls
         if pd.isna(value) or str(value).strip().lower() in ['nan', 'none', '', 'null']:
             self.stats["missing_values"] += 1
             return None
@@ -34,7 +30,7 @@ class PipelineBuilder:
         try:
             cleaned = None
             
-            # 2. Routage et Nettoyage
+            # 2. Routage par type
             if target_type in ["xsd:decimal", "xsd:float"]:
                 cleaned = self._clean_currency(val_str)
             
@@ -42,7 +38,12 @@ class PipelineBuilder:
                 cleaned = self._clean_integer(val_str)
             
             elif target_type == "xsd:date":
-                cleaned = self._standardize_date(val_str)
+                # On force le format YYYY-MM-DD (sans heure)
+                cleaned = self._standardize_date(val_str, want_time=False)
+            
+            elif target_type == "xsd:dateTime":
+                # On garde l'heure si elle existe
+                cleaned = self._standardize_date(val_str, want_time=True)
             
             elif target_type == "xsd:boolean":
                 cleaned = self._to_boolean(val_str)
@@ -50,49 +51,59 @@ class PipelineBuilder:
             else:
                 cleaned = self._clean_text(val_str)
 
-            # Succès
             self.stats["valid_entries"] += 1
             return cleaned
 
         except ValueError:
-            # Échec critique : On capture les coordonnées pour l'utilisateur
+            # 3. Capture de l'erreur pour le guide de correction
             self.stats["rejected_contracts"] += 1
-            
-            error_report = {
+            self.logs.append({
                 "📍 Ligne (ID)": str(row_id),
                 "📌 Colonne": str(col_name),
-                "❌ Valeur Reçue": val_str,
-                "⚠️ Type Attendu": target_type,
-                "Suggestion": "Vérifiez le format dans Excel"
-            }
-            self.logs.append(error_report)
+                "❌ Valeur": val_str,
+                "⚠️ Attendu": target_type,
+                "Raison": "Format incompatible"
+            })
             return None
 
-    # --- MÉTHODES DE TRANSFORMATION ---
+    # --- NETTOYAGE ---
     def _clean_currency(self, val):
-        # Garde les chiffres, le point, la virgule et le moins
         clean = re.sub(r'[^\d,.-]', '', val).replace(',', '.')
-        if not clean: return None
+        if not clean: raise ValueError("Vide après nettoyage")
         return float(clean)
 
     def _clean_integer(self, val):
-        val_float = self._clean_currency(val)
-        return int(val_float) if val_float is not None else None
+        return int(self._clean_currency(val))
+
+    def _standardize_date(self, val, want_time=False):
+        # Si on veut juste une date mais qu'on reçoit "YYYY-MM-DD HH:MM:SS", on coupe
+        if not want_time and " " in val:
+            val = val.split(" ")[0]
 
-    def _standardize_date(self, val):
-        # Supporte DD-MM-YYYY, DD/MM/YYYY vers YYYY-MM-DD
-        patterns = [
-            (r'(\d{2})[-/](\d{2})[-/](\d{4})', lambda m: f"{m.group(3)}-{m.group(2)}-{m.group(1)}"),
-            (r'(\d{4})[-/](\d{2})[-/](\d{2})', lambda m: f"{m.group(1)}-{m.group(2)}-{m.group(3)}")
+        # Liste étendue des formats supportés (C'EST LA CLÉ DU SUCCÈS)
+        formats = [
+            ("%d/%m/%Y", "%Y-%m-%d"),       # 01/03/2026
+            ("%d-%m-%Y", "%Y-%m-%d"),       # 01-03-2026
+            ("%Y-%m-%d", "%Y-%m-%d"),       # 2026-03-01
+            # Formats avec Heure (trouvés dans tes logs)
+            ("%d-%m-%Y %H:%M:%S", "%Y-%m-%dT%H:%M:%S"), # 13-01-2026 23:40:03
+            ("%d/%m/%Y %H:%M:%S", "%Y-%m-%dT%H:%M:%S"), 
+            ("%Y-%m-%d %H:%M:%S", "%Y-%m-%dT%H:%M:%S")
         ]
-        for pat, converter in patterns:
-            match = re.search(pat, val)
-            if match: return converter(match)
-        # C'est ici que ça plante pour "Report au..." -> ValueError
+        
+        for fmt_in, fmt_out in formats:
+            try:
+                dt = datetime.strptime(val, fmt_in)
+                if not want_time: 
+                    return dt.strftime("%Y-%m-%d")
+                return dt.strftime(fmt_out)
+            except ValueError:
+                continue
+        
         raise ValueError(f"Date invalide: {val}")
 
     def _to_boolean(self, val):
-        return val.lower() in ['true', '1', 'oui', 'yes', 'vrai', 'active']
+        return val.lower() in ['true', '1', 'oui', 'yes', 'vrai', 'active', 'actif']
 
     def _clean_text(self, val):
         return re.sub(r'\s+', ' ', val).strip()