Upload processing.py

processing.py

@@ -2,31 +2,38 @@ import pandas as pd
 import numpy as np
 import xgboost as xgb
 import json
+import os
+import boto3
 
-# --- 1. DICTIONNAIRE DE MAPPING DIVISION (2 chiffres) -> SECTION (Ton Modèle) ---
-# Ce dictionnaire permet à l'utilisateur de saisir "56" et au modèle de recevoir "Hébergement et restauration"
-NAF_TO_SECTION = {
-    "01": "Agriculture, sylviculture et pêche", "02": "Agriculture, sylviculture et pêche", "03": "Agriculture, sylviculture et pêche",
-    "10": "Industrie manufacturière", "11": "Industrie manufacturière", "12": "Industrie manufacturière",
-    "41": "Construction", "42": "Construction", "43": "Travaux de construction spécialisés",
-    "45": "Commerce", "46": "Commerce", "47": "Commerce de détail, à l’exception des automobi...",
-    "49": "Transports et entreposage", "55": "Hébergement et restauration", "56": "Hébergement et restauration",
-    "58": "Information et communication", "61": "Information et communication",
-    "64": "Activités financières et d'assurance", "66": "Activités auxiliaires de services financiers e...",
-    "68": "Activités immobilières",
-    "69": "Activités juridiques, comptables, de gestion, d'études de conseil",
-    "71": "Activités d'architecture et d'ingénierie",
-    "85": "Enseignement",
-    "86": "Santé humaine et action sociale",
-    "96": "Autres services personnels"
-}
+# --- 1. CHARGEMENT DES CONFIGURATIONS (S3 & SECRETS) ---
 
-# Chargement des colonnes exactes du modèle
-with open('models/features_config.json', 'r') as f:
-    FEATURES = json.load(f)
+# On charge la liste des colonnes depuis le Secret Hugging Face
+FEATURES = json.loads(os.getenv("MODEL_FEATURES", "[]"))
+
+def load_from_s3(file_name):
+    """Charge un dictionnaire JSON depuis S3"""
+    try:
+        s3 = boto3.client(
+            's3',
+            aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
+            aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
+            region_name=os.getenv("AWS_REGION")
+        )
+        # Remplace 'NOM_DE_TON_DOSSIER' par le nom du dossier dans ton bucket
+        key = f"projet-economie/{file_name}"
+        response = s3.get_object(Bucket=os.getenv("AWS_BUCKET_NAME"), Key=key)
+        return json.loads(response['Body'].read().decode('utf-8'))
+    except Exception as e:
+        print(f"⚠️ Erreur S3 sur {file_name}: {e}")
+        return {}
+
+# On remplace tes dictionnaires en dur par les versions complètes de S3
+DEP_RISK_MAP = load_from_s3("mapping_dep_risk.json")
+APE_SECTION_MAP = load_from_s3("mapping_ape_section.json")
+
+# --- 2. FONCTIONS DE CALCUL (Inchangées, elles sont très bien) ---
 
 def get_sigma(model):
-    """Extrait le paramètre scale (sigma) du JSON du modèle XGBoost"""
     config = json.loads(model.save_config())
     def find_key(obj, key):
         if isinstance(obj, dict):
@@ -43,31 +50,38 @@ def get_sigma(model):
     return float(scale) if scale else 0.8
 
 def calculate_survival_risk(mu, horizon, s):
-    """Formule de survie pour distribution Logistique (AFT)"""
     z = (np.log(horizon) - mu) / s
     z = np.clip(z, -50, 50)
     return round((1 / (1 + np.exp(-z))) * 100, 2)
 
 def map_statut_expert(p2):
-    """Traduction de la probabilité à 2 ans en libellé métier"""
     if p2 > 20: return '🔴 CRITIQUE'
     if p2 > 10: return '🟠 VIGILANCE'
     if p2 > 5:  return '🟡 OBSERVATION'
     return '🟢 SAIN'
 
+# --- 3. PRÉPARATION DES DONNÉES (La version robuste) ---
+
 def prepare_input(data):
-    """Prépare le DMatrix avec mapping automatique des codes APE et CJ"""
+    # On crée le DataFrame avec les colonnes exactes du modèle
     df = pd.DataFrame(0.0, index=[0], columns=FEATURES)
     
     # 1. Variables numériques directes
-    df['age_au_diagnostic'] = float(data.get('age_estime', 0))
+    # Attention au nom de la colonne âge : doit être identique à ton secret FEATURES
+    col_age = 'age_au_diagnostic' if 'age_au_diagnostic' in FEATURES else 'age_estime'
+    df[col_age] = float(data.get('age_estime', 0))
+    
     df['Tranche_effectif_num'] = float(data.get('Tranche_effectif_num', 0))
-    df['risque_departemental'] = float(data.get('code_departement', 0))
     df['is_ess'] = int(data.get('is_ess', 0))
     
-    # 2. Mapping APE (Division -> Section)
-    code_ape_2 = str(data.get('code_ape', ''))[:2]
-    section_name = NAF_TO_SECTION.get(code_ape_2)
+    # 2. GESTION DU DÉPARTEMENT (Sauvetage de la Corse)
+    code_dep = str(data.get('code_departement', '')).strip().upper()
+    # On cherche la valeur dans le mapping S3, sinon 0.05 par défaut
+    df['risque_departemental'] = float(DEP_RISK_MAP.get(code_dep, 0.05))
+    
+    # 3. Mapping APE (Via S3)
+    code_ape = str(data.get('code_ape', '')).zfill(2)
+    section_name = APE_SECTION_MAP.get(code_ape)
     
     if section_name:
         col_ape = f"APE_{section_name}"
@@ -76,7 +90,7 @@ def prepare_input(data):
         elif 'APE_Autres_Secteurs' in df.columns:
             df['APE_Autres_Secteurs'] = 1.0
     
-    # 3. Mapping Catégorie Juridique (CJ_Prefix)
+    # 4. Mapping Catégorie Juridique
     cj_prefix = str(data.get('categorie_juridique', ''))[:4]
     col_cj = f"CJ_{cj_prefix}"
     if col_cj in df.columns: