Upload folder using huggingface_hub

README.md

@@ -1,73 +1,274 @@
----
-title: Employee Turnover Prediction API
-emoji: 👔
-colorFrom: blue
-colorTo: purple
-sdk: docker
-pinned: true
-license: mit
-app_port: 7860
----
-
-# Employee Turnover Prediction API 🚀
-
-API de prédiction du turnover des employés avec XGBoost + SMOTE.
-
-## 🎯 Fonctionnalités
-
-- ✅ Prédiction de turnover (0 = reste, 1 = part)
-- 📦 **Nouveau** : Endpoint batch pour traiter vos fichiers CSV directement
-- 📊 Probabilités et niveau de risque (Low/Medium/High)
+# 🚀 Employee Turnover Prediction API - v2.2.0
+
+## 📊 Vue d'ensemble
+
+API REST de prédiction du turnover des employés basée sur un modèle XGBoost avec SMOTE.
+
+**✨ Nouveautés v2.2.0** :
+- 📦 **Endpoint batch CSV** : Envoyez directement vos 3 fichiers CSV bruts
+- 🔧 Correction du preprocessing (scaling + ordre des colonnes)
+- 📊 Prédictions plus précises (~90% accuracy)
+
+**✨ v2.1.0** :
+- 📝 Logging structuré JSON
+- 🛡️ Rate limiting (20 req/min par IP)
+- ⚡ Gestion d'erreurs améliorée
 - 🔐 Authentification API Key
-- 📝 Logs structurés JSON
-- 🛡️ Rate limiting (20 req/min)
-- 📚 Documentation OpenAPI/Swagger
 
-## 🔗 Endpoints
+## 🏗️ Architecture
+
+```
+OC_P5/
+├── app.py                    # Point d'entrée FastAPI
+├── src/
+│   ├── auth.py              # Authentification API Key
+│   ├── config.py            # Configuration centralisée
+│   ├── logger.py            # Logging structuré (NOUVEAU)
+│   ├── models.py            # Chargement modèle HF Hub
+│   ├── preprocessing.py     # Pipeline preprocessing
+│   ├── rate_limit.py        # Rate limiting (NOUVEAU)
+│   └── schemas.py           # Validation Pydantic
+├── tests/                   # Suite pytest (33 tests, 88% couverture)
+├── logs/                    # Logs JSON (NOUVEAU)
+│   ├── api.log              # Tous les logs
+│   └── error.log            # Erreurs uniquement
+├── docs/                    # Documentation
+├── ml_model/                # Scripts training
+└── data/                    # Données sources
+```
+
+## 🚀 Installation
+
+### Prérequis
+- Python 3.12+
+- Poetry 1.7+
+- Git
+
+### Setup rapide
+
+```bash
+# 1. Cloner le repo
+git clone https://github.com/chaton59/OC_P5.git
+cd OC_P5
+
+# 2. Installer les dépendances
+poetry install
+
+# 3. Configurer l'environnement
+cp .env.example .env
+# Éditer .env avec vos valeurs
+
+# 4. Lancer l'API
+poetry run uvicorn app:app --reload
+
+# 5. Accéder à la documentation
+# http://localhost:8000/docs
+```
+
+## 📝 Configuration (.env)
+
+```bash
+# Mode développement (désactive auth + active logs détaillés)
+DEBUG=true
+
+# API Key (requis en production)
+API_KEY=your-secret-key-here
+
+# Logging (DEBUG, INFO, WARNING, ERROR, CRITICAL)
+LOG_LEVEL=INFO
 
-| Endpoint | Description |
-|----------|-------------|
-| `/docs` | Documentation interactive Swagger |
-| `/health` | Status de l'API |
-| `/ui` | Interface Gradio interactive |
-| `/predict` | Prédiction unitaire (JSON) |
-| `/predict/batch` | Prédiction batch (3 fichiers CSV) |
+# HuggingFace Model
+HF_MODEL_REPO=ASI-Engineer/employee-turnover-model
+MODEL_FILENAME=model/model.pkl
+```
 
-## 🚀 Utilisation
+## 🔒 Authentification
+
+### Mode DEBUG (développement)
+```bash
+# L'API Key n'est PAS requise
+curl http://localhost:8000/predict -H "Content-Type: application/json" -d '{...}'
+```
 
-### Prédiction unitaire
+### Mode PRODUCTION
 ```bash
-curl -X POST https://asi-engineer-oc-p5-dev.hf.space/predict \
+# L'API Key est REQUISE
+curl http://localhost:8000/predict \
+  -H "X-API-Key: your-secret-key" \
   -H "Content-Type: application/json" \
-  -d '{
-    "nombre_participation_pee": 0,
-    "nb_formations_suivies": 2,
-    "satisfaction_employee_environnement": 3,
-    ...
-  }'
+  -d '{...}'
 ```
 
-### Prédiction batch (fichiers CSV)
+## 📡 Endpoints
+
+### 🏥 Health Check
 ```bash
-curl -X POST https://asi-engineer-oc-p5-dev.hf.space/predict/batch \
-  -F "sondage_file=@extrait_sondage.csv" \
-  -F "eval_file=@extrait_eval.csv" \
-  -F "sirh_file=@extrait_sirh.csv"
+GET /health
+
+# Réponse
+{
+  "status": "healthy",
+  "model_loaded": true,
+  "model_type": "Pipeline",
+  "version": "2.2.0"
+}
 ```
 
-**Réponse :**
-```json
+### 🔮 Prédiction unitaire
+```bash
+POST /predict
+Content-Type: application/json
+X-API-Key: your-key (en production)
+
+# Payload (tous les champs d'un employé)
+{
+  "nombre_participation_pee": 0,
+  "nb_formations_suivies": 2,
+  "satisfaction_employee_environnement": 3,
+  ...
+}
+
+# Réponse
+{
+  "prediction": 0,                    # 0 = reste, 1 = part
+  "probability_0": 0.85,              # Probabilité de rester
+  "probability_1": 0.15,              # Probabilité de partir
+  "risk_level": "Low"                 # Low, Medium, High
+}
+```
+
+### 📦 Prédiction batch (NOUVEAU)
+```bash
+POST /predict/batch
+X-API-Key: your-key (en production)
+
+# Envoi des 3 fichiers CSV bruts
+curl -X POST "http://localhost:8000/predict/batch" \
+  -H "X-API-Key: your-key" \
+  -F "sondage_file=@data/extrait_sondage.csv" \
+  -F "eval_file=@data/extrait_eval.csv" \
+  -F "sirh_file=@data/extrait_sirh.csv"
+
+# Réponse
 {
   "total_employees": 1470,
-  "predictions": [...],
+  "predictions": [
+    {"employee_id": 1, "prediction": 1, "probability_leave": 0.84, "risk_level": "High"},
+    {"employee_id": 2, "prediction": 0, "probability_leave": 0.11, "risk_level": "Low"}
+  ],
   "summary": {
     "total_stay": 1169,
     "total_leave": 301,
-    "high_risk_count": 222
+    "high_risk_count": 222,
+    "medium_risk_count": 233,
+    "low_risk_count": 1015
   }
 }
 ```
 
-## 📚 Documentation complète
+## 📊 Logging
+
+### Logs structurés JSON
+
+**Fichiers** :
+- `logs/api.log` : Tous les logs
+- `logs/error.log` : Erreurs uniquement
+
+**Format** :
+```json
+{
+  "timestamp": "2025-12-26T10:30:45",
+  "level": "INFO",
+  "logger": "employee_turnover_api",
+  "message": "Request POST /predict",
+  "method": "POST",
+  "path": "/predict",
+  "status_code": 200,
+  "duration_ms": 23.45,
+  "client_host": "127.0.0.1"
+}
+```
+
+## 🛡️ Rate Limiting
+
+**Configuration** :
+- **Développement** : Désactivé (DEBUG=true)
+- **Production** : 20 requêtes/minute par IP ou API Key
+
+**En cas de dépassement** :
+```json
+{
+  "error": "Rate limit exceeded",
+  "message": "20 per 1 minute"
+}
+```
+
+## ✅ Tests
+
+```bash
+# Tous les tests
+poetry run pytest tests/ -v
+
+# Avec couverture
+poetry run pytest tests/ --cov --cov-report=html
+
+# Voir rapport HTML
+open htmlcov/index.html
+```
+
+**Résultats** :
+- ✅ 33 tests passés
+- 📊 88% de couverture globale
+
+## 🚀 Déploiement
+
+### Variables d'environnement requises
+```bash
+DEBUG=false
+API_KEY=<votre-clé-sécurisée>
+LOG_LEVEL=INFO
+```
+
+### HuggingFace Spaces
+Prêt pour déploiement avec `app.py` et `requirements.txt`
+
+## 📚 Documentation
+
+- **API Interactive** : http://localhost:8000/docs
+- **ReDoc** : http://localhost:8000/redoc
+- **Guide complet** : [docs/API_GUIDE.md](docs/API_GUIDE.md)
+- **Standards** : [docs/standards.md](docs/standards.md)
+- **Couverture tests** : [docs/TEST_COVERAGE.md](docs/TEST_COVERAGE.md)
+
+## 📦 Dépendances principales
+
+- **FastAPI** 0.115.14 : Framework web
+- **Pydantic** 2.12.5 : Validation données
+- **XGBoost** 2.1.3 : Modèle ML
+- **SlowAPI** 0.1.9 : Rate limiting
+- **python-json-logger** 4.0.0 : Logs structurés
+- **pytest** 9.0.2 : Tests
+
+## 🔄 Changelog
+
+### v2.2.0 (27 décembre 2025)
+- 📦 Nouvel endpoint `/predict/batch` pour traitement CSV direct
+- 🔧 Fix preprocessing : ajout du scaling des features
+- 🔧 Fix preprocessing : correction de l'ordre des colonnes
+- 📊 Amélioration précision des prédictions (~90%)
+
+### v2.1.0 (26 décembre 2025)
+- ✨ Système de logging structuré JSON
+- 🛡️ Rate limiting avec SlowAPI
+- ⚡ Amélioration gestion d'erreurs
+- 📊 Monitoring des performances
+
+### v2.0.0 (26 décembre 2025)
+- ✅ Suite de tests complète (36 tests)
+- 🔐 Authentification API Key
+- 📊 88% de couverture de code
+
+## 👥 Auteurs
 
-Voir [GitHub Repository](https://github.com/chaton59/OC_P5) pour la documentation complète.
+- **Projet** : OpenClassrooms P5
+- **Repo** : [github.com/chaton59/OC_P5](https://github.com/chaton59/OC_P5)

src/gradio_ui.py

@@ -198,7 +198,7 @@ curl -X POST https://asi-engineer-oc-p5-dev.hf.space/predict \\
     "departement": "Commercial",
     "poste": "Manager",
     "nombre_experiences_precedentes": 3,
-    "nombre_heures_travailless": 45,
+    "nombre_heures_travailless": 80,
     "annee_experience_totale": 10,
     "annees_dans_l_entreprise": 5,
     "annees_dans_le_poste_actuel": 2
@@ -239,7 +239,7 @@ data = {
     "departement": "Commercial",
     "poste": "Manager",
     "nombre_experiences_precedentes": 3,
-    "nombre_heures_travailless": 45,
+    "nombre_heures_travailless": 80,
     "annee_experience_totale": 10,
     "annees_dans_l_entreprise": 5,
     "annees_dans_le_poste_actuel": 2
@@ -316,16 +316,18 @@ def create_gradio_interface():
                     with gr.Column():
                         gr.Markdown("#### 📋 Données Sondage")
                         nombre_participation_pee = gr.Slider(
-                            0, 10, value=0, step=1, label="Participations PEE"
+                            0, 3, value=0, step=1, label="Participations PEE"
                         )
                         nb_formations_suivies = gr.Slider(
-                            0, 10, value=2, step=1, label="Formations suivies"
+                            0, 6, value=2, step=1, label="Formations suivies"
                         )
-                        nombre_employee_sous_responsabilite = gr.Slider(
-                            0, 20, value=0, step=1, label="Employés sous responsabilité"
+                        nombre_employee_sous_responsabilite = gr.Number(
+                            value=1,
+                            label="Employés sous responsabilité",
+                            interactive=False,
                         )
                         distance_domicile_travail = gr.Slider(
-                            0, 50, value=15, step=1, label="Distance domicile (km)"
+                            1, 30, value=10, step=1, label="Distance domicile (km)"
                         )
                         niveau_education = gr.Slider(
                             1, 5, value=3, step=1, label="Niveau éducation (1-5)"
@@ -354,7 +356,7 @@ def create_gradio_interface():
                             0, 15, value=2, step=1, label="Années depuis promotion"
                         )
                         annes_sous_responsable_actuel = gr.Slider(
-                            0, 20, value=3, step=1, label="Années sous responsable"
+                            0, 17, value=3, step=1, label="Années sous responsable"
                         )
 
                     # Colonne EVALUATION
@@ -364,7 +366,7 @@ def create_gradio_interface():
                             1, 4, value=3, step=1, label="Satisfaction environnement"
                         )
                         note_evaluation_precedente = gr.Slider(
-                            1, 5, value=3, step=1, label="Évaluation précédente"
+                            1, 4, value=3, step=1, label="Évaluation précédente"
                         )
                         niveau_hierarchique_poste = gr.Slider(
                             1, 5, value=2, step=1, label="Niveau hiérarchique"
@@ -379,7 +381,7 @@ def create_gradio_interface():
                             1, 4, value=3, step=1, label="Équilibre pro/perso"
                         )
                         note_evaluation_actuelle = gr.Slider(
-                            1, 5, value=3, step=1, label="Évaluation actuelle"
+                            3, 4, value=3, step=1, label="Évaluation actuelle"
                         )
                         heure_supplementaires = gr.Radio(
                             ["Oui", "Non"], value="Non", label="Heures supplémentaires"
@@ -395,11 +397,11 @@ def create_gradio_interface():
                     # Colonne SIRH
                     with gr.Column():
                         gr.Markdown("#### 👤 Données SIRH")
-                        age = gr.Slider(18, 65, value=35, step=1, label="Âge")
+                        age = gr.Slider(18, 60, value=35, step=1, label="Âge")
                         genre = gr.Radio(["M", "F"], value="M", label="Genre")
                         revenu_mensuel = gr.Slider(
-                            1500,
-                            15000,
+                            1000,
+                            20000,
                             value=4500,
                             step=100,
                             label="Revenu mensuel (€)",
@@ -430,19 +432,19 @@ def create_gradio_interface():
                             label="Poste",
                         )
                         nombre_experiences_precedentes = gr.Slider(
-                            0, 10, value=2, step=1, label="Expériences précédentes"
+                            0, 9, value=2, step=1, label="Expériences précédentes"
                         )
-                        nombre_heures_travailless = gr.Slider(
-                            35, 80, value=40, step=1, label="Heures travaillées/sem"
+                        nombre_heures_travailless = gr.Number(
+                            value=80, label="Heures travaillées/sem", interactive=False
                         )
                         annee_experience_totale = gr.Slider(
                             0, 40, value=10, step=1, label="Années d'expérience totale"
                         )
                         annees_dans_l_entreprise = gr.Slider(
-                            0, 30, value=5, step=1, label="Années dans l'entreprise"
+                            0, 40, value=5, step=1, label="Années dans l'entreprise"
                         )
                         annees_dans_le_poste_actuel = gr.Slider(
-                            0, 20, value=2, step=1, label="Années dans le poste"
+                            0, 18, value=2, step=1, label="Années dans le poste"
                         )
 
                 # Bouton et résultat

src/schemas.py

@@ -78,16 +78,19 @@ class EmployeeInput(BaseModel):
 
     # === Données SONDAGE ===
     nombre_participation_pee: int = Field(
-        ..., ge=0, description="Nombre de participations au PEE"
+        ..., ge=0, le=3, description="Nombre de participations au PEE (0-3)"
     )
     nb_formations_suivies: int = Field(
-        ..., ge=0, le=10, description="Nombre de formations suivies"
+        ..., ge=0, le=6, description="Nombre de formations suivies (0-6)"
     )
     nombre_employee_sous_responsabilite: int = Field(
-        ..., ge=0, description="Nombre d'employés sous responsabilité"
+        default=1,
+        ge=1,
+        le=1,
+        description="Nombre d'employés sous responsabilité (fixe: 1)",
     )
     distance_domicile_travail: int = Field(
-        ..., ge=0, le=50, description="Distance domicile-travail en km"
+        ..., ge=1, le=30, description="Distance domicile-travail en km (1-30)"
     )
     niveau_education: int = Field(
         ..., ge=1, le=5, description="Niveau d'éducation (1-5)"
@@ -101,7 +104,7 @@ class EmployeeInput(BaseModel):
         ..., ge=0, description="Années depuis la dernière promotion"
     )
     annes_sous_responsable_actuel: int = Field(
-        ..., ge=0, description="Années sous le responsable actuel"
+        ..., ge=0, le=17, description="Années sous le responsable actuel (0-17)"
     )
 
     # === Données EVALUATION ===
@@ -109,7 +112,7 @@ class EmployeeInput(BaseModel):
         ..., ge=1, le=4, description="Satisfaction environnement (1-4)"
     )
     note_evaluation_precedente: int = Field(
-        ..., ge=1, le=5, description="Note évaluation précédente (1-5)"
+        ..., ge=1, le=4, description="Note évaluation précédente (1-4)"
     )
     niveau_hierarchique_poste: int = Field(
         ..., ge=1, le=5, description="Niveau hiérarchique (1-5)"
@@ -124,7 +127,7 @@ class EmployeeInput(BaseModel):
         ..., ge=1, le=4, description="Satisfaction équilibre pro/perso (1-4)"
     )
     note_evaluation_actuelle: int = Field(
-        ..., ge=1, le=5, description="Note évaluation actuelle (1-5)"
+        ..., ge=3, le=4, description="Note évaluation actuelle (3-4)"
     )
     heure_supplementaires: Literal["Oui", "Non"] = Field(
         ..., description="Fait des heures supplémentaires"
@@ -134,26 +137,31 @@ class EmployeeInput(BaseModel):
     )
 
     # === Données SIRH ===
-    age: int = Field(..., ge=18, le=70, description="Âge de l'employé")
+    age: int = Field(..., ge=18, le=60, description="Âge de l'employé (18-60)")
     genre: GenreEnum = Field(..., description="Genre")
-    revenu_mensuel: float = Field(..., ge=1000, description="Revenu mensuel (€)")
+    revenu_mensuel: float = Field(
+        ..., ge=1000, le=20000, description="Revenu mensuel (€) (1000-20000)"
+    )
     statut_marital: StatutMaritalEnum = Field(..., description="Statut marital")
     departement: DepartementEnum = Field(..., description="Département")
     poste: PosteEnum = Field(..., description="Intitulé du poste")
     nombre_experiences_precedentes: int = Field(
-        ..., ge=0, description="Nombre d'expériences précédentes"
+        ..., ge=0, le=9, description="Nombre d'expériences précédentes (0-9)"
     )
     nombre_heures_travailless: int = Field(
-        ..., ge=35, le=80, description="Nombre d'heures travaillées par semaine"
+        default=80,
+        ge=80,
+        le=80,
+        description="Nombre d'heures travaillées par semaine (fixe: 80)",
     )
     annee_experience_totale: int = Field(
         ..., ge=0, description="Années d'expérience totale"
     )
     annees_dans_l_entreprise: int = Field(
-        ..., ge=0, description="Années dans l'entreprise"
+        ..., ge=0, le=40, description="Années dans l'entreprise (0-40)"
     )
     annees_dans_le_poste_actuel: int = Field(
-        ..., ge=0, description="Années dans le poste actuel"
+        ..., ge=0, le=18, description="Années dans le poste actuel (0-18)"
     )
 
     @field_validator("augementation_salaire_precedente")