Update src/streamlit_app.py

src/streamlit_app.py

@@ -1,23 +1,19 @@
-import altair as alt
-import numpy as np
-import pandas as pd
 import streamlit as st
-import os
-import matplotlib.pyplot as plt
+import pandas as pd
 import boto3
-import seaborn as sns
-import plotly.express as px
-from datetime import datetime, timedelta
+import os
+from datetime import datetime
 from dotenv import load_dotenv
+import plotly.express as px
 
 load_dotenv()
 
+# --- CONFIG S3 ---
 AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
 AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")
 AWS_DEFAULT_REGION = os.getenv("AWS_DEFAULT_REGION", "eu-west-3")
 S3_BUCKET_NAME = os.getenv("S3_BUCKET_NAME")
 
-
 s3 = None
 if AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY and S3_BUCKET_NAME:
     s3 = boto3.client(
@@ -27,163 +23,113 @@ if AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY and S3_BUCKET_NAME:
         region_name=AWS_DEFAULT_REGION
     )
 
-# CONFIGURATION DE LA PAGE
-
-st.set_page_config(
-    page_title="Dashboard de détection de fraude",
-    page_icon="🚨",
-    layout="wide"
-)
-
-local_path = "/tmp/fraudTest.csv"
-s3.download_file(os.getenv("S3_BUCKET_NAME"), "data/fraudTest.csv", local_path)
-
-df = pd.read_csv(local_path)
-
-# TITRE & INTRODUCTION
-
-st.title("🚨 Dashboard de suivi du projet de détection automatisée des paiements frauduleux")
-
-st.markdown(
-    """
-    <div style='font-size:18px; line-height:1.6;'>
-    <b>Bienvenue sur le dashboard de suivi du projet de détection automatisée des fraudes bancaires</b>.<br><br>
-
-    Ce dashboard a pour objectif de présenter le contexte et les chiffres relatifs aux fraudes, ainsi que
-    la démarche de détection automatisée mise en place.<br><br>
-
-    📊 En janvier 2025, le <b>Sous-Gouverneur de la Banque de France</b> a présenté les chiffres officiels 
-    de la fraude sur le premier semestre 2024.  
-    👉 Consultez le rapport complet <a href='https://www.banque-france.fr/fr/interventions-gouverneur/presentation-des-statistiques-de-fraude-au-1er-semestre-2024-par-losmp#:~:text=Dans%20ce%20contexte%20de%20progression,fraude%20au%20premier%20semestre%202023' target='_blank' style='color:#1E90FF; text-decoration:none;'>ici</a>.<br><br>
-
-    <b>Chiffres clés :</b>
-    <ul>
-        <li>Montant total fraudé : <b>584,6 millions d'euros</b> sur le premier semestre</li>
-        <li>Part des paiements et retraits par carte : <b>43%</b> des montants totaux fraudés (en légère progression par rapport à 2023 : 41,5%)</li>
-        <li>Tendance générale : légère baisse de <b>1%</b> par rapport à l’année précédente</li>
-    </ul>
-
-    L'enjeu est crucial pour les institutions financières afin de protéger leurs clients
-    et de minimiser les pertes financières liées à ces activités frauduleuses.<br><br>
-
-    Ce projet vise à développer un système de détection automatisée des paiements frauduleux
-    afin de proposer des solutions complémentaires aux systèmes existants et ce tableau de bord vous permettra de suivre la démarche initiée
-    et de visualiser les paiements frauduleux au fil du temps.
-    </div>
-    """,
-    unsafe_allow_html=True
-)
-
-st.markdown("---")
-st.subheader("Les choix d'architecture du projet :")
-
-
-local_img_path = os.path.join(os.getcwd(), "architecture.png")
-image_displayed = False
-
-if s3:
-    try:
-        
-        temp_path = "/tmp/architecture.png"
-        s3.download_file(S3_BUCKET_NAME, "images/architecture.png", temp_path)
-        st.image(temp_path, use_container_width=False)
-        image_displayed = True
-    except Exception as e:
-        st.warning(f"Impossible de récupérer l'image depuis S3 : {e}")
-
-if not image_displayed:
-    # fallback local
-    if os.path.exists(local_img_path):
-        st.image(local_img_path, use_container_width=False)
+# --- CACHE POUR LES DONNÉES ---
+@st.cache_data(ttl=600)
+def load_csv_from_s3(s3_client, bucket_name, key):
+    local_path = f"/tmp/{key.split('/')[-1]}"
+    s3_client.download_file(bucket_name, key, local_path)
+    return pd.read_csv(local_path)
+
+# --- CACHE POUR LES IMAGES ---
+@st.cache_resource(ttl=3600)
+def load_image_from_s3(s3_client, bucket_name, key):
+    local_path = f"/tmp/{key.split('/')[-1]}"
+    s3_client.download_file(bucket_name, key, local_path)
+    return local_path
+
+# --- CONFIG PAGE ---
+st.set_page_config(page_title="Dashboard Fraude", page_icon="🚨", layout="wide")
+
+# --- SIDEBAR NAVIGATION ---
+pages = ["Accueil", "Dataset principal", "Reporting S3"]
+selected_page = st.sidebar.radio("Navigation", pages)
+
+# --- PAGE 1 : ACCUEIL / ARCHITECTURE ---
+if selected_page == "Accueil":
+    st.title("🚨 Dashboard de suivi du projet de détection de fraude")
+    st.markdown(
+        """
+        Bienvenue sur le dashboard de suivi du projet de détection automatisée des fraudes bancaires.
+        """
+    )
+    st.markdown("### Architecture du projet")
+    
+    # Affichage image architecture
+    architecture_img = None
+    if s3:
+        try:
+            architecture_img = load_image_from_s3(s3, S3_BUCKET_NAME, "images/architecture.png")
+        except:
+            st.warning("Impossible de charger l'image depuis S3")
+    
+    if architecture_img:
+        st.image(architecture_img, use_container_width=False)
     else:
-        st.error("Image architecture introuvable ! Placez-la en local ou sur S3.")
-
-st.markdown("---")
-
-st.markdown(
-    """
-### Les principes clés de l'architecture mise en place :
-
-- **Entraînement initial du modèle** sur le dataset fourni par Jedha, permettant de disposer d'un modèle de base fiable.
-- **Stockage et gestion des modèles** avec MLflow et AWS S3, garantissant la traçabilité et la persistance des artefacts.
-- **Déploiement du modèle via FastAPI**, offrant des prédictions en temps réel pour les transactions entrantes.
-- **Conteneurisation avec Docker**, permettant d'isoler l'environnement, garantir la reproductibilité et faciliter le déploiement du modèle sur différents environnements (local, cloud, Hugging Face Spaces, etc.).
-- **Orchestration avec Airflow**, exécutant les tâches de prédiction 5 fois par minute pour assurer une détection quasi instantanée.
-- **Stockage des prédictions et des requêtes API** dans une base de données PostgreSQL, permettant un audit et une analyse historique.
-- **Notification quotidienne par email** des fraudes détectées la veille, fournissant aux équipes métier un résumé et les transactions concernées.
-"""
-)
-
-st.markdown("---")
-
-st.subheader(
-    "Le dataset utilisé pour entraîner le modèle :"
-)
-
-st.subheader("Aperçu des données")
-st.dataframe(df.head(5))
-
-st.subheader("Répartition des paiements frauduleux")
-
-# --- Calculs ---
-fraud_counts = df["is_fraud"].value_counts()
-fraud_percent = df["is_fraud"].value_counts(normalize=True) * 100
-
-# Préparer le DataFrame pour Plotly
-df_plot = pd.DataFrame({
-    "Fraude": fraud_counts.index.astype(str),
-    "Nombre": fraud_counts.values,
-    "Pourcentage": fraud_percent.values
-})
-
-# --- Couleurs personnalisées : bleu pour 0, rouge pour 1 ---
-color_map = {'0': 'royalblue', '1': 'crimson'}
-
-# --- Graphique interactif ---
-fig = px.pie(
-    df_plot,
-    names='Fraude',
-    values='Nombre',
-    color='Fraude',
-    color_discrete_map=color_map,
-)
-
-# Ajouter hover template avec valeurs absolues et pourcentage
-fig.update_traces(
-    textinfo='label+percent+value',  # label + pourcentage + nombre absolu
-    pull=[0.05]*len(df_plot),
-    hovertemplate="<b>%{label}</b><br>Nombre : %{value}<br>Pourcentage : %{percent:.2%}"
-)
-
-fig.update_layout(width=500, height=500, margin=dict(l=20, r=20, t=40, b=20))
-
-# Affichage dans Streamlit
-st.plotly_chart(fig, use_container_width=True)
-
-fraud_rate = df["is_fraud"].mean() * 100
-st.markdown(f"👉 Comme vous pouvez le constater, le dataset a un taux de fraudes de **{fraud_rate:.2f}%**")
-
-st.markdown("---")
-
-st.subheader("Les principales features prises en compte par le modèle")
-
-local_img_path = os.path.join(os.getcwd(), "features.png")
-image_displayed = False
-
-if s3:
+        st.info("Placez `architecture.png` en local ou sur S3 pour affichage.")
+
+    st.markdown("---")
+    st.markdown("""
+    **Principes clés de l'architecture :**
+    - Entraînement initial du modèle sur dataset de base
+    - Stockage des modèles avec MLflow et S3
+    - Déploiement via FastAPI
+    - Orchestration avec Airflow
+    - Notifications email quotidiennes
+    """)
+
+# --- PAGE 2 : DATASET PRINCIPAL ---
+elif selected_page == "Dataset principal":
+    st.header("Exploration du dataset principal")
+    
+    # Chargement dataset
     try:
-        
-        temp_path = "/tmp/features.png"
-        s3.download_file(S3_BUCKET_NAME, "images/features.png", temp_path)
-        st.image(temp_path, use_container_width=False)
-        image_displayed = True
+        df = load_csv_from_s3(s3, S3_BUCKET_NAME, "data/fraudTest.csv")
+        st.subheader("Aperçu des données")
+        st.dataframe(df.head(5))
+
+        # Répartition des paiements frauduleux
+        fraud_counts = df["is_fraud"].value_counts()
+        fraud_percent = df["is_fraud"].value_counts(normalize=True) * 100
+        df_plot = pd.DataFrame({
+            "Fraude": fraud_counts.index.astype(str),
+            "Nombre": fraud_counts.values,
+            "Pourcentage": fraud_percent.values
+        })
+        color_map = {'0': 'royalblue', '1': 'crimson'}
+        fig = px.pie(
+            df_plot, names='Fraude', values='Nombre', color='Fraude', color_discrete_map=color_map
+        )
+        fig.update_traces(textinfo='label+percent+value', pull=[0.05]*len(df_plot))
+        st.plotly_chart(fig, use_container_width=True)
+        st.markdown(f"👉 Taux de fraude : **{df['is_fraud'].mean()*100:.2f}%**")
+
+        # Image des features principales
+        features_img = None
+        if s3:
+            try:
+                features_img = load_image_from_s3(s3, S3_BUCKET_NAME, "images/features.png")
+            except:
+                st.warning("Impossible de charger l'image features depuis S3")
+        if features_img:
+            st.image(features_img, use_container_width=False)
     except Exception as e:
-        st.warning(f"Impossible de récupérer l'image depuis S3 : {e}")
-
-if not image_displayed:
-    # fallback local
-    if os.path.exists(local_img_path):
-        st.image(local_img_path, use_container_width=False)
-    else:
-        st.error("Image features introuvable ! Placez-la en local ou sur S3.")
-
+        st.error(f"Erreur lors du chargement du dataset : {e}")
+
+# --- PAGE 3 : REPORTING S3 ---
+elif selected_page == "Reporting S3":
+    st.header("Reporting sur un dataset S3")
+    st.info("Téléversez le dataset ou renseignez le chemin S3")
+
+    s3_key_input = st.text_input("Nom du fichier dans S3 (ex: data/transactions.csv)")
+    if s3_key_input:
+        try:
+            df_s3 = load_csv_from_s3(s3, S3_BUCKET_NAME, s3_key_input)
+            st.subheader("Aperçu des données")
+            st.dataframe(df_s3.head(5))
+
+            # Exemple simple : histogramme des montants
+            if "amt" in df_s3.columns:
+                fig = px.histogram(df_s3, x="amt", nbins=50, title="Distribution des montants")
+                st.plotly_chart(fig, use_container_width=True)
+        except Exception as e:
+            st.error(f"Impossible de charger le fichier S3 : {e}")