Update src/streamlit_app.py

src/streamlit_app.py

@@ -9,13 +9,15 @@ import plotly.graph_objects as go
 import umap
 import shap
 import logging
-import os
 import seaborn as sns
 import matplotlib.pyplot as plt
 from sklearn.decomposition import PCA
 from sklearn.cluster import KMeans
 from sklearn.ensemble import RandomForestClassifier
+from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import warnings
+from datetime import datetime
+import io
 
 warnings.filterwarnings('ignore')
 
@@ -23,7 +25,7 @@ warnings.filterwarnings('ignore')
 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
 
 # Répertoire de sortie
-output_dir = 'src/omics_analysis_output'
+output_dir = 'omics_analysis_output'
 os.makedirs(output_dir, exist_ok=True)
 
 # Biomarqueurs IRC
@@ -88,81 +90,155 @@ class OmicsVAE(nn.Module):
         class_logits = self.fc_classify(z)
         return outputs, z, mu, log_var, class_logits
 
+# Fonction pour générer des recommandations avec BioBERT
+def generate_recommendation_with_biobert(patient_data, patient_id, biomarkers, tokenizer, model):
+    # Structurer les données patient en texte
+    text = f"""
+    Patient: {patient_id}, {patient_data['sex']}, {patient_data['age']} ans.
+    Score de risque IRC: {patient_data['risk_score']:.1f}%.
+    Antécédents familiaux: IRC ({'Oui' if patient_data['family_history_irc'] else 'Non'}),
+    Diabète ({'Oui' if patient_data['family_history_diabetes'] else 'Non'}),
+    Hypertension ({'Oui' if patient_data['family_history_hypertension'] else 'Non'}).
+    Comorbidités: Diabète ({'Oui' if patient_data['diabetes'] else 'Non'}),
+    Hypertension ({'Oui' if patient_data['hypertension'] else 'Non'}).
+    Biomarqueurs clés: {', '.join(biomarkers[:3])}.
+    """
+    
+    # Tokeniser le texte
+    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512)
+    
+    # Simuler une classification avec BioBERT
+    with torch.no_grad():
+        outputs = model(**inputs)
+        logits = outputs.logits
+        prediction = torch.argmax(logits, dim=1).item()
+    
+    # Mapper la prédiction à une recommandation (simulant un fine-tuning)
+    if prediction == 0:  # Risque faible
+        advice = f"""
+        **Patient {patient_id} : Risque Faible ({patient_data['risk_score']:.1f}%)**
+        - **État** : Faible probabilité de progression vers l'IRC.
+        - **Recommandations** :
+          - Adopter une alimentation équilibrée, faible en sel (<2g/jour), riche en fruits et légumes.
+          - Maintenir une activité physique modérée (30 min/jour, 5 jours/semaine).
+          - Surveiller les biomarqueurs : {', '.join(biomarkers[:2])}.
+          - Hydratation adéquate (1,5-2L d’eau/jour).
+        - **Suivi** : Bilan rénal annuel.
+        """
+    elif prediction == 1:  # Risque modéré
+        advice = f"""
+        **Patient {patient_id} : Risque Modéré ({patient_data['risk_score']:.1f}%)**
+        - **État** : Risque intermédiaire de progression vers l'IRC.
+        - **Recommandations** :
+          - Consulter un néphrologue pour évaluer {', '.join(biomarkers[:2])}.
+          - Régime alimentaire strict : réduire les protéines animales, sodium (<1,5g/jour).
+          - Contrôler la pression artérielle (<130/80 mmHg) et la glycémie si diabétique.
+          - Éviter les AINS sauf prescription médicale.
+        - **Suivi** : Bilan rénal trimestriel.
+        """
+    else:  # Risque élevé
+        advice = f"""
+        **Patient {patient_id} : Risque Élevé ({patient_data['risk_score']:.1f}%)**
+        - **État** : Forte probabilité de progression vers l'IRC.
+        - **Recommandations** :
+          - Consultation urgente avec un néphrologue.
+          - Analyse des biomarqueurs : {', '.join(biomarkers[:3])}.
+          - Régime rénal strict : faible en potassium, phosphore, sodium.
+          - Envisager une thérapie (ex. : inhibiteurs de l’ECA, diurétiques).
+          - Surveillance hebdomadaire de la créatinine et du DFG.
+        - **Suivi** : Plan thérapeutique dans 1 semaine.
+        """
+    advice += "\n**Note** : Ces recommandations doivent être validées par un médecin."
+    return advice
+
 # Configuration de Streamlit
-st.set_page_config(page_title="Analyse Multi-Omique", layout="wide")
+st.set_page_config(page_title="Analyse Multi-Omique IRC", layout="wide")
 st.markdown("""
     <style>
-    .main {background-color: #1e1e1e; color: #ffffff;}
-    .stButton>button {background-color: #4CAF50; color: white; border-radius: 10px;}
-    .stSelectbox, .stFileUploader {background-color: #2e2e2e; color: #ffffff;}
-    .sidebar .sidebar-content {background-color: #2e2e2e;}
+    .main {background-color: #1e1e1e; color: #ffffff; font-family: 'Roboto', sans-serif;}
+    .stButton>button {
+        background-color: #4CAF50; color: white; border-radius: 12px; padding: 12px 24px;
+        transition: all 0.3s ease; border: none; font-weight: bold; font-size: 16px;
+    }
+    .stButton>button:hover {background-color: #45a049; transform: scale(1.05);}
+    .stSelectbox, .stFileUploader, .stTextInput, .stNumberInput, .stCheckbox {
+        background-color: #2e2e2e; color: #ffffff; border-radius: 8px; padding: 8px;
+    }
+    .sidebar .sidebar-content {background-color: #2e2e2e; color: #ffffff;}
+    .stMarkdown h1, h2, h3 {color: #4CAF50; font-weight: bold;}
+    .chat-message {padding: 12px; border-radius: 10px; margin-bottom: 12px; max-width: 80%;}
+    .user-message {background-color: #4CAF50; color: white; margin-left: 20%;}
+    .bot-message {background-color: #333333; color: white; margin-right: 20%;}
+    .stPlotlyChart {border-radius: 10px; overflow: hidden;}
     </style>
 """, unsafe_allow_html=True)
 
-st.title("Tableau de Bord d'Analyse Multi-Omique")
-st.markdown("Une interface intuitive pour explorer les données omiques, visualiser les résultats et interpréter les biomarqueurs liés à l'IRC.")
+st.title("Plateforme d’Analyse Multi-Omique pour l’IRC")
+st.markdown("""
+    **Développée par Ngoue David, Master 2 Intelligence Artificielle et Big Data**  
+    Hôpital Général de Yaoundé | Approche innovante pour le suivi et la thérapie personnalisée de l’insuffisance rénale chronique.
+""")
 
 # Menu latéral
 st.sidebar.header("Navigation")
-page = st.sidebar.radio("Choisir une étape", [
-    "Accueil",
+page = st.sidebar.radio("Étapes du Projet", [
+    "Présentation",
     "Chargement des Données",
     "Analyse Exploratoire",
-    "Visualisation du Clustering",
+    "Clustering",
     "Scores de Risque",
     "Analyse SHAP",
-    "Résumé des Résultats"
+    "Conseiller Médical",
+    "Résumé"
 ])
 
-# Page d'accueil
-if page == "Accueil":
-    st.header("Bienvenue dans l'Analyse Multi-Omique")
+# Chargement de BioBERT
+@st.cache_resource
+def load_biobert():
+    tokenizer = AutoTokenizer.from_pretrained("dmis-lab/biobert-v1.1")
+    model = AutoModelForSequenceClassification.from_pretrained("dmis-lab/biobert-v1.1", num_labels=3)
+    return tokenizer, model
+
+biobert_tokenizer, biobert_model = load_biobert()
+
+# Présentation
+if page == "Présentation":
+    st.header("Contexte et Innovation")
     st.markdown("""
-        Ce tableau de bord permet d'explorer des données omiques (génomique, transcriptomique, protéomique, métabolomique) pour identifier les biomarqueurs de l'insuffisance rénale chronique (IRC). 
-        - **Chargement des données** : Importez vos fichiers CSV.
-        - **Analyse exploratoire** : Visualisez les corrélations et projections PCA.
-        - **Clustering** : Identifiez des groupes de patients via UMAP et KMeans.
-        - **Scores de risque** : Évaluez la probabilité de progression de l'IRC.
-        - **Analyse SHAP** : Interprétez l'importance des biomarqueurs.
-        - **Résumé** : Consultez les résultats finaux.
-        
-        Naviguez via le menu latéral pour commencer.
+        **Projet : Thérapie Personnalisée de l’IRC via une Approche Multi-Omique**  
+        Réalisé par Ngoue David dans le cadre du Master 2 Intelligence Artificielle et Big Data, ce projet ambitionne de transformer la gestion de l’insuffisance rénale chronique (IRC) à l’Hôpital Général de Yaoundé. En exploitant des données multi-omiques (génomique, transcriptomique, protéomique, métabolomique) à travers une architecture de transformers hybrides (OmicsVAE), nous proposons :
+        - **Prédiction précise** des risques de progression de l’IRC.
+        - **Thérapies sur mesure** basées sur les profils moléculaires des patients.
+        - **Suivi optimisé** grâce à un conseiller médical virtuel intelligent basé sur BioBERT.
+
+        **Impact** : Cette solution renforce la médecine de précision au Cameroun, améliore les résultats cliniques et réduit les coûts pour les patients atteints d’IRC.  
+        **Explorez** les analyses et interagissez avec le conseiller médical via le menu latéral.
     """)
 
 # Chargement des Données
 elif page == "Chargement des Données":
-    st.header("Chargement des Données")
-    st.markdown("Chargez les fichiers CSV omiques et le modèle VAE pré-entraîné. Les fichiers doivent inclure une colonne 'Patient_ID' et 'Status'.")
+    st.header("Chargement des Données et du Modèle")
+    st.markdown("Importez les fichiers omiques et le modèle VAE pré-entraîné pour initialiser l’analyse.")
 
-    # Chargement des fichiers
     uploaded_files = {}
     omics_types = ['génomique', 'transcriptomique', 'protéomique', 'métabolomique']
-    file_paths = {
-        'génomique': 'genomic_data.csv',
-        'transcriptomique': 'transcriptomic_data.csv',
-        'protéomique': 'proteomic_data.csv',
-        'métabolomique': 'metabolomic_data.csv'
-    }
     for omic in omics_types:
-        uploaded_file = st.file_uploader(f"Charger les données {omic} (CSV)", type="csv", key=omic)
+        uploaded_file = st.file_uploader(f"Données {omic} (CSV)", type="csv", key=omic)
         if uploaded_file:
-            with open(file_paths[omic], 'wb') as f:
-                f.write(uploaded_file.getvalue())
+            uploaded_files[omic] = uploaded_file
 
-    # Chargement du modèle
-    model_file = st.file_uploader("Charger le modèle VAE pré-entraîné (PTH)", type="pth")
+    model_file = st.file_uploader("Modèle VAE (PTH)", type="pth")
     if model_file:
         with open(os.path.join(output_dir, 'omics_vae_best_hyperparams.pth'), 'wb') as f:
             f.write(model_file.getvalue())
 
-    if st.button("Charger et Initialiser"):
+    if st.button("Initialiser l’Analyse") and len(uploaded_files) == len(omics_types) and model_file:
         try:
-            # Chargement des données
             data_dict = {}
-            for omic, path in file_paths.items():
-                df = pd.read_csv(path, index_col='Patient_ID')
+            for omic, file in uploaded_files.items():
+                df = pd.read_csv(file, index_col='Patient_ID')
                 data_dict[omic] = df.drop(columns=['Status'])
-            labels = pd.read_csv(list(file_paths.values())[0], index_col='Patient_ID')['Status']
+            labels = pd.read_csv(list(uploaded_files.values())[0], index_col='Patient_ID')['Status']
             le = LabelEncoder()
             encoded_labels = pd.Series(le.fit_transform(labels), index=labels.index, name='Status')
             common_samples = data_dict['génomique'].index
@@ -174,7 +250,6 @@ elif page == "Chargement des Données":
             st.session_state['label_encoder'] = le
             st.session_state['common_samples'] = common_samples
 
-            # Chargement du modèle
             input_dims = [data_dict[omic].shape[1] for omic in data_dict]
             model = OmicsVAE(
                 input_dims=input_dims,
@@ -187,22 +262,21 @@ elif page == "Chargement des Données":
             st.session_state['input_dims'] = input_dims
             st.success("Données et modèle chargés avec succès !")
         except Exception as e:
-            st.error(f"Erreur lors du chargement : {str(e)}")
+            st.error(f"Erreur : {str(e)}")
 
 # Analyse Exploratoire
 elif page == "Analyse Exploratoire":
     st.header("Analyse Exploratoire des Données")
     if 'data_dict' not in st.session_state:
-        st.warning("Veuillez charger les données d'abord.")
+        st.warning("Chargez les données d'abord.")
     else:
         data_dict = st.session_state['data_dict']
         labels = st.session_state['labels']
-        omic = st.selectbox("Choisir le type omique", list(data_dict.keys()))
+        omic = st.selectbox("Type omique", list(data_dict.keys()), help="Sélectionnez une catégorie omique à explorer")
         biomarkers = [col for col in data_dict[omic].columns if col in irc_biomarkers]
 
-        # Matrice de corrélation
         if biomarkers:
-            st.subheader(f"Matrice de Corrélation des Biomarqueurs ({omic})")
+            st.subheader(f"Matrice de Corrélation ({omic})")
             corr_matrix = data_dict[omic][biomarkers].corr()
             fig = go.Figure(data=go.Heatmap(
                 z=corr_matrix.values,
@@ -217,7 +291,6 @@ elif page == "Analyse Exploratoire":
             fig.update_layout(title=f'Matrice de Corrélation ({omic})', template='plotly_dark')
             st.plotly_chart(fig, use_container_width=True)
 
-        # Projection PCA 3D
         st.subheader(f"Projection PCA 3D ({omic})")
         pca = PCA(n_components=3)
         pca_result = pca.fit_transform(data_dict[omic])
@@ -239,17 +312,17 @@ elif page == "Analyse Exploratoire":
         fig.update_traces(marker=dict(size=5))
         st.plotly_chart(fig, use_container_width=True)
 
-# Visualisation du Clustering
-elif page == "Visualisation du Clustering":
-    st.header("Visualisation du Clustering")
+# Clustering
+elif page == "Clustering":
+    st.header("Analyse de Clustering")
     if 'data_dict' not in st.session_state:
-        st.warning("Veuillez charger les données d'abord.")
+        st.warning("Chargez les données d'abord.")
     else:
         data_dict = st.session_state['data_dict']
         labels = st.session_state['labels']
         label_encoder = st.session_state['label_encoder']
-        n_clusters = st.slider("Nombre de clusters", 2, 10, 5, help="Choisissez le nombre de clusters pour KMeans")
-        if st.button("Lancer le Clustering"):
+        n_clusters = st.slider("Nombre de clusters", 2, 10, 5, help="Ajustez le nombre de clusters pour KMeans")
+        if st.button("Effectuer le Clustering"):
             combined_data = pd.concat([data_dict[omic] for omic in data_dict], axis=1)
             kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10)
             umap_reducer = umap.UMAP(n_components=2, n_neighbors=15, min_dist=0.1, random_state=42)
@@ -261,7 +334,6 @@ elif page == "Visualisation du Clustering":
             st.session_state['kmeans'] = kmeans
             st.session_state['umap_embedding'] = umap_embedding
 
-            # Visualisation
             fig = px.scatter(
                 umap_df, x='UMAP1', y='UMAP2', color='Cluster', symbol='Status',
                 title='Projection UMAP avec Clusters KMeans',
@@ -274,9 +346,9 @@ elif page == "Visualisation du Clustering":
 
 # Scores de Risque
 elif page == "Scores de Risque":
-    st.header("Visualisation des Scores de Risque")
+    st.header("Scores de Risque IRC")
     if 'umap_df' not in st.session_state or 'data_dict' not in st.session_state:
-        st.warning("Veuillez effectuer le clustering et charger les données d'abord.")
+        st.warning("Effectuez le clustering et chargez les données d'abord.")
     else:
         umap_df = st.session_state['umap_df']
         data_dict = st.session_state['data_dict']
@@ -284,8 +356,8 @@ elif page == "Scores de Risque":
         label_encoder = st.session_state['label_encoder']
         kmeans = st.session_state['kmeans']
         umap_embedding = st.session_state['umap_embedding']
-        
-        if st.button("Calculer les Scores de Risque"):
+
+        if st.button("Calculer les Scores"):
             cluster_centers = kmeans.cluster_centers_
             distances = np.zeros(len(umap_embedding))
             for i, emb in enumerate(umap_embedding):
@@ -308,7 +380,6 @@ elif page == "Scores de Risque":
             umap_df['Score de Risque (%)'] = final_risk
             st.session_state['umap_df'] = umap_df
 
-            # Visualisation
             fig = px.scatter(
                 umap_df, x='UMAP1', y='UMAP2', color='Score de Risque (%)', symbol='Status',
                 title='Projection UMAP avec Scores de Risque IRC (%)',
@@ -321,22 +392,22 @@ elif page == "Scores de Risque":
 
 # Analyse SHAP
 elif page == "Analyse SHAP":
-    st.header("Analyse SHAP")
+    st.header("Analyse SHAP des Biomarqueurs")
     if 'model' not in st.session_state or 'data_dict' not in st.session_state:
-        st.warning("Veuillez charger le modèle et les données d'abord.")
+        st.warning("Chargez le modèle et les données d'abord.")
     else:
         model = st.session_state['model']
         data_dict = st.session_state['data_dict']
         input_dims = st.session_state['input_dims']
         combined_data = pd.concat([data_dict[omic] for omic in data_dict], axis=1)
         feature_names = sum([data_dict[omic].columns.tolist() for omic in data_dict], [])
-        
-        if st.button("Lancer l'Analyse SHAP"):
+
+        if st.button("Lancer l’Analyse SHAP"):
             device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
             X_concat = combined_data.values
             n_samples = min(100, X_concat.shape[0])
             X_subset = X_concat[:n_samples]
-            
+
             class VAEWrapper:
                 def __init__(self, model, device):
                     self.model = model
@@ -350,37 +421,73 @@ elif page == "Analyse SHAP":
                     with torch.no_grad():
                         _, z, _, _, _ = self.model(X_tensors)
                     return torch.norm(z, dim=1).cpu().numpy()
-            
+
             explainer = shap.KernelExplainer(VAEWrapper(model, device).predict, X_subset)
             shap_values = explainer.shap_values(X_subset, nsamples=100)
             shap_importance = pd.DataFrame({
                 'Biomarqueur': feature_names[:len(np.mean(np.abs(shap_values[0]), axis=0))],
                 'Importance SHAP': np.mean(np.abs(shap_values[0]), axis=0)
             }).sort_values('Importance SHAP', ascending=False)
-            
-            # Visualisation
+
+            # Afficher le graphique directement sans sauvegarde
             fig, ax = plt.subplots(figsize=(12, 8))
             sns.barplot(data=shap_importance.head(20), x='Importance SHAP', y='Biomarqueur', palette='Set2')
             plt.title('Top 20 Biomarqueurs par Importance SHAP')
             st.pyplot(fig)
             plt.close()
-            
-            st.subheader("Biomarqueurs Importants")
+
+            st.subheader("Biomarqueurs Clés")
             st.dataframe(shap_importance.head(20))
 
-# Résumé des Résultats
-elif page == "Résumé des Résultats":
+# Conseiller Médical
+elif page == "Conseiller Médical":
+    st.header("Conseiller Médical Virtuel")
+    st.markdown("Interagissez avec notre assistant basé sur BioBERT pour obtenir des recommandations personnalisées.")
+
+    if 'umap_df' not in st.session_state:
+        st.warning("Calculez les scores de risque d'abord.")
+    else:
+        umap_df = st.session_state['umap_df']
+        st.subheader("Informations du Patient")
+        with st.form("patient_form"):
+            patient_id = st.text_input("ID du Patient", help="Ex. Patient_001")
+            age = st.number_input("Âge", min_value=18, max_value=120, value=30)
+            sex = st.selectbox("Sexe", ["Homme", "Femme"])
+            family_history_irc = st.checkbox("Antécédents familiaux d’IRC")
+            family_history_diabetes = st.checkbox("Antécédents familiaux de diabète")
+            family_history_hypertension = st.checkbox("Antécédents familiaux d’hypertension")
+            diabetes = st.checkbox("Diabète actuel")
+            hypertension = st.checkbox("Hypertension actuelle")
+            submitted = st.form_submit_button("Soumettre")
+
+        if submitted and patient_id in umap_df.index:
+            patient_data = {
+                'risk_score': umap_df.loc[patient_id, 'Score de Risque (%)'],
+                'age': age,
+                'sex': sex,
+                'family_history_irc': family_history_irc,
+                'family_history_diabetes': family_history_diabetes,
+                'family_history_hypertension': family_history_hypertension,
+                'diabetes': diabetes,
+                'hypertension': hypertension
+            }
+            advice = generate_recommendation_with_biobert(patient_data, patient_id, irc_biomarkers, biobert_tokenizer, biobert_model)
+            st.markdown(f"<div class='bot-message'>{advice}</div>", unsafe_allow_html=True)
+        elif submitted:
+            st.error("ID du patient invalide.")
+
+# Résumé
+elif page == "Résumé":
     st.header("Résumé des Résultats")
     if 'umap_df' not in st.session_state:
-        st.warning("Veuillez compléter les étapes précédentes pour voir les résultats.")
+        st.warning("Complétez les étapes précédentes.")
     else:
         st.subheader("Scores de Risque")
         st.dataframe(st.session_state['umap_df'][['Cluster', 'Status', 'Score de Risque (%)']])
-        st.subheader("Téléchargement")
         csv = st.session_state['umap_df'].to_csv()
         st.download_button(
             label="Télécharger les Résultats (CSV)",
             data=csv,
-            file_name="resultats_irc.csv",
+            file_name=f"resultats_irc_{datetime.now().strftime('%Y%m%d')}.csv",
             mime="text/csv"
         )