correction

RAG_PDF_WEB.py

@@ -13,6 +13,7 @@ from langchain_community.document_loaders import WebBaseLoader
 import os
 
 from session import set_rag
+from partie_prenante_carte import complete_and_verify_url
 
 def get_docs_from_website(urls):
     loader = WebBaseLoader(urls, header_template={
@@ -71,7 +72,13 @@ def get_conversation_chain(vectorstore):
     )
     return rag_chain
 
+def verify_and_complete_urls(urls):
+    for i in range(len(urls)):
+        is_valid, urls[i] = complete_and_verify_url(urls[i])
+    return urls
+
 def rag_pdf_web():
+
     load_dotenv()
     st.header("INDIQUEZ VOS PAGES WEB ET/OU DOCUMENTS D’ENTREPRISE POUR AUDITER LE CONTENU RSE")
     
@@ -86,134 +93,142 @@ def rag_pdf_web():
         url3 = st.text_input("URL 3")
         # Process the URLs
         sous_options = st.radio("Choisissez votre sous-section", ("Ambition, Vision, Missions, Valeurs", "3 piliers de la démarche RSE"))
-        if st.button("Process"):
-            with st.spinner("Processing..."):
-                #get text from the website
-                urls = [url1, url2, url3]
-                filtered_urls = [url for url in urls if url]
-                
-                #get text from the website
-                docs = get_docs_from_website(filtered_urls)
-
-                #get text chunks
-                text_chunks = get_doc_chunks(docs)
-
-                #create vectorstore
-                vectorstore = get_vectorstore_from_docs(text_chunks)
-
-                chain = get_conversation_chain(vectorstore)
-
-                if sous_options == "Ambition, Vision, Missions, Valeurs":
-                    # question = '''voici les 4 points à génerer absolument, pas de reponse comme je ne sais pas; et n'oublie aucun des points , chaque paragraphe doit être de minimum 150 caractères:
-                    #                 \n
-                    #                 ### Ambition : \n
-                    #                 Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)
-                    #                 \n
-                    #                 ### Vision : \n
-                    #                 Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)
-                    #                 \n
-                    #                 ### Missions : \n
-                    #                 Quelles sont les missions de l'entreprise ? (répondre avec maximum 250 caractères)
-                    #                 \n
-                    #                 renvoie ta réponse en markdown et bien formatée'''
-                    # response = chain.invoke(question)
-                    # st.markdown(response.content)
-
-                    #ambition
-                    ambition = chain.invoke("Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Ambition :")
-                    st.markdown(ambition.content)
-
-                    #vision
-                    ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Vision :")
-                    st.markdown(ambition.content)
-
-                    #Mission
-                    ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Mission :")
-                    st.markdown(ambition.content)
-
-                    #values
-                    values = chain.invoke("Quels sont les valeurs de l'entreprise ? (répondre avec 10 mots maximum en bullet points)")
-                    st.markdown("### Valeurs :")
-                    st.markdown(values.content)
-                
-                elif sous_options == "3 piliers de la démarche RSE":
-                    question = '''  suggère nous les 3 piliers principaux de la démarche RSE pour cette entreprise. N'oublie aucun pilier RSE , ca doit avoir ce format :
-                                    \n
-                                    ### le titre du  pilier numero 1 \n
-                                     -la description du pilier (répondre avec maximum 250 caractères)
-                                     \n
-                                     - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
-                                     \n
-                                     ### le titre du  pilier numero 2 \n
-                                     -la description du pilier (répondre avec maximum 250 caractères)
-                                     \n
-                                     - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
-                                     \n
-                                     ### le titre du  pilier numero 3 \n
-                                     -la description du pilier (répondre avec maximum 250 caractères)
-                                     \n
-                                     - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
-                                     \n
-                                    renvoie ta réponse en markdown et bien formatée
-                                     '''
-                    response = chain.invoke(question)
-                    st.markdown(response.content)
-
+        try:
+            if st.button("Process"):
+                with st.spinner("Processing..."):
+                    #get text from the website
+                    urls = [url1, url2, url3]
+                    filtered_urls = [url for url in urls if url]
+                    
+                    #verify and complete urls
+                    filtered_urls = verify_and_complete_urls(filtered_urls)
+
+                    #get text from the website
+                    docs = get_docs_from_website(filtered_urls)
+
+                    #get text chunks
+                    text_chunks = get_doc_chunks(docs)
+
+                    #create vectorstore
+                    vectorstore = get_vectorstore_from_docs(text_chunks)
+
+                    chain = get_conversation_chain(vectorstore)
+
+                    if sous_options == "Ambition, Vision, Missions, Valeurs":
+                        # question = '''voici les 4 points à génerer absolument, pas de reponse comme je ne sais pas; et n'oublie aucun des points , chaque paragraphe doit être de minimum 150 caractères:
+                        #                 \n
+                        #                 ### Ambition : \n
+                        #                 Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)
+                        #                 \n
+                        #                 ### Vision : \n
+                        #                 Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)
+                        #                 \n
+                        #                 ### Missions : \n
+                        #                 Quelles sont les missions de l'entreprise ? (répondre avec maximum 250 caractères)
+                        #                 \n
+                        #                 renvoie ta réponse en markdown et bien formatée'''
+                        # response = chain.invoke(question)
+                        # st.markdown(response.content)
+
+                        #ambition
+                        ambition = chain.invoke("Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Ambition :")
+                        st.markdown(ambition.content)
+
+                        #vision
+                        ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Vision :")
+                        st.markdown(ambition.content)
+
+                        #Mission
+                        ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Mission :")
+                        st.markdown(ambition.content)
+
+                        #values
+                        values = chain.invoke("Quels sont les valeurs de l'entreprise ? (répondre avec 10 mots maximum en bullet points)")
+                        st.markdown("### Valeurs :")
+                        st.markdown(values.content)
+                    
+                    elif sous_options == "3 piliers de la démarche RSE":
+                        question = '''  suggère nous les 3 piliers principaux de la démarche RSE pour cette entreprise. N'oublie aucun pilier RSE , ca doit avoir ce format :
+                                        \n
+                                        ### le titre du  pilier numero 1 \n
+                                        -la description du pilier (répondre avec maximum 250 caractères)
+                                        \n
+                                        - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
+                                        \n
+                                        ### le titre du  pilier numero 2 \n
+                                        -la description du pilier (répondre avec maximum 250 caractères)
+                                        \n
+                                        - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
+                                        \n
+                                        ### le titre du  pilier numero 3 \n
+                                        -la description du pilier (répondre avec maximum 250 caractères)
+                                        \n
+                                        - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
+                                        \n
+                                        renvoie ta réponse en markdown et bien formatée
+                                        '''
+                        response = chain.invoke(question)
+                        st.markdown(response.content)
+        except Exception as e:
+            st.error(f"Une erreur s'est produite : Url non valide ou problème de connexion à internet. Veuillez réessayer. erreur:{e}")
 
     if option == "A partir de vos documents entreprise":
         pdf_docs = st.file_uploader("Upload les documents concernant la marque (maximum 3 fichiers de taille max de 5 Mo)", type="pdf", accept_multiple_files=True)
         # Process the PDF documents
         sous_options = st.radio("Choisissez votre sous-section", ("Ambition, Vision, Missions, Valeurs", "3 piliers de la démarche RSE"))
-        if st.button("Process"):
-            with st.spinner("Processing..."):
-                #get pdf text in raw format
-                raw_text = get_pdf_text(pdf_docs)
-
-                #get text chunks
-                text_chunks = get_text_chunks(raw_text)
-
-                #create vectorstore
-                vectorstore = get_vectorstore(text_chunks)
-
-                chain = get_conversation_chain(vectorstore)
-
-                if sous_options == "Ambition, Vision, Missions, Valeurs":
-
-                    #ambition
-                    ambition = chain.invoke("Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Ambition :")
-                    st.markdown(ambition.content)
-
-                    #vision
-                    ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Vision :")
-                    st.markdown(ambition.content)
-
-                    #Mission
-                    ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
-                    st.markdown("### Mission :")
-                    st.markdown(ambition.content)
-
-                    #values
-                    values = chain.invoke("Quels sont les valeurs de l'entreprise ? (répondre avec 10 mots maximum en bullet points)")
-                    st.markdown("### Valeurs :")
-                    st.markdown(values.content)
-                
-                elif sous_options == "3 piliers de la démarche RSE":
-                    question = '''  suggère nous les 3 piliers principaux de la démarche RSE pour cette entreprise. Pour chaque pilier RSE doit avoir ce format :
-                                    \n
-                                    ### le titre du ieme pilier \n
-                                     -la description du pilier (répondre avec maximum 250 caractères)
-                                     \n
-                                     - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
-                                     \n
-                                    renvoie ta réponse en markdown et bien formatée
-                                     '''
-                    response = chain.invoke(question)
-                    st.markdown(response.content)
+        try:
+            if st.button("Process"):
+                with st.spinner("Processing..."):
+                    #get pdf text in raw format
+                    raw_text = get_pdf_text(pdf_docs)
+
+                    #get text chunks
+                    text_chunks = get_text_chunks(raw_text)
+
+                    #create vectorstore
+                    vectorstore = get_vectorstore(text_chunks)
+
+                    chain = get_conversation_chain(vectorstore)
+
+                    if sous_options == "Ambition, Vision, Missions, Valeurs":
+
+                        #ambition
+                        ambition = chain.invoke("Quelle est l'ambition de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Ambition :")
+                        st.markdown(ambition.content)
+
+                        #vision
+                        ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Vision :")
+                        st.markdown(ambition.content)
+
+                        #Mission
+                        ambition = chain.invoke(" Quelle est la vision de l'entreprise ? (répondre avec maximum 250 caractères)")
+                        st.markdown("### Mission :")
+                        st.markdown(ambition.content)
+
+                        #values
+                        values = chain.invoke("Quels sont les valeurs de l'entreprise ? (répondre avec 10 mots maximum en bullet points)")
+                        st.markdown("### Valeurs :")
+                        st.markdown(values.content)
+                    
+                    elif sous_options == "3 piliers de la démarche RSE":
+                        question = '''  suggère nous les 3 piliers principaux de la démarche RSE pour cette entreprise. Pour chaque pilier RSE doit avoir ce format :
+                                        \n
+                                        ### le titre du ieme pilier \n
+                                        -la description du pilier (répondre avec maximum 250 caractères)
+                                        \n
+                                        - 2 indicateurs cibles pertinents à atteindre avec suggestion de valeur cible min, max
+                                        \n
+                                        renvoie ta réponse en markdown et bien formatée
+                                        '''
+                        response = chain.invoke(question)
+                        st.markdown(response.content)
+        except Exception as e:
+            st.error(f"Une erreur s'est produite : Url non valide ou problème de connexion à internet. Veuillez réessayer. erreur:{e}")
 
     if vectorstore and chain:
         set_rag(vectorstore, chain)

chat_with_pps.py

@@ -10,9 +10,10 @@ from download_chart import construct_plot
 load_dotenv()
 
 def format_context(partie_prenante_grouped,marque):
-    context = ""
-    for partie_prenante in partie_prenante_grouped:
-        context += f"{partie_prenante['name']} est une partie prenante de {marque} et a un pouvoir de {partie_prenante['y']}% et une influence de {partie_prenante['x']}%.\n"
+    context = "la marque est " + marque + ".\n"
+    context += f"Le nombre de parties prenantes est {len(partie_prenante_grouped)} et ils sont les suivantes:\n"
+    for i,partie_prenante in enumerate(partie_prenante_grouped):
+        context += f"{i}.{partie_prenante['name']} est une partie prenante de {marque} et a un pouvoir de {partie_prenante['y']}% et une influence de {partie_prenante['x']}%.\n"
     
     segmentation = '''
     Les parties prenantes sont segmentées en 4 catégories:
@@ -69,6 +70,7 @@ def display_chat():
             AIMessage(content="Salut, voici votre cartographie des parties prenantes. Que puis-je faire pour vous?"),
         ]
 
+    st.markdown(format_context(st.session_state['pp_grouped'],st.session_state['Nom de la marque']))
         
     # conversation
     for message in st.session_state.chat_history:
@@ -90,6 +92,7 @@ def display_chat():
             st.markdown(user_query)
 
         with st.chat_message("AI"):
+
             response = st.write_stream(get_response(user_query, st.session_state.chat_history,format_context(st.session_state['pp_grouped'],st.session_state['Nom de la marque'])))
             if "cartographie des parties prenantes" in message.content:
                     display_chart()

download_chart.py

@@ -49,7 +49,9 @@ def construct_plot():
 
     # Update layout
     fig.update_layout(
-        title="Cartographie des parties prenantes",
+        legend=dict( orientation="h", yanchor="bottom",y=1.02,title="Parties prenantes"),
+        height=600,
+        title=dict(text="Cartographie des parties prenantes", x=0.5, y=1, xanchor="center", yanchor="top"),
         xaxis=dict(title="Influence", range=[0, 100]),
         yaxis=dict(title="Pouvoir", range=[0, 100]),
         showlegend=True

high_chart.py

@@ -189,9 +189,16 @@ def test_chart():
    chart = hct.streamlit_highcharts(cd2,640) #640 is the chart height
    # if chart:
    #    st.session_state['pp_grouped'] = chart
+
+   
    
+   if st.session_state['save']:
+      st.session_state['save'] = False
+      st.session_state['pp_grouped'] = chart.copy()
    emp = st.empty()
 
+   
+
    col0, col1, col2, col3 = st.columns([1,1,1,1])
 
    if col1.button("Sauvegarder"):
@@ -206,5 +213,3 @@ def test_chart():
          st.session_state['pp_grouped'] = chart.copy()
          fig = dc.construct_plot()
          st.plotly_chart(fig)
-   
-   return chart

partie_prenante_carte.py

@@ -30,8 +30,12 @@ def get_docs_from_website(urls):
     loader = WebBaseLoader(urls, header_template={
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',
     })
-    docs = loader.load()
-    return docs
+    try:
+        docs = loader.load()
+        return docs
+    except Exception as e:
+        return None
+    
 
 def get_doc_chunks(docs):
     # Split the loaded data
@@ -93,6 +97,8 @@ def display_list_urls():
 
         # Button to delete the entry, placed in the second column
         if col2.button("❌", key=f"but{index}"):
+
+            st.session_state["save"] = True
             temp  = st.session_state['parties_prenantes'][index]
             delete_pp(temp)
             del st.session_state.urls[index]
@@ -107,6 +113,24 @@ def display_list_urls():
         else:
             emp.empty()  # Clear the placeholder if the index exceeds the list
     
+def display_list_pps():
+    for index, item in enumerate(st.session_state["pp_grouped"]):
+        emp = st.empty()
+        col1, col2 = emp.columns([7, 3])
+
+        if col2.button("❌", key=f"butp{index}"):
+
+            del st.session_state["pp_grouped"][index]
+            st.experimental_rerun()
+
+        if len(st.session_state["pp_grouped"]) > index:
+            name = st.session_state["pp_grouped"][index]["name"]
+            col1.markdown(f"{name}")
+        else:
+            emp.empty()
+
+
+                
 def extract_pp(urls,input_variables):
     template_extraction_PP = '''
     Objectif : identifiez tout les noms de marques qui sont des parties prenantes de la marque suivante pour développer un marketing de coopération (co-op marketing)
@@ -114,7 +138,7 @@ def extract_pp(urls,input_variables):
     Le nom de la marque de référence est le suivant : {BRAND_NAME}
     Son activité est la suivante : {BRAND_DESCRIPTION}
 
-    TA REPONSE DOIT ETRE SOUS FORME DE LISTE DE NOMS DE MARQUES
+    TA REPONSE DOIT ETRE SOUS FORME DE LISTE DE NOMS DE MARQUES SANS NUMEROTATION ET SEPARES PAR DES SAUTS DE LIGNE
 
     SI TU NE TROUVES PAS DE NOM DE MARQUE, REPONDS "444"
     '''
@@ -122,6 +146,9 @@ def extract_pp(urls,input_variables):
 
     docs = get_docs_from_website(urls)
 
+    if docs == None:
+        return "445"
+
     #get text chunks
     text_chunks = get_doc_chunks(docs)
 
@@ -143,35 +170,19 @@ def extract_pp(urls,input_variables):
 
     return partie_prenante
 
-def disp_vertical_slider(partie_prenante):
-    number_of_sliders = len(partie_prenante)
-    st.set_page_config(layout="wide")
-    st.subheader("Vertical Slider")
-    st.title("Vertical Slider")
-    st.write("This is a vertical slider example")
-    bar = st.columns(number_of_sliders)
-    for i in range(number_of_sliders):
-        with bar[i]:
-            tst = vertical_slider(
-                label=partie_prenante[i],
-                height=100,
-                key=partie_prenante[i],
-                default_value=50,
-                thumb_color= "orange", #Optional - Defaults to Streamlit Red
-                step=1,
-                min_value=0,
-                max_value=100,
-                value_always_visible=False,
-            )
-            st.write(tst)
-
 def format_pp_add_viz(pp):
-
+    y = 50
+    x = 50
     for i in range(len(st.session_state['pp_grouped'])):
+        if st.session_state['pp_grouped'][i]['y'] == y and st.session_state['pp_grouped'][i]['x'] == x:
+            y += 5
+        if y > 95:
+            y = 50
+            x += 5
         if st.session_state['pp_grouped'][i]['name'] == pp:
             return None
     else:
-        st.session_state['pp_grouped'].append({'name':pp, 'x':50,'y':50 + len(st.session_state['pp_grouped'])*5})
+        st.session_state['pp_grouped'].append({'name':pp, 'x':x,'y':y})
 
 def add_pp(new_pp, default_value=50):
     new_pp = sorted(new_pp)
@@ -180,6 +191,13 @@ def add_pp(new_pp, default_value=50):
     for pp in new_pp:
         format_pp_add_viz(pp)
 
+def add_pp_input_text():
+    new_pp = st.text_input("Ajouter une partie prenante")
+    if st.button("Ajouter"):
+        st.session_state["save"] = True
+        add_pp([new_pp])
+
+import re
 
 def complete_and_verify_url(partial_url):
     # Regex pattern for validating a URL
@@ -192,8 +210,15 @@ def complete_and_verify_url(partial_url):
         r'(?:/?|[/?]\S+)$', re.IGNORECASE)
 
     # Complete the URL if it doesn't have http:// or https://
-    if not partial_url.startswith(('http://', 'https://')):
+    if not partial_url.startswith(('http://', 'https://', 'www.')):
+        if not partial_url.startswith('www.'):
+            complete_url = 'https://www.' + partial_url
+        else:
+            complete_url = 'https://' + partial_url
+
+    elif partial_url.startswith('www.'):
         complete_url = 'https://' + partial_url
+
     else:
         complete_url = partial_url
 
@@ -203,6 +228,7 @@ def complete_and_verify_url(partial_url):
     else:
         return (False, complete_url)
 
+
 def display_pp():
 
     load_dotenv()
@@ -218,6 +244,9 @@ def display_pp():
         st.session_state['parties_prenantes'] = []
     if "pp_grouped" not in st.session_state: #servira pour le plot et la cartographie des parties prenantes, regroupe sans doublons
         st.session_state['pp_grouped'] = []
+    
+    if "save" not in st.session_state:
+        st.session_state["save"] = False
 
     st.header("Parties prenantes de la marque")
     #set brand name and description
@@ -233,35 +262,40 @@ def display_pp():
 
         #if the user clicks on the button
         if st.button("ajouter"):
-
+            st.session_state["save"] = True
             #complete and verify the url
             is_valid,url = complete_and_verify_url(url)
-            st.write(url)
             if not is_valid:
                 st.error("URL invalide")
             elif url in st.session_state["urls"] :
                 st.error("URL déjà ajoutée")
             
             else:
+                docs = get_docs_from_website(url)
+                if docs is None:
+                    st.error("Aucune url trouvée ou erreur lors de la récupération du contenu")
+                else:
                 # Création de l'expander
-                with st.expander("Cliquez ici pour éditer et voir le document"):
-                    cleaned_text = re.sub(r'\n\n+', '\n\n', get_docs_from_website(url)[0].page_content.strip())
-                    text_value = st.text_area("Modifier le texte ci-dessous:", value=cleaned_text, height=300)
-                    if st.button('Sauvegarder'):
-                        st.success("Texte sauvegardé avec succès!")
-                
-                with st.spinner("Processing..."):
-
-                    #handle the extraction
-                    input_variables = {"BRAND_NAME": brand_name, "BRAND_DESCRIPTION": ""}
-                    partie_prenante = extract_pp([url], input_variables)
-
-                    if "444" in partie_prenante: #444 is the code for no brand found , chosen
-                        st.error("Aucune partie prenante trouvée")
-                    else:
-                        partie_prenante = sorted(partie_prenante)
-                        st.session_state["urls"].append(url)
-                        add_pp(partie_prenante)
+                    with st.expander("Cliquez ici pour éditer et voir le document"):
+                        cleaned_text = re.sub(r'\n\n+', '\n\n', docs[0].page_content.strip())
+                        text_value = st.text_area("Modifier le texte ci-dessous:", value=cleaned_text, height=300)
+                        if st.button('Sauvegarder'):
+                            st.success("Texte sauvegardé avec succès!")
+                    
+                    with st.spinner("Processing..."):
+
+                        #handle the extraction
+                        input_variables = {"BRAND_NAME": brand_name, "BRAND_DESCRIPTION": "no information"}
+                        partie_prenante = extract_pp([url], input_variables)
+
+                        if "444" in partie_prenante: #444 is the code for no brand found , chosen
+                            st.error("Aucune partie prenante trouvée")
+                        elif "445" in partie_prenante: #445 is the code for no website found with the given url
+                            st.error("Aucun site web trouvé avec l'url donnée")
+                        else:
+                            partie_prenante = sorted(partie_prenante)
+                            st.session_state["urls"].append(url)
+                            add_pp(partie_prenante)
                     
                     # alphabet = [ pp[0] for pp in partie_prenante]
                     # pouvoir = [ 50 for _ in range(len(partie_prenante))]
@@ -280,6 +314,9 @@ def display_pp():
                     # disp_vertical_slider(partie_prenante)
                     # st.altair_chart(c, use_container_width=True)
     display_list_urls()
+    with st.expander("Liste des parties prenantes"):
+        add_pp_input_text()
+        display_list_pps()
     test_chart()