Update main.py

main.py

@@ -28,6 +28,9 @@ from offres_emploi.utils import dt_to_str_iso
 import datetime
 import bcrypt
 import json
+from langchain.document_loaders import PyPDFLoader, TextLoader
+from chainlit.types import AskFileResponse
+from langchain.text_splitter import RecursiveCharacterTextSplitter
         
 @cl.password_auth_callback
 def auth_callback(username: str, password: str):
@@ -46,6 +49,20 @@ def auth_callback(username: str, password: str):
             identifier=ident + " : 🧑‍🎓 User Datapcc", metadata={"role": "user", "provider": "credentials"}
         )
         
+def process_file(file: AskFileResponse):
+    if file.type == "text/plain":
+        Loader = TextLoader
+    elif file.type == "application/pdf":
+        Loader = PyPDFLoader
+
+    text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
+    loader = Loader(file.path)
+    documents = loader.load()
+    docs = text_splitter.split_documents(documents)
+    for i, doc in enumerate(docs):
+        doc.metadata["source"] = f"source_{i}"
+    return docs
+        
 def modele(document):
     if document == "Note de composante sectorielle":
         note = """
@@ -368,81 +385,103 @@ async def setup_agent(settings):
                 message_id3 = await cl.Message(content="🕝 Récupération de la note sectorielle").send()
                 taskFCS1.forId = message_id3
                 await FCS.send()
-                question ="""
-                1) Extrais de la note de composante sectorielle du contexte, seulement et strictement la liste des 5 appellations métiers principales et écris-la au format liste formée de 5 lignes de ces mêmes métiers, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la note de composante sectorielle; la liste devant se termniner par la dernière appellation métier.
-                2) En fonction des 5 appellations métiers du secteur listées dans le document précédent correspondant à la note de composante sectorielle, crée une fiche synoptique sous forme d'une fiche descriptive très détaillée et très complète en 4000 mots, comprenant une liste numérotées de 5 activités professionnelles différentes bien décrites, entrecoupées elles-mêmes par une sous-liste numérotées, imbriquée dans chaque liste activité professionnelle, de 5 compétences professionnelles distinctes et bien décrites commençant par un verbe d'action conformément à la taxonomie de Bloom, marquant une progression dans l'acquisition des compétences.
-                3) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières activités professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 activités séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"activités : --- Choisir une activité --- ; \" et devant se termniner par la dernière activité professionnelle.
-                4) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières compétences professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 compétences séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"compétences : --- Choisir une compétence --- ; \" et devant se termniner par la dernière compétence professionnelle.
-                """
-                taskFCS1.status = cl.TaskStatus.DONE
-                await FCS.send()
-                message_id4 = await cl.Message(content="🕝 Construction de la Fiche synoptique : " + romeListArray[1]).send()
-                taskFCS2.forId = message_id4
-                await FCS.send()
-                completion_FCS = anthropic.completions.create(
-                    model="claude-2.1",
-                    max_tokens_to_sample=4000,
-                    temperature=1,
-                    prompt=f"Contexte : Réponds aux questions suivantes en utilisant seulement le contexte ci-contre. Réponds à la manière d'un ingénieur pédagogique pour créer un référentiel. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Contexte: Définition d'une activité : une activité est un ensemble cohérent d'actions combinées : pour la réaliser, plusieurs compétences et opérations sont nécessaires, soit successivement, soit conjointement. Elles s'inscrivent à des moments clés du processus de réalisation et ne peuvent en aucun cas être occultées, car elles conditionnent le résultat. Plusieurs activités en vue d'une finalité avec une valeur ajoutée à un produit ou un service sont nécessaires pour mettre en œuvre un processus métier. De ce fait, il est essentiel de déterminer pour chaque activité sa propre finalité et de s'assurer que l'ensemble des activités participent bien d'un même processus. Définition d'une compétence : la compétence est une combinaison de savoirs en action, mobilisés en vue de réaliser une activité professionnelle. Elle s'apprécie, en tant qu'acquis de l'apprentissage selon des modalités adaptées permettant d'en certifier la possession et au regard de l'atteinte d'un résultat pour un niveau d'exigence prédéterminé. Les compétences peuvent être regroupées par domaines selon la nature et leur liaison subordonnée aux activités. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Note de composante sectorielle : {cl.user_session.get('NCS' + romeListArray[0])}.${HUMAN_PROMPT}. Questions : {question}${AI_PROMPT}",
-                )
-                taskFCS2.status = cl.TaskStatus.DONE
-                await FCS.send()
-                await cl.sleep(2)
-                completionFCS = completion_FCS.completion
-                arrayActivites = completionFCS.split('activités : ')
-                arrayOfActivites = arrayActivites[1].split('compétences : ')
-                arrayOfCompetences = completionFCS.split('compétences : ')
-                arrayOfRome = cl.user_session.get("arraySettingsRome")
-                if settings['rome']:
-                    indexOfRome = np.where(arrayOfRome==settings['rome'])[0][0]
-                else:
-                    indexOfRome = 0
-                #initialRome = cl.user_session.get('romeFree')
-                settings = await cl.ChatSettings(
-                    [
-                        Select(
-                        id="rome",
-                        label="Codes Rome",
-                        values=["", "M1302 - DU entrepreneuriat", "F1106,F1201,F1103,H1206,K1802 - Licence Génie Urbain", "M1502,M1503 - LP Gestion Opérationnelles des Ressources Humaines", "K1902 - LP Management et Droits des Affaires Immobilières"],
-                        initial_index=indexOfRome,
-                        ),
-                        TextInput(id="romeInput", label="ou saisir une liste de codes ROME jusqu'à 5 codes", initial=settings['romeInput'], placeholder="ou saisir une liste de codes ROME jusqu'à 5 codes", tooltip="saisir une liste de codes Rome séparés par des virgules, jusqu'à 5 codes ROME"),
-                        Select(
-                        id="type",
-                        label="Type de fiche",
-                        values=["", "Note de composante sectorielle - NCS", "Fiche synoptique - FCS", "Fiche activité - FCA", "Fiche compétence - FCC", "Module de formation - cours - MDF", "Matrice de cohérences - MDC", "Référentiel d'évaluation - REV"],
-                        initial_index=2,
-                        ),
-                        Select(
-                        id="activite",
-                        label="Activites",
-                        values=arrayOfActivites[0].split(';'),
-                        initial_index=0,
-                        ),
-                        TextInput(id="activiteInput", label="ou saisir une activité", placeholder="ou saisir une activité", tooltip="saisir votre propre activité professionnelle pour en avoir un descriptif détaillé"),
-                        Select(
-                        id="competence",
-                        label="Competences",
-                        values=arrayOfCompetences[1].split(';'),
-                        initial_index=0,
-                        ),
-                        TextInput(id="competenceInput", label="ou saisir une compétence", placeholder="ou saisir une compétence", tooltip="saisir votre propre compétence professionnelle pour en avoir un descriptif détaillé"),
-                    ]
-                ).send()
-                await cl.sleep(2)
-                await cl.Message(
-                    author="Datapcc : 🌐🌐🌐",content="Fiche synoptique : " + romeListArray[1] + "\n\n" + completion_FCS.completion
+                
+                
+                goFCS = await cl.AskActionMessage(
+                    content="Voulez-vous téléverser votre propre document de Note sectorielle?",
+                    actions=[
+                        cl.Action(name="continue", value="continue", label="✅ Oui, je veux charger ma note sectorielle"),
+                        cl.Action(name="cancel", value="cancel", label="❌ Non, je veux continuer avec la version du contexte"),
+                    ],
                 ).send()
-                cl.user_session.set("FCS" + romeListArray[0], completion_FCS.completion)
-                cl.user_session.set("contextChatBot", completion_FCS.completion)
-                actions = [
-                    cl.Action(name="download", value=completion_FCS.completion, description="download_fiche_synoptique")
-                ]
-                await cl.Message(author="Datapcc : 🌐🌐🌐",content="Download", actions=actions).send()
-                await cl.sleep(2)
-                await FCS.remove()
-                cl.user_session.set("allactivities", arrayOfActivites[0])
-                cl.user_session.set("allskills", arrayOfCompetences[1])
+
+                if goFCS and goFCS.get("value") == "continue":
+                    files = None
+
+                    while files == None:
+                        files = await cl.AskFileMessage(
+                            content="Please upload a text file to begin!", accept=["text/plain"]
+                        ).send()
+
+                    text_file = files[0]
+                    docs = process_file(text_file)
+                    cl.user_session.set('NCS' + romeListArray[0], docs)
+                else:
+                    question ="""
+                        1) Extrais de la note de composante sectorielle du contexte, seulement et strictement la liste des 5 appellations métiers principales et écris-la au format liste formée de 5 lignes de ces mêmes métiers, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la note de composante sectorielle; la liste devant se termniner par la dernière appellation métier.
+                        2) En fonction des 5 appellations métiers du secteur listées dans le document précédent correspondant à la note de composante sectorielle, crée une fiche synoptique sous forme d'une fiche descriptive très détaillée et très complète en 4000 mots, comprenant une liste numérotées de 5 activités professionnelles différentes bien décrites, entrecoupées elles-mêmes par une sous-liste numérotées, imbriquée dans chaque liste activité professionnelle, de 5 compétences professionnelles distinctes et bien décrites commençant par un verbe d'action conformément à la taxonomie de Bloom, marquant une progression dans l'acquisition des compétences.
+                        3) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières activités professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 activités séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"activités : --- Choisir une activité --- ; \" et devant se termniner par la dernière activité professionnelle.
+                        4) Extrais de la fiche synoptique créée, seulement et strictement la liste des 25 premières compétences professionnelles principales et écris-la sur une seule ligne construite de ces mêmes 10 compétences séparées par des points virgules, sans phrase d'introduction de type \"Voici...\" et sans y apporter plus de précision quant à la génération de la fiche synoptique; la ligne devant commencer par \"compétences : --- Choisir une compétence --- ; \" et devant se termniner par la dernière compétence professionnelle.
+                        """
+                        taskFCS1.status = cl.TaskStatus.DONE
+                        await FCS.send()
+                        message_id4 = await cl.Message(content="🕝 Construction de la Fiche synoptique : " + romeListArray[1]).send()
+                        taskFCS2.forId = message_id4
+                        await FCS.send()
+                        completion_FCS = anthropic.completions.create(
+                            model="claude-2.1",
+                            max_tokens_to_sample=4000,
+                            temperature=1,
+                            prompt=f"Contexte : Réponds aux questions suivantes en utilisant seulement le contexte ci-contre. Réponds à la manière d'un ingénieur pédagogique pour créer un référentiel. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Contexte: Définition d'une activité : une activité est un ensemble cohérent d'actions combinées : pour la réaliser, plusieurs compétences et opérations sont nécessaires, soit successivement, soit conjointement. Elles s'inscrivent à des moments clés du processus de réalisation et ne peuvent en aucun cas être occultées, car elles conditionnent le résultat. Plusieurs activités en vue d'une finalité avec une valeur ajoutée à un produit ou un service sont nécessaires pour mettre en œuvre un processus métier. De ce fait, il est essentiel de déterminer pour chaque activité sa propre finalité et de s'assurer que l'ensemble des activités participent bien d'un même processus. Définition d'une compétence : la compétence est une combinaison de savoirs en action, mobilisés en vue de réaliser une activité professionnelle. Elle s'apprécie, en tant qu'acquis de l'apprentissage selon des modalités adaptées permettant d'en certifier la possession et au regard de l'atteinte d'un résultat pour un niveau d'exigence prédéterminé. Les compétences peuvent être regroupées par domaines selon la nature et leur liaison subordonnée aux activités. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Note de composante sectorielle : {cl.user_session.get('NCS' + romeListArray[0])}.${HUMAN_PROMPT}. Questions : {question}${AI_PROMPT}",
+                        )
+                        taskFCS2.status = cl.TaskStatus.DONE
+                        await FCS.send()
+                        await cl.sleep(2)
+                        completionFCS = completion_FCS.completion
+                        arrayActivites = completionFCS.split('activités : ')
+                        arrayOfActivites = arrayActivites[1].split('compétences : ')
+                        arrayOfCompetences = completionFCS.split('compétences : ')
+                        arrayOfRome = cl.user_session.get("arraySettingsRome")
+                        if settings['rome']:
+                            indexOfRome = np.where(arrayOfRome==settings['rome'])[0][0]
+                        else:
+                            indexOfRome = 0
+                        #initialRome = cl.user_session.get('romeFree')
+                        settings = await cl.ChatSettings(
+                            [
+                                Select(
+                                id="rome",
+                                label="Codes Rome",
+                                values=["", "M1302 - DU entrepreneuriat", "F1106,F1201,F1103,H1206,K1802 - Licence Génie Urbain", "M1502,M1503 - LP Gestion Opérationnelles des Ressources Humaines", "K1902 - LP Management et Droits des Affaires Immobilières"],
+                                initial_index=indexOfRome,
+                                ),
+                                TextInput(id="romeInput", label="ou saisir une liste de codes ROME jusqu'à 5 codes", initial=settings['romeInput'], placeholder="ou saisir une liste de codes ROME jusqu'à 5 codes", tooltip="saisir une liste de codes Rome séparés par des virgules, jusqu'à 5 codes ROME"),
+                                Select(
+                                id="type",
+                                label="Type de fiche",
+                                values=["", "Note de composante sectorielle - NCS", "Fiche synoptique - FCS", "Fiche activité - FCA", "Fiche compétence - FCC", "Module de formation - cours - MDF", "Matrice de cohérences - MDC", "Référentiel d'évaluation - REV"],
+                                initial_index=2,
+                                ),
+                                Select(
+                                id="activite",
+                                label="Activites",
+                                values=arrayOfActivites[0].split(';'),
+                                initial_index=0,
+                                ),
+                                TextInput(id="activiteInput", label="ou saisir une activité", placeholder="ou saisir une activité", tooltip="saisir votre propre activité professionnelle pour en avoir un descriptif détaillé"),
+                                Select(
+                                id="competence",
+                                label="Competences",
+                                values=arrayOfCompetences[1].split(';'),
+                                initial_index=0,
+                                ),
+                                TextInput(id="competenceInput", label="ou saisir une compétence", placeholder="ou saisir une compétence", tooltip="saisir votre propre compétence professionnelle pour en avoir un descriptif détaillé"),
+                            ]
+                        ).send()
+                        await cl.sleep(2)
+                        await cl.Message(
+                            author="Datapcc : 🌐🌐🌐",content="Fiche synoptique : " + romeListArray[1] + "\n\n" + completion_FCS.completion
+                        ).send()
+                        cl.user_session.set("FCS" + romeListArray[0], completion_FCS.completion)
+                        cl.user_session.set("contextChatBot", completion_FCS.completion)
+                        actions = [
+                            cl.Action(name="download", value=completion_FCS.completion, description="download_fiche_synoptique")
+                        ]
+                        await cl.Message(author="Datapcc : 🌐🌐🌐",content="Download", actions=actions).send()
+                        await cl.sleep(2)
+                        await FCS.remove()
+                        cl.user_session.set("allactivities", arrayOfActivites[0])
+                        cl.user_session.set("allskills", arrayOfCompetences[1])
             else:
                 await cl.Message(
                     author="Datapcc : 🌐🌐🌐",content="⛔ Vous n'avez pas encore créé de Note sectorielle!"