Update main.py

main.py

@@ -184,7 +184,94 @@ async def on_action(action):
     ).send()
     await action.remove()
     
-@cl.action_callback("saveToMemory")
+@cl.action_callback("datavizEmploi")
+async def on_action(action):
+    todayDate = datetime.datetime.today()
+    month, year = (todayDate.month-1, todayDate.year) if todayDate.month != 1 else (12, todayDate.year-1)
+    start_dt = todayDate.replace(day=1, month=month, year=year)
+    end_dt = datetime.datetime.today()
+    arraydataframe = []
+    arrayfirstdataframe = []
+    arraylocalisationdataframe = []
+    results = []
+    count = 0
+    listrome = action.value
+    arrayrome = listrome.split(',')
+    for k in arrayrome:
+        params = {"motsCles": k,'minCreationDate': dt_to_str_iso(start_dt),'maxCreationDate': dt_to_str_iso(end_dt),'range':'0-149'}
+        search_on_big_data = client.search(params=params)
+        results += search_on_big_data["resultats"]
+    results_df = pd.DataFrame(results)
+    if results_df.empty == False:
+        count = count + 1
+        finals = results_df[['intitule','typeContratLibelle','experienceLibelle','competences','qualitesProfessionnelles','salaire','lieuTravail','formations']]
+        finals["lieuTravail"] = finals["lieuTravail"].apply(lambda x: np.array(x)).apply(lambda x: x['libelle']).apply(lambda x: x[0:3]).apply(lambda x: x.strip())
+        finals_df = finals
+        finals_df.dropna(subset=['qualitesProfessionnelles','formations','competences'], inplace=True)
+        finals_df["competences"] = finals_df["competences"].apply(lambda x:[str(e['libelle']) for e in x]).apply(lambda x:'; '.join(map(str, x)))
+        finals_df["qualitesProfessionnelles"] = finals_df["qualitesProfessionnelles"].apply(lambda x:[str(e['libelle']) + ": " + str(e['description']) for e in x]).apply(lambda x:'; '.join(map(str, x)))
+        finals_df["formations"] = finals_df["formations"].apply(lambda x:[str(e['niveauLibelle']) for e in x]).apply(lambda x:'; '.join(map(str, x)))
+        finals_df = finals_df.sort_values(by=['lieuTravail'])
+        finals_localisation = results_df[['lieuTravail']]
+        finals_localisation["lieuTravail"] = finals_localisation["lieuTravail"].apply(lambda x: np.array(x)).apply(lambda x: x['libelle']).apply(lambda x: x[0:3]).apply(lambda x: x.strip())
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == 'Fra'].index, inplace = True)
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == 'FRA'].index, inplace = True)
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == 'Ile'].index, inplace = True)
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == 'Mar'].index, inplace = True)
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == 'Bou'].index, inplace = True)
+        finals_localisation.drop(finals_localisation[finals_localisation['lieuTravail'] == '976'].index, inplace = True)
+        arraylocalisationdataframe.append(finals_localisation)
+        arrayfirstdataframe.append(results_df)
+        if len(finals_df) != 0:
+            arraydataframe.append(finals_df)
+    first_df = pd.concat(arrayfirstdataframe)
+    finals_df = pd.concat(arraydataframe)
+    localisation_df = pd.concat(arraylocalisationdataframe)
+
+    ######## Emplois ########
+    df_intitule = first_df.groupby('intitule').size().reset_index(name='obs')
+    df_intitule = df_intitule.sort_values(by=['obs'])
+    df_intitule = df_intitule.iloc[-25:]
+    fig_intitule = px.bar(df_intitule, x='obs', y='intitule', width=800, height=600, orientation='h', color='obs', title="Les principaux emplois", labels={'obs':'nombre'}, color_continuous_scale="Teal", text_auto=True).update_layout(font=dict(size=10,color="RebeccaPurple"),autosize=True).update_traces(hovertemplate=df_intitule["intitule"] + ' <br>Nombre : %{x}', y=[y[:100] + "..." for y in df_intitule["intitule"]], showlegend=False)
+
+    ######## Types de contrat ########
+    df_contrat = first_df.groupby('typeContratLibelle').size().reset_index(name='obs')
+    fig_contrat = px.pie(df_contrat, names='typeContratLibelle', width=800, height=800, values='obs', color='obs', title="Les types de contrat", labels={'obs':'nombre'}, color_discrete_sequence=px.colors.qualitative.Safe).update_traces(textposition='inside', textinfo='percent+label').update_layout(font=dict(size=10,color="RebeccaPurple"))
+
+    df_secteur = first_df.groupby('secteurActiviteLibelle').size().reset_index(name='obs')
+    df_secteur = df_secteur.sort_values(by=['obs'])
+    df_secteur = df_secteur.iloc[-25:]
+    fig_secteur = px.bar(df_secteur, x='obs', y='secteurActiviteLibelle', width=800, height=600, orientation='h', color='obs', title="Les principaux secteurs d'activités", labels={'obs':'nombre'}, color_continuous_scale="Teal", text_auto=True).update_layout(font=dict(size=10,color="RebeccaPurple"),autosize=True).update_traces(hovertemplate=df_secteur["secteurActiviteLibelle"] + ' <br>Nombre : %{x}', y=[y[:100] + "..." for y in df_secteur["secteurActiviteLibelle"]], showlegend=False)
+
+    ######## Compétences professionnelles ########
+    df1 = finals_df
+    df1['competences'] = finals_df['competences'].str.split(';')
+    df2 = df1.explode('competences')
+    df2 = df2.groupby('competences').size().reset_index(name='obs')
+    df2 = df2.sort_values(by=['obs'])
+    df2 = df2.iloc[-20:]
+    fig_competences = px.bar(df2, x='obs', y='competences', width=800, height=550, orientation='h', color='obs', title="Les principales compétences professionnelles", labels={'obs':'nombre'}, color_continuous_scale="Teal", text_auto=True).update_layout(font=dict(size=10,color="RebeccaPurple"),autosize=True).update_traces(hovertemplate=df2["competences"] + ' <br>Nombre : %{x}', y=[y[:100] + "..." for y in df2['competences']], showlegend=False)
+
+    ######## Compétences transversales ########
+    df_transversales = finals_df
+    df_transversales['qualitesProfessionnelles'] = finals_df['qualitesProfessionnelles'].str.split(';')
+    df_comptransversales = df_transversales.explode('qualitesProfessionnelles')
+    df_comptransversales = df_comptransversales.groupby('qualitesProfessionnelles').size().reset_index(name='obs')
+    df_comptransversales = df_comptransversales.sort_values(by=['obs'])
+    df_comptransversales = df_comptransversales.iloc[-20:]
+    fig_transversales = px.bar(df_comptransversales, x='obs', y='qualitesProfessionnelles', width=800, height=550, orientation='h', color='obs', title="Les principales compétences transversales", labels={'obs':'nombre'}, color_continuous_scale="Teal", text_auto=True).update_layout(font=dict(size=10,color="RebeccaPurple"),autosize=True).update_traces(hovertemplate=df_comptransversales["qualitesProfessionnelles"] + ' <br>Nombre : %{x}', y=[y[:100] + "..." for y in df_comptransversales["qualitesProfessionnelles"]], showlegend=False)
+
+    ######## Niveaux de qualification ########
+    df_formations = finals_df.groupby('formations').size().reset_index(name='obs')
+    fig_formations = px.pie(df_formations, names='formations', width=800, height=800, values='obs', color='obs', title="Les niveaux de qualification", labels={'obs':'nombre'}, color_discrete_sequence=px.colors.qualitative.Safe).update_traces(textposition='inside', textinfo='percent+label').update_layout(font=dict(size=10,color="RebeccaPurple"))
+
+    ######## Expériences professionnelles ########
+    df_experience = finals_df.groupby('experienceLibelle').size().reset_index(name='obs')
+    fig_experience = px.pie(df_experience, names='experienceLibelle', width=800, height=800, values='obs', color='obs', title="Les expériences professionnelles", labels={'obs':'nombre'}, color_discrete_sequence=px.colors.qualitative.Safe).update_traces(textposition='inside', textinfo='percent+label').update_layout(font=dict(size=10,color="RebeccaPurple"))
+
+    await action.remove()
+
+@cl.action_callback("saveMemory")
 async def on_action(action):
     buffer = cl.user_session.get("saveMemory")
     cl.user_session.set("saveMemory", buffer + action.value)
@@ -809,7 +896,6 @@ async def construction_FCS(romeListArray,settings):
 
 @literal_client.step(type="run")
 async def construction_NCS(romeListArray):
-    print(romeListArray[0])
     context = await contexte(romeListArray)
     emploisST = cl.user_session.get("EmploiST")
     memory = ConversationBufferMemory(return_messages=True)
@@ -852,6 +938,11 @@ async def construction_NCS(romeListArray):
     )
     await cl.Message(author="Datapcc : 🌐🌐🌐",content="👨‍💼 Source Pôle Emploi : " + listEmplois_name, elements=text_elements).send()
     await cl.sleep(2)
+    datavizEmploi = [
+        cl.Action(name="datavizEmploi", value=romeListArray[0], description="Afficher la datavisualisation du marché de l'emploi")
+    ]
+    await cl.Message(author="Datapcc : 🌐🌐🌐",content="📊 Afficher la datavisualisation du marché de l'emploi", actions=datavizEmploi).send()
+    await cl.sleep(2)
     if romeListArray[0].find(',') != -1:
         codeArray = romeListArray[0].split(',')
         ficheMetiers = []