Update main.py

main.py

@@ -67,6 +67,11 @@ def process_file(file: AskFileResponse):
     docs = text_splitter.split_documents(documents)
     return docs
     
+def removeTags(all):
+  for data in all(['style', 'script']):
+    data.decompose()
+  return ' '.join(all.stripped_strings)
+    
 def modele(document):
     match document:
         case "Note de composante sectorielle":
@@ -900,11 +905,12 @@ async def contexte(romeListArray):
             emplois.append("\nEmploi : " + results[i]['intitule'] + "; Contrat : " + results[i]['typeContrat'] + "; Compétences professionnelles : " + arrayToString(results[i]['competences']) if listToString(results[i]).find("'competences':")!=-1 else "; " + "Salaire : " + listToString(results[i]['salaire']) + "; Qualification : " + results[i]['qualificationLibelle'] if listToString(results[i]).find("'qualificationLibelle':")!=-1 else "; " + "; Localisation : " + listToString(results[i]['lieuTravail']) + "; Entreprise : " + listToString(results[i]['entreprise']['nom']) if listToString(results[i]['entreprise']).find("'nom':")!=-1 else "; ")
     emplois_list = ''.join(emplois)
     context = emplois_list.replace('[','').replace(']','').replace('{','').replace('}','')
-    ficheMetier = await Fiche_metier("https://www.soi-tc.fr/assets/fiches_pe/FEM_", romeListArray[0])
+    #ficheMetier = await Fiche_metier("https://www.soi-tc.fr/assets/fiches_pe/FEM_", romeListArray[0])
+    ficheMetier = await getTxtFromHTMLMetier("https://candidat.francetravail.fr/metierscope/fiche-metier/", romeListArray[0]) + await getTxtFromHTMLStatsMetier("https://dataemploi.pole-emploi.fr/metier/chiffres-cles/NAT/FR/", romeListArray[0])
     ficheMetiersCompetencesSavoirs = await Fiche_metier_competences_savoirs(romeListArray[0])
     #metierSecteurContexteTravail = await Metier_secteur_contexte_travail(romeListArray[0])
     cl.user_session.set("EmploiST", context)
-    return "Fiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\nListe des emplois issus de France Travail :\n" + context
+    return ficheMetier + "Fiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\nListe des emplois issus de France Travail :\n" + context
     #return "Fiche métier Compétences Savoirs :\n" + ficheMetiersCompetencesSavoirs + "\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\nListe des emplois issus de France Travail :\n" + context
     #return "Liste des emplois issus de France Travail :\n" + context
     #return "\nMetier secteur contexte au travail :\n" + metierSecteurContexteTravail + "\nListe des emplois issus de France Travail :\n" + context
@@ -984,6 +990,73 @@ async def Fiche_metier_competences_savoirs(codes):
         datas = data.decode("utf-8")
         dataset += str(datas.replace('"','').replace('{','').replace('}','').replace('[','').replace(']','').replace('code','').replace('libelle','').replace(',:',', ').replace('::',':'))
     return dataset
+
+@cl.step(type="tool")
+def getTxtFromHTMLMetier(url, codes):
+    if codes.find(',') != -1:
+        all = ""
+        codeArray = codes.split(',')
+        for i in range(0,len(codeArray)):
+            response = requests.get(url + codeArray[i])
+            soup = BeautifulSoup(response.text, "lxml")
+            alljobs = soup.select('div.fm-other-names > ul > li')
+            allKindjobs = ""
+            for i in range(0,len(alljobs)):
+                allKindjobs = allKindjobs + removeTags(alljobs[i]) + ", "
+            allmissions = soup.select('div.fm-presentation-text')
+            allcompetences = soup.select('div#part2')
+            allcontextes = soup.select('div#part3')
+            all = all + "Fiche Métier " + codeArray[i] + ":\nTous les métiers possibles :" + allKindjobs + "\nLes missions principales : " + removeTags(allmissions[0]) + ". Les compétences recherchées : " + removeTags(allcompetences[0]) + ". Les contextes au travail : " + removeTags(allcontextes[0]) + "."
+    else:
+        response = requests.get(url + codes)
+        soup = BeautifulSoup(response.text, "lxml")
+        alljobs = soup.select('div.fm-other-names > ul > li')
+        allKindjobs = ""
+        for i in range(0,len(alljobs)):
+            allKindjobs = allKindjobs + removeTags(alljobs[i]) + ", "
+        allmissions = soup.select('div.fm-presentation-text')
+        allcompetences = soup.select('div#part2')
+        allcontextes = soup.select('div#part3')
+        all = "Fiche Métier " + codes + ":\nTous les métiers possibles :" + allKindjobs + "\nLes missions principales : " + removeTags(allmissions[0]) + ". Les compétences recherchées : " + removeTags(allcompetences[0]) + ". Les contextes au travail : " + removeTags(allcontextes[0]) + "."
+    return all
+
+@cl.step(type="tool")
+def getTxtFromHTMLStatsMetier(url, codes):
+    if codes.find(',') != -1:
+        all = ""
+        codeArray = codes.split(',')
+        for i in range(0,len(codeArray)):
+            response = requests.get(url + codeArray[i])
+            soup = BeautifulSoup(response.text, "lxml")
+            alltitre = soup.select('h1#titreMetier')
+            allembauches = soup.select('div.jobs_item-container-flex')
+            allsalaires = soup.select('div.key-number_block.shadow.inset')
+            allsalairesMedian = soup.select('tbody.sectorTable__body')
+            allDiff = soup.select('div.dynamism_canvas-wrapper > p.sr-only')
+            allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
+            allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
+            allTypeContrat = ""
+            for i in range(0,len(allContrat)):
+                allTypeContrat = allTypeContrat + removeTags(allContrat[i]) + ", "
+                allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
+                all = all + "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
+    else:
+        response = requests.get(url + codes)
+        soup = BeautifulSoup(response.text, "lxml")
+        alltitre = soup.select('h1#titreMetier')
+        allembauches = soup.select('div.jobs_item-container-flex')
+        allsalaires = soup.select('div.key-number_block.shadow.inset')
+        allsalairesMedian = soup.select('tbody.sectorTable__body')
+        allDiff = soup.select('div.dynamism_canvas-wrapper > p.sr-only')
+        allDiffOrigin = soup.select('div.tabs-main-data_persp-col2')
+        allContrat = soup.find_all("div", class_="hiring-contract_legende_item ng-star-inserted")
+        allTypeContrat = ""
+        for i in range(0,len(allContrat)):
+            allTypeContrat = allTypeContrat + removeTags(allContrat[i]) + ", "
+            allEntreprise = soup.find_all("div", class_="horizontal-graph_patterns")
+            all = "\n\nChiffres-clés Métier " + removeTags(alltitre[0]) + ":\nDemandeurs d'emploi et Offres d'emploi : " + removeTags(allembauches[0]) + ". Salaires proposés dans les offres : " + removeTags(allsalaires[0]) + ". Salaires médians constatés : " + removeTags(allsalairesMedian[0]) + ". Difficultés de recrutement pour les entreprises : " + removeTags(allDiff[0]) + ". Origine des difficultés : " + removeTags(allDiffOrigin[0]) + ". Répartition des embauches par type de contrat : " + allTypeContrat + ". Répartition des embauches par taille d'entreprise : " + removeTags(allEntreprise[0]) + "."
+    return all
+
 @cl.step(type="tool")
 async def Fiche_metier(url, codes):
     docs = []