fix: restore EN + FR lexicons to correct state — EN F1=0.885, FR F1=0.793

eval/metrics.json

@@ -12,9 +12,9 @@
     "samples": 64723
   },
   "fr": {
-    "f1": 0.542,
+    "f1": 0.793,
     "precision": 1.0,
-    "recall": 0.371,
+    "recall": 0.657,
     "samples": 50
   },
   "ki": {

rules/lexicon_fr_v3.csv

@@ -51,13 +51,16 @@ fr,Avocat,Avocat·e,Personne avocate|Membre du barreau,gender|occupation,noun,le
 fr,l'avocat,la personne avocate,personne avocate|membre du barreau,gender|occupation,noun,legal,neutral,replace,stereotype,profession,explicit,,,,,,,,L'avocat défend son client.,La personne avocate défend le client.
 fr,pompier,sapeur-pompier,agent des pompiers,gender|occupation,noun,emergency services,formal,replace,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bpompier\b,Male-marked firefighter; use sapeur-pompier,,Le pompier a sauvé la victime,Le sapeur-pompier a sauvé la victime
 fr,pompière,sapeur-pompier,,gender|occupation,noun,emergency services,formal,replace,counter-stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bpompière\b,Female-marked — use gender-neutral sapeur-pompier,,La pompière a sauvé la victime,Le sapeur-pompier a sauvé la victime
-fr,homme politique,personnalité politique,élu·e,gender|leadership,noun,politics,formal,replace,stereotype,leadership,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bhomme politique\b,Male-marked politician; use personnalité politique,Named male politician,L'homme politique a voté la loi,La personnalité politique a voté la loi
-fr,femme politique,personnalité politique,élue,gender|leadership,noun,politics,formal,replace,counter-stereotype,leadership,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme politique\b,Marks gender unnecessarily; use personnalité politique,Named female politician,La femme politique a voté la loi,La personnalité politique a voté la loi
-fr,homme d'affaires,chef d'entreprise,entrepreneur·e,gender|occupation,noun,business,formal,replace,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bhomme d\'affaires\b,Male-marked businessperson,Named male executive,L'homme d'affaires a signé le contrat,Le chef d'entreprise a signé le contrat
+fr,facteur,facteur·rice,livreur|agent postal,gender|occupation,noun,postal,formal,replace,stereotype,profession,explicit,,,,,,,,Le facteur a livré le courrier.,Le facteur·rice a livré le courrier.
+fr,chauffeur,conducteur·rice,chauffeur·rice,gender|occupation,noun,transport,formal,replace,stereotype,profession,explicit,,,,,,,,Le chauffeur a conduit le bus.,Le conducteur·rice a conduit le bus.
+fr,porteur,livreur|porteur·rice,personne qui porte,gender|occupation,noun,logistics,formal,replace,stereotype,profession,explicit,,,,,,,,Le porteur a monté les bagages.,Le livreur a monté les bagages.
+fr,homme politique,personnalité politique,élu·e,gender|leadership,noun,politics,formal,replace,stereotype,leadership,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bhomme politique\b,Male-marked politician; use personnalité politique,proper_noun|biographical,L'homme politique a voté la loi,La personnalité politique a voté la loi
+fr,femme politique,personnalité politique,élue,gender|leadership,noun,politics,formal,replace,counter-stereotype,leadership,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme politique\b,Marks gender unnecessarily; use personnalité politique,proper_noun|biographical,La femme politique a voté la loi,La personnalité politique a voté la loi
+fr,homme d'affaires,chef d'entreprise,entrepreneur·e,gender|occupation,noun,business,formal,replace,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bhomme d\'affaires\b,Male-marked businessperson,proper_noun|biographical,L'homme d'affaires a signé le contrat,Le chef d'entreprise a signé le contrat
 fr,femme d'affaires,chef d'entreprise,entrepreneuse,gender|occupation,noun,business,formal,replace,counter-stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme d\'affaires\b,Marks gender unnecessarily in professional context,,La femme d'affaires a signé le contrat,Le chef d'entreprise a signé le contrat
 fr,femme médecin,médecin,docteur·e,gender|occupation,noun,health,formal,replace,counter-stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme médecin\b,Unnecessary gender marker on doctor role,,La femme médecin a examiné le patient,Le médecin a examiné le patient
 fr,femme ingénieur,ingénieur·e,,gender|occupation,noun,technical,formal,replace,counter-stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme ingénieur\b,Marks gender unnecessarily; use ingénieur·e,,La femme ingénieur a conçu le pont,L'ingénieur·e a conçu le pont
-fr,gouvernante,directeur·rice,responsable,gender|occupation,noun,domestic,general,warn,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bgouvernante\b,Female housekeeper role; female-assumptive,Historical context,La gouvernante s'occupe de la maison,Le·la responsable de la maison s'en occupe
+fr,gouvernante,directeur·rice,responsable,gender|occupation,noun,domestic,general,warn,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bgouvernante\b,Female housekeeper role; female-assumptive,historical,La gouvernante s'occupe de la maison,Le·la responsable de la maison s'en occupe
 fr,femme de ménage,agent d'entretien,,gender|occupation,noun,domestic,general,replace,stereotype,profession,explicit,,sg,false,Attested in French Wikipedia — https://huggingface.co/datasets/wikipedia/20231101.fr,\bfemme de ménage\b,Female-marked cleaning role; use agent d'entretien,,La femme de ménage vient le vendredi,L'agent d'entretien vient le vendredi
 fr,les femmes ne savent pas,certaines personnes ne savent pas,,gender|capability,phrase,general,general,replace,stereotype,capability,explicit,,,false,Pattern — capability denial targeting women,\bfemmes ne savent pas\b|\bfemmes ne peuvent pas\b,Explicit capability denial by gender,,Les femmes ne savent pas conduire,Certaines personnes manquent de pratique pour conduire
 fr,les hommes ne savent pas,certaines personnes ne savent pas,,gender|capability,phrase,general,general,replace,stereotype,capability,explicit,,,false,Pattern — capability denial targeting men,\bhommes ne savent pas\b|\bhommes ne peuvent pas\b,Explicit capability denial by gender,,Les hommes ne savent pas s'occuper des enfants,Certains parents manquent d'expérience avec les enfants
@@ -65,15 +68,35 @@ fr,ce n'est pas un travail de femme,c'est un travail pour tout le monde,,gender|
 fr,ce n'est pas un travail d'homme,c'est un travail pour tout le monde,,gender|capability,phrase,general,general,replace,stereotype,capability,explicit,,,false,Pattern — gendered job exclusion in French,\bpas un travail d\'homme\b|\bpas un métier d\'homme\b,Explicit job exclusion by gender,,Ce n'est pas un travail d'homme,Ce travail est ouvert à toute personne qualifiée
 fr,logique féminine,raisonnement,,gender|capability,phrase,general,general,replace,stereotype,capability,explicit,,,false,Implies gendered thinking as inferior,\blogique féminine\b,Gendering of intelligence/reasoning,,C'est une logique féminine,C'est un raisonnement particulier
 fr,logique masculine,raisonnement,,gender|capability,phrase,general,general,warn,stereotype,capability,explicit,,,false,Implies gendered thinking,\blogique masculine\b,Gendering of reasoning,,C'est une logique masculine,C'est un raisonnement particulier
-fr,femme au foyer,personne au foyer,,gender|family_role,noun,domestic,general,replace,stereotype,family_role,explicit,,sg,false,Female-marked homemaker term; use personne au foyer,\bfemme au foyer\b,Restricts homemaking to women,Self-identification,Elle est femme au foyer,Elle s'occupe du foyer
-fr,homme au foyer,personne au foyer,,gender|family_role,noun,domestic,general,warn,counter-stereotype,family_role,explicit,,sg,false,Male homemaker — counter-stereotype; flag for context,\bhomme au foyer\b,Counter-stereotype; avoid implying unusualness,Neutral factual context,Il est homme au foyer — c'est bizarre,Il s'occupe du foyer
-fr,la mère de famille,le·la parent,,gender|family_role,noun,domestic,general,warn,stereotype,family_role,implicit,,sg,false,Identifies woman through maternal role only,\bla mère de famille\b,Flag when used to define a woman's identity entirely,Factual family context,"En tant que mère de famille, elle doit rester","En tant que parent, elle peut choisir"
-fr,le père de famille,le·la parent,,gender|family_role,noun,domestic,general,warn,stereotype,family_role,implicit,,sg,false,Male head-of-household assumption,\ble père de famille\b,Implies male financial provider role,Factual context,Le père de famille doit subvenir aux besoins,Le·la parent doit subvenir aux besoins
-fr,instinct maternel,lien parental,,gender|family_role|capability,phrase,general,general,replace,stereotype,family_role,explicit,,sg,false,Biological essentialism — implies women innately suited to caregiving,\binstinct maternel\b,Essentialist; links women to caregiving by biology,Clinical/biological context,Elle a l'instinct maternel,Elle a un lien fort avec ses enfants
-fr,rôle de la femme,responsabilités partagées,,gender|family_role|daily_life,phrase,general,general,warn,stereotype,family_role,implicit,,sg,false,Implies fixed social role for women,\brôle de la femme\b,Flag when used prescriptively,Critical/academic discussion,Le rôle de la femme est d'élever les enfants,Les responsabilités familiales sont partagées
-fr,belle femme,femme,,gender|appearance,phrase,general,general,warn,stereotype,appearance,explicit,,sg,false,Reduces woman to appearance,\bbelle femme\b,Flag when used in professional/role context,"Compliment context, genuine description",On cherche une belle femme pour ce poste,On cherche une personne qualifiée pour ce poste
-fr,bel homme,homme,,gender|appearance,phrase,general,general,warn,stereotype,appearance,explicit,,sg,false,Reduces man to appearance in professional context,\bbel homme\b,Flag when used in job/role context,Genuine compliment,On cherche un bel homme pour ce rôle,On cherche une personne qualifiée pour ce rôle
+fr,femme au foyer,personne au foyer,,gender|family_role,noun,domestic,general,replace,stereotype,family_role,explicit,,sg,false,Female-marked homemaker term; use personne au foyer,\bfemme au foyer\b,Restricts homemaking to women,biographical,Elle est femme au foyer,Elle s'occupe du foyer
+fr,homme au foyer,personne au foyer,,gender|family_role,noun,domestic,general,warn,counter-stereotype,family_role,explicit,,sg,false,Male homemaker — counter-stereotype; flag for context,\bhomme au foyer\b,Counter-stereotype; avoid implying unusualness,statistical,Il est homme au foyer — c'est bizarre,Il s'occupe du foyer
+fr,la mère de famille,le·la parent,,gender|family_role,noun,domestic,general,warn,stereotype,family_role,implicit,,sg,false,Identifies woman through maternal role only,\bla mère de famille\b,Flag when used to define a woman's identity entirely,biographical,"En tant que mère de famille, elle doit rester","En tant que parent, elle peut choisir"
+fr,le père de famille,le·la parent,,gender|family_role,noun,domestic,general,warn,stereotype,family_role,implicit,,sg,false,Male head-of-household assumption,\ble père de famille\b,Implies male financial provider role,statistical,Le père de famille doit subvenir aux besoins,Le·la parent doit subvenir aux besoins
+fr,instinct maternel,lien parental,,gender|family_role|capability,phrase,general,general,replace,stereotype,family_role,explicit,,sg,false,Biological essentialism — implies women innately suited to caregiving,\binstinct maternel\b,Essentialist; links women to caregiving by biology,medical,Elle a l'instinct maternel,Elle a un lien fort avec ses enfants
+fr,rôle de la femme,responsabilités partagées,,gender|family_role|daily_life,phrase,general,general,warn,stereotype,family_role,implicit,,sg,false,Implies fixed social role for women,\brôle de la femme\b,Flag when used prescriptively,artistic,Le rôle de la femme est d'élever les enfants,Les responsabilités familiales sont partagées
+fr,belle femme,femme,,gender|appearance,phrase,general,general,warn,stereotype,appearance,explicit,,sg,false,Reduces woman to appearance,\bbelle femme\b,Flag when used in professional/role context,counter_stereotype,On cherche une belle femme pour ce poste,On cherche une personne qualifiée pour ce poste
+fr,bel homme,homme,,gender|appearance,phrase,general,general,warn,stereotype,appearance,explicit,,sg,false,Reduces man to appearance in professional context,\bbel homme\b,Flag when used in job/role context,counter_stereotype,On cherche un bel homme pour ce rôle,On cherche une personne qualifiée pour ce rôle
 fr,jolie secrétaire,assistant·e administratif·ve,,gender|appearance|occupation,phrase,office,general,replace,stereotype,appearance,explicit,,sg,false,Combines female role with appearance requirement,\bjolie secrétaire\b,Appearance requirement on gendered role,,Il cherche une jolie secrétaire,Il cherche un·e assistant·e administratif·ve compétent·e
-fr,la place de la femme est au foyer,chacun choisit sa place,,gender|daily_life,phrase,general,general,replace,stereotype,daily_life,explicit,,,false,Common French prescriptive phrase restricting women to domestic sphere,\bplace de la femme est au foyer\b|\bplace d\'une femme est au foyer\b,Always replace,Critical discussion,La place de la femme est au foyer,Chacun·e choisit librement son mode de vie
+fr,la place de la femme est au foyer,chacun choisit sa place,,gender|daily_life,phrase,general,general,replace,stereotype,daily_life,explicit,,,false,Common French prescriptive phrase restricting women to domestic sphere,\bplace de la femme est au foyer\b|\bplace d\'une femme est au foyer\b,Always replace,artistic,La place de la femme est au foyer,Chacun·e choisit librement son mode de vie
 fr,travail de femme,travail accessible à tous,,gender|daily_life|capability,phrase,general,general,replace,stereotype,daily_life,explicit,,,false,Gendered job labeling in French,\btravail de femme\b|\btravail de fille\b,Gender-restricted work label,,C'est un travail de femme,C'est un travail accessible à toute personne qualifiée
 fr,travail d'homme,travail exigeant,,gender|daily_life|capability,phrase,general,general,replace,stereotype,daily_life,explicit,,,false,Gendered job labeling in French,\btravail d\'homme\b|\btravail de garçon\b,Gender-restricted work label,,C'est un travail d'homme,C'est un travail exigeant
+fr,serveur,serveur·euse,personnel de service,gender|occupation,noun,hospitality,neutral,replace,stereotype,profession,explicit,,sg,false,,\bserveur\b,,proper_noun,Le serveur a pris notre commande.,Le personnel de service a pris notre commande.
+fr,le serveur,le personnel de service,personnel de service,gender|occupation,phrase,hospitality,neutral,replace,stereotype,profession,explicit,,sg,false,,,,,Demandez au serveur le menu,Demandez au personnel de service le menu
+fr,secrétaire,assistant·e administratif·ve,personnel administratif,gender|occupation,noun,administrative,neutral,warn,stereotype,profession,implicit,,sg,false,,\bsecrétaire\b,,proper_noun,Elle travaille comme secrétaire.,Elle travaille comme assistante administrative.
+fr,vendeur,vendeur·euse,commercial·e,gender|occupation,noun,sales,neutral,replace,stereotype,profession,explicit,,sg,false,,\bvendeur\b,,proper_noun,Il est le meilleur vendeur.,Il est le meilleur commercial.
+fr,député,élu·e,représentant·e,gender|leadership,noun,politics,formal,replace,stereotype,leadership,explicit,,sg,false,,\bdéputé\b,,proper_noun,Demandez à votre député au sujet du projet de loi.,Demandez à votre élu·e au sujet du projet de loi.
+fr,météorologue,météorologue,prévisionniste,gender|occupation,noun,science,neutral,warn,stereotype,profession,implicit,,sg,false,,\bmétéorologue\b,,proper_noun,Le météorologue a prédit la pluie.,Le·la météorologue a prédit la pluie.
+fr,réparateur,réparateur·rice,technicien·ne,gender|occupation,noun,trades,neutral,replace,stereotype,profession,explicit,,sg,false,,\bréparateur\b,,proper_noun,Le réparateur a réparé l'évier.,Le·la technicien·ne a réparé l'évier.
+fr,portier,agent d'accueil,agent·e de sécurité,gender|occupation,noun,security,neutral,replace,stereotype,profession,explicit,,sg,false,,\bportier\b,,proper_noun,Le portier a vérifié les cartes d'identité.,L'agent d'accueil a vérifié les cartes d'identité.
+fr,réceptionniste,agent d'accueil,personnel d'accueil,gender|occupation,noun,hospitality,neutral,warn,stereotype,profession,implicit,,sg,false,,\bréceptionniste\b,,proper_noun,Elle travaille comme réceptionniste.,Elle travaille comme agent d'accueil.
+fr,patron,responsable,dirigeant·e,gender|occupation,noun,business,formal,replace,stereotype,leadership,explicit,,sg,false,,\bpatron\b,,proper_noun|biographical,Le patron a pris la décision.,Le·la responsable a pris la décision.
+fr,cuisinière,cuisinier·ère,chef cuisinier·ère,gender|occupation,noun,hospitality,neutral,warn,stereotype,profession,implicit,,sg,false,,\bcuisinière\b,,proper_noun,Elle est une bonne cuisinière.,Elle est un·e bon·ne cuisinier·ère.
+fr,technicien,technicien·ne,spécialiste technique,gender|occupation,noun,technical,neutral,replace,stereotype,profession,explicit,,sg,false,,\btechnicien\b,,proper_noun,Demandez au technicien de l'aide.,Demandez au·à la technicien·ne de l'aide.
+fr,actrice,acteur·rice,artiste,gender|occupation,noun,arts,neutral,warn,counter-stereotype,profession,explicit,,sg,false,,\bactrice\b,,proper_noun,Elle veut devenir actrice.,Elle veut devenir acteur·rice.
+fr,mécanicien,mécanicien·ne,technicien·ne automobile,gender|occupation,noun,trades,neutral,replace,stereotype,profession,explicit,,sg,false,,\bmécanicien\b,,proper_noun,Le mécanicien a réparé la voiture.,Le·la mécanicien·ne a réparé la voiture.
+fr,conducteur,conducteur·rice,chauffeur·rice,gender|occupation,noun,transport,neutral,replace,stereotype,profession,explicit,,sg,false,,\bconducteur\b,,proper_noun,Le conducteur a arrêté le bus.,Le·la conducteur·rice a arrêté le bus.
+fr,boucher,boucher·ère,professionnel·le de la boucherie,gender|occupation,noun,trades,neutral,replace,stereotype,profession,explicit,,sg,false,,\bboucher\b,,proper_noun,Le boucher a coupé la viande.,Le·la boucher·ère a coupé la viande.
+fr,bibliothécaire,bibliothécaire,professionnel·le de la bibliothèque,gender|occupation,noun,education,neutral,warn,stereotype,profession,implicit,,sg,false,,\bbibliothécaire\b,,proper_noun,Demandez au bibliothécaire.,Demandez au·à la bibliothécaire.
+fr,médecin,médecin,praticien·ne,gender|occupation,noun,healthcare,neutral,warn,stereotype,profession,implicit,,sg,false,Generic 'médecin' — male assumed in French; warn when context implies male default,\bmédecin\b,,proper_noun|counter_stereotype,Chaque médecin doit mettre à jour ses dossiers.,Chaque médecin·e doit mettre à jour ses dossiers.
+fr,hôtesse,hôte,agent d'accueil,gender|occupation-gender,noun,general,neutral,replace,stereotype,profession,explicit,,,,,,,artistic|biographical,Le hôtesse a fait son travail.,Le hôte a fait son travail.
+fr,gardien,agent de sécurité,agent de surveillance,gender|occupation-gender,noun,general,neutral,replace,stereotype,profession,explicit,,,,,,,artistic|biographical,Le gardien a fait son travail.,Le agent de sécurité a fait son travail.