course/pr_1021/fr/_app/immutable/nodes/11.677fa650.js

import{s as F,n as Y,o as L}from"../chunks/scheduler.37c15a92.js";import{S as P,i as K,g as y,s as n,r as U,A as D,h as b,f as t,c as l,j as N,u as g,x as z,k as Q,y as O,a,v as j,d as T,t as w,w as k}from"../chunks/index.2bf4358c.js";import{C as X}from"../chunks/CodeBlock.4e987730.js";import{C as ee}from"../chunks/CourseFloatingBanner.6add7356.js";import{H as se,E as te}from"../chunks/getInferenceSnippets.ebf8be91.js";function ae(_){let i,v,f,C,r,$,o,V,p,R="Si vous souhaitez utiliser un modèle pré-entraîné ou une version <em>finetunée</em> de celui-ci en production, il est important d’avoir conscience que, bien que ces modèles soient puissants, ils ont des limites. La plus importante de ces limitations est que, pour permettre le pré-entraînement des modèles sur de grandes quantités de données, les chercheurs récupèrent souvent tout le contenu qu’ils peuvent trouver et donc en prenant le meilleur et le pire de ce qui est disponible sur internet.",q,u,H="Pour illustrer cela rapidement, revenons au pipeline <em>fill-mask</em> avec le modèle BERT :",x,m,B,c,I,M,A='Lorsque l’on demande au modèle de remplacer le mot manquant dans ces deux phrases, il ne propose qu’un seul métier ne portant pas la marque du genre (<em>waiter</em>/<em>waitress</em> → serveur/serveuse). Les autres sont des métiers habituellement associés à un genre spécifique : et oui malheureusement, prostituée a été retenu dans les 5 premiers choix du modèle, mot associé à « femme » et à « travail » par le modèle. Cela se produit même si BERT est l’un des rare <em>transformers</em> qui n’a pas été construit avec des données récupérées par <em>scrapping</em> sur internet, mais à l’aide de données en apparence neutres. En effet, il est entraîné sur les jeux de donnés <a href="https://huggingface.co/datasets/wikipedia" rel="nofollow">Wikipédia Anglais</a> et <a href="https://huggingface.co/datasets/bookcorpus" rel="nofollow">BookCorpus</a>).',Z,h,G="Donc lorsque vous utilisez ce genre d’outils, il est important de garder en tête que le modèle que vous utilisez peut rapidement générer du contenu sexiste, raciste ou homophobe. Le <em>finetuning</em> du modèle sur vos données ne fera en aucun cas disparaître ce biais intrinsèque.",W,d,E,J,S;return r=new se({props:{title:"Biais et limitations",local:"biais-et-limitations",headingTag:"h1"}}),o=new ee({props:{chapter:1,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"English",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"},{label:"Français",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/fr/chapter1/section8.ipynb"},{label:"English",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"},{label:"Français",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/fr/chapter1/section8.ipynb"}]}}),m=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdW5tYXNrZXIlMjAlM0QlMjBwaXBlbGluZSglMjJmaWxsLW1hc2slMjIlMkMlMjBtb2RlbCUzRCUyMmJlcnQtYmFzZS11bmNhc2VkJTIyKSUwQXJlc3VsdCUyMCUzRCUyMHVubWFza2VyKCUyMlRoaXMlMjBtYW4lMjB3b3JrcyUyMGFzJTIwYSUyMCU1Qk1BU0slNUQuJTIyKSUyMCUyMCUyMyUyMENldCUyMGhvbW1lJTIwdHJhdmFpbGxlJTIwY29tbWUlMjAlNUJNQVNRVUUlNUQlMEFwcmludCglNUJyJTVCJTIydG9rZW5fc3RyJTIyJTVEJTIwZm9yJTIwciUyMGluJTIwcmVzdWx0JTVEKSUwQSUwQXJlc3VsdCUyMCUzRCUyMHVubWFza2VyKCUyMlRoaXMlMjB3b21hbiUyMHdvcmtzJTIwYXMlMjBhJTIwJTVCTUFTSyU1RC4lMjIpJTIwJTIwJTIzJTIwQ2V0dGUlMjBmZW1tZSUyMHRyYXZhaWxsZSUyMGNvbW1lJTIwJTVCTUFTUVVFJTVEJTBBcHJpbnQoJTVCciU1QiUyMnRva2VuX3N0ciUyMiU1RCUyMGZvciUyMHIlMjBpbiUyMHJlc3VsdCU1RCk=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

unmasker = pipeline(<span class="hljs-string">&quot;fill-mask&quot;</span>, model=<span class="hljs-string">&quot;bert-base-uncased&quot;</span>)
result = unmasker(<span class="hljs-string">&quot;This man works as a [MASK].&quot;</span>)  <span class="hljs-comment"># Cet homme travaille comme [MASQUE]</span>
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])

result = unmasker(<span class="hljs-string">&quot;This woman works as a [MASK].&quot;</span>)  <span class="hljs-comment"># Cette femme travaille comme [MASQUE]</span>
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])`,wrap:!1}}),c=new X({props:{code:"JTVCJ2xhd3llciclMkMlMjAnY2FycGVudGVyJyUyQyUyMCdkb2N0b3InJTJDJTIwJ3dhaXRlciclMkMlMjAnbWVjaGFuaWMnJTVEJTIwJTBBJTIzJTIwJTVCYXZvY2F0JTJDJTIwY2hhcnBlbnRpZXIlMkMlMjBtJUMzJUE5ZGVjaW4lMkMlMjBzZXJ2ZXVyJTJDJTIwbSVDMyVBOWNhbmljaWVuJTVEJTBBJTVCJ251cnNlJyUyQyUyMCd3YWl0cmVzcyclMkMlMjAndGVhY2hlciclMkMlMjAnbWFpZCclMkMlMjAncHJvc3RpdHV0ZSclNUQlMjAlMEElMjMlMjAlNUIlMjJpbmZpcm1pJUMzJUE4cmUlMjIlMkMlMjAlMjJzZXJ2ZXVzZSUyMiUyQyUyMCUyMnByb2Zlc3NldXIlMjIlMkMlMjAlMjJmZW1tZSUyMGRlJTIwY2hhbWJyZSUyMiUyQyUyMCUyMnByb3N0aXR1JUMzJUE5ZSUyMiU1RA==",highlighted:`[<span class="hljs-string">&#x27;lawyer&#x27;</span>, <span class="hljs-string">&#x27;carpenter&#x27;</span>, <span class="hljs-string">&#x27;doctor&#x27;</span>, <span class="hljs-string">&#x27;waiter&#x27;</span>, <span class="hljs-string">&#x27;mechanic&#x27;</span>] 
<span class="hljs-comment"># [avocat, charpentier, médecin, serveur, mécanicien]</span>
[<span class="hljs-string">&#x27;nurse&#x27;</span>, <span class="hljs-string">&#x27;waitress&#x27;</span>, <span class="hljs-string">&#x27;teacher&#x27;</span>, <span class="hljs-string">&#x27;maid&#x27;</span>, <span class="hljs-string">&#x27;prostitute&#x27;</span>] 
<span class="hljs-comment"># [&quot;infirmière&quot;, &quot;serveuse&quot;, &quot;professeur&quot;, &quot;femme de chambre&quot;, &quot;prostituée&quot;]</span>`,wrap:!1}}),d=new te({props:{source:"https://github.com/huggingface/course/blob/main/chapters/fr/chapter1/8.mdx"}}),{c(){i=y("meta"),v=n(),f=y("p"),C=n(),U(r.$$.fragment),$=n(),U(o.$$.fragment),V=n(),p=y("p"),p.innerHTML=R,q=n(),u=y("p"),u.innerHTML=H,x=n(),U(m.$$.fragment),B=n(),U(c.$$.fragment),I=n(),M=y("p"),M.innerHTML=A,Z=n(),h=y("p"),h.innerHTML=G,W=n(),U(d.$$.fragment),E=n(),J=y("p"),this.h()},l(e){const s=D("svelte-u9bgzb",document.head);i=b(s,"META",{name:!0,content:!0}),s.forEach(t),v=l(e),f=b(e,"P",{}),N(f).forEach(t),C=l(e),g(r.$$.fragment,e),$=l(e),g(o.$$.fragment,e),V=l(e),p=b(e,"P",{"data-svelte-h":!0}),z(p)!=="svelte-qfkxtb"&&(p.innerHTML=R),q=l(e),u=b(e,"P",{"data-svelte-h":!0}),z(u)!=="svelte-1vwo7g9"&&(u.innerHTML=H),x=l(e),g(m.$$.fragment,e),B=l(e),g(c.$$.fragment,e),I=l(e),M=b(e,"P",{"data-svelte-h":!0}),z(M)!=="svelte-xwbmsn"&&(M.innerHTML=A),Z=l(e),h=b(e,"P",{"data-svelte-h":!0}),z(h)!=="svelte-dhau7a"&&(h.innerHTML=G),W=l(e),g(d.$$.fragment,e),E=l(e),J=b(e,"P",{}),N(J).forEach(t),this.h()},h(){Q(i,"name","hf:doc:metadata"),Q(i,"content",ne)},m(e,s){O(document.head,i),a(e,v,s),a(e,f,s),a(e,C,s),j(r,e,s),a(e,$,s),j(o,e,s),a(e,V,s),a(e,p,s),a(e,q,s),a(e,u,s),a(e,x,s),j(m,e,s),a(e,B,s),j(c,e,s),a(e,I,s),a(e,M,s),a(e,Z,s),a(e,h,s),a(e,W,s),j(d,e,s),a(e,E,s),a(e,J,s),S=!0},p:Y,i(e){S||(T(r.$$.fragment,e),T(o.$$.fragment,e),T(m.$$.fragment,e),T(c.$$.fragment,e),T(d.$$.fragment,e),S=!0)},o(e){w(r.$$.fragment,e),w(o.$$.fragment,e),w(m.$$.fragment,e),w(c.$$.fragment,e),w(d.$$.fragment,e),S=!1},d(e){e&&(t(v),t(f),t(C),t($),t(V),t(p),t(q),t(u),t(x),t(B),t(I),t(M),t(Z),t(h),t(W),t(E),t(J)),t(i),k(r,e),k(o,e),k(m,e),k(c,e),k(d,e)}}}const ne='{"title":"Biais et limitations","local":"biais-et-limitations","sections":[],"depth":1}';function le(_){return L(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class me extends P{constructor(i){super(),K(this,i,le,ae,F,{})}}export{me as component};