course/pr_1069/ru/_app/immutable/nodes/11.8cb3570e.js

import{s as X,n as F,o as Y}from"../chunks/scheduler.37c15a92.js";import{S as L,i as K,g as M,s as l,r as j,A as D,h as g,f as e,c as n,j as R,u as J,x as G,k as Z,y as O,a,v as w,d as $,t as x,w as T}from"../chunks/index.2bf4358c.js";import{C as P}from"../chunks/CodeBlock.4e987730.js";import{C as ss}from"../chunks/CourseFloatingBanner.9ff4c771.js";import{H as ts,E as es}from"../chunks/getInferenceSnippets.24b50994.js";function as(Q){let r,k,b,U,p,C,o,B,i,q="Если вы намерены использовать предварительно обученную модель или ее дообученную версию в рабочей среде, имейте в виду, что, хотя эти модели являются мощными инструментами, они имеют ограничения. Самое большое из них заключается в том, что для предварительного обучения на больших объемах данных исследователи часто очищают весь контент, который они могут найти, беря как лучшее, так и худшее из того, что доступно в Интернете.",_,c,H="Для иллюстрации вернемся к примеру пайплайна <code>fill-mask</code> с моделью BERT:",I,m,V,u,W,h,S='На просьбу вставить пропущенное слово в этих двух предложениях модель дает только один ответ без гендерной принадлежности (официант/официантка). Другие рабочие профессии обычно ассоциируются с одним конкретным полом — и да, проститутка попала в топ-5 вариантов, которые модель ассоциирует с “женщиной” и “работой”. Это происходит даже несмотря на то, что BERT — одна из редких моделей трансформеров, созданная не путем сбора данных со всего Интернета, а с использованием явно нейтральных данных (он обучен на <a href="https://huggingface.co/datasets/wikipedia" rel="nofollow">английской Википедии</a> и наборе данных <a href="https://huggingface.co/datasets/bookcorpus" rel="nofollow">BookCorpus</a>.',v,f,A="Поэтому, когда вы используете эти инструменты, вам нужно помнить, что исходная модель, которую вы используете, может очень легко генерировать сексистский, расистский или гомофобный контент. Дообучение модели на ваших данных не сможет устранить эту внутреннюю предвзятость.",N,y,z,d,E;return p=new ts({props:{title:"Предвзятости и ограничения",local:"предвзятости-и-ограничения",headingTag:"h1"}}),o=new ss({props:{chapter:1,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ru/chapter1/section8.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ru/chapter1/section8.ipynb"}]}}),m=new P({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdW5tYXNrZXIlMjAlM0QlMjBwaXBlbGluZSglMjJmaWxsLW1hc2slMjIlMkMlMjBtb2RlbCUzRCUyMmJlcnQtYmFzZS11bmNhc2VkJTIyKSUwQXJlc3VsdCUyMCUzRCUyMHVubWFza2VyKCUyMlRoaXMlMjBtYW4lMjB3b3JrcyUyMGFzJTIwYSUyMCU1Qk1BU0slNUQuJTIyKSUwQXByaW50KCU1QnIlNUIlMjJ0b2tlbl9zdHIlMjIlNUQlMjBmb3IlMjByJTIwaW4lMjByZXN1bHQlNUQpJTBBJTBBcmVzdWx0JTIwJTNEJTIwdW5tYXNrZXIoJTIyVGhpcyUyMHdvbWFuJTIwd29ya3MlMjBhcyUyMGElMjAlNUJNQVNLJTVELiUyMiklMEFwcmludCglNUJyJTVCJTIydG9rZW5fc3RyJTIyJTVEJTIwZm9yJTIwciUyMGluJTIwcmVzdWx0JTVEKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

unmasker = pipeline(<span class="hljs-string">&quot;fill-mask&quot;</span>, model=<span class="hljs-string">&quot;bert-base-uncased&quot;</span>)
result = unmasker(<span class="hljs-string">&quot;This man works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])

result = unmasker(<span class="hljs-string">&quot;This woman works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])`,wrap:!1}}),u=new P({props:{code:"JTVCJ2xhd3llciclMkMlMjAnY2FycGVudGVyJyUyQyUyMCdkb2N0b3InJTJDJTIwJ3dhaXRlciclMkMlMjAnbWVjaGFuaWMnJTVEJTBBJTVCJ251cnNlJyUyQyUyMCd3YWl0cmVzcyclMkMlMjAndGVhY2hlciclMkMlMjAnbWFpZCclMkMlMjAncHJvc3RpdHV0ZSclNUQ=",highlighted:`[<span class="hljs-string">&#x27;lawyer&#x27;</span>, <span class="hljs-string">&#x27;carpenter&#x27;</span>, <span class="hljs-string">&#x27;doctor&#x27;</span>, <span class="hljs-string">&#x27;waiter&#x27;</span>, <span class="hljs-string">&#x27;mechanic&#x27;</span>]
[<span class="hljs-string">&#x27;nurse&#x27;</span>, <span class="hljs-string">&#x27;waitress&#x27;</span>, <span class="hljs-string">&#x27;teacher&#x27;</span>, <span class="hljs-string">&#x27;maid&#x27;</span>, <span class="hljs-string">&#x27;prostitute&#x27;</span>]`,wrap:!1}}),y=new es({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter1/8.mdx"}}),{c(){r=M("meta"),k=l(),b=M("p"),U=l(),j(p.$$.fragment),C=l(),j(o.$$.fragment),B=l(),i=M("p"),i.textContent=q,_=l(),c=M("p"),c.innerHTML=H,I=l(),j(m.$$.fragment),V=l(),j(u.$$.fragment),W=l(),h=M("p"),h.innerHTML=S,v=l(),f=M("p"),f.textContent=A,N=l(),j(y.$$.fragment),z=l(),d=M("p"),this.h()},l(s){const t=D("svelte-u9bgzb",document.head);r=g(t,"META",{name:!0,content:!0}),t.forEach(e),k=n(s),b=g(s,"P",{}),R(b).forEach(e),U=n(s),J(p.$$.fragment,s),C=n(s),J(o.$$.fragment,s),B=n(s),i=g(s,"P",{"data-svelte-h":!0}),G(i)!=="svelte-qazxsv"&&(i.textContent=q),_=n(s),c=g(s,"P",{"data-svelte-h":!0}),G(c)!=="svelte-txcz4m"&&(c.innerHTML=H),I=n(s),J(m.$$.fragment,s),V=n(s),J(u.$$.fragment,s),W=n(s),h=g(s,"P",{"data-svelte-h":!0}),G(h)!=="svelte-buc9yd"&&(h.innerHTML=S),v=n(s),f=g(s,"P",{"data-svelte-h":!0}),G(f)!=="svelte-1oup1zx"&&(f.textContent=A),N=n(s),J(y.$$.fragment,s),z=n(s),d=g(s,"P",{}),R(d).forEach(e),this.h()},h(){Z(r,"name","hf:doc:metadata"),Z(r,"content",ls)},m(s,t){O(document.head,r),a(s,k,t),a(s,b,t),a(s,U,t),w(p,s,t),a(s,C,t),w(o,s,t),a(s,B,t),a(s,i,t),a(s,_,t),a(s,c,t),a(s,I,t),w(m,s,t),a(s,V,t),w(u,s,t),a(s,W,t),a(s,h,t),a(s,v,t),a(s,f,t),a(s,N,t),w(y,s,t),a(s,z,t),a(s,d,t),E=!0},p:F,i(s){E||($(p.$$.fragment,s),$(o.$$.fragment,s),$(m.$$.fragment,s),$(u.$$.fragment,s),$(y.$$.fragment,s),E=!0)},o(s){x(p.$$.fragment,s),x(o.$$.fragment,s),x(m.$$.fragment,s),x(u.$$.fragment,s),x(y.$$.fragment,s),E=!1},d(s){s&&(e(k),e(b),e(U),e(C),e(B),e(i),e(_),e(c),e(I),e(V),e(W),e(h),e(v),e(f),e(N),e(z),e(d)),e(r),T(p,s),T(o,s),T(m,s),T(u,s),T(y,s)}}}const ls='{"title":"Предвзятости и ограничения","local":"предвзятости-и-ограничения","sections":[],"depth":1}';function ns(Q){return Y(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ms extends L{constructor(r){super(),K(this,r,ns,as,X,{})}}export{ms as component};