course/pr_1052/id/_app/immutable/nodes/13.72b4635d.js

import{s as P,n as X,o as Y}from"../chunks/scheduler.1d51f4c0.js";import{S as F,i as L,g as k,s,r as M,A as D,h as y,f as n,c as l,j as R,u as j,x as G,k as Z,y as O,a as t,v as w,d as J,t as $,w as T}from"../chunks/index.86f0ceea.js";import{C as K}from"../chunks/CodeBlock.8a3abcd3.js";import{C as aa}from"../chunks/CourseFloatingBanner.9ea31445.js";import{H as ea,E as na}from"../chunks/getInferenceSnippets.462a0ab5.js";function ta(Q){let i,x,b,U,r,C,p,B,m,S="Jika Anda berniat menggunakan model pralatih atau versi yang telah disesuaikan (fine-tuned) dalam produksi, harap diingat bahwa meskipun model-model ini merupakan alat yang sangat kuat, mereka memiliki keterbatasan. Yang paling utama adalah bahwa, untuk memungkinkan pelatihan awal (pretraining) pada data dalam jumlah besar, para peneliti sering mengambil semua konten yang bisa mereka temukan — baik yang terbaik maupun yang terburuk — dari internet.",I,o,H="Sebagai ilustrasi singkat, mari kita kembali ke contoh pipeline <code>fill-mask</code> dengan model BERT:",_,u,V,d,W,g,q='Ketika diminta untuk mengisi kata yang hilang dalam dua kalimat ini, model hanya memberikan satu jawaban yang netral terhadap gender (waiter/waitress). Jawaban lainnya merupakan jenis pekerjaan yang biasanya diasosiasikan dengan gender tertentu — dan ya, “prostitute” (pelacur) termasuk dalam 5 kemungkinan teratas yang diasosiasikan model dengan “perempuan” dan “bekerja”. Ini terjadi meskipun BERT adalah salah satu dari sedikit model Transformer yang tidak dibangun dengan mengambil data dari seluruh penjuru internet, melainkan menggunakan data yang tampaknya netral (dilatih pada dataset <a href="https://huggingface.co/datasets/wikipedia" rel="nofollow">Wikipedia Bahasa Inggris</a> dan <a href="https://huggingface.co/datasets/bookcorpus" rel="nofollow">BookCorpus</a>).',v,c,z="Saat Anda menggunakan alat ini, Anda perlu selalu mengingat bahwa model asli yang Anda gunakan sangat mungkin menghasilkan konten yang seksis, rasis, atau homofobik. Melatih ulang model dengan data Anda tidak akan sepenuhnya menghilangkan bias yang melekat ini.",A,h,N,f,E;return r=new ea({props:{title:"Bias dan Keterbatasan",local:"bias-and-limitations",headingTag:"h1"}}),p=new aa({props:{chapter:1,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter1/section8.ipynb"}]}}),u=new K({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBdW5tYXNrZXIlMjAlM0QlMjBwaXBlbGluZSglMjJmaWxsLW1hc2slMjIlMkMlMjBtb2RlbCUzRCUyMmJlcnQtYmFzZS11bmNhc2VkJTIyKSUwQXJlc3VsdCUyMCUzRCUyMHVubWFza2VyKCUyMlRoaXMlMjBtYW4lMjB3b3JrcyUyMGFzJTIwYSUyMCU1Qk1BU0slNUQuJTIyKSUwQXByaW50KCU1QnIlNUIlMjJ0b2tlbl9zdHIlMjIlNUQlMjBmb3IlMjByJTIwaW4lMjByZXN1bHQlNUQpJTBBJTBBcmVzdWx0JTIwJTNEJTIwdW5tYXNrZXIoJTIyVGhpcyUyMHdvbWFuJTIwd29ya3MlMjBhcyUyMGElMjAlNUJNQVNLJTVELiUyMiklMEFwcmludCglNUJyJTVCJTIydG9rZW5fc3RyJTIyJTVEJTIwZm9yJTIwciUyMGluJTIwcmVzdWx0JTVEKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

unmasker = pipeline(<span class="hljs-string">&quot;fill-mask&quot;</span>, model=<span class="hljs-string">&quot;bert-base-uncased&quot;</span>)
result = unmasker(<span class="hljs-string">&quot;This man works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])

result = unmasker(<span class="hljs-string">&quot;This woman works as a [MASK].&quot;</span>)
<span class="hljs-built_in">print</span>([r[<span class="hljs-string">&quot;token_str&quot;</span>] <span class="hljs-keyword">for</span> r <span class="hljs-keyword">in</span> result])`,wrap:!1}}),d=new K({props:{code:"JTVCJ2xhd3llciclMkMlMjAnY2FycGVudGVyJyUyQyUyMCdkb2N0b3InJTJDJTIwJ3dhaXRlciclMkMlMjAnbWVjaGFuaWMnJTVEJTBBJTVCJ251cnNlJyUyQyUyMCd3YWl0cmVzcyclMkMlMjAndGVhY2hlciclMkMlMjAnbWFpZCclMkMlMjAncHJvc3RpdHV0ZSclNUQ=",highlighted:`[<span class="hljs-string">&#x27;lawyer&#x27;</span>, <span class="hljs-string">&#x27;carpenter&#x27;</span>, <span class="hljs-string">&#x27;doctor&#x27;</span>, <span class="hljs-string">&#x27;waiter&#x27;</span>, <span class="hljs-string">&#x27;mechanic&#x27;</span>]
[<span class="hljs-string">&#x27;nurse&#x27;</span>, <span class="hljs-string">&#x27;waitress&#x27;</span>, <span class="hljs-string">&#x27;teacher&#x27;</span>, <span class="hljs-string">&#x27;maid&#x27;</span>, <span class="hljs-string">&#x27;prostitute&#x27;</span>]`,wrap:!1}}),h=new na({props:{source:"https://github.com/huggingface/course/blob/main/chapters/id/chapter1/9.mdx"}}),{c(){i=k("meta"),x=s(),b=k("p"),U=s(),M(r.$$.fragment),C=s(),M(p.$$.fragment),B=s(),m=k("p"),m.textContent=S,I=s(),o=k("p"),o.innerHTML=H,_=s(),M(u.$$.fragment),V=s(),M(d.$$.fragment),W=s(),g=k("p"),g.innerHTML=q,v=s(),c=k("p"),c.textContent=z,A=s(),M(h.$$.fragment),N=s(),f=k("p"),this.h()},l(a){const e=D("svelte-u9bgzb",document.head);i=y(e,"META",{name:!0,content:!0}),e.forEach(n),x=l(a),b=y(a,"P",{}),R(b).forEach(n),U=l(a),j(r.$$.fragment,a),C=l(a),j(p.$$.fragment,a),B=l(a),m=y(a,"P",{"data-svelte-h":!0}),G(m)!=="svelte-1do4fc5"&&(m.textContent=S),I=l(a),o=y(a,"P",{"data-svelte-h":!0}),G(o)!=="svelte-23jehh"&&(o.innerHTML=H),_=l(a),j(u.$$.fragment,a),V=l(a),j(d.$$.fragment,a),W=l(a),g=y(a,"P",{"data-svelte-h":!0}),G(g)!=="svelte-zbvb3j"&&(g.innerHTML=q),v=l(a),c=y(a,"P",{"data-svelte-h":!0}),G(c)!=="svelte-88jgwk"&&(c.textContent=z),A=l(a),j(h.$$.fragment,a),N=l(a),f=y(a,"P",{}),R(f).forEach(n),this.h()},h(){Z(i,"name","hf:doc:metadata"),Z(i,"content",sa)},m(a,e){O(document.head,i),t(a,x,e),t(a,b,e),t(a,U,e),w(r,a,e),t(a,C,e),w(p,a,e),t(a,B,e),t(a,m,e),t(a,I,e),t(a,o,e),t(a,_,e),w(u,a,e),t(a,V,e),w(d,a,e),t(a,W,e),t(a,g,e),t(a,v,e),t(a,c,e),t(a,A,e),w(h,a,e),t(a,N,e),t(a,f,e),E=!0},p:X,i(a){E||(J(r.$$.fragment,a),J(p.$$.fragment,a),J(u.$$.fragment,a),J(d.$$.fragment,a),J(h.$$.fragment,a),E=!0)},o(a){$(r.$$.fragment,a),$(p.$$.fragment,a),$(u.$$.fragment,a),$(d.$$.fragment,a),$(h.$$.fragment,a),E=!1},d(a){a&&(n(x),n(b),n(U),n(C),n(B),n(m),n(I),n(o),n(_),n(V),n(W),n(g),n(v),n(c),n(A),n(N),n(f)),n(i),T(r,a),T(p,a),T(u,a),T(d,a),T(h,a)}}}const sa='{"title":"Bias dan Keterbatasan","local":"bias-and-limitations","sections":[],"depth":1}';function la(Q){return Y(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ua extends F{constructor(i){super(),L(this,i,la,ta,P,{})}}export{ua as component};