course/pr_1149/th/_app/immutable/nodes/8.c71e7ff6.js

import{s as K,n as V,o as W}from"../chunks/scheduler.505acc25.js";import{S as X,i as Z,e as i,s as a,c as w,h as tt,a as s,d as n,b as o,f as Q,g as C,j as v,k as I,l as et,m as l,n as E,t as T,o as P,p as L}from"../chunks/index.17dd9071.js";import{C as nt,H as lt,E as at}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.65fa0d06.js";import{Y as ot}from"../chunks/Youtube.793fe4bf.js";import{C as rt}from"../chunks/CourseFloatingBanner.9496b79e.js";function it(Y){let r,y,x,M,m,R,f,H,p,z,u,B,c,D="โมเดล encoder ใช้เพียงส่วน encoder จากโมเดล Transformer เท่านั้น ในแต่ละชั้น attention layer สามารถเข้าถึงคำทุกคำในประโยคได้ โมเดลเหล่านี้ส่วนใหญ่จะใช้ attention แบบสองทาง (หรือเรียกว่า bi-directional attention) และถูกเรียกว่า <em>โมเดล auto-encoding</em>",S,$,F="โมเดล pretrain ในกลุ่มนี้จะเทรนโดยการให้ประโยคเริ่มต้นและประโยควิบัติ(เช่น เว้นว่างคำบางคำในประโยค) และเป้าหมายของโมเดลคือหาวิธีสร้างประโยคเริ่มต้นให้ดีดังเดิม",k,h,G="โมเดล encoder เหมาะกับงานแบบนี้ที่สุด เพราะงานเหล่านี้ต้องการความเข้าใจประโยคทั้งประโยค ตัวอย่างงานแบบนี้เช่น การแยกแยะประโยค, การระบุคำเฉพาะในประโยค (รวมถึงการแยกแยะประเภทคำ), และการสกัดคำถามคำตอบ",A,g,J="ตัวแทนโมเดลในกลุ่มนี้ได้แก่:",U,d,O='<li><a href="https://huggingface.co/transformers/model_doc/albert.html" rel="nofollow">ALBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/bert.html" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/distilbert.html" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/electra.html" rel="nofollow">ELECTRA</a></li> <li><a href="https://huggingface.co/transformers/model_doc/roberta.html" rel="nofollow">RoBERTa</a></li>',j,_,q,b,N;return m=new nt({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new lt({props:{title:"โมเดล Encoder",local:"โมเดล-encoder",headingTag:"h1"}}),p=new rt({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),u=new ot({props:{id:"MUqNwgPjJvQ"}}),_=new at({props:{source:"https://github.com/huggingface/course/blob/main/chapters/th/chapter1/5.mdx"}}),{c(){r=i("meta"),y=a(),x=i("p"),M=a(),w(m.$$.fragment),R=a(),w(f.$$.fragment),H=a(),w(p.$$.fragment),z=a(),w(u.$$.fragment),B=a(),c=i("p"),c.innerHTML=D,S=a(),$=i("p"),$.textContent=F,k=a(),h=i("p"),h.textContent=G,A=a(),g=i("p"),g.textContent=J,U=a(),d=i("ul"),d.innerHTML=O,j=a(),w(_.$$.fragment),q=a(),b=i("p"),this.h()},l(t){const e=tt("svelte-u9bgzb",document.head);r=s(e,"META",{name:!0,content:!0}),e.forEach(n),y=o(t),x=s(t,"P",{}),Q(x).forEach(n),M=o(t),C(m.$$.fragment,t),R=o(t),C(f.$$.fragment,t),H=o(t),C(p.$$.fragment,t),z=o(t),C(u.$$.fragment,t),B=o(t),c=s(t,"P",{"data-svelte-h":!0}),v(c)!=="svelte-10i777"&&(c.innerHTML=D),S=o(t),$=s(t,"P",{"data-svelte-h":!0}),v($)!=="svelte-12wkt63"&&($.textContent=F),k=o(t),h=s(t,"P",{"data-svelte-h":!0}),v(h)!=="svelte-tcw1f9"&&(h.textContent=G),A=o(t),g=s(t,"P",{"data-svelte-h":!0}),v(g)!=="svelte-10huopx"&&(g.textContent=J),U=o(t),d=s(t,"UL",{"data-svelte-h":!0}),v(d)!=="svelte-18kzzol"&&(d.innerHTML=O),j=o(t),C(_.$$.fragment,t),q=o(t),b=s(t,"P",{}),Q(b).forEach(n),this.h()},h(){I(r,"name","hf:doc:metadata"),I(r,"content",st)},m(t,e){et(document.head,r),l(t,y,e),l(t,x,e),l(t,M,e),E(m,t,e),l(t,R,e),E(f,t,e),l(t,H,e),E(p,t,e),l(t,z,e),E(u,t,e),l(t,B,e),l(t,c,e),l(t,S,e),l(t,$,e),l(t,k,e),l(t,h,e),l(t,A,e),l(t,g,e),l(t,U,e),l(t,d,e),l(t,j,e),E(_,t,e),l(t,q,e),l(t,b,e),N=!0},p:V,i(t){N||(T(m.$$.fragment,t),T(f.$$.fragment,t),T(p.$$.fragment,t),T(u.$$.fragment,t),T(_.$$.fragment,t),N=!0)},o(t){P(m.$$.fragment,t),P(f.$$.fragment,t),P(p.$$.fragment,t),P(u.$$.fragment,t),P(_.$$.fragment,t),N=!1},d(t){t&&(n(y),n(x),n(M),n(R),n(H),n(z),n(B),n(c),n(S),n($),n(k),n(h),n(A),n(g),n(U),n(d),n(j),n(q),n(b)),n(r),L(m,t),L(f,t),L(p,t),L(u,t),L(_,t)}}}const st='{"title":"โมเดล Encoder","local":"โมเดล-encoder","sections":[],"depth":1}';function mt(Y){return W(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ht extends X{constructor(r){super(),Z(this,r,mt,it,K,{})}}export{ht as component};