course/pr_1127/ja/_app/immutable/nodes/8.658f7ea7.js

import{s as K,n as V,o as W}from"../chunks/scheduler.ddeee2a5.js";import{S as X,i as Z,e as r,s as a,c as v,h as tt,a as s,d as n,b as i,f as Q,g as C,j as w,k as I,l as et,m as l,n as T,t as E,o as P,p as L}from"../chunks/index.b5ed4bbb.js";import{C as nt,H as lt,E as at}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.f3ea68b7.js";import{Y as it}from"../chunks/Youtube.08e6a733.js";import{C as ot}from"../chunks/CourseFloatingBanner.e70be405.js";function rt(Y){let o,y,x,M,m,R,f,H,p,q,u,z,$,D="エンコーダーモデルとは、Transformerモデルのエンコーダーのみを使用したモデルを指します。 処理の各段階で、attention層は最初の文の全ての単語にアクセスすることができます。 これらのモデルは “bi-directional”（双方向）のattentionを持つものとして特徴付けられ、<em>オートエンコーダーモデル</em>と呼ばれます。",B,c,F="これらのモデルの事前学習は、何らかの方法で（例えば文中の単語をランダムにマスクするなどで）文を壊し、この文の再構築をタスクとして解くことを中心に展開されます。",S,h,G="エンコーダーモデルは、文の分類 ・ 固有表現認識（より一般的には単語の分類） ・ 抽出的質問応答など、文全体の理解を必要とするタスクに最も適しています。",j,g,J="エンコーダーモデルでは以下のものが代表的です：",A,_,O='<li><a href="https://huggingface.co/transformers/model_doc/albert.html" rel="nofollow">ALBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/bert.html" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/distilbert.html" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/electra.html" rel="nofollow">ELECTRA</a></li> <li><a href="https://huggingface.co/transformers/model_doc/roberta.html" rel="nofollow">RoBERTa</a></li>',U,d,k,b,N;return m=new nt({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new lt({props:{title:"エンコーダーモデル",local:"エンコーダーモデル",headingTag:"h1"}}),p=new ot({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),u=new it({props:{id:"MUqNwgPjJvQ"}}),d=new at({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter1/5.mdx"}}),{c(){o=r("meta"),y=a(),x=r("p"),M=a(),v(m.$$.fragment),R=a(),v(f.$$.fragment),H=a(),v(p.$$.fragment),q=a(),v(u.$$.fragment),z=a(),$=r("p"),$.innerHTML=D,B=a(),c=r("p"),c.textContent=F,S=a(),h=r("p"),h.textContent=G,j=a(),g=r("p"),g.textContent=J,A=a(),_=r("ul"),_.innerHTML=O,U=a(),v(d.$$.fragment),k=a(),b=r("p"),this.h()},l(t){const e=tt("svelte-u9bgzb",document.head);o=s(e,"META",{name:!0,content:!0}),e.forEach(n),y=i(t),x=s(t,"P",{}),Q(x).forEach(n),M=i(t),C(m.$$.fragment,t),R=i(t),C(f.$$.fragment,t),H=i(t),C(p.$$.fragment,t),q=i(t),C(u.$$.fragment,t),z=i(t),$=s(t,"P",{"data-svelte-h":!0}),w($)!=="svelte-8po7a1"&&($.innerHTML=D),B=i(t),c=s(t,"P",{"data-svelte-h":!0}),w(c)!=="svelte-q93tvn"&&(c.textContent=F),S=i(t),h=s(t,"P",{"data-svelte-h":!0}),w(h)!=="svelte-y4qvu8"&&(h.textContent=G),j=i(t),g=s(t,"P",{"data-svelte-h":!0}),w(g)!=="svelte-62qi47"&&(g.textContent=J),A=i(t),_=s(t,"UL",{"data-svelte-h":!0}),w(_)!=="svelte-18kzzol"&&(_.innerHTML=O),U=i(t),C(d.$$.fragment,t),k=i(t),b=s(t,"P",{}),Q(b).forEach(n),this.h()},h(){I(o,"name","hf:doc:metadata"),I(o,"content",st)},m(t,e){et(document.head,o),l(t,y,e),l(t,x,e),l(t,M,e),T(m,t,e),l(t,R,e),T(f,t,e),l(t,H,e),T(p,t,e),l(t,q,e),T(u,t,e),l(t,z,e),l(t,$,e),l(t,B,e),l(t,c,e),l(t,S,e),l(t,h,e),l(t,j,e),l(t,g,e),l(t,A,e),l(t,_,e),l(t,U,e),T(d,t,e),l(t,k,e),l(t,b,e),N=!0},p:V,i(t){N||(E(m.$$.fragment,t),E(f.$$.fragment,t),E(p.$$.fragment,t),E(u.$$.fragment,t),E(d.$$.fragment,t),N=!0)},o(t){P(m.$$.fragment,t),P(f.$$.fragment,t),P(p.$$.fragment,t),P(u.$$.fragment,t),P(d.$$.fragment,t),N=!1},d(t){t&&(n(y),n(x),n(M),n(R),n(H),n(q),n(z),n($),n(B),n(c),n(S),n(h),n(j),n(g),n(A),n(_),n(U),n(k),n(b)),n(o),L(m,t),L(f,t),L(p,t),L(u,t),L(d,t)}}}const st='{"title":"エンコーダーモデル","local":"エンコーダーモデル","sections":[],"depth":1}';function mt(Y){return W(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ht extends X{constructor(o){super(),Z(this,o,mt,rt,K,{})}}export{ht as component};