course/pr_1152/ru/_app/immutable/nodes/8.8cfa2ef4.js

import{s as K,n as V,o as W}from"../chunks/scheduler.893fe8c9.js";import{S as X,i as Z,e as s,s as a,c as x,h as tt,a as m,d as l,b as i,f as Q,g as v,j as C,k as I,l as et,m as n,n as T,t as E,o as L,p as M}from"../chunks/index.2d09ebb4.js";import{C as lt,H as nt,E as at}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.9bc9d453.js";import{Y as it}from"../chunks/Youtube.b7012d06.js";import{C as rt}from"../chunks/CourseFloatingBanner.e3aeab73.js";function st(Y){let r,P,b,y,o,H,f,R,p,z,u,B,$,D="Кодировщики используют только компонент кодировщика трансформера. На каждом этапе слой внимания может использовать все слова исходного предложения. Эти модели часто характеризуют как имеющие двунаправленное внимание (англ. bi-directional attention), и часто называют моделями <em>автокодировщиками</em>.",k,c,F="Предварительное обучение этих моделей обычно заключается в том, чтобы как-то исказить предложение (например, путем маскировки в нем случайных слов) и поставить перед моделью задачу найти или восстановить исходное предложение.",S,h,G="Кодировщики лучше всего подходят для задач, требующих <em>понимания</em> всего предложения, таких как классификация предложений, распознавание именованных сущностей (и, в более общем смысле, классификация слов) и ответы на вопросы с извлечением информации из контекста (выделительные вопросно-ответные системы).",A,g,J="К представителям этого семейства моделей относятся:",U,_,O='<li><a href="https://huggingface.co/transformers/model_doc/albert.html" rel="nofollow">ALBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/bert.html" rel="nofollow">BERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/distilbert.html" rel="nofollow">DistilBERT</a></li> <li><a href="https://huggingface.co/transformers/model_doc/electra.html" rel="nofollow">ELECTRA</a></li> <li><a href="https://huggingface.co/transformers/model_doc/roberta.html" rel="nofollow">RoBERTa</a></li>',j,d,q,w,N;return o=new lt({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new nt({props:{title:"Модели-кодировщики",local:"модели-кодировщики",headingTag:"h1"}}),p=new rt({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),u=new it({props:{id:"MUqNwgPjJvQ"}}),d=new at({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter1/5.mdx"}}),{c(){r=s("meta"),P=a(),b=s("p"),y=a(),x(o.$$.fragment),H=a(),x(f.$$.fragment),R=a(),x(p.$$.fragment),z=a(),x(u.$$.fragment),B=a(),$=s("p"),$.innerHTML=D,k=a(),c=s("p"),c.textContent=F,S=a(),h=s("p"),h.innerHTML=G,A=a(),g=s("p"),g.textContent=J,U=a(),_=s("ul"),_.innerHTML=O,j=a(),x(d.$$.fragment),q=a(),w=s("p"),this.h()},l(t){const e=tt("svelte-u9bgzb",document.head);r=m(e,"META",{name:!0,content:!0}),e.forEach(l),P=i(t),b=m(t,"P",{}),Q(b).forEach(l),y=i(t),v(o.$$.fragment,t),H=i(t),v(f.$$.fragment,t),R=i(t),v(p.$$.fragment,t),z=i(t),v(u.$$.fragment,t),B=i(t),$=m(t,"P",{"data-svelte-h":!0}),C($)!=="svelte-lr7kkl"&&($.innerHTML=D),k=i(t),c=m(t,"P",{"data-svelte-h":!0}),C(c)!=="svelte-1w67d0g"&&(c.textContent=F),S=i(t),h=m(t,"P",{"data-svelte-h":!0}),C(h)!=="svelte-1cwwm6b"&&(h.innerHTML=G),A=i(t),g=m(t,"P",{"data-svelte-h":!0}),C(g)!=="svelte-bflasu"&&(g.textContent=J),U=i(t),_=m(t,"UL",{"data-svelte-h":!0}),C(_)!=="svelte-18kzzol"&&(_.innerHTML=O),j=i(t),v(d.$$.fragment,t),q=i(t),w=m(t,"P",{}),Q(w).forEach(l),this.h()},h(){I(r,"name","hf:doc:metadata"),I(r,"content",mt)},m(t,e){et(document.head,r),n(t,P,e),n(t,b,e),n(t,y,e),T(o,t,e),n(t,H,e),T(f,t,e),n(t,R,e),T(p,t,e),n(t,z,e),T(u,t,e),n(t,B,e),n(t,$,e),n(t,k,e),n(t,c,e),n(t,S,e),n(t,h,e),n(t,A,e),n(t,g,e),n(t,U,e),n(t,_,e),n(t,j,e),T(d,t,e),n(t,q,e),n(t,w,e),N=!0},p:V,i(t){N||(E(o.$$.fragment,t),E(f.$$.fragment,t),E(p.$$.fragment,t),E(u.$$.fragment,t),E(d.$$.fragment,t),N=!0)},o(t){L(o.$$.fragment,t),L(f.$$.fragment,t),L(p.$$.fragment,t),L(u.$$.fragment,t),L(d.$$.fragment,t),N=!1},d(t){t&&(l(P),l(b),l(y),l(H),l(R),l(z),l(B),l($),l(k),l(c),l(S),l(h),l(A),l(g),l(U),l(_),l(j),l(q),l(w)),l(r),M(o,t),M(f,t),M(p,t),M(u,t),M(d,t)}}}const mt='{"title":"Модели-кодировщики","local":"модели-кодировщики","sections":[],"depth":1}';function ot(Y){return W(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ht extends X{constructor(r){super(),Z(this,r,ot,st,K,{})}}export{ht as component};