course/pr_1190/ru/_app/immutable/nodes/10.eb3d2bd4.js

import{s as Q,n as V,o as W}from"../chunks/scheduler.893fe8c9.js";import{S as X,i as Z,e as r,s as a,c as b,h as ee,a as i,d as n,b as s,f as I,g as v,j as w,k as J,l as te,m as l,n as C,t as T,o as M,p as y}from"../chunks/index.2d09ebb4.js";import{C as ne,H as le,E as ae}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.e1f3f4cd.js";import{Y as se}from"../chunks/Youtube.b7012d06.js";import{C as me}from"../chunks/CourseFloatingBanner.e3aeab73.js";function re(F){let m,L,d,P,o,E,f,H,p,S,u,k,$,G="Модели типа кодировщик-декодировщик (также называемые <em>sequence-to-sequence models</em>) используют обе части трансформера. На каждом этапе слой внимания кодировщика получает доступ ко всем словам в исходной последовательности, тогда как слой внимания декодировщика получает доступ только к тем словам, которые расположены до текущего слова.",z,c,K='Предобучение таких моделей может быть выполнено на задачах, используемых для предобучения моделей кодировщиков или декодировщиков, но обычно все немного сложнее. Например, модель <a href="https://huggingface.co/t5-base" rel="nofollow">T5</a> была предобучена путем замены случайных фрагментов текста (фрагменты могут содержать несколько слов) на специальную маску, цель модели - предсказать текст, который заменила маска.',A,h,N="Модели seq2seq лучше всего подходят для задач генерации новых предложений, зависящих от входного массива данных, например: автоматическое реферирование текста, перевод или в генеративных вопросно-ответных системах.",B,g,O="Представителями этого семейства являются:",R,_,D='<li><a href="https://huggingface.co/transformers/model_doc/bart.html" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/mbart.html" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/marian.html" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/transformers/model_doc/t5.html" rel="nofollow">T5</a></li>',U,x,Y,q,j;return o=new ne({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new le({props:{title:"Модели вида “seq2seq”",local:"модели-вида-seq2seq",headingTag:"h1"}}),p=new me({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),u=new se({props:{id:"0_4KEb08xrE"}}),x=new ae({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter1/7.mdx"}}),{c(){m=r("meta"),L=a(),d=r("p"),P=a(),b(o.$$.fragment),E=a(),b(f.$$.fragment),H=a(),b(p.$$.fragment),S=a(),b(u.$$.fragment),k=a(),$=r("p"),$.innerHTML=G,z=a(),c=r("p"),c.innerHTML=K,A=a(),h=r("p"),h.textContent=N,B=a(),g=r("p"),g.textContent=O,R=a(),_=r("ul"),_.innerHTML=D,U=a(),b(x.$$.fragment),Y=a(),q=r("p"),this.h()},l(e){const t=ee("svelte-u9bgzb",document.head);m=i(t,"META",{name:!0,content:!0}),t.forEach(n),L=s(e),d=i(e,"P",{}),I(d).forEach(n),P=s(e),v(o.$$.fragment,e),E=s(e),v(f.$$.fragment,e),H=s(e),v(p.$$.fragment,e),S=s(e),v(u.$$.fragment,e),k=s(e),$=i(e,"P",{"data-svelte-h":!0}),w($)!=="svelte-1q8498o"&&($.innerHTML=G),z=s(e),c=i(e,"P",{"data-svelte-h":!0}),w(c)!=="svelte-vm66o4"&&(c.innerHTML=K),A=s(e),h=i(e,"P",{"data-svelte-h":!0}),w(h)!=="svelte-1nkkq8d"&&(h.textContent=N),B=s(e),g=i(e,"P",{"data-svelte-h":!0}),w(g)!=="svelte-n5ysqq"&&(g.textContent=O),R=s(e),_=i(e,"UL",{"data-svelte-h":!0}),w(_)!=="svelte-1lyffe"&&(_.innerHTML=D),U=s(e),v(x.$$.fragment,e),Y=s(e),q=i(e,"P",{}),I(q).forEach(n),this.h()},h(){J(m,"name","hf:doc:metadata"),J(m,"content",ie)},m(e,t){te(document.head,m),l(e,L,t),l(e,d,t),l(e,P,t),C(o,e,t),l(e,E,t),C(f,e,t),l(e,H,t),C(p,e,t),l(e,S,t),C(u,e,t),l(e,k,t),l(e,$,t),l(e,z,t),l(e,c,t),l(e,A,t),l(e,h,t),l(e,B,t),l(e,g,t),l(e,R,t),l(e,_,t),l(e,U,t),C(x,e,t),l(e,Y,t),l(e,q,t),j=!0},p:V,i(e){j||(T(o.$$.fragment,e),T(f.$$.fragment,e),T(p.$$.fragment,e),T(u.$$.fragment,e),T(x.$$.fragment,e),j=!0)},o(e){M(o.$$.fragment,e),M(f.$$.fragment,e),M(p.$$.fragment,e),M(u.$$.fragment,e),M(x.$$.fragment,e),j=!1},d(e){e&&(n(L),n(d),n(P),n(E),n(H),n(S),n(k),n($),n(z),n(c),n(A),n(h),n(B),n(g),n(R),n(_),n(U),n(Y),n(q)),n(m),y(o,e),y(f,e),y(p,e),y(u,e),y(x,e)}}}const ie='{"title":"Модели вида “seq2seq”","local":"модели-вида-seq2seq","sections":[],"depth":1}';function oe(F){return W(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class he extends X{constructor(m){super(),Z(this,m,oe,re,Q,{})}}export{he as component};