course/pr_1049/rum/_app/immutable/nodes/10.3d512b60.js

import{s as I,n as J,o as Q}from"../chunks/scheduler.37c15a92.js";import{S as V,i as W,g as o,s as i,r as S,A as X,h as s,f as a,c as r,j as N,u as A,x as b,k as O,y as Z,a as n,v as B,d as R,t as j,w as D}from"../chunks/index.2bf4358c.js";import{Y as ee}from"../chunks/Youtube.1e50a667.js";import{C as te}from"../chunks/CourseFloatingBanner.6add7356.js";import{H as ae,E as ne}from"../chunks/getInferenceSnippets.80a69898.js";function ie(U){let l,q,v,x,u,w,c,M,m,T,p,Y="Modelele Encoder-Decoder (denumite și <em>modele sequence-to-sequence</em>) utilizează ambele părți ale arhitecturii Transformer. În fiecare etapă, layerele de atenție ale encoder-ului pot accesa toate cuvintele din propoziția inițială, în timp ce layerele de atenție ale decoder-ului pot accesa doar cuvintele poziționate înaintea unui anumit cuvânt din intrare.",C,f,k='Preantrenarea acestor modele se poate face folosind obiectivele modelelor de codificare sau de decodificare, dar de obicei implică ceva un pic mai complex. De exemplu, <a href="https://huggingface.co/t5-base" rel="nofollow">T5</a> este prenatrenat prin înlocuirea unor intervale aleatorii de text (care pot conține mai multe cuvinte) cu un singur cuvânt special mascat, iar obiectivul este apoi de a prezice textul pe care îl înlocuiește acest cuvânt mascat.',P,d,F="Modelele Sequence-to-sequence sunt cele mai potrivite pentru sarcinile care se învârt în jurul generării de noi propoziții în funcție de o intrare dată, cum ar fi rezumarea, traducerea sau răspunsul generativ la întrebări.",z,$,G="Printre reprezentanții acestei familii de modele se numără:",E,h,K='<li><a href="https://huggingface.co/transformers/model_doc/bart" rel="nofollow">BART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/mbart" rel="nofollow">mBART</a></li> <li><a href="https://huggingface.co/transformers/model_doc/marian" rel="nofollow">Marian</a></li> <li><a href="https://huggingface.co/transformers/model_doc/t5" rel="nofollow">T5</a></li>',H,g,L,_,y;return u=new ae({props:{title:"Modele Sequence-to-sequence modele-sequence-to-sequence",local:"modele-sequence-to-sequence-modele-sequence-to-sequence",headingTag:"h1"}}),c=new te({props:{chapter:1,classNames:"absolute z-10 right-0 top-0"}}),m=new ee({props:{id:"0_4KEb08xrE"}}),g=new ne({props:{source:"https://github.com/huggingface/course/blob/main/chapters/rum/chapter1/7.mdx"}}),{c(){l=o("meta"),q=i(),v=o("p"),x=i(),S(u.$$.fragment),w=i(),S(c.$$.fragment),M=i(),S(m.$$.fragment),T=i(),p=o("p"),p.innerHTML=Y,C=i(),f=o("p"),f.innerHTML=k,P=i(),d=o("p"),d.textContent=F,z=i(),$=o("p"),$.textContent=G,E=i(),h=o("ul"),h.innerHTML=K,H=i(),S(g.$$.fragment),L=i(),_=o("p"),this.h()},l(e){const t=X("svelte-u9bgzb",document.head);l=s(t,"META",{name:!0,content:!0}),t.forEach(a),q=r(e),v=s(e,"P",{}),N(v).forEach(a),x=r(e),A(u.$$.fragment,e),w=r(e),A(c.$$.fragment,e),M=r(e),A(m.$$.fragment,e),T=r(e),p=s(e,"P",{"data-svelte-h":!0}),b(p)!=="svelte-50lumr"&&(p.innerHTML=Y),C=r(e),f=s(e,"P",{"data-svelte-h":!0}),b(f)!=="svelte-11ocaip"&&(f.innerHTML=k),P=r(e),d=s(e,"P",{"data-svelte-h":!0}),b(d)!=="svelte-i9wbac"&&(d.textContent=F),z=r(e),$=s(e,"P",{"data-svelte-h":!0}),b($)!=="svelte-dd7odx"&&($.textContent=G),E=r(e),h=s(e,"UL",{"data-svelte-h":!0}),b(h)!=="svelte-cz4hgg"&&(h.innerHTML=K),H=r(e),A(g.$$.fragment,e),L=r(e),_=s(e,"P",{}),N(_).forEach(a),this.h()},h(){O(l,"name","hf:doc:metadata"),O(l,"content",re)},m(e,t){Z(document.head,l),n(e,q,t),n(e,v,t),n(e,x,t),B(u,e,t),n(e,w,t),B(c,e,t),n(e,M,t),B(m,e,t),n(e,T,t),n(e,p,t),n(e,C,t),n(e,f,t),n(e,P,t),n(e,d,t),n(e,z,t),n(e,$,t),n(e,E,t),n(e,h,t),n(e,H,t),B(g,e,t),n(e,L,t),n(e,_,t),y=!0},p:J,i(e){y||(R(u.$$.fragment,e),R(c.$$.fragment,e),R(m.$$.fragment,e),R(g.$$.fragment,e),y=!0)},o(e){j(u.$$.fragment,e),j(c.$$.fragment,e),j(m.$$.fragment,e),j(g.$$.fragment,e),y=!1},d(e){e&&(a(q),a(v),a(x),a(w),a(M),a(T),a(p),a(C),a(f),a(P),a(d),a(z),a($),a(E),a(h),a(H),a(L),a(_)),a(l),D(u,e),D(c,e),D(m,e),D(g,e)}}}const re='{"title":"Modele Sequence-to-sequence modele-sequence-to-sequence","local":"modele-sequence-to-sequence-modele-sequence-to-sequence","sections":[],"depth":1}';function le(U){return Q(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class pe extends V{constructor(l){super(),W(this,l,le,ie,I,{})}}export{pe as component};