course/pr_1207/ru/_app/immutable/nodes/13.e4fa06e2.js

import{s as Z,n as tt,o as et}from"../chunks/scheduler.893fe8c9.js";import{S as nt,i as lt,e as a,s,c as I,h as st,a as r,d as n,b as i,f as Y,g as O,j as M,k as G,l as it,m as l,n as U,t as B,o as F,p as N}from"../chunks/index.2d09ebb4.js";import{C as at,H as rt,E as ot}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.5d9faeee.js";import{C as mt}from"../chunks/CourseFloatingBanner.e3aeab73.js";function pt(K){let o,L,g,C,p,P,f,b,u,H,c,Q='Как вы видели в <a href="../chapter1">Главе 1</a>, модели трансформеров обычно очень большие. С миллионами и десятками <em>миллиардов</em> параметров, обучение и развертывание этих моделей - сложная задача. Кроме того, поскольку новые модели выходят практически ежедневно и каждая из них имеет свою собственную реализацию, попробовать их все - задача не из легких.',w,$,R="Для решения этой проблемы была создана библиотека 🤗 Transformers. Ее цель - предоставить единый API, с помощью которого можно загрузить, обучить и сохранить любую модель Transformer. Основными особенностями библиотеки являются:",y,d,D="<li><strong>Простота использования</strong>: Скачать, загрузить и использовать современную модель NLP для инференса можно всего в две строчки кода.</li> <li><strong>Гибкость</strong>: По своей сути все модели представляют собой простые классы PyTorch <code>nn.Module</code> или TensorFlow <code>tf.keras.Model</code> и могут быть обработаны как любые другие модели в соответствующих фреймворках машинного обучения (ML).</li> <li><strong>Простота</strong>: В библиотеке почти нет абстракций. Концепция “Все в одном файле” является основной: прямой проход модели полностью определяется в одном файле, так что сам код понятен и доступен для изменения.</li>",k,_,J=`Эта последняя особенность делает 🤗 Transformers совершенно непохожей на другие ML-библиотеки. Модели не строятся на основе модулей
которые совместно используются в разных файлах; вместо этого каждая модель имеет свои собственные слои. Помимо того, что это делает модели более доступными и понятными, это позволяет легко экспериментировать с одной моделью, не затрагивая другие.`,E,h,V='Эта глава начнется со сквозного примера, в котором мы используем модель и токенизатор вместе, чтобы воссоздать функцию <code>pipeline()</code>, представленную в <a href="../chapter1">Главе 1</a>. Далее мы обсудим API модели: мы погрузимся в модель и классы конфигурации, покажем, как загрузить модель и как она обрабатывает числовые данные для вывода прогнозов.',q,x,W="Затем мы рассмотрим API токенизатора, который является другим основным компонентом функции <code>pipeline()</code>. Токенизаторы берут на себя первый и последний шаги препроцессинга, обработку преобразования текста в числовые входы для нейронной сети и обратное преобразование в текст, когда это необходимо. Наконец, мы покажем вам, как обрабатывать несколько предложений, передавая их в модель в подготовленном батче, затем завершим все это более подробным рассмотрением высокоуровневой функции <code>tokenizer()</code>.",z,m,X='<p>⚠️ Чтобы воспользоваться всеми возможностями, доступными в Model Hub и 🤗 Transformers, мы рекомендуем <a href="https://huggingface.co/join">создать учетную запись</a>.</p>',A,T,S,v,j;return p=new at({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),f=new rt({props:{title:"Введение",local:"introduction",headingTag:"h1"}}),u=new mt({props:{chapter:2,classNames:"absolute z-10 right-0 top-0"}}),T=new ot({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter2/1.mdx"}}),{c(){o=a("meta"),L=s(),g=a("p"),C=s(),I(p.$$.fragment),P=s(),I(f.$$.fragment),b=s(),I(u.$$.fragment),H=s(),c=a("p"),c.innerHTML=Q,w=s(),$=a("p"),$.textContent=R,y=s(),d=a("ul"),d.innerHTML=D,k=s(),_=a("p"),_.textContent=J,E=s(),h=a("p"),h.innerHTML=V,q=s(),x=a("p"),x.innerHTML=W,z=s(),m=a("blockquote"),m.innerHTML=X,A=s(),I(T.$$.fragment),S=s(),v=a("p"),this.h()},l(t){const e=st("svelte-u9bgzb",document.head);o=r(e,"META",{name:!0,content:!0}),e.forEach(n),L=i(t),g=r(t,"P",{}),Y(g).forEach(n),C=i(t),O(p.$$.fragment,t),P=i(t),O(f.$$.fragment,t),b=i(t),O(u.$$.fragment,t),H=i(t),c=r(t,"P",{"data-svelte-h":!0}),M(c)!=="svelte-1y4bk7k"&&(c.innerHTML=Q),w=i(t),$=r(t,"P",{"data-svelte-h":!0}),M($)!=="svelte-1sco3r1"&&($.textContent=R),y=i(t),d=r(t,"UL",{"data-svelte-h":!0}),M(d)!=="svelte-19zfqjg"&&(d.innerHTML=D),k=i(t),_=r(t,"P",{"data-svelte-h":!0}),M(_)!=="svelte-uwlndd"&&(_.textContent=J),E=i(t),h=r(t,"P",{"data-svelte-h":!0}),M(h)!=="svelte-4xs1h"&&(h.innerHTML=V),q=i(t),x=r(t,"P",{"data-svelte-h":!0}),M(x)!=="svelte-13dtm48"&&(x.innerHTML=W),z=i(t),m=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),M(m)!=="svelte-uwluqg"&&(m.innerHTML=X),A=i(t),O(T.$$.fragment,t),S=i(t),v=r(t,"P",{}),Y(v).forEach(n),this.h()},h(){G(o,"name","hf:doc:metadata"),G(o,"content",ft),G(m,"class","tip")},m(t,e){it(document.head,o),l(t,L,e),l(t,g,e),l(t,C,e),U(p,t,e),l(t,P,e),U(f,t,e),l(t,b,e),U(u,t,e),l(t,H,e),l(t,c,e),l(t,w,e),l(t,$,e),l(t,y,e),l(t,d,e),l(t,k,e),l(t,_,e),l(t,E,e),l(t,h,e),l(t,q,e),l(t,x,e),l(t,z,e),l(t,m,e),l(t,A,e),U(T,t,e),l(t,S,e),l(t,v,e),j=!0},p:tt,i(t){j||(B(p.$$.fragment,t),B(f.$$.fragment,t),B(u.$$.fragment,t),B(T.$$.fragment,t),j=!0)},o(t){F(p.$$.fragment,t),F(f.$$.fragment,t),F(u.$$.fragment,t),F(T.$$.fragment,t),j=!1},d(t){t&&(n(L),n(g),n(C),n(P),n(b),n(H),n(c),n(w),n($),n(y),n(d),n(k),n(_),n(E),n(h),n(q),n(x),n(z),n(m),n(A),n(S),n(v)),n(o),N(p,t),N(f,t),N(u,t),N(T,t)}}}const ft='{"title":"Введение","local":"introduction","sections":[],"depth":1}';function ut(K){return et(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ht extends nt{constructor(o){super(),lt(this,o,ut,pt,Z,{})}}export{ht as component};