course/pr_1107/ru/_app/immutable/nodes/13.e4e326d9.js

import{s as X,n as Y,o as Z}from"../chunks/scheduler.0835143d.js";import{S as tt,i as et,e as i,s,c as j,h as nt,a as r,d as n,b as a,f as W,g as I,j as v,k as O,l as lt,m as l,n as S,t as U,o as B,p as F}from"../chunks/index.0042a36a.js";import{C as st}from"../chunks/CourseFloatingBanner.42a32842.js";import{H as at,E as it}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.9eb8592b.js";function rt(N){let o,L,M,P,p,g,u,C,f,G='Как вы видели в <a href="../chapter1">Главе 1</a>, модели трансформеров обычно очень большие. С миллионами и десятками <em>миллиардов</em> параметров, обучение и развертывание этих моделей - сложная задача. Кроме того, поскольку новые модели выходят практически ежедневно и каждая из них имеет свою собственную реализацию, попробовать их все - задача не из легких.',b,c,K="Для решения этой проблемы была создана библиотека 🤗 Transformers. Ее цель - предоставить единый API, с помощью которого можно загрузить, обучить и сохранить любую модель Transformer. Основными особенностями библиотеки являются:",H,d,Q="<li><strong>Простота использования</strong>: Скачать, загрузить и использовать современную модель NLP для инференса можно всего в две строчки кода.</li> <li><strong>Гибкость</strong>: По своей сути все модели представляют собой простые классы PyTorch <code>nn.Module</code> или TensorFlow <code>tf.keras.Model</code> и могут быть обработаны как любые другие модели в соответствующих фреймворках машинного обучения (ML).</li> <li><strong>Простота</strong>: В библиотеке почти нет абстракций. Концепция “Все в одном файле” является основной: прямой проход модели полностью определяется в одном файле, так что сам код понятен и доступен для изменения.</li>",w,$,R=`Эта последняя особенность делает 🤗 Transformers совершенно непохожей на другие ML-библиотеки. Модели не строятся на основе модулей
которые совместно используются в разных файлах; вместо этого каждая модель имеет свои собственные слои. Помимо того, что это делает модели более доступными и понятными, это позволяет легко экспериментировать с одной моделью, не затрагивая другие.`,k,h,D='Эта глава начнется со сквозного примера, в котором мы используем модель и токенизатор вместе, чтобы воссоздать функцию <code>pipeline()</code>, представленную в <a href="../chapter1">Главе 1</a>. Далее мы обсудим API модели: мы погрузимся в модель и классы конфигурации, покажем, как загрузить модель и как она обрабатывает числовые данные для вывода прогнозов.',E,_,J="Затем мы рассмотрим API токенизатора, который является другим основным компонентом функции <code>pipeline()</code>. Токенизаторы берут на себя первый и последний шаги препроцессинга, обработку преобразования текста в числовые входы для нейронной сети и обратное преобразование в текст, когда это необходимо. Наконец, мы покажем вам, как обрабатывать несколько предложений, передавая их в модель в подготовленном батче, затем завершим все это более подробным рассмотрением высокоуровневой функции <code>tokenizer()</code>.",q,m,V='<p>⚠️ Чтобы воспользоваться всеми возможностями, доступными в Model Hub и 🤗 Transformers, мы рекомендуем <a href="https://huggingface.co/join">создать учетную запись</a>.</p>',y,T,z,x,A;return p=new at({props:{title:"Введение",local:"introduction",headingTag:"h1"}}),u=new st({props:{chapter:2,classNames:"absolute z-10 right-0 top-0"}}),T=new it({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter2/1.mdx"}}),{c(){o=i("meta"),L=s(),M=i("p"),P=s(),j(p.$$.fragment),g=s(),j(u.$$.fragment),C=s(),f=i("p"),f.innerHTML=G,b=s(),c=i("p"),c.textContent=K,H=s(),d=i("ul"),d.innerHTML=Q,w=s(),$=i("p"),$.textContent=R,k=s(),h=i("p"),h.innerHTML=D,E=s(),_=i("p"),_.innerHTML=J,q=s(),m=i("blockquote"),m.innerHTML=V,y=s(),j(T.$$.fragment),z=s(),x=i("p"),this.h()},l(t){const e=nt("svelte-u9bgzb",document.head);o=r(e,"META",{name:!0,content:!0}),e.forEach(n),L=a(t),M=r(t,"P",{}),W(M).forEach(n),P=a(t),I(p.$$.fragment,t),g=a(t),I(u.$$.fragment,t),C=a(t),f=r(t,"P",{"data-svelte-h":!0}),v(f)!=="svelte-1y4bk7k"&&(f.innerHTML=G),b=a(t),c=r(t,"P",{"data-svelte-h":!0}),v(c)!=="svelte-1sco3r1"&&(c.textContent=K),H=a(t),d=r(t,"UL",{"data-svelte-h":!0}),v(d)!=="svelte-19zfqjg"&&(d.innerHTML=Q),w=a(t),$=r(t,"P",{"data-svelte-h":!0}),v($)!=="svelte-uwlndd"&&($.textContent=R),k=a(t),h=r(t,"P",{"data-svelte-h":!0}),v(h)!=="svelte-4xs1h"&&(h.innerHTML=D),E=a(t),_=r(t,"P",{"data-svelte-h":!0}),v(_)!=="svelte-13dtm48"&&(_.innerHTML=J),q=a(t),m=r(t,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),v(m)!=="svelte-uwluqg"&&(m.innerHTML=V),y=a(t),I(T.$$.fragment,t),z=a(t),x=r(t,"P",{}),W(x).forEach(n),this.h()},h(){O(o,"name","hf:doc:metadata"),O(o,"content",ot),O(m,"class","tip")},m(t,e){lt(document.head,o),l(t,L,e),l(t,M,e),l(t,P,e),S(p,t,e),l(t,g,e),S(u,t,e),l(t,C,e),l(t,f,e),l(t,b,e),l(t,c,e),l(t,H,e),l(t,d,e),l(t,w,e),l(t,$,e),l(t,k,e),l(t,h,e),l(t,E,e),l(t,_,e),l(t,q,e),l(t,m,e),l(t,y,e),S(T,t,e),l(t,z,e),l(t,x,e),A=!0},p:Y,i(t){A||(U(p.$$.fragment,t),U(u.$$.fragment,t),U(T.$$.fragment,t),A=!0)},o(t){B(p.$$.fragment,t),B(u.$$.fragment,t),B(T.$$.fragment,t),A=!1},d(t){t&&(n(L),n(M),n(P),n(g),n(C),n(f),n(b),n(c),n(H),n(d),n(w),n($),n(k),n(h),n(E),n(_),n(q),n(m),n(y),n(z),n(x)),n(o),F(p,t),F(u,t),F(T,t)}}}const ot='{"title":"Введение","local":"introduction","sections":[],"depth":1}';function mt(N){return Z(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class dt extends tt{constructor(o){super(),et(this,o,mt,rt,X,{})}}export{dt as component};