course/pr_1069/ru/_app/immutable/nodes/51.7d3bc522.js

import{s as F,n as G,o as N}from"../chunks/scheduler.37c15a92.js";import{S as O,i as R,g as f,s as i,r as k,A as W,h as $,f as a,c as l,j as B,u as T,x as y,k as q,y as D,a as n,v as z,d as H,t as L,w as M}from"../chunks/index.2bf4358c.js";import{C as I}from"../chunks/CourseFloatingBanner.9ff4c771.js";import{H as J,E as K}from"../chunks/getInferenceSnippets.24b50994.js";function Q(S){let s,d,h,g,r,x,m,v,o,U="Отличная работа по завершению этой главы!",C,p,j="После этого глубокого погружения в токенизаторы вы должны:",P,u,A="<li>Уметь обучать новый токенизатор, используя старый в качестве шаблона.</li> <li>Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте</li> <li>Знать различия между BPE, WordPiece и Unigram.</li> <li>Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора</li> <li>Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers</li>",b,c,w,_,E;return r=new J({props:{title:"Токенизаторы, проверка!",local:"tokenizers-check",headingTag:"h1"}}),m=new I({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),c=new K({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter6/9.mdx"}}),{c(){s=f("meta"),d=i(),h=f("p"),g=i(),k(r.$$.fragment),x=i(),k(m.$$.fragment),v=i(),o=f("p"),o.textContent=U,C=i(),p=f("p"),p.textContent=j,P=i(),u=f("ul"),u.innerHTML=A,b=i(),k(c.$$.fragment),w=i(),_=f("p"),this.h()},l(t){const e=W("svelte-u9bgzb",document.head);s=$(e,"META",{name:!0,content:!0}),e.forEach(a),d=l(t),h=$(t,"P",{}),B(h).forEach(a),g=l(t),T(r.$$.fragment,t),x=l(t),T(m.$$.fragment,t),v=l(t),o=$(t,"P",{"data-svelte-h":!0}),y(o)!=="svelte-1c89euc"&&(o.textContent=U),C=l(t),p=$(t,"P",{"data-svelte-h":!0}),y(p)!=="svelte-an80aj"&&(p.textContent=j),P=l(t),u=$(t,"UL",{"data-svelte-h":!0}),y(u)!=="svelte-1myo3x"&&(u.innerHTML=A),b=l(t),T(c.$$.fragment,t),w=l(t),_=$(t,"P",{}),B(_).forEach(a),this.h()},h(){q(s,"name","hf:doc:metadata"),q(s,"content",V)},m(t,e){D(document.head,s),n(t,d,e),n(t,h,e),n(t,g,e),z(r,t,e),n(t,x,e),z(m,t,e),n(t,v,e),n(t,o,e),n(t,C,e),n(t,p,e),n(t,P,e),n(t,u,e),n(t,b,e),z(c,t,e),n(t,w,e),n(t,_,e),E=!0},p:G,i(t){E||(H(r.$$.fragment,t),H(m.$$.fragment,t),H(c.$$.fragment,t),E=!0)},o(t){L(r.$$.fragment,t),L(m.$$.fragment,t),L(c.$$.fragment,t),E=!1},d(t){t&&(a(d),a(h),a(g),a(x),a(v),a(o),a(C),a(p),a(P),a(u),a(b),a(w),a(_)),a(s),M(r,t),M(m,t),M(c,t)}}}const V='{"title":"Токенизаторы, проверка!","local":"tokenizers-check","sections":[],"depth":1}';function X(S){return N(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class at extends O{constructor(s){super(),R(this,s,X,Q,F,{})}}export{at as component};