course/pr_1167/ru/_app/immutable/nodes/51.39ff4eac.js

import{s as N,n as O,o as R}from"../chunks/scheduler.893fe8c9.js";import{S as W,i as D,e as c,s,c as k,h as I,a as h,d as n,b as l,f as F,g as z,j as U,k as G,l as J,m as a,n as L,t as M,o as H,p as S}from"../chunks/index.2d09ebb4.js";import{C as K,H as Q,E as V}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.01d747f2.js";import{C as X}from"../chunks/CourseFloatingBanner.e3aeab73.js";function Y(j){let i,g,_,d,m,C,r,b,o,v,p,B="Отличная работа по завершению этой главы!",P,f,q="После этого глубокого погружения в токенизаторы вы должны:",w,u,A="<li>Уметь обучать новый токенизатор, используя старый в качестве шаблона.</li> <li>Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте</li> <li>Знать различия между BPE, WordPiece и Unigram.</li> <li>Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора</li> <li>Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers</li>",y,$,E,x,T;return m=new K({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),r=new Q({props:{title:"Токенизаторы, проверка!",local:"tokenizers-check",headingTag:"h1"}}),o=new X({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),$=new V({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ru/chapter6/9.mdx"}}),{c(){i=c("meta"),g=s(),_=c("p"),d=s(),k(m.$$.fragment),C=s(),k(r.$$.fragment),b=s(),k(o.$$.fragment),v=s(),p=c("p"),p.textContent=B,P=s(),f=c("p"),f.textContent=q,w=s(),u=c("ul"),u.innerHTML=A,y=s(),k($.$$.fragment),E=s(),x=c("p"),this.h()},l(t){const e=I("svelte-u9bgzb",document.head);i=h(e,"META",{name:!0,content:!0}),e.forEach(n),g=l(t),_=h(t,"P",{}),F(_).forEach(n),d=l(t),z(m.$$.fragment,t),C=l(t),z(r.$$.fragment,t),b=l(t),z(o.$$.fragment,t),v=l(t),p=h(t,"P",{"data-svelte-h":!0}),U(p)!=="svelte-1c89euc"&&(p.textContent=B),P=l(t),f=h(t,"P",{"data-svelte-h":!0}),U(f)!=="svelte-an80aj"&&(f.textContent=q),w=l(t),u=h(t,"UL",{"data-svelte-h":!0}),U(u)!=="svelte-1myo3x"&&(u.innerHTML=A),y=l(t),z($.$$.fragment,t),E=l(t),x=h(t,"P",{}),F(x).forEach(n),this.h()},h(){G(i,"name","hf:doc:metadata"),G(i,"content",Z)},m(t,e){J(document.head,i),a(t,g,e),a(t,_,e),a(t,d,e),L(m,t,e),a(t,C,e),L(r,t,e),a(t,b,e),L(o,t,e),a(t,v,e),a(t,p,e),a(t,P,e),a(t,f,e),a(t,w,e),a(t,u,e),a(t,y,e),L($,t,e),a(t,E,e),a(t,x,e),T=!0},p:O,i(t){T||(M(m.$$.fragment,t),M(r.$$.fragment,t),M(o.$$.fragment,t),M($.$$.fragment,t),T=!0)},o(t){H(m.$$.fragment,t),H(r.$$.fragment,t),H(o.$$.fragment,t),H($.$$.fragment,t),T=!1},d(t){t&&(n(g),n(_),n(d),n(C),n(b),n(v),n(p),n(P),n(f),n(w),n(u),n(y),n(E),n(x)),n(i),S(m,t),S(r,t),S(o,t),S($,t)}}}const Z='{"title":"Токенизаторы, проверка!","local":"tokenizers-check","sections":[],"depth":1}';function tt(j){return R(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class st extends W{constructor(i){super(),D(this,i,tt,Y,N,{})}}export{st as component};