course/pr_1175/vi/_app/immutable/nodes/52.3db4e2ca.js

import{s as N,n as O,o as R}from"../chunks/scheduler.893fe8c9.js";import{S as W,i as D,e as h,s,c as w,h as I,a as $,d as n,b as r,f as F,g as E,j as B,k as G,l as J,m as i,n as L,t as M,o as H,p as S}from"../chunks/index.2d09ebb4.js";import{C as K,H as Q,E as V}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.6a264e41.js";import{C as X}from"../chunks/CourseFloatingBanner.e3aeab73.js";function Y(U){let a,v,g,d,l,x,m,_,o,b,p,j="Chúc mừng bạn đã hoàn thành chương này!",C,u,q="Sau khi tìm hiểu sâu về tokenizer, bạn nên:",y,c,A="<li>Có thể huấn luyện một tokenizer mới bằng cách sử dụng một cái cũ làm mẫu</li> <li>Hiểu cách sử dụng hiệu số để ánh xạ vị trí của token với khoảng văn bản ban đầu của chúng</li> <li>Biết sự khác biệt giữa BPE, WordPiece và Unigram</li> <li>Có thể trộn và kết hợp các khối được cung cấp bởi thư viện 🤗 Tokenizers để xây dựng tokenizer của riêng bạn</li> <li>Có thể sử dụng tokenizer đó trong thư viện 🤗 Transformers</li>",z,f,P,k,T;return l=new K({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),m=new Q({props:{title:"Tokenizers, kiểm tra nào!",local:"tokenizers-kiểm-tra-nào",headingTag:"h1"}}),o=new X({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),f=new V({props:{source:"https://github.com/huggingface/course/blob/main/chapters/vi/chapter6/9.mdx"}}),{c(){a=h("meta"),v=s(),g=h("p"),d=s(),w(l.$$.fragment),x=s(),w(m.$$.fragment),_=s(),w(o.$$.fragment),b=s(),p=h("p"),p.textContent=j,C=s(),u=h("p"),u.textContent=q,y=s(),c=h("ul"),c.innerHTML=A,z=s(),w(f.$$.fragment),P=s(),k=h("p"),this.h()},l(t){const e=I("svelte-u9bgzb",document.head);a=$(e,"META",{name:!0,content:!0}),e.forEach(n),v=r(t),g=$(t,"P",{}),F(g).forEach(n),d=r(t),E(l.$$.fragment,t),x=r(t),E(m.$$.fragment,t),_=r(t),E(o.$$.fragment,t),b=r(t),p=$(t,"P",{"data-svelte-h":!0}),B(p)!=="svelte-gg5i0y"&&(p.textContent=j),C=r(t),u=$(t,"P",{"data-svelte-h":!0}),B(u)!=="svelte-1f9ndxc"&&(u.textContent=q),y=r(t),c=$(t,"UL",{"data-svelte-h":!0}),B(c)!=="svelte-1tysvjd"&&(c.innerHTML=A),z=r(t),E(f.$$.fragment,t),P=r(t),k=$(t,"P",{}),F(k).forEach(n),this.h()},h(){G(a,"name","hf:doc:metadata"),G(a,"content",Z)},m(t,e){J(document.head,a),i(t,v,e),i(t,g,e),i(t,d,e),L(l,t,e),i(t,x,e),L(m,t,e),i(t,_,e),L(o,t,e),i(t,b,e),i(t,p,e),i(t,C,e),i(t,u,e),i(t,y,e),i(t,c,e),i(t,z,e),L(f,t,e),i(t,P,e),i(t,k,e),T=!0},p:O,i(t){T||(M(l.$$.fragment,t),M(m.$$.fragment,t),M(o.$$.fragment,t),M(f.$$.fragment,t),T=!0)},o(t){H(l.$$.fragment,t),H(m.$$.fragment,t),H(o.$$.fragment,t),H(f.$$.fragment,t),T=!1},d(t){t&&(n(v),n(g),n(d),n(x),n(_),n(b),n(p),n(C),n(u),n(y),n(c),n(z),n(P),n(k)),n(a),S(l,t),S(m,t),S(o,t),S(f,t)}}}const Z='{"title":"Tokenizers, kiểm tra nào!","local":"tokenizers-kiểm-tra-nào","sections":[],"depth":1}';function tt(U){return R(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class st extends W{constructor(a){super(),D(this,a,tt,Y,N,{})}}export{st as component};