course/pr_1021/th/_app/immutable/nodes/44.9010f6ec.js

import{s as F,n as G,o as N}from"../chunks/scheduler.37c15a92.js";import{S as O,i as R,g as c,s,r as w,A as W,h as $,f as n,c as r,j as B,u as E,x as y,k as q,y as D,a,v as T,d as H,t as L,w as M}from"../chunks/index.2bf4358c.js";import{C as I}from"../chunks/CourseFloatingBanner.6add7356.js";import{H as J,E as K}from"../chunks/getInferenceSnippets.ebf8be91.js";function Q(S){let i,d,h,g,l,k,o,x,m,U="เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!",z,p,j="หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :",b,f,A="<li>สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว</li> <li>เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก</li> <li>รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram</li> <li>สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้</li> <li>สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้</li>",v,u,C,_,P;return l=new J({props:{title:"เรียนจบเรื่อง tokenizer แล้ว!",local:"เรยนจบเรอง-tokenizer-แลว",headingTag:"h1"}}),o=new I({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),u=new K({props:{source:"https://github.com/huggingface/course/blob/main/chapters/th/chapter6/9.mdx"}}),{c(){i=c("meta"),d=s(),h=c("p"),g=s(),w(l.$$.fragment),k=s(),w(o.$$.fragment),x=s(),m=c("p"),m.textContent=U,z=s(),p=c("p"),p.textContent=j,b=s(),f=c("ul"),f.innerHTML=A,v=s(),w(u.$$.fragment),C=s(),_=c("p"),this.h()},l(t){const e=W("svelte-u9bgzb",document.head);i=$(e,"META",{name:!0,content:!0}),e.forEach(n),d=r(t),h=$(t,"P",{}),B(h).forEach(n),g=r(t),E(l.$$.fragment,t),k=r(t),E(o.$$.fragment,t),x=r(t),m=$(t,"P",{"data-svelte-h":!0}),y(m)!=="svelte-pno6m3"&&(m.textContent=U),z=r(t),p=$(t,"P",{"data-svelte-h":!0}),y(p)!=="svelte-1hm5c4v"&&(p.textContent=j),b=r(t),f=$(t,"UL",{"data-svelte-h":!0}),y(f)!=="svelte-1wmjnk3"&&(f.innerHTML=A),v=r(t),E(u.$$.fragment,t),C=r(t),_=$(t,"P",{}),B(_).forEach(n),this.h()},h(){q(i,"name","hf:doc:metadata"),q(i,"content",V)},m(t,e){D(document.head,i),a(t,d,e),a(t,h,e),a(t,g,e),T(l,t,e),a(t,k,e),T(o,t,e),a(t,x,e),a(t,m,e),a(t,z,e),a(t,p,e),a(t,b,e),a(t,f,e),a(t,v,e),T(u,t,e),a(t,C,e),a(t,_,e),P=!0},p:G,i(t){P||(H(l.$$.fragment,t),H(o.$$.fragment,t),H(u.$$.fragment,t),P=!0)},o(t){L(l.$$.fragment,t),L(o.$$.fragment,t),L(u.$$.fragment,t),P=!1},d(t){t&&(n(d),n(h),n(g),n(k),n(x),n(m),n(z),n(p),n(b),n(f),n(v),n(C),n(_)),n(i),M(l,t),M(o,t),M(u,t)}}}const V='{"title":"เรียนจบเรื่อง tokenizer แล้ว!","local":"เรยนจบเรอง-tokenizer-แลว","sections":[],"depth":1}';function X(S){return N(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class nt extends O{constructor(i){super(),R(this,i,X,Q,F,{})}}export{nt as component};