course/pr_1127/th/_app/immutable/nodes/44.d9bc2ae7.js

import{s as N,n as O,o as R}from"../chunks/scheduler.505acc25.js";import{S as W,i as D,e as c,s,c as E,h as I,a as h,d as n,b as l,f as F,g as T,j as U,k as G,l as J,m as a,n as L,t as M,o as H,p as S}from"../chunks/index.17dd9071.js";import{C as K,H as Q,E as V}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.0a8d2c6b.js";import{C as X}from"../chunks/CourseFloatingBanner.9496b79e.js";function Y(j){let i,x,_,d,r,k,m,z,o,b,p,B="เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!",C,f,q="หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :",v,u,A="<li>สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว</li> <li>เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก</li> <li>รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram</li> <li>สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้</li> <li>สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้</li>",P,$,w,g,y;return r=new K({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),m=new Q({props:{title:"เรียนจบเรื่อง tokenizer แล้ว!",local:"เรยนจบเรอง-tokenizer-แลว",headingTag:"h1"}}),o=new X({props:{chapter:6,classNames:"absolute z-10 right-0 top-0"}}),$=new V({props:{source:"https://github.com/huggingface/course/blob/main/chapters/th/chapter6/9.mdx"}}),{c(){i=c("meta"),x=s(),_=c("p"),d=s(),E(r.$$.fragment),k=s(),E(m.$$.fragment),z=s(),E(o.$$.fragment),b=s(),p=c("p"),p.textContent=B,C=s(),f=c("p"),f.textContent=q,v=s(),u=c("ul"),u.innerHTML=A,P=s(),E($.$$.fragment),w=s(),g=c("p"),this.h()},l(t){const e=I("svelte-u9bgzb",document.head);i=h(e,"META",{name:!0,content:!0}),e.forEach(n),x=l(t),_=h(t,"P",{}),F(_).forEach(n),d=l(t),T(r.$$.fragment,t),k=l(t),T(m.$$.fragment,t),z=l(t),T(o.$$.fragment,t),b=l(t),p=h(t,"P",{"data-svelte-h":!0}),U(p)!=="svelte-pno6m3"&&(p.textContent=B),C=l(t),f=h(t,"P",{"data-svelte-h":!0}),U(f)!=="svelte-1hm5c4v"&&(f.textContent=q),v=l(t),u=h(t,"UL",{"data-svelte-h":!0}),U(u)!=="svelte-1wmjnk3"&&(u.innerHTML=A),P=l(t),T($.$$.fragment,t),w=l(t),g=h(t,"P",{}),F(g).forEach(n),this.h()},h(){G(i,"name","hf:doc:metadata"),G(i,"content",Z)},m(t,e){J(document.head,i),a(t,x,e),a(t,_,e),a(t,d,e),L(r,t,e),a(t,k,e),L(m,t,e),a(t,z,e),L(o,t,e),a(t,b,e),a(t,p,e),a(t,C,e),a(t,f,e),a(t,v,e),a(t,u,e),a(t,P,e),L($,t,e),a(t,w,e),a(t,g,e),y=!0},p:O,i(t){y||(M(r.$$.fragment,t),M(m.$$.fragment,t),M(o.$$.fragment,t),M($.$$.fragment,t),y=!0)},o(t){H(r.$$.fragment,t),H(m.$$.fragment,t),H(o.$$.fragment,t),H($.$$.fragment,t),y=!1},d(t){t&&(n(x),n(_),n(d),n(k),n(z),n(b),n(p),n(C),n(f),n(v),n(u),n(P),n(w),n(g)),n(i),S(r,t),S(m,t),S(o,t),S($,t)}}}const Z='{"title":"เรียนจบเรื่อง tokenizer แล้ว!","local":"เรยนจบเรอง-tokenizer-แลว","sections":[],"depth":1}';function tt(j){return R(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class st extends W{constructor(i){super(),D(this,i,tt,Y,N,{})}}export{st as component};