course/pr_1114/th/chapter6/9.md

# เรียนจบเรื่อง tokenizer แล้ว!

<CourseFloatingBanner
    chapter={6}
    classNames="absolute z-10 right-0 top-0"
/>

เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!

หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :

- สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว
- เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก
- รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram
- สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้
- สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้


<EditOnGithub source="https://github.com/huggingface/course/blob/main/chapters/th/chapter6/9.mdx" />