Buckets:
เรียนจบเรื่อง tokenizer แล้ว!
เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!
หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :
- สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว
- เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก
- รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram
- สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้
- สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้
Xet Storage Details
- Size:
- 1.22 kB
- Xet hash:
- e41cc5b8a05964a6f4ffc0d493c68f93d2267b3c14b48da5ed61d173b2036e71
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.