Buckets:
เรียนจบเรื่อง tokenizer แล้ว!
เยี่ยมมาก คุณเรียนจบบทนี้แล้ว!
หลังจากที่ได้เรียนเกี่ยวกับ tokenizer อย่างละเอียดแล้ว คุณจะ :
- สามารถเทรน tokenizer ตัวใหม่ จาก tokenizer อีกตัวที่มีโครงสร้างอยู่แล้ว
- เข้าใจวิธีการใช้ค่า offsets เพื่อ map ตำแหน่งของ token ไปหาค่าช่วงตำแหน่งของมัน(span)ในข้อความหลัก
- รู้ความแตกต่างระหว่าง BPE, WordPiece, และ Unigram
- สามารถผสมผสานแต่ละเครื่องมือจาก 🤗 Tokenizers library เพื่อสร้าง tokenizer ของคุณเองได้
- สามารถนำ tokenizer นั้นไปใช้ใน 🤗 Transformers library ได้
Xet Storage Details
- Size:
- 1.32 kB
- Xet hash:
- 2970d137759da067c35ac51b9f8897c66b955b83af5b8d1c3f4bb4a6daa5089a
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.