course/pr_1194/ro/chapter6/9.md

# Tokenizeri, verificare![[tokenizers-check]]

<CourseFloatingBanner
    chapter={6}
    classNames="absolute z-10 right-0 top-0"
/>

Bună treabă la finalizarea acestui capitol!

După această scufundare adâncă în tokenizers, ar trebui să:

- Să fii capabil să antrenezi un nou tokenizer folosind unul vechi ca model
- Să înțelegi modului de utilizare a offseturilor pentru a face map tokenilor în intervalul lor original de text
- Cunoști diferențele dintre BPE, WordPiece și Unigram
- Fii capabil să combini blocurile furnizate de biblioteca 🤗 Tokenizers pentru a vă construi propriul tokenizer
- Să poți folosi acest tokenizer în cadrul bibliotecii 🤗 Transformers