course/pr_1114/ru/chapter6/9.md

# Токенизаторы, проверка![[tokenizers-check]]

<CourseFloatingBanner
    chapter={6}
    classNames="absolute z-10 right-0 top-0"
/>

Отличная работа по завершению этой главы!

После этого глубокого погружения в токенизаторы вы должны:

- Уметь обучать новый токенизатор, используя старый в качестве шаблона.
- Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте
- Знать различия между BPE, WordPiece и Unigram.
- Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора
- Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers


<EditOnGithub source="https://github.com/huggingface/course/blob/main/chapters/ru/chapter6/9.mdx" />