Buckets:
| # Токенизаторы, проверка![[tokenizers-check]] | |
| Отличная работа по завершению этой главы! | |
| После этого глубокого погружения в токенизаторы вы должны: | |
| - Уметь обучать новый токенизатор, используя старый в качестве шаблона. | |
| - Понимать, как использовать смещения для сопоставления позиций токенов с их исходным положением в тексте | |
| - Знать различия между BPE, WordPiece и Unigram. | |
| - Уметь комбинировать блоки, предоставляемые библиотекой 🤗 Tokenizers, для создания собственного токенизатора | |
| - Уметь использовать собственный токенизатор в библиотеке 🤗 Transformers | |
Xet Storage Details
- Size:
- 973 Bytes
- Xet hash:
- d072e4be39f8d158250cc5f0440840dea8caa6223bebb79c74d7559cae9c2928
·
Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.