course/pr_1114/fr/chapter6/9.md

Tokenizer, coché !

Bon travail pour finir ce chapitre !

Après cette plongée en profondeur dans les tokenizers, vous devriez :

• être capable d'entraîner un nouveau tokenizer en utilisant un ancien tokenizer comme modèle,
• comprendre comment utiliser les offsets pour faire correspondre la position des tokens à l'étendue de texte d'origine,
• connaître les différences entre BPE, WordPiece et Unigram,
• être capable de combiner les blocs fournis par la bibliothèque 🤗 Tokenizers pour construire votre propre tokenizer,
• être capable d'utiliser ce tokenizer dans la bibliothèque 🤗 Transformers.