Utilities for Tokenizers

このページには、トークナイザーによって使用されるすべてのユーティリティ関数 (主にクラス) がリストされます。 [~tokenization_utils_base.PreTrainedTokenizerBase] 間の共通メソッドを実装します。 [PreTrainedTokenizer] と [PreTrainedTokenizerFast] およびミックスイン。

これらのほとんどは、ライブラリ内のトークナイザーのコードを学習する場合にのみ役に立ちます。

PreTrainedTokenizerBase

[[autodoc]] tokenization_utils_base.PreTrainedTokenizerBase - call - all

Enums and namedtuples

[[autodoc]] tokenization_utils_base.TruncationStrategy

[[autodoc]] tokenization_utils_base.CharSpan

[[autodoc]] tokenization_utils_base.TokenSpan