course/pr_1213/ru/chapter6/10.md

# Тест в конце главы[[end-of-chapter-quiz]]

Давайте проверим, чему вы научились в этой главе!

### 1. Когда следует обучать новый токенизатор?

### 2. В чем преимущество использования генератора списков текстов по сравнению со списком списков текстов при использовании `train_new_from_iterator()`?

train_new_from_iterator().",
			explain: "Список списков текстов - это особый вид генератора списков текстов, поэтому метод примет и его. Попробуйте еще раз!"
		},
		{
			text: "Это позволит избежать загрузки в память сразу всего набора данных.",
			explain: "Точно! Каждый батч текстов будет освобождаться из памяти при итерации, и выигрыш будет особенно заметен, если вы используете библиотеку 🤗 Datasets для хранения текстов.",
			correct: true
		},
		{
			text: "Это позволит библиотеке 🤗 Tokenizers использовать многопроцессорность (multiprocessing).",
			explain: "Нет, она будет использовать многопроцессорность в любом случае."
		},
        {
			text: "Обученный вами токенизатор будет генерировать более качественные тексты.",
			explain: "Токенизатор не генерирует текст - вы не путаете его с языковой моделью?"
		}
	]}
/>

### 3. Каковы преимущества использования "быстрого" токенизатора?

### 4. Как конвейер `token-classification` обрабатывает сущности, которые охватывают несколько токенов?

### 5. Как конвейер `question-answering` обрабатывает длинные контексты?

### 6. Что такое нормализация?

### 7. Что такое предварительная токенизация для токенизатора по подсловам?

### 8. Выберите предложения, которые относятся к модели токенизации BPE.

### 9. Выберите предложения, которые относятся к модели токенизации WordPiece.

### 10. Выберите предложения, которые относятся к модели токенизации Unigram.