course/main/ru/chapter2/8.md

Тест в конце главы[[end-of-chapter-quiz]]

1. Каков порядок работы конвейера языкового моделирования?

2. Сколько измерений имеет тензор, выводимый базовой моделью Transformer, и каковы они?

3. Что из перечисленного ниже является примером токенизации по подсловам?

4. Что такое голова модели?

{#if fw === 'pt'}

5. Что такое AutoModel?

AutoTrain?" }, { text: "Объект, возвращающий правильную архитектуру на основе контрольной точки", explain: "Именно: в AutoModel для возврата правильной архитектуры достаточно знать контрольную точку, с которой нужно инициализироваться.", correct: true }, { text: "Модель, которая автоматически определяет язык, используемый для входов, чтобы загрузить правильные веса", explain: "Неверно; хотя некоторые контрольные точки и модели способны работать с несколькими языками, встроенных инструментов для автоматического выбора контрольной точки в зависимости от языка не существует. Вам следует обратиться в Model Hub, чтобы найти лучшую контрольную точку для вашей задачи!" } ]} />

{:else}

5. Что такое TFAutoModel?

AutoTrain?" }, { text: "Объект, возвращающий правильную архитектуру на основе контрольной точки", explain: "Именно так: в TFAutoModel для возврата правильной архитектуры достаточно знать контрольную точку, с которой нужно инициализироваться.", correct: true }, { text: "Модель, которая автоматически определяет язык, используемый на входах, чтобы загрузить правильные веса", explain: "Неверно; хотя некоторые контрольные точки и модели способны работать с несколькими языками, встроенных инструментов для автоматического выбора контрольной точки в зависимости от языка не существует. Вам следует обратиться в Model Hub, чтобы найти лучшую контрольную точку для вашей задачи!" } ]} />

{/if}

6. На какие техники следует обратить внимание при объединении в батч последовательностей разной длины?

7. В чем смысл применения функции SoftMax к логитам, выводимым моделью классификации последовательностей?

8. Какой метод является основным в API токенизатора?

encode, поскольку он может кодировать текст в идентификаторы и идентификаторы в прогнозы.", explain: "Неверно! Если метод encode существует в токенизаторах, то в моделях его нет." }, { text: "Вызов объекта токенизатора напрямую.", explain: "Точно! Метод call токенизатора - это очень мощный метод, который может обрабатывать практически все. Это также метод, используемый для получения прогнозов из модели.", correct: true }, { text: "pad", explain: "Неверно! Дополнение очень полезно, но это всего лишь одна из частей API токенизатора." }, { text: "tokenize", explain: "Метод tokenize, пожалуй, один из самых полезных методов, но он не является ядром API токенизатора." } ]} />

9. Что содержит переменная result в этом примере кода?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

call или convert_tokens_to_ids!" }, { text: "Строка, содержащая все токены", explain: "Это было бы неоптимально, поскольку цель состоит в том, чтобы разбить строку на множество токенов." } ]} />

{#if fw === 'pt'}

10. Есть ли что-то неправильное в следующем коде?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)

{:else}

10. Что-то не так с приведенным ниже кодом?

from transformers import AutoTokenizer, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = TFAutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)

{/if}