course/pr_1149/es/chapter6/10.md

Quiz de Final de Capítulo[[end-of-chapter-quiz]]

Probemos lo que aprendimos en este capítulo!

1. Cuando debería entrenar un nuevo tokenizador?

2. Cuál es la ventaja de usar un generador de listas de textos comparado con una lista de listas de textos al usar train_new_from_iterator()?

train_new_from_iterator() acepta.", explain: "Una lista de listas de textos es un tipo particular de generador de listas de textos, por lo que el método aceptará esto también. Intenta de nuevo!" }, { text: "Evitarás cargar todo el conjunto de datos en memoria de una sóla vez.", explain: "Correcto! Cada lote de textos será liberado de la memoria al ir iterando, y la ganancia será especialmente visible si usas la librería 🤗 Datasets para almacenar tus textos.", correct: true }, { text: "Esto permite que la librería 🤗 Tokenizers library use multiprocesamiento.", explain: "No, usará multiprocesamiento en ambos casos." }, { text: "El tokenizador que entrenarás generará mejores textos.", explain: "El tokenizador no genera texto -- estás confundiéndolo con un modelo de lenguaje?" } ]} />

3. Cuáles son las ventajas de utilizar un tokenizador "rápido"?

4. Como hace el pipeline token-classification para manejar entidades que se extienden a varios tokens?

5. Cómo hace el pipeline de question-answering para manejar contextos largos?

6. Qué es la normalización?

7. Qué es la pre-tokenización para un tokenizador de subpalabra?

8. Selecciona las afirmaciones que aplican para el modelo de tokenización BPE.

9. Selecciona las afirmaciones que aplican para el modelo de tokenizacion WordPiece.

10. Selecciona las afirmaciones que aplican para el modelo de tokenización Unigram.