course/pr_1213/ro/chapter6/10.md

Quiz de sfârșit de capitol[[end-of-chapter-quiz]]

Hai să testăm ceea ce ai învățat în acest capitol!

1. Când ar trebui să antrenezi un nou tokenizer?

2. Care este avantajul utilizării unui generator de liste de texte în comparație cu o listă de liste de texte atunci când utilizați train_new_from_iterator()?

train_new_from_iterator() îl acceptă.", explain: "O listă de liste de texte este un tip special de generator de liste de texte, astfel încât metoda o va accepta și pe aceasta. Încercați din nou!" }, { text: "Veți evita încărcarea întregului dataset în memorie.", explain: "Corect! Fiecare batch de texte va fi eliberat din memorie atunci când iterați, iar câștigul va fi vizibil mai ales dacă utilizați 🤗 Datasets pentru a stoca textele.", correct: true }, { text: "Acest lucru va permite bibliotecii 🤗 Tokenizers să utilizeze multiprocessing.", explain: "Nu, oricum va folosi multiprocessing." }, { text: "Tokenizerul pe care îl vei antrena va genera texte mai bune.", explain: "Tokenizerul nu generează text - îl confundați cu un model lingvistic?" } ]} />

3. Care sunt avantajele utilizării unui tokenizer "rapid"?

4. Cum tratează pipelineul token-classification entitățile care se întind pe mai mulți tokeni?

5. Cum gestionează pipelineul question-answering contextele lungi?

6. Ce este normalizarea?

7. Ce este pre-tokenizarea pentru un subword tokenizer?

8. Selectați propozițiile care se aplică modelului de tokenizare BPE.

9. Selectați propozițiile care se aplică modelului de tokenizare WordPiece.

10. Selectați propozițiile care se aplică modelului de tokenizare Unigram.