course/pr_1114/pt/chapter5/7.md

Confira o 🤗 Datasets!

Bem, esse foi um belo passeio pela biblioteca 🤗 Datasets - parabéns por chegar até aqui! Com o conhecimento que você adquiriu neste capítulo, você deve ser capaz de:

• Carregue conjuntos de dados de qualquer lugar, seja o Hugging Face Hub, seu laptop ou um servidor remoto em sua empresa.
• Organize seus dados usando uma combinação das funções Dataset.map() e Dataset.filter().
• Alterne rapidamente entre formatos de dados como Pandas e NumPy usando Dataset.set_format().
• Crie seu próprio conjunto de dados e envie-o para o Hugging Face Hub.
• Incorpore seus documentos usando um modelo Transformer e construa um mecanismo de pesquisa semântica usando o FAISS.

No Capítulo 7, usaremos tudo isso para nos aprofundarmos nas principais tarefas de PNL para as quais os modelos Transformer são ótimos. Antes de avançar, no entanto, teste seu conhecimento de 🤗 Datasets com um teste rápido!