course/pr_1114/it/chapter5/1.md

Introduzione

Nel Capitolo 3 hai mosso i primi passi nella libreria 🤗 Datasets, e hai scoperto i tre passaggi fondamentali nell'ottimizzazione dei modelli:

1. Si carica un dataset dell'Hub Hugging Face.
2. Si processano i dati con Dataset.map().
3. Si caricano e si elaborano le metriche.

Ma questo non è che un assaggio di ciò che 🤗 Datasets è in grado di fare! In questo capitolo approfondiremo le potenzialità della libreria. Durante questo percorso, troverai risposta alle seguenti domande:

• Cosa fare quando un dataset non è presente nell'Hub?
• Come fare a tagliuzzare il dataset? (E cosa succede se devi proprio usare Pandas?)
• Cosa fare quando un dataset è tanto grande da sciogliere la RAM del tuo portatile?
• Cosa cavolo sono il "mappamento di memoria" e Apache Arrow?
• Come fare per creare il proprio dataset e pubblicarlo sull'Hub?

Le tecniche che imparerai ti prepareranno a compiti più avanzati di tokenizzazione e fine-tuning che troverai nei capitoli Chapter 6 e Chapter 7 -- quindi preparati una tazza di caffè e iniziamo!