| | <!--- |
| | Copyright 2022 The HuggingFace Team. All rights reserved. |
| |
|
| | Licensed under the Apache License, Version 2.0 (the "License"); |
| | you may not use this file except in compliance with the License. |
| | You may obtain a copy of the License at |
| |
|
| | http: |
| |
|
| | Unless required by applicable law or agreed to in writing, software |
| | distributed under the License is distributed on an "AS IS" BASIS, |
| | WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
| | See the License for the specific language governing permissions and |
| | limitations under the License. |
| | --> |
| |
|
| | # Installazione |
| |
|
| | Installa 🤗 Transformers per qualsiasi libreria di deep learning con cui stai lavorando, imposta la tua cache, e opzionalmente configura 🤗 Transformers per l'esecuzione offline. |
| |
|
| | 🤗 Transformers è testato su Python 3.6+, PyTorch 1.1.0+, TensorFlow 2.0+, e Flax. Segui le istruzioni di installazione seguenti per la libreria di deep learning che stai utilizzando: |
| |
|
| | |
| | |
| | |
| |
|
| | ## Installazione con pip |
| |
|
| | Puoi installare 🤗 Transformers in un [ambiente virtuale](https: |
| |
|
| | Inizia creando un ambiente virtuale nella directory del tuo progetto: |
| |
|
| | ```bash |
| | python -m venv .env |
| | ``` |
| |
|
| | Attiva l'ambiente virtuale: |
| |
|
| | ```bash |
| | source .env/bin/activate |
| | ``` |
| |
|
| | Ora puoi procedere con l'installazione di 🤗 Transformers eseguendo il comando seguente: |
| |
|
| | ```bash |
| | pip install transformers |
| | ``` |
| |
|
| | Per il solo supporto della CPU, puoi installare facilmente 🤗 Transformers e una libreria di deep learning in solo una riga. Ad esempio, installiamo 🤗 Transformers e PyTorch con: |
| |
|
| | ```bash |
| | pip install transformers[torch] |
| | ``` |
| |
|
| | 🤗 Transformers e TensorFlow 2.0: |
| |
|
| | ```bash |
| | pip install transformers[tf-cpu] |
| | ``` |
| |
|
| | 🤗 Transformers e Flax: |
| |
|
| | ```bash |
| | pip install transformers[flax] |
| | ``` |
| |
|
| | Infine, verifica se 🤗 Transformers è stato installato in modo appropriato eseguendo il seguente comando. Questo scaricherà un modello pre-allenato: |
| |
|
| | ```bash |
| | python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))" |
| | ``` |
| |
|
| | Dopodiché stampa l'etichetta e il punteggio: |
| |
|
| | ```bash |
| | [{'label': 'POSITIVE', 'score': 0.9998704791069031}] |
| | ``` |
| |
|
| | ## Installazione dalla fonte |
| |
|
| | Installa 🤗 Transformers dalla fonte con il seguente comando: |
| |
|
| | ```bash |
| | pip install git+https: |
| | ``` |
| |
|
| | Questo comando installa la versione `main` più attuale invece dell'ultima versione stabile. Questo è utile per stare al passo con gli ultimi sviluppi. Ad esempio, se un bug è stato sistemato da quando è uscita l'ultima versione ufficiale ma non è stata ancora rilasciata una nuova versione. Tuttavia, questo significa che questa versione `main` può non essere sempre stabile. Ci sforziamo per mantenere la versione `main` operativa, e la maggior parte dei problemi viene risolta in poche ore o in un giorno. Se riscontri un problema, per favore apri una [Issue](https: |
| |
|
| | Controlla se 🤗 Transformers è stata installata in modo appropriato con il seguente comando: |
| |
|
| | ```bash |
| | python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))" |
| | ``` |
| |
|
| | ## Installazione modificabile |
| |
|
| | Hai bisogno di un'installazione modificabile se vuoi: |
| |
|
| | |
| | |
| |
|
| | Clona il repository e installa 🤗 Transformers con i seguenti comandi: |
| |
|
| | ```bash |
| | git clone https: |
| | cd transformers |
| | pip install -e . |
| | ``` |
| |
|
| | Questi comandi collegheranno la cartella in cui è stato clonato il repository e i path delle librerie Python. Python guarderà ora all'interno della cartella clonata, oltre ai normali path delle librerie. Per esempio, se i tuoi pacchetti Python sono installati tipicamente in `~/anaconda3/envs/main/lib/python3.7/site-packages/`, Python cercherà anche nella cartella clonata: `~/transformers/`. |
| |
|
| | <Tip warning={true}> |
| |
|
| | Devi tenere la cartella `transformers` se vuoi continuare ad utilizzare la libreria. |
| |
|
| | </Tip> |
| |
|
| | Ora puoi facilmente aggiornare il tuo clone all'ultima versione di 🤗 Transformers con il seguente comando: |
| |
|
| | ```bash |
| | cd ~/transformers/ |
| | git pull |
| | ``` |
| |
|
| | Il tuo ambiente Python troverà la versione `main` di 🤗 Transformers alla prossima esecuzione. |
| |
|
| | ## Installazione con conda |
| |
|
| | Installazione dal canale conda `huggingface`: |
| |
|
| | ```bash |
| | conda install -c huggingface transformers |
| | ``` |
| |
|
| | ## Impostazione della cache |
| |
|
| | I modelli pre-allenati sono scaricati e memorizzati localmente nella cache in: `~/.cache/huggingface/transformers/`. Questa è la directory di default data dalla variabile d'ambiente della shell `TRANSFORMERS_CACHE`. Su Windows, la directory di default è data da `C:\Users\username\.cache\huggingface\transformers`. Puoi cambiare le variabili d'ambiente della shell indicate in seguito, in ordine di priorità, per specificare una directory differente per la cache: |
| |
|
| | 1. Variabile d'ambiente della shell (default): `TRANSFORMERS_CACHE`. |
| | 2. Variabile d'ambiente della shell: `HF_HOME` + `transformers/`. |
| | 3. Variabile d'ambiente della shell: `XDG_CACHE_HOME` + `/huggingface/transformers`. |
| |
|
| | <Tip> |
| |
|
| | 🤗 Transformers utilizzerà le variabili d'ambiente della shell `PYTORCH_TRANSFORMERS_CACHE` o `PYTORCH_PRETRAINED_BERT_CACHE` se si proviene da un'iterazione precedente di questa libreria e sono state impostate queste variabili d'ambiente, a meno che non si specifichi la variabile d'ambiente della shell `TRANSFORMERS_CACHE`. |
| |
|
| | </Tip> |
| |
|
| | ## Modalità Offline |
| |
|
| | 🤗 Transformers può essere eseguita in un ambiente firewalled o offline utilizzando solo file locali. Imposta la variabile d'ambiente `TRANSFORMERS_OFFLINE=1` per abilitare questo comportamento. |
| |
|
| | <Tip> |
| |
|
| | Aggiungi [🤗 Datasets](https: |
| |
|
| | </Tip> |
| |
|
| | Ad esempio, in genere si esegue un programma su una rete normale, protetta da firewall per le istanze esterne, con il seguente comando: |
| |
|
| | ```bash |
| | python examples/pytorch/translation/run_translation.py --model_name_or_path t5-small --dataset_name wmt16 --dataset_config ro-en ... |
| | ``` |
| |
|
| | Esegui lo stesso programma in un'istanza offline con: |
| |
|
| | ```bash |
| | HF_DATASETS_OFFLINE=1 TRANSFORMERS_OFFLINE=1 \ |
| | python examples/pytorch/translation/run_translation.py --model_name_or_path t5-small --dataset_name wmt16 --dataset_config ro-en ... |
| | ``` |
| |
|
| | Lo script viene ora eseguito senza bloccarsi o attendere il timeout, perché sa di dover cercare solo file locali. |
| |
|
| | ### Ottenere modelli e tokenizer per l'uso offline |
| |
|
| | Un'altra opzione per utilizzare offline 🤗 Transformers è scaricare i file in anticipo, e poi puntare al loro path locale quando hai la necessità di utilizzarli offline. Ci sono tre modi per fare questo: |
| |
|
| | |
| |
|
| |  |
| | >>> model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0_3B") |
| | ``` |
| |
|
| | 2. Salva i tuoi file in una directory specificata con [`PreTrainedModel.save_pretrained`]: |
| |
|
| | ```py |
| | >>> tokenizer.save_pretrained("./il/tuo/path/bigscience_t0") |
| | >>> model.save_pretrained("./il/tuo/path/bigscience_t0") |
| | ``` |
| |
|
| | 3. Ora quando sei offline, carica i tuoi file con [`PreTrainedModel.from_pretrained`] dalla directory specificata: |
| |
|
| | ```py |
| | >>> tokenizer = AutoTokenizer.from_pretrained("./il/tuo/path/bigscience_t0") |
| | >>> model = AutoModel.from_pretrained("./il/tuo/path/bigscience_t0") |
| | ``` |
| |
|
| | |
| |
|
| | 1. Installa la libreria `huggingface_hub` nel tuo ambiente virtuale: |
| |
|
| | ```bash |
| | python -m pip install huggingface_hub |
| | ``` |
| |
|
| | 2. Utilizza la funzione [`hf_hub_download`](https: |
| |
|
| | ```py |
| | >>> from huggingface_hub import hf_hub_download |
| |
|
| | >>> hf_hub_download(repo_id="bigscience/T0_3B", filename="config.json", cache_dir="./il/tuo/path/bigscience_t0") |
| | ``` |
| |
|
| | Una volta che il tuo file è scaricato e salvato in cache localmente, specifica il suo path locale per caricarlo e utilizzarlo: |
| |
|
| | ```py |
| | >>> from transformers import AutoConfig |
| |
|
| | >>> config = AutoConfig.from_pretrained("./il/tuo/path/bigscience_t0/config.json") |
| | ``` |
| |
|
| | <Tip> |
| |
|
| | Fai riferimento alla sezione [How to download files from the Hub](https: |
| |
|
| | </Tip> |