OSError: Unable to load weights from pytorch checkpoint file
Hei! Jeg får denne feilen når jeg prøver å laste inn modellen:
OSError: Unable to load weights from pytorch checkpoint file for '/root/.cache/huggingface/hub/models--NbAiLab--nb-gpt-j-6B/snapshots/05b044b9e8bdc8e0992e274713d72a7d4a1c2d2f/pytorch_model.bin' at '/root/.cache/huggingface/hub/models--NbAiLab--nb-gpt-j-6B/snapshots/05b044b9e8bdc8e0992e274713d72a7d4a1c2d2f/pytorch_model.bin'. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.
Jeg bruker den koden som ligger på modellsiden for å laste den inn:
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("NbAiLab/nb-gpt-j-6B")
model = AutoModelForCausalLM.from_pretrained("NbAiLab/nb-gpt-j-6B")
Jeg har transformers==4.26.0 og kjører i Google Colab. Har klart å laste inn andre modeller som er AutoModelForCausalLM, for eksempel bigscience/mt0-small. Har dette noe å gjøre med hvilken versjon av transformers/torch jeg har, eller må jeg kanskje laste inn modellen på en annen måte?
Hei! Jeg har nettopp testet den og den fungerer OK med transformers==4.26.1 and torch==1.10.1. Ikke sikker på om du får plass til modellen i Colabs GPU.
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
tokenizer = AutoTokenizer.from_pretrained("NbAiLab/nb-gpt-j-6B")
model = AutoModelForCausalLM.from_pretrained("NbAiLab/nb-gpt-j-6B")
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
pipe("Jeg leser en bok om")
# [{'generated_text': 'Jeg leser en bok om en hund som ser på meg og ikke på andre som den går forbi, men noen ganger er det mennesker som kikker på meg'}]
Kanskje prøve å slette cachen din?
Hei, får samme feil som @ilang . Har prøvd både å slette cache og bruke versjoner: transformers==4.26.1 og torch==1.10.1. Jeg kjører koden i jupyter notebook med python-versjon 3.9.
Jeg bruker også Python 3.9. Kan du laste EleutherAI/gpt-j-6B eller får du også en feilmelding?