text-generation-webuiを使う時はuse_fastがONにすること
#1
by alfredplpl - opened
いろんな人から報告があったので.READMEに明記した方がいいと思いました。
transformersのモデルに表示されている、fastのチェックボックスにチェックを入れたら無事にロードできたようです。
tokenizer_config.jsonで「tokenizer_class」:「GPTNeoXTokenizer」を「tokenizer_class」:「GPTNeoXTokenizerFast」に変更することでも解決できるそうです
It appears that this issue has been resolved with https://huggingface.co/cyberagent/calm2-7b-chat/discussions/2.
rishigami changed discussion status to closed