.venv/transformers/docs/source/ja/model_doc/bloom.md

BLOOM

Overview

BLOOM モデルは、BigScience Workshop を通じてさまざまなバージョンで提案されています。 BigScience は、研究者が時間とリソースをプールして共同でより高い効果を達成する他のオープン サイエンス イニシアチブからインスピレーションを得ています。 BLOOM のアーキテクチャは基本的に GPT3 (次のトークン予測のための自己回帰モデル) に似ていますが、46 の異なる言語と 13 のプログラミング言語でトレーニングされています。 モデルのいくつかの小さいバージョンが同じデータセットでトレーニングされています。 BLOOM は次のバージョンで利用できます。

• bloom-560m
• bloom-1b1
• bloom-1b7
• bloom-3b
• bloom-7b1
• bloom (176B parameters)

Resources

BLOOM を使い始めるのに役立つ公式 Hugging Face およびコミュニティ (🌎 で示されている) リソースのリスト。ここに含めるリソースの送信に興味がある場合は、お気軽にプル リクエストを開いてください。審査させていただきます。リソースは、既存のリソースを複製するのではなく、何か新しいものを示すことが理想的です。

• [BloomForCausalLM] これによってサポートされています causal language modeling example script and notebook.

以下も参照してください。

• 因果言語モデリング タスク ガイド
• テキスト分類タスクガイド
• トークン分類タスクガイド
• 質問回答タスク ガイド

⚡️ 推論

• に関するブログ 最適化の話: ブルーム推論。
• に関するブログ DeepSpeed と Accelerate を使用した信じられないほど高速な BLOOM 推論。

⚙️トレーニング

• に関するブログ BLOOM トレーニングの背後にあるテクノロジー。

BloomConfig

[[autodoc]] BloomConfig - all

BloomTokenizerFast

[[autodoc]] BloomTokenizerFast - all

BloomModel

[[autodoc]] BloomModel - forward

BloomForCausalLM

[[autodoc]] BloomForCausalLM - forward

BloomForSequenceClassification

[[autodoc]] BloomForSequenceClassification - forward

BloomForTokenClassification

[[autodoc]] BloomForTokenClassification - forward

BloomForQuestionAnswering

[[autodoc]] BloomForQuestionAnswering - forward

FlaxBloomModel

[[autodoc]] FlaxBloomModel - call

FlaxBloomForCausalLM

[[autodoc]] FlaxBloomForCausalLM - call