grapevine-AI/Llama-3.1-70B-Instruct-GGUF

What is this?

Meta社の最新言語モデルMeta-Llama-3.1-70B-InstructをGGUFフォーマットに変換したものです。
Llama3.1のトークナイザ修正のコミット（Upload tokenizer (#12)、special_tokens_map.jsonおよびtokenizer.jsonの修正）を反映させております。
また、llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート（#8676）についても反映したモデルとなっています。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。

Chat template

<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n

Environment

Windows版llama.cpp-b3472および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。

License

llama3.1 License

Developer

Meta

Credit

Built with Llama