metadata
license: llama3.1
What is this?
Meta社の最新言語モデルMeta-Llama-3.1-70B-InstructをGGUFフォーマットに変換したものです。
Llama3.1のトークナイザ修正のコミット（Upload tokenizer (#12)、special_tokens_map.jsonおよびtokenizer.jsonの修正）を反映させております。
また、llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート（#8676）についても反映したモデルとなっています。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
Chat template
<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Environment
Windows版llama.cpp-b3472および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。
License
llama3.1 License
Developer
Meta
Credit
Built with Llama