llm.create_chat_completion(
messages = "No input example has been defined for this model task."
)What is this?
CohereForAI(C4AI)のオープンウェイト言語モデルCommand R+ 08-2024をGGUFフォーマットに変換したものです。
商用利用は不可となっているため注意してください。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、コンピューティングリソースの関係上、Q6_K量子化モデルを使用してimatrixの計算を行いました。
Chat template
<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>ここにSystem Promptを書きます<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>ここにMessageを書きます<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
Environment
Windows版llama.cpp-b3621およびllama.cpp-b3472同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
License
CC-BY-NC-4.0
Developer
CohereForAI(C4AI)
- Downloads last month
- 9
Hardware compatibility
Log In to add your hardware
4-bit
16-bit
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="grapevine-AI/c4ai-command-r-plus-08-2024-gguf", filename="", )