OrionStarAI-Orion-14B-LongChat-gguf

OrionStarAIさんが公開しているOrion-14B-LongChatのggufフォーマット変換版です。

Licence

元モデルのライセンス項目をご確認ください。
orion-14b-series-models-community-license

他のモデル
mmnga/OrionStarAI-Orion-14B-LongChat-gguf
mmnga/OrionStarAI-Orion-14B-Chat-RAG-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'OrionStarAI-Orion-14B-LongChat-q4_0.gguf' -p "User: 今晩の夕食のレシピを考えて \n Orion-14B: " -n 128 --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -e