mmnga commited on
Commit
0cedab0
·
1 Parent(s): 6a89c4e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -0
README.md CHANGED
@@ -5,3 +5,17 @@ license: unknown
5
  # このリポジトリはmmngaのDebug用のリポジトリです (This Repo is mmnga's DebugRepo.)
6
 
7
  **検証用のモデル置き場です。正しく動作しないものがあります。**
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  # このリポジトリはmmngaのDebug用のリポジトリです (This Repo is mmnga's DebugRepo.)
6
 
7
  **検証用のモデル置き場です。正しく動作しないものがあります。**
8
+
9
+ pfn-plamo
10
+ llamaモデルベースなので、モデルの変換はできてそうかも
11
+ Grouped-Query Attentionはllama.cppで対応しているからできてそうな感じはするけど、出力が荒ぶる。
12
+
13
+ llama.cpp のllm_build_plamo内
14
+ convert-plamo.py 変換
15
+
16
+ ~~~bash
17
+ git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
18
+ cd llama.cpp
19
+ make -j
20
+ ./main -m 'pfn-plamo-q4_0.gguf' -n 128 -p '今日の夕飯のレシピをご紹介します。' --top_p 0.9 --temp 0.7
21
+ ~~~