dahara1 commited on
Commit
71089c0
·
verified ·
1 Parent(s): c2e018f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +25 -13
README.md CHANGED
@@ -12,8 +12,8 @@ Mac環境や低スペックPCでも手軽に動作させることができるよ
12
 
13
  ## GGUFとは?
14
 
15
- GGUF(GPT-Generated Unified Format)は、大規模言語モデルを効率的に配布・実行するためのファイルフォーマットです。
16
- llama.cppというGPUがない環境でもCPU環境でもLLMを動かすため純粋なC++プログラムとして開発がスタートしましたが、移植性が高いため、Macやスマートフォンなどでも動作するようになっています。
17
 
18
  ### 主な特徴
19
  - **軽量化**: モデルサイズを大幅に削減(元の50%以下に)
@@ -36,18 +36,24 @@ llama.cppというGPUがない環境でもCPU環境でもLLMを動かすため
36
  | VoiceCore-BF16.gguf | 6.61 GB | 最高品質、元モデルと同等の精度 | 高品質が必要な場合 |
37
  | VoiceCore-Q4_K-f16.gguf | 2.66 GB | バランス型、実用的な精度 | 通常使用(要注意) |
38
 
39
- ⚠️ **重要な注意事項**: VoiceCoreは量子化に敏感なモデルです。Q4_K-f16以下の量子化レベルでは音声ファイルの作成に失敗する事がある事がわかっています。安定性を重視する場合はBF16版の使用を推奨します。
 
40
 
41
  ## システム概要
42
 
43
- ```mermaid
44
- graph LR
45
- A[ユーザー入力] --> B[llama.cpp サーバー]
46
- B --> C[VoiceCore GGUF]
47
- C --> D[音声トークン生成]
48
- D --> E[SNACデコーダー]
49
- E --> F[音声ファイル/リアルタイム再生]
50
- ```
 
 
 
 
 
51
 
52
  ## セットアップガイド(Mac/初心者向け)
53
 
@@ -67,6 +73,10 @@ pip3 install torch snac numpy httpx pyaudio scipy
67
 
68
  ### 2. llama.cppのセットアップ
69
 
 
 
 
 
70
  ```bash
71
  # llama.cppのクローン
72
  git clone https://github.com/ggerganov/llama.cpp
@@ -81,7 +91,7 @@ make LLAMA_METAL=1
81
 
82
  ### 3. モデルのダウンロード
83
 
84
- [dahara1/orpheus-3b-0.1-ft_gguf](https://huggingface.co/webbigdata/VoiceCore_gguf)から必要なモデルをダウンロードしてください。
85
 
86
  ### 4. サーバーの起動
87
 
@@ -229,7 +239,7 @@ if __name__ == "__main__":
229
  - Docker風のシンプルなインターフェース
230
  - 自動的な量子化対応
231
 
232
- **注意:** 現時点でOllamaはカスタムトークナイザーに対応していないため、VoiceCoreの音声生成機能は制限される可能性があります。
233
 
234
  ### LM Studio
235
  [LM Studio](https://lmstudio.ai/)は、GUIベースでLLMを実行できるツールです。
@@ -245,6 +255,8 @@ if __name__ == "__main__":
245
  3. 設定でコンテキストサイズを2048に設定
246
  4. APIサーバーモードで起動
247
 
 
 
248
  ### llama.cpp Python バインディング
249
  ```bash
250
  pip install llama-cpp-python
 
12
 
13
  ## GGUFとは?
14
 
15
+ GGUF(GPT-Generated Unified Format)は、大規模言語モデルを効率的に配布・実行するためのファイルフォーマットです。
16
+ 元々はllama.cppというNvidiaのGPUがない環境でもCPULLMを動かすため純粋なC++プログラムとして開発がスタートしましたが、移植性が高いため、Macやスマートフォン、GPU環境にも移植されています。
17
 
18
  ### 主な特徴
19
  - **軽量化**: モデルサイズを大幅に削減(元の50%以下に)
 
36
  | VoiceCore-BF16.gguf | 6.61 GB | 最高品質、元モデルと同等の精度 | 高品質が必要な場合 |
37
  | VoiceCore-Q4_K-f16.gguf | 2.66 GB | バランス型、実用的な精度 | 通常使用(要注意) |
38
 
39
+ ⚠️ **重要な注意事項**: VoiceCoreは量子化に敏感なモデルです。Q4_K-f16以下の量子化レベルでは[音声ファイルの作成に失敗するケース](https://huggingface.co/dahara1/orpheus-3b-0.1-ft_gguf)がわかっています。
40
+ 安定性を重視する場合はBF16版、もしくはオリジナルのTransformers版の使用を推奨します。
41
 
42
  ## システム概要
43
 
44
+ [ユーザー入力]
45
+
46
+ [llama.cpp サーバー]
47
+
48
+ [VoiceCore GGUF]
49
+
50
+ [音声トークン生成]
51
+
52
+ [SNACデコーダー]
53
+
54
+ [音声ファイル/リアルタイム再生]
55
+
56
+ VoiceCoreは直接WAVファイルを生成するのではなく、SNAC用の音声トークンを出力します。
57
 
58
  ## セットアップガイド(Mac/初心者向け)
59
 
 
73
 
74
  ### 2. llama.cppのセットアップ
75
 
76
+ 以下は基本的なセットアップ方法です。
77
+ [llama.cppのセットアップ方法は多様なため各環境用の文書は公式サイトを参照](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md)してください
78
+ [Docker](https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md)や[各種環境向けにコンパイル済のバイナリファイル](https://github.com/ggml-org/llama.cpp/releases)も用意されています。
79
+
80
  ```bash
81
  # llama.cppのクローン
82
  git clone https://github.com/ggerganov/llama.cpp
 
91
 
92
  ### 3. モデルのダウンロード
93
 
94
+ [webbigdata/VoiceCore_gguf](https://huggingface.co/webbigdata/VoiceCore_gguf)から必要なモデルをダウンロードしてください。
95
 
96
  ### 4. サーバーの起動
97
 
 
239
  - Docker風のシンプルなインターフェース
240
  - 自動的な量子化対応
241
 
242
+ **注意:** 現時点でOllamaは未チェックです。カスタムトークナイザーで問題が発生する可能性があります。
243
 
244
  ### LM Studio
245
  [LM Studio](https://lmstudio.ai/)は、GUIベースでLLMを実行できるツールです。
 
255
  3. 設定でコンテキストサイズを2048に設定
256
  4. APIサーバーモードで起動
257
 
258
+ **注意:** 現時点でLM Studioは未チェックです。カスタムトークナイザーで問題が発生する可能性があります。
259
+
260
  ### llama.cpp Python バインディング
261
  ```bash
262
  pip install llama-cpp-python