Update README.md
Browse files
README.md
CHANGED
|
@@ -2,7 +2,7 @@
|
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
# What is this?
|
| 5 |
-
Qwen3-Coder-Flashこと[Qwen3-Coder-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct)を
|
| 6 |
|
| 7 |
# imatrix dataset
|
| 8 |
日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。
|
|
@@ -15,16 +15,9 @@ Qwen3-Coder-Flashこと[Qwen3-Coder-30B-A3B-Instruct](https://huggingface.co/Qwe
|
|
| 15 |
ここにMessageを書きます。<|im_end|>
|
| 16 |
<|im_start|>assistant
|
| 17 |
```
|
| 18 |
-
|
| 19 |
-
#
|
| 20 |
-
|
| 21 |
-
|クオンツ|スコア|コメント|
|
| 22 |
-
|---|---|---|
|
| 23 |
-
|Q8_0|||
|
| 24 |
-
|Q6_K|||
|
| 25 |
-
|Q5_K_M|||
|
| 26 |
-
|Q4_K_M|4.19|改良前より0.12点アップ!|
|
| 27 |
-
|IQ4_XS||| -->
|
| 28 |
|
| 29 |
# Environment
|
| 30 |
Windows版llama.cpp-b5902を使用して量子化作業を実施しました。
|
|
|
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
# What is this?
|
| 5 |
+
Qwen3-Coder-Flashこと[Qwen3-Coder-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct)をGGUFフォーマットに変換したものです。
|
| 6 |
|
| 7 |
# imatrix dataset
|
| 8 |
日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。
|
|
|
|
| 15 |
ここにMessageを書きます。<|im_end|>
|
| 16 |
<|im_start|>assistant
|
| 17 |
```
|
| 18 |
+
|
| 19 |
+
# Note
|
| 20 |
+
Q4_K_MおよびQ5_K_Mクオンツのみ、Q8_0クオンツを再量子化するという方法で作成しました。これは、通常通りBF16から量子化しようとすると原因不明のエラーが発生してしまうためです。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 21 |
|
| 22 |
# Environment
|
| 23 |
Windows版llama.cpp-b5902を使用して量子化作業を実施しました。
|