modify READEME

Breeze-ASR-26-GGML.md

@@ -1,83 +0,0 @@
----
-base_model: MediaTek-Research/Breeze-ASR-26
-base_model_relation: quantized
-language:
-- nan
-- zh
-library_name: whisper.cpp
-license: apache-2.0
-metrics:
-- cer
-pipeline_tag: automatic-speech-recognition
-tags:
-- automatic-speech-recognition
-- whisper
-- taiwanese-hokkien
-- taigi
-- low-resource-language
-- arxiv:2603.19259
-- whisper.cpp
-- whisper-cpp
-- quantized
-- q8_0
-- q5_0
-- q4_0
-- q4_1
----
-
-# Breeze-ASR-26-GGML
-
-這是由 `MediaTek-Research/Breeze-ASR-26` 轉換而來的 `whisper.cpp` 量化版本；此 artifact 沒有額外訓練紀錄。
-
-## 來源模型
-
-- 模型：[MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26)
-- Revision：`7b992682e7f5ceedd0a41ebec240f01ba469d19e`
-- 授權：Apache-2.0，依來源模型卡宣告
-
-## 量化資訊
-
-- Backend：`whisper.cpp`
-- 量化：`q8_0`, `q5_0`, `q4_0`, `q4_1`
-
-## 評估摘要
-
-這次評估使用教育部臺灣台語常用詞辭典例句音檔：
-[教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/).
-評估子集取例句音檔中 `hanzi` 長度最長的 100 筆樣本。
-
-以下 CER 使用原始 HF `float16` 推論結果作為 pseudo-reference，衡量不同轉換/量化版本相對於原始模型輸出的 drift。
-這不是對人工標註逐字稿計算的 ASR CER。計算時會先移除輸出文字中的所有空白，再計算字元級 Levenshtein distance。
-
-以這次結果來看，量化部署建議優先使用 `CT2 int8`：
-它完成全部 100 筆樣本，VRAM 約 `2097-2129 MiB`，相對 HF `float16` baseline 的 CER drift 為 `0.1263`，整體成本效益最好。
-
-| 版本 | 推論結果 | 成功/總數 | VRAM MiB |
-|---|---|---:|---:|
-| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
-| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
-| [CT2 `int8_float16`](https://huggingface.co/phate334/Breeze-ASR-26-int8_float16-CT2) | `ct2-int8_float16.jsonl` | 100/100 | 2103-2135 |
-| [CT2 `int8`](https://huggingface.co/phate334/Breeze-ASR-26-int8-CT2) | `ct2-int8.jsonl` | 100/100 | 2097-2129 |
-| [whisper.cpp / GGML `q4_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_0.jsonl` | 100/100 | 1843-1843 |
-| [whisper.cpp / GGML `q4_1`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_1.jsonl` | 100/100 | 1935-1935 |
-| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
-| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
-
-### 相對 HF Baseline 的 CER
-
-Baseline reference：`vllm-hf-float16.jsonl`。
-
-| 比較版本 | CER | 字元錯誤/參考字元 | 完全一致 |
-|---|---:|---:|---:|
-| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
-| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
-| `ct2-int8.jsonl` | 0.1263 | 691/5470 | 5 |
-| `whisper-cpp-ggml-q5_0.jsonl` | 0.1803 | 986/5470 | 5 |
-| `whisper-cpp-ggml-q8_0.jsonl` | 0.1879 | 1028/5470 | 6 |
-| `whisper-cpp-ggml-q4_0.jsonl` | 0.1927 | 1054/5470 | 2 |
-| `whisper-cpp-ggml-q4_1.jsonl` | 0.2558 | 1399/5470 | 2 |
-
-## 更多資訊
-
-評估程式、資料準備方式與完整結果報表請見 GitHub repository：
-https://github.com/phate334/stt-eval

README.md

@@ -15,6 +15,8 @@ tags:
 - taiwanese-hokkien
 - taigi
 - low-resource-language
+- arxiv:2603.19259
+- whisper.cpp
 - whisper-cpp
 - quantized
 - q8_0
@@ -25,15 +27,57 @@ tags:
 
 # Breeze-ASR-26-GGML
 
-This model is a quantized `whisper.cpp` version of `MediaTek-Research/Breeze-ASR-26`. No additional training is documented for this artifact.
+這是由 `MediaTek-Research/Breeze-ASR-26` 轉換而來的 `whisper.cpp` 量化版本；此 artifact 沒有額外訓練紀錄。
 
-## Source Model
+## 來源模型
 
-- Model: [MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26)
-- Revision: `7b992682e7f5ceedd0a41ebec240f01ba469d19e`
-- License: Apache-2.0, as declared by the source model card
+- 模型：[MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26)
+- Revision：`7b992682e7f5ceedd0a41ebec240f01ba469d19e`
+- 授權：Apache-2.0，依來源模型卡宣告
 
-## Quantization
+## 量化資訊
 
-- Backend: `whisper.cpp`
-- Quantization: `q8_0`, `q5_0`, `q4_0`, `q4_1`
+- Backend：`whisper.cpp`
+- 量化：`q8_0`, `q5_0`, `q4_0`, `q4_1`
+
+## 評估摘要
+
+這次評估使用教育部臺灣台語常用詞辭典例句音檔：
+[教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/).
+評估子集取例句音檔中 `hanzi` 長度最長的 100 筆樣本。
+
+以下 CER 使用原始 HF `float16` 推論結果作為 pseudo-reference，衡量不同轉換/量化版本相對於原始模型輸出的 drift。
+這不是對人工標註逐字稿計算的 ASR CER。計算時會先移除輸出文字中的所有空白，再計算字元級 Levenshtein distance。
+
+以這次結果來看，量化部署建議優先使用 `CT2 int8`：
+它完成全部 100 筆樣本，VRAM 約 `2097-2129 MiB`，相對 HF `float16` baseline 的 CER drift 為 `0.1263`，整體成本效益最好。
+
+| 版本 | 推論結果 | 成功/總數 | VRAM MiB |
+|---|---|---:|---:|
+| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
+| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
+| [CT2 `int8_float16`](https://huggingface.co/phate334/Breeze-ASR-26-int8_float16-CT2) | `ct2-int8_float16.jsonl` | 100/100 | 2103-2135 |
+| [CT2 `int8`](https://huggingface.co/phate334/Breeze-ASR-26-int8-CT2) | `ct2-int8.jsonl` | 100/100 | 2097-2129 |
+| [whisper.cpp / GGML `q4_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_0.jsonl` | 100/100 | 1843-1843 |
+| [whisper.cpp / GGML `q4_1`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_1.jsonl` | 100/100 | 1935-1935 |
+| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
+| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
+
+### 相對 HF Baseline 的 CER
+
+Baseline reference：`vllm-hf-float16.jsonl`。
+
+| 比較版本 | CER | 字元錯誤/參考字元 | 完全一致 |
+|---|---:|---:|---:|
+| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
+| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
+| `ct2-int8.jsonl` | 0.1263 | 691/5470 | 5 |
+| `whisper-cpp-ggml-q5_0.jsonl` | 0.1803 | 986/5470 | 5 |
+| `whisper-cpp-ggml-q8_0.jsonl` | 0.1879 | 1028/5470 | 6 |
+| `whisper-cpp-ggml-q4_0.jsonl` | 0.1927 | 1054/5470 | 2 |
+| `whisper-cpp-ggml-q4_1.jsonl` | 0.2558 | 1399/5470 | 2 |
+
+## 更多資訊
+
+評估程式、資料準備方式與完整結果報表請見 GitHub repository：
+https://github.com/phate334/stt-eval