File size: 2,977 Bytes
cd241b7 a6ad5f6 cd241b7 a6ad5f6 cd241b7 652a394 cd241b7 652a394 cd241b7 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 652a394 a6ad5f6 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 | ---
base_model: MediaTek-Research/Breeze-ASR-26
base_model_relation: quantized
language:
- nan
- zh
library_name: ctranslate2
license: apache-2.0
metrics:
- cer
pipeline_tag: automatic-speech-recognition
tags:
- automatic-speech-recognition
- whisper
- taiwanese-hokkien
- taigi
- low-resource-language
- arxiv:2603.19259
- ctranslate2
- ct2
- quantized
- float16
---
# Breeze-ASR-26-float16-CT2
本模型由 [MediaTek-Research/Breeze-ASR-26](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) 轉換為 `ctranslate2` 量化格式，未額外微調。
## 量化
- 後端：`ctranslate2`
- 量化：`float16`
## 評估
資料來源：教育部臺灣台語常用詞辭典例句音檔，取 `hanzi` 長度最長的 100 筆樣本。
- [教育部臺灣台語常用詞辭典相關資源](https://sutian.moe.edu.tw/und-hani/siongkuantsuguan/)
CER 以原始 HF `float16` 推論結果作為偽參考，用來衡量轉換/量化後的輸出偏移；這不是人工標註逐字稿 CER。計算前會先移除所有空白，再計算字元級 Levenshtein 距離。
量化部署建議優先使用 `CT2 int8`：100 筆全數成功，VRAM 約 `2097-2129 MiB`，相對 HF `float16` 基準的 CER 為 `0.1263`。
| 版本 | 結果檔 | 成功/總數 | VRAM MiB |
|---|---|---:|---:|
| [vLLM HF `float16`](https://huggingface.co/MediaTek-Research/Breeze-ASR-26) | `vllm-hf-float16.jsonl` | 100/100 | 21267-21267 |
| [CT2 `float16`](https://huggingface.co/phate334/Breeze-ASR-26-float16-CT2) | `ct2-float16.jsonl` | 100/100 | 3991-3991 |
| [CT2 `int8_float16`](https://huggingface.co/phate334/Breeze-ASR-26-int8_float16-CT2) | `ct2-int8_float16.jsonl` | 100/100 | 2103-2135 |
| [CT2 `int8`](https://huggingface.co/phate334/Breeze-ASR-26-int8-CT2) | `ct2-int8.jsonl` | 100/100 | 2097-2129 |
| [whisper.cpp / GGML `q4_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_0.jsonl` | 100/100 | 1843-1843 |
| [whisper.cpp / GGML `q4_1`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q4_1.jsonl` | 100/100 | 1935-1935 |
| [whisper.cpp / GGML `q5_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q5_0.jsonl` | 100/100 | 2027-2027 |
| [whisper.cpp / GGML `q8_0`](https://huggingface.co/phate334/Breeze-ASR-26-GGML) | `whisper-cpp-ggml-q8_0.jsonl` | 100/100 | 2575-2575 |
### 相對 HF 基準的 CER
基準：`vllm-hf-float16.jsonl`。
| 比較版本 | CER | 字元錯誤 / 參考字元 | 完全一致 |
|---|---:|---:|---:|
| `ct2-int8_float16.jsonl` | 0.1157 | 633/5470 | 11 |
| `ct2-float16.jsonl` | 0.1176 | 643/5470 | 7 |
| `ct2-int8.jsonl` | 0.1263 | 691/5470 | 5 |
| `whisper-cpp-ggml-q5_0.jsonl` | 0.1803 | 986/5470 | 5 |
| `whisper-cpp-ggml-q8_0.jsonl` | 0.1879 | 1028/5470 | 6 |
| `whisper-cpp-ggml-q4_0.jsonl` | 0.1927 | 1054/5470 | 2 |
| `whisper-cpp-ggml-q4_1.jsonl` | 0.2558 | 1399/5470 | 2 |
## 更多資訊
評估程式、資料準備與完整報表：
https://github.com/phate334/stt-eval
|