| # Performance Notes |
|
|
| This document holds the detailed benchmark notes for the current `zenz-CoreML` stateful path. |
|
|
| ## Measurement Scope |
|
|
| - Focus: `stateful` |
| - Strategy: `Stateful Greedy / Async global` |
| - Current comparison set: |
| - `Stateful FP16` |
| - `Stateful 8-bit` |
| - `stateless` was not re-measured in the new stateful run |
|
|
| ## iPhone Air |
|
|
| ### Aggregate |
|
|
| | Variant | Mean latency (s) | Min (s) | Max (s) | |
| |---|---:|---:|---:| |
| | Stateful FP16 | 0.436 | 0.108 | 0.994 | |
| | Stateful 8-bit | 0.431 | 0.148 | 0.880 | |
|
|
| ### FP16 vs 8-bit |
|
|
| | Metric | FP16 | 8-bit | |
| |---|---:|---:| |
| | Mean latency (s) | 0.436 | 0.431 | |
| | Cases won | 8 / 23 | 15 / 23 | |
|
|
| ### Full Case Table |
|
|
| | Case | FP16 (s) | 8-bit (s) | Output | |
| |---|---:|---:|---| |
| | ニホンゴ | 0.108 | 0.223 | 日本語 | |
| | カンコクゴ | 0.211 | 0.222 | 韓国語を勉強する | |
| | LongJP | 0.994 | 0.867 | 私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています | |
| | Greet1 | 0.234 | 0.178 | おはようございます | |
| | Greet2 | 0.416 | 0.320 | はじめまして、私はスカイラインです | |
| | ShortQ | 0.164 | 0.148 | 元気ですか | |
| | Weather | 0.277 | 0.274 | 今日はとても暑いですね | |
| | Meetup | 0.434 | 0.368 | 明日の午後3時に駅で会いましょう | |
| | Dinner | 0.285 | 0.342 | 今日の晩は何を食べたいですか | |
| | Culture | 0.242 | 0.334 | 日本の文化に興味があります | |
| | KoreanSkill | 0.389 | 0.511 | 韓国語をもっと上手に話せるようになりたいです | |
| | HobbyMovie | 0.239 | 0.301 | 暇なときはよく映画を見ます | |
| | HobbyBook | 0.241 | 0.336 | 私の趣味は本を読むことです | |
| | PCFreeze | 0.497 | 0.471 | コンピュータの画面がフリーズしてしまいました | |
| | Battery | 0.478 | 0.525 | スマホのバッテリーがすぐになくなって困っています | |
| | Keyboard | 0.580 | 0.540 | キーボードの変換精度が上がるともっと早く打てます | |
| | Cafe | 0.532 | 0.471 | 昨日は友達と駅前のカフェでコーヒーを飲みました | |
| | TimeMeet | 0.421 | 0.369 | 3時に仕事が終わるので4時に会えます | |
| | NextHoliday | 0.373 | 0.372 | 次の休みはどこに行きましょうか | |
| | LongJP2 | 0.655 | 0.593 | 私の趣味は本を読むことで、特にミステリー小説が好きです | |
| | LongJP3 | 0.650 | 0.648 | 毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです | |
| | LongJP4 | 0.647 | 0.622 | 私は毎日寝る前に2時間ほど日本語の勉強をしています | |
| | LongJPKeyboard | 0.955 | 0.880 | いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります | |
|
|
| ## iPhone 12 |
|
|
| ### Aggregate |
|
|
| | Variant | Mean latency (s) | Min (s) | Max (s) | |
| |---|---:|---:|---:| |
| | Stateful FP16 | 1.124 | 0.289 | 2.514 | |
| | Stateful 8-bit | 1.041 | 0.273 | 2.268 | |
|
|
| ### FP16 vs 8-bit |
|
|
| | Metric | FP16 | 8-bit | |
| |---|---:|---:| |
| | Mean latency (s) | 1.124 | 1.041 | |
|
|
| ### Full Case Table |
|
|
| | Case | FP16 (s) | FP16 Output | 8-bit (s) | 8-bit Output | |
| |---|---:|---|---:|---| |
| | ニホンゴ | 0.289 | にほんご | 0.273 | 日本語 | |
| | カンコクゴ | 0.654 | かんこくごをべんきょうする | 0.529 | 韓国語を勉強する | |
| | LongJP | 2.514 | わたしはいまにほんごのべんきょうをしていて、すまーとふぉんのきーぼーどでへんかんせいどをあげたいとおもんないをかんがいう。わた | 2.268 | 私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています | |
| | Greet1 | 0.468 | おはようございます | 0.590 | おはようございます | |
| | Greet2 | 0.854 | はじめまして、わたしはすかいらいんです | 1.046 | はじめまして、私はスカイラインです | |
| | ShortQ | 2.447 | broken text | 0.472 | 元気ですか | |
| | Weather | 0.654 | きょうはとてもあついですね | 0.732 | 今日はとても暑いですね | |
| | Meetup | 0.867 | あしたのごごさんじにえきであいましょう | 0.924 | 明日の午後3時に駅で会いましょう | |
| | Dinner | 0.751 | きょうのばんはなにをたべたいですか | 0.788 | 今日の晩は何を食べたいですか | |
| | Culture | 0.763 | にほんのぶんかにきょうみがあります | 0.747 | 日本の文化に興味があります | |
| | KoreanSkill | 1.110 | かんこくごをもっとじょうずにはなせるようになりたいです | 1.161 | 韓国語をもっと上手に話せるようになりたいです | |
| | HobbyMovie | 0.674 | ヒマなときはよくえいがをみます | 0.736 | 暇なときはよく映画を見ます | |
| | HobbyBook | 0.765 | わたしのしゅみはほんをよむことです | 0.808 | 私の趣味は本を読むことです | |
| | PCFreeze | 0.975 | こんぴゅーたのがめんがふりーずしてしまいました | 1.106 | コンピュータの画面がフリーズしてしまいました | |
| | Battery | 1.071 | スマホのバッテリーがスグになくなってこまっています | 1.178 | スマホのバッテリーがすぐになくなって困っています | |
| | Keyboard | 1.159 | キーボードのヘンカンセイドがあがるともっとはやくうてます | 1.241 | キーボードの変換精度が上がるともっと早く打てます | |
| | Cafe | 1.158 | きのうはともだちとえきまんのかふぇでこーひーをのみました | 1.230 | 昨日は友達と駅前のカフェでコーヒーを飲みました | |
| | TimeMeet | 0.874 | さんじにしごとがおわるのでよじにあえます | 0.925 | 3時に仕事が終わるので4時に会えます | |
| | NextHoliday | 0.741 | つぎのやすみはどこにいきましょうか | 0.825 | 次の休みはどこに行きましょうか | |
| | LongJP2 | 2.407 | ワタシのシュミはホンを読むことで、とくにミステリーショウセツガスキデス。ワタシのシュミハ。ワタシのシュミハ。(@comers)-ワタシのアジト(@yaman | 1.466 | 私の趣味は本を読むことで、特にミステリー小説が好きです | |
| | LongJP3 | 1.422 | まいにちしごとのまえにこーひーをいっぱいのすのがなによりのたのしみです | 1.446 | 毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです | |
| | LongJP4 | 1.351 | わたしはまいにちねるまえににじかん)のべんきょうをしています | 1.410 | 私は毎日寝る前に2時間ほど日本語の勉強をしています | |
| | LongJPKeyboard | 1.881 | いつもすまーとふぉんのきーぼーどでにほんごをうつので、へんかんせいどがたかいとふんです | 2.051 | いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります | |
|
|
| ## Recorded Behavior |
|
|
| - On iPhone Air, both `Stateful FP16` and `Stateful 8-bit` produced correct outputs in the recorded run. |
| - On iPhone 12, `Stateful 8-bit` preserved the intended outputs in the recorded run. |
| - On iPhone 12, `Stateful FP16` produced degraded outputs under the `.all` path in the recorded run. |
|
|
