# Performance Notes

This document holds the detailed benchmark notes for the current `zenz-CoreML` stateful path.

## Measurement Scope

- Focus: `stateful`
- Strategy: `Stateful Greedy / Async global`
- Current comparison set:
  - `Stateful FP16`
  - `Stateful 8-bit`
- `stateless` was not re-measured in the new stateful run

## iPhone Air

### Aggregate

| Variant | Mean latency (s) | Min (s) | Max (s) |
|---|---:|---:|---:|
| Stateful FP16 | 0.436 | 0.108 | 0.994 |
| Stateful 8-bit | 0.431 | 0.148 | 0.880 |

### FP16 vs 8-bit

| Metric | FP16 | 8-bit |
|---|---:|---:|
| Mean latency (s) | 0.436 | 0.431 |
| Cases won | 8 / 23 | 15 / 23 |

### Full Case Table

| Case | FP16 (s) | 8-bit (s) | Output |
|---|---:|---:|---|
| ニホンゴ | 0.108 | 0.223 | 日本語 |
| カンコクゴ | 0.211 | 0.222 | 韓国語を勉強する |
| LongJP | 0.994 | 0.867 | 私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています |
| Greet1 | 0.234 | 0.178 | おはようございます |
| Greet2 | 0.416 | 0.320 | はじめまして、私はスカイラインです |
| ShortQ | 0.164 | 0.148 | 元気ですか |
| Weather | 0.277 | 0.274 | 今日はとても暑いですね |
| Meetup | 0.434 | 0.368 | 明日の午後3時に駅で会いましょう |
| Dinner | 0.285 | 0.342 | 今日の晩は何を食べたいですか |
| Culture | 0.242 | 0.334 | 日本の文化に興味があります |
| KoreanSkill | 0.389 | 0.511 | 韓国語をもっと上手に話せるようになりたいです |
| HobbyMovie | 0.239 | 0.301 | 暇なときはよく映画を見ます |
| HobbyBook | 0.241 | 0.336 | 私の趣味は本を読むことです |
| PCFreeze | 0.497 | 0.471 | コンピュータの画面がフリーズしてしまいました |
| Battery | 0.478 | 0.525 | スマホのバッテリーがすぐになくなって困っています |
| Keyboard | 0.580 | 0.540 | キーボードの変換精度が上がるともっと早く打てます |
| Cafe | 0.532 | 0.471 | 昨日は友達と駅前のカフェでコーヒーを飲みました |
| TimeMeet | 0.421 | 0.369 | 3時に仕事が終わるので4時に会えます |
| NextHoliday | 0.373 | 0.372 | 次の休みはどこに行きましょうか |
| LongJP2 | 0.655 | 0.593 | 私の趣味は本を読むことで、特にミステリー小説が好きです |
| LongJP3 | 0.650 | 0.648 | 毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです |
| LongJP4 | 0.647 | 0.622 | 私は毎日寝る前に2時間ほど日本語の勉強をしています |
| LongJPKeyboard | 0.955 | 0.880 | いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります |

## iPhone 12

### Aggregate

| Variant | Mean latency (s) | Min (s) | Max (s) |
|---|---:|---:|---:|
| Stateful FP16 | 1.124 | 0.289 | 2.514 |
| Stateful 8-bit | 1.041 | 0.273 | 2.268 |

### FP16 vs 8-bit

| Metric | FP16 | 8-bit |
|---|---:|---:|
| Mean latency (s) | 1.124 | 1.041 |

### Full Case Table

| Case | FP16 (s) | FP16 Output | 8-bit (s) | 8-bit Output |
|---|---:|---|---:|---|
| ニホンゴ | 0.289 | にほんご | 0.273 | 日本語 |
| カンコクゴ | 0.654 | かんこくごをべんきょうする | 0.529 | 韓国語を勉強する |
| LongJP | 2.514 | わたしはいまにほんごのべんきょうをしていて、すまーとふぉんのきーぼーどでへんかんせいどをあげたいとおもんないをかんがいう。わた | 2.268 | 私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています |
| Greet1 | 0.468 | おはようございます | 0.590 | おはようございます |
| Greet2 | 0.854 | はじめまして、わたしはすかいらいんです | 1.046 | はじめまして、私はスカイラインです |
| ShortQ | 2.447 | broken text | 0.472 | 元気ですか |
| Weather | 0.654 | きょうはとてもあついですね | 0.732 | 今日はとても暑いですね |
| Meetup | 0.867 | あしたのごごさんじにえきであいましょう | 0.924 | 明日の午後3時に駅で会いましょう |
| Dinner | 0.751 | きょうのばんはなにをたべたいですか | 0.788 | 今日の晩は何を食べたいですか |
| Culture | 0.763 | にほんのぶんかにきょうみがあります | 0.747 | 日本の文化に興味があります |
| KoreanSkill | 1.110 | かんこくごをもっとじょうずにはなせるようになりたいです | 1.161 | 韓国語をもっと上手に話せるようになりたいです |
| HobbyMovie | 0.674 | ヒマなときはよくえいがをみます | 0.736 | 暇なときはよく映画を見ます |
| HobbyBook | 0.765 | わたしのしゅみはほんをよむことです | 0.808 | 私の趣味は本を読むことです |
| PCFreeze | 0.975 | こんぴゅーたのがめんがふりーずしてしまいました | 1.106 | コンピュータの画面がフリーズしてしまいました |
| Battery | 1.071 | スマホのバッテリーがスグになくなってこまっています | 1.178 | スマホのバッテリーがすぐになくなって困っています |
| Keyboard | 1.159 | キーボードのヘンカンセイドがあがるともっとはやくうてます | 1.241 | キーボードの変換精度が上がるともっと早く打てます |
| Cafe | 1.158 | きのうはともだちとえきまんのかふぇでこーひーをのみました | 1.230 | 昨日は友達と駅前のカフェでコーヒーを飲みました |
| TimeMeet | 0.874 | さんじにしごとがおわるのでよじにあえます | 0.925 | 3時に仕事が終わるので4時に会えます |
| NextHoliday | 0.741 | つぎのやすみはどこにいきましょうか | 0.825 | 次の休みはどこに行きましょうか |
| LongJP2 | 2.407 | ワタシのシュミはホンを読むことで、とくにミステリーショウセツガスキデス。ワタシのシュミハ。ワタシのシュミハ。(@comers)-ワタシのアジト(@yaman | 1.466 | 私の趣味は本を読むことで、特にミステリー小説が好きです |
| LongJP3 | 1.422 | まいにちしごとのまえにこーひーをいっぱいのすのがなによりのたのしみです | 1.446 | 毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです |
| LongJP4 | 1.351 | わたしはまいにちねるまえににじかん)のべんきょうをしています | 1.410 | 私は毎日寝る前に2時間ほど日本語の勉強をしています |
| LongJPKeyboard | 1.881 | いつもすまーとふぉんのきーぼーどでにほんごをうつので、へんかんせいどがたかいとふんです | 2.051 | いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります |

## Recorded Behavior

- On iPhone Air, both `Stateful FP16` and `Stateful 8-bit` produced correct outputs in the recorded run.
- On iPhone 12, `Stateful 8-bit` preserved the intended outputs in the recorded run.
- On iPhone 12, `Stateful FP16` produced degraded outputs under the `.all` path in the recorded run.