Performance Notes

This document holds the detailed benchmark notes for the current zenz-CoreML stateful path.

Measurement Scope

Focus: stateful
Strategy: Stateful Greedy / Async global
Current comparison set:
- Stateful FP16
- Stateful 8-bit
stateless was not re-measured in the new stateful run

iPhone Air

Aggregate

Variant	Mean latency (s)	Min (s)	Max (s)
Stateful FP16	0.436	0.108	0.994
Stateful 8-bit	0.431	0.148	0.880

FP16 vs 8-bit

Metric	FP16	8-bit
Mean latency (s)	0.436	0.431
Cases won	8 / 23	15 / 23

Full Case Table

Case	FP16 (s)	8-bit (s)	Output
ニホンゴ	0.108	0.223	日本語
カンコクゴ	0.211	0.222	韓国語を勉強する
LongJP	0.994	0.867	私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています
Greet1	0.234	0.178	おはようございます
Greet2	0.416	0.320	はじめまして、私はスカイラインです
ShortQ	0.164	0.148	元気ですか
Weather	0.277	0.274	今日はとても暑いですね
Meetup	0.434	0.368	明日の午後3時に駅で会いましょう
Dinner	0.285	0.342	今日の晩は何を食べたいですか
Culture	0.242	0.334	日本の文化に興味があります
KoreanSkill	0.389	0.511	韓国語をもっと上手に話せるようになりたいです
HobbyMovie	0.239	0.301	暇なときはよく映画を見ます
HobbyBook	0.241	0.336	私の趣味は本を読むことです
PCFreeze	0.497	0.471	コンピュータの画面がフリーズしてしまいました
Battery	0.478	0.525	スマホのバッテリーがすぐになくなって困っています
Keyboard	0.580	0.540	キーボードの変換精度が上がるともっと早く打てます
Cafe	0.532	0.471	昨日は友達と駅前のカフェでコーヒーを飲みました
TimeMeet	0.421	0.369	3時に仕事が終わるので4時に会えます
NextHoliday	0.373	0.372	次の休みはどこに行きましょうか
LongJP2	0.655	0.593	私の趣味は本を読むことで、特にミステリー小説が好きです
LongJP3	0.650	0.648	毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです
LongJP4	0.647	0.622	私は毎日寝る前に2時間ほど日本語の勉強をしています
LongJPKeyboard	0.955	0.880	いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります

iPhone 12

Aggregate

Variant	Mean latency (s)	Min (s)	Max (s)
Stateful FP16	1.124	0.289	2.514
Stateful 8-bit	1.041	0.273	2.268

FP16 vs 8-bit

Metric	FP16	8-bit
Mean latency (s)	1.124	1.041

Full Case Table

Case	FP16 (s)	FP16 Output	8-bit (s)	8-bit Output
ニホンゴ	0.289	にほんご	0.273	日本語
カンコクゴ	0.654	かんこくごをべんきょうする	0.529	韓国語を勉強する
LongJP	2.514	わたしはいまにほんごのべんきょうをしていて、すまーとふぉんのきーぼーどでへんかんせいどをあげたいとおもんないをかんがいう。わた	2.268	私は今日本語の勉強をしていて、スマートフォンのキーボードで変換精度を上げたいと思っています
Greet1	0.468	おはようございます	0.590	おはようございます
Greet2	0.854	はじめまして、わたしはすかいらいんです	1.046	はじめまして、私はスカイラインです
ShortQ	2.447	broken text	0.472	元気ですか
Weather	0.654	きょうはとてもあついですね	0.732	今日はとても暑いですね
Meetup	0.867	あしたのごごさんじにえきであいましょう	0.924	明日の午後3時に駅で会いましょう
Dinner	0.751	きょうのばんはなにをたべたいですか	0.788	今日の晩は何を食べたいですか
Culture	0.763	にほんのぶんかにきょうみがあります	0.747	日本の文化に興味があります
KoreanSkill	1.110	かんこくごをもっとじょうずにはなせるようになりたいです	1.161	韓国語をもっと上手に話せるようになりたいです
HobbyMovie	0.674	ヒマなときはよくえいがをみます	0.736	暇なときはよく映画を見ます
HobbyBook	0.765	わたしのしゅみはほんをよむことです	0.808	私の趣味は本を読むことです
PCFreeze	0.975	こんぴゅーたのがめんがふりーずしてしまいました	1.106	コンピュータの画面がフリーズしてしまいました
Battery	1.071	スマホのバッテリーがスグになくなってこまっています	1.178	スマホのバッテリーがすぐになくなって困っています
Keyboard	1.159	キーボードのヘンカンセイドがあがるともっとはやくうてます	1.241	キーボードの変換精度が上がるともっと早く打てます
Cafe	1.158	きのうはともだちとえきまんのかふぇでこーひーをのみました	1.230	昨日は友達と駅前のカフェでコーヒーを飲みました
TimeMeet	0.874	さんじにしごとがおわるのでよじにあえます	0.925	3時に仕事が終わるので4時に会えます
NextHoliday	0.741	つぎのやすみはどこにいきましょうか	0.825	次の休みはどこに行きましょうか
LongJP2	2.407	ワタシのシュミはホンを読むことで、とくにミステリーショウセツガスキデス。ワタシのシュミハ。ワタシのシュミハ。(@comers)-ワタシのアジト(@yaman	1.466	私の趣味は本を読むことで、特にミステリー小説が好きです
LongJP3	1.422	まいにちしごとのまえにこーひーをいっぱいのすのがなによりのたのしみです	1.446	毎日仕事の前にコーヒーを1杯飲むのが何よりの楽しみです
LongJP4	1.351	わたしはまいにちねるまえににじかん)のべんきょうをしています	1.410	私は毎日寝る前に2時間ほど日本語の勉強をしています
LongJPKeyboard	1.881	いつもすまーとふぉんのきーぼーどでにほんごをうつので、へんかんせいどがたかいとふんです	2.051	いつもスマートフォンのキーボードで日本語を打つので、変換精度が高いと本当に助かります

Recorded Behavior

On iPhone Air, both Stateful FP16 and Stateful 8-bit produced correct outputs in the recorded run.
On iPhone 12, Stateful 8-bit preserved the intended outputs in the recorded run.
On iPhone 12, Stateful FP16 produced degraded outputs under the .all path in the recorded run.