tokimoa/unlimited-ocr-mlx-bf16

Unlimited-OCR (MLX bf16, verified)

Baiduの Unlimited-OCR（3.3B・DeepSeek-V2系MoE＋MLA＋deepencoder構成のドキュメントパースモデル）を、公式重みからMLX形式に変換したものです。日本語ビジネス文書での検証済みで公開しています。

ページ画像から、レイアウト検出ボックス（<|det|>種別 [x1,y1,x2,y2]<|/det|>）付きで読み順どおりのテキスト（表はHTML）を出力します。

なぜ公開するか

公開時点で存在した本モデルの既存MLX変換を同一プロトコルで検証したところ、現行mlx-vlmでロードできないもの（model_type改名）や、トークナイザ不整合により出力がbyte-BPE片のまま文字化けするものを確認しました。本リポジトリは公式重みから変換し、下記の検証を通した上で公開しています。

変換品質の検証（tokimoa）

日本語ビジネス文書5種（請求書・議事録・契約条項・チェックシート・英日混在技術文書、正解文字列59項目）で検証:

• 正解文字列カバレッジ 57/59（残る2件は記号の置換〔波ダッシュ→ASCII~、×→X〕のみで、金額・氏名・条文等の内容誤りはゼロ）
• 同一入力の反復で出力完全一致（決定論的）

実測速度（M4 Max 36GB）

• 生成: 224 tok/s / ピークメモリ: 8.7GB（MoEのアクティブパラメータが小さいため高速）

使い方

チャットテンプレートではなく、素のプロンプトに <image> トークンを含める形式です:

# pip install mlx-vlm  (0.6.7で動作確認)
from mlx_vlm import load, generate

model, processor = load("tokimoa/unlimited-ocr-mlx-bf16")
out = generate(model, processor, "<image>document parsing.",
               image=["page.png"], max_tokens=4096, temperature=0.0)
print(out.text)

複数ページは "<image>Multi page parsing."（上流README準拠）。

変換情報

• 変換元: baidu/Unlimited-OCR（公式重み）
• 変換: mlx-vlm 0.6.7 convert（量子化なし・6.3GB)
• 変換者: tokimoa

ライセンス

MIT（元モデルに準拠）