Upload 3 files

app.py

@@ -1,5 +1,6 @@
 from fastapi import FastAPI, UploadFile, File, HTTPException
 from fastapi.middleware.cors import CORSMiddleware
+from pix2text import Pix2Text
 import io
 from PIL import Image
 import uvicorn
@@ -8,38 +9,6 @@ import os
 # 高速トークナイザーの並列処理によるデッドロックを回避
 os.environ["TOKENIZERS_PARALLELISM"] = "false"
 
-# -------------------------------------------------------
-# モンキーパッチ: XLMRobertaTokenizerFast の tokenizer.json 読み込みを回避
-#
-# 【根本原因】
-#   pix2text-mfr の tokenizer_config.json に
-#   "tokenizer_class": "XLMRobertaTokenizerFast" がハードコードされているため、
-#   use_fast=False を渡しても無視され、常にFastクラスが呼ばれる。
-#   Fastクラスは tokenizer.json を tokenizers ライブラリでパースするが、
-#   tokenizer.json のフォーマットと現在の tokenizers のバージョンが非互換で
-#   "data did not match any variant of untagged enum ModelWrapper" が発生する。
-#
-# 【対策】
-#   XLMRobertaTokenizerFast.__init__ に直接パッチを当て、
-#   tokenizer_file=None を強制することで tokenizer.json の読み込みを完全スキップ。
-#   SentencePiece モデル (sentencepiece.bpe.model) のみを使用するスローモードで動作。
-# -------------------------------------------------------
-from transformers.models.xlm_roberta.tokenization_xlm_roberta_fast import (
-    XLMRobertaTokenizerFast as _XLMRobertaTokenizerFast,
-)
-
-_orig_xlm_init = _XLMRobertaTokenizerFast.__init__
-
-def _patched_xlm_init(self, vocab_file=None, tokenizer_file=None, **kwargs):
-    # tokenizer.json (fast_tokenizer_file) を無効化して
-    # SentencePiece モデルのみ使用するスローモードにフォールバック
-    _orig_xlm_init(self, vocab_file=vocab_file, tokenizer_file=None, **kwargs)
-
-_XLMRobertaTokenizerFast.__init__ = _patched_xlm_init
-# -------------------------------------------------------
-
-from pix2text import Pix2Text
-
 app = FastAPI()
 
 # CORSを許可

requirements.txt

@@ -6,9 +6,9 @@ pillow
 torch==2.3.1+cpu
 torchvision==0.18.1+cpu
 --extra-index-url https://download.pytorch.org/whl/cpu
-transformers==4.44.2
-tokenizers==0.19.1
-huggingface-hub==0.24.5
+transformers>=4.46.0,<5.0.0
+tokenizers>=0.20.0
+huggingface-hub>=0.25.0
 numpy<2.0.0
 onnxruntime==1.19.0
 optimum==1.22.0