Update app.py

app.py

@@ -1,9 +1,12 @@
 import os
 import io
+import time
+import asyncio
 import numpy as np
 from PIL import Image
 from fastapi import FastAPI, UploadFile, File
 from fastapi.responses import HTMLResponse
+from starlette.concurrency import run_in_threadpool
 from huggingface_hub import hf_hub_download
 
 # Ограничиваем треды ONNX Runtime (на HF Spaces CPU Basic всего 2 vCPU)
@@ -13,6 +16,12 @@ os.environ["MKL_NUM_THREADS"] = "2"
 app = FastAPI()
 MODEL_DIR = os.path.join(os.path.dirname(__file__), "models")
 
+# Ограничиваем реальную конкурентность OCR-вызовов под число vCPU.
+# На 2 vCPU параллельный запуск 2+ OCR одновременно делит ядра между ними
+# и может быть МЕДЛЕННЕЕ, чем строгая очередь — поэтому 1, не 2.
+ocr_semaphore = asyncio.Semaphore(1)
+
+
 def download_file(repo_id, filename, local_dir):
     """Скачивает файл с HF Hub, если его нет локально."""
     local_path = os.path.join(local_dir, filename)
@@ -27,14 +36,24 @@ def download_file(repo_id, filename, local_dir):
         print(f"  Failed: {e}")
         return None
 
+
 def ensure_models():
-    """Скачивает det, rec, dict. Cls скачаем отдельно если нужен config."""
+    """
+    Скачивает det (mobile, лёгкий ~4.8 МБ вместо server-варианта ~88 МБ),
+    rec и dict для русского+английского (eslav покрывает кириллицу).
+    """
     os.makedirs(MODEL_DIR, exist_ok=True)
-    det = download_file("monkt/paddleocr-onnx", "detection/v5/det.onnx", MODEL_DIR)
+
+    # Детекция language-agnostic — просто находит текстовые блоки,
+    # поэтому mobile-вариант той же PP-OCRv5 серии работает для любого языка.
+    det = download_file("ilaylow/PP_OCRv5_mobile_onnx", "ppocrv5_det.onnx", MODEL_DIR)
+
+    # Рекогнишн оставляем eslav — обучена именно под кириллицу + латиницу
     rec = download_file("monkt/paddleocr-onnx", "languages/eslav/rec.onnx", MODEL_DIR)
     dict_path = download_file("monkt/paddleocr-onnx", "languages/eslav/dict.txt", MODEL_DIR)
     return det, rec, dict_path
 
+
 det_path, rec_path, dict_path = ensure_models()
 
 from rapidocr_onnxruntime import RapidOCR
@@ -61,7 +80,10 @@ try:
         ocr.text_detector.postprocess_op.thresh = 0.5
         ocr.text_detector.postprocess_op.use_dilation = False
         ocr.text_detector.postprocess_op.score_mode = "fast"
-        print("  Patched: thresh=0.5, use_dilation=False, score_mode=fast")
+        # Меньше кандидатов для NMS — на скрине редко >10-15 текстовых блоков
+        if hasattr(ocr.text_detector.postprocess_op, "max_candidates"):
+            ocr.text_detector.postprocess_op.max_candidates = 100
+        print("  Patched: thresh=0.5, use_dilation=False, score_mode=fast, max_candidates=100")
 
     if hasattr(ocr, "text_recognizer"):
         ocr.text_recognizer.rec_batch_num = 1
@@ -71,7 +93,6 @@ except TypeError:
     # === Попытка 2: старая версия, нужен полный config.yaml ===
     print("kwargs not supported, using full config.yaml")
 
-    # Скачиваем cls модель из нескольких возможных источников
     cls_path = None
     for repo, path in [
         ("RapidAI/RapidOCR", "onnx/PP-OCRv4/cls/ch_ppocr_mobile_v2.0_cls_infer.onnx"),
@@ -82,7 +103,6 @@ except TypeError:
         if cls_path:
             break
 
-    # Если не нашли — запускаем стандартный RapidOCR, чтобы он скачал модели в кэш
     if not cls_path:
         print("Downloading standard models via RapidOCR()...")
         temp_ocr = RapidOCR()
@@ -95,7 +115,6 @@ except TypeError:
                     break
             if cls_path:
                 break
-        # Ищем в кэше
         if not cls_path:
             cache_dir = os.path.expanduser("~/.cache/rapidocr_onnxruntime")
             if os.path.exists(cache_dir):
@@ -107,7 +126,6 @@ except TypeError:
                     if cls_path:
                         break
 
-    # Создаём полный config.yaml со ВСЕМИ обязательными полями
     config_path = os.path.join(os.path.dirname(__file__), "config.yaml")
     with open(config_path, "w") as f:
         f.write(f"""
@@ -138,7 +156,7 @@ Det:
   post_process:
     thresh: 0.5
     box_thresh: 0.5
-    max_candidates: 1000
+    max_candidates: 100
     unclip_ratio: 1.6
     use_dilation: false
     score_mode: fast
@@ -214,10 +232,21 @@ HTML_FORM = """<!DOCTYPE html>
 </body>
 </html>"""
 
+
 @app.get("/", response_class=HTMLResponse)
 def read_root():
     return HTML_FORM
 
+
+def _run_ocr_sync(img_array):
+    """Синхронный вызов OCR — выполняет��я в threadpool, не блокирует event loop."""
+    t0 = time.time()
+    results, elapse_list = ocr(img_array)
+    total = time.time() - t0
+    print(f"[TIMING] total={total:.2f}s breakdown(det,cls,rec)={elapse_list}")
+    return results
+
+
 @app.post("/predict")
 async def predict(file: UploadFile = File(...)):
     try:
@@ -228,7 +257,10 @@ async def predict(file: UploadFile = File(...)):
         if image.width > 480 or image.height > 480:
             image.thumbnail((480, 480))
         img_array = np.array(image)
-        results, _ = ocr(img_array)
+
+        async with ocr_semaphore:
+            results = await run_in_threadpool(_run_ocr_sync, img_array)
+
         if not results:
             return {"text": ""}
         text = " ".join([item[1] for item in results]).strip()