Upload 3 files

Dockerfile

@@ -25,6 +25,9 @@ RUN mkdir -p /root/.u2net && \
 RUN python -c "import easyocr; easyocr.Reader(['es', 'en'], gpu=False)"
 RUN python -c "from simple_lama_inpainting import SimpleLama; SimpleLama()"
 
+# Descarga el modelo de identificación de fuentes (licencia MIT).
+RUN python -c "from transformers import AutoImageProcessor, AutoModelForImageClassification; AutoImageProcessor.from_pretrained('gaborcselle/font-identifier'); AutoModelForImageClassification.from_pretrained('gaborcselle/font-identifier')"
+
 COPY app.py .
 
 EXPOSE 7860

app.py

@@ -3,12 +3,14 @@ import base64
 import numpy as np
 import cv2
 import easyocr
+import torch
 from PIL import Image
 from fastapi import FastAPI, File, UploadFile, HTTPException, Form
 from fastapi.middleware.cors import CORSMiddleware
 from fastapi.responses import Response
 from rembg import remove, new_session
 from simple_lama_inpainting import SimpleLama
+from transformers import AutoImageProcessor, AutoModelForImageClassification
 
 app = FastAPI(title="ZGrafic API")
 
@@ -31,6 +33,12 @@ ocr_reader = easyocr.Reader(["es", "en"], gpu=False)
 lama = SimpleLama()
 TEXT_PADDING = 4
 
+# Identifica la fuente más parecida entre 48 fuentes estándar (licencia
+# MIT, sin restricción de uso comercial).
+font_processor = AutoImageProcessor.from_pretrained("gaborcselle/font-identifier")
+font_model = AutoModelForImageClassification.from_pretrained("gaborcselle/font-identifier")
+font_model.eval()
+
 # El alpha matting es pesado: en imágenes grandes puede quedarse sin
 # memoria o tardar demasiado en el CPU gratuito. Por encima de este
 # tamaño, lo desactivamos automáticamente aunque el usuario lo pida.
@@ -224,6 +232,19 @@ def estimate_text_color(image_bgr, x1, y1, x2, y2):
     return "#{:02x}{:02x}{:02x}".format(int(r), int(g), int(b))
 
 
+def identify_font(pil_crop):
+    """Devuelve el nombre de la fuente (de un set de 48 fuentes estándar)
+    más parecida a la del recorte de texto dado."""
+    try:
+        inputs = font_processor(images=pil_crop.convert("RGB"), return_tensors="pt")
+        with torch.no_grad():
+            logits = font_model(**inputs).logits
+        predicted_id = logits.argmax(-1).item()
+        return font_model.config.id2label[predicted_id]
+    except Exception:
+        return None
+
+
 @app.post("/extract-text")
 async def extract_text(file: UploadFile = File(...)):
     if not file.content_type or not file.content_type.startswith("image/"):
@@ -258,6 +279,9 @@ async def extract_text(file: UploadFile = File(...)):
 
             color = estimate_text_color(image_bgr, x1, y1, x2, y2)
 
+            crop_rgb = cv2.cvtColor(image_bgr[y1:y2, x1:x2], cv2.COLOR_BGR2RGB)
+            font_name = identify_font(Image.fromarray(crop_rgb))
+
             texts.append({
                 "text": text,
                 "x": x1,
@@ -266,6 +290,7 @@ async def extract_text(file: UploadFile = File(...)):
                 "height": y2 - y1,
                 "fontSize": max(8, y2 - y1),
                 "color": color,
+                "font": font_name,
             })
 
             cv2.rectangle(mask, (x1, y1), (x2, y2), 255, thickness=-1)

requirements.txt

@@ -6,3 +6,4 @@ onnxruntime==1.19.2
 pillow==9.5.0
 easyocr==1.7.1
 simple-lama-inpainting==0.1.2
+transformers==4.44.0