Photo OCR: fall back to image->facts when transcription yields none; surface empty extraction in UI

livemedcard/api.py

@@ -204,7 +204,9 @@ def ingest_image(req: ImageIngestRequest, state: _State = Depends(_get_state)):
     try:
         if img_backend == "ocrlab":
             text = l2b_ocrlab.image_to_markdown(req.image_base64)
-            img_extractor = OcrLabExtractor()
+            # Зображення передаємо в екстрактор: якщо транскрипція вийшла неповною
+            # і фактів у ній нема, він добере їх прямо з фото (запасний шлях).
+            img_extractor = OcrLabExtractor(image_base64=req.image_base64)
         elif img_backend == "nuextract":
             text = l2b_nuextract.image_to_markdown(req.image_base64)
             img_extractor = NuExtractExtractor()

livemedcard/layers/l2b_extractor.py

@@ -407,11 +407,21 @@ class OcrLabExtractor:
     `to_observations` — межа детермінізму збережена.
     """
 
-    def __init__(self, *, space: str | None = OCRLAB_SPACE) -> None:
+    def __init__(
+        self, *, space: str | None = OCRLAB_SPACE, image_base64: str | None = None
+    ) -> None:
         self._space = space
+        # Зображення-джерело (коли документ прийшов із фото): дає запасний шлях,
+        # якщо з markdown-транскрипції не вийшло витягти жодного факту.
+        self._image_base64 = image_base64
 
     def extract(self, doc: Document, patient_id: str) -> ExtractionResult:
         kvt = l2b_ocrlab.extract_facts(doc.text, space=self._space)
+        if not kvt and self._image_base64:
+            # Транскрипція буває неповною (модель може обірвати широку таблицю на
+            # пів-документі) — тоді фактів у тексті просто немає. Беремо їх прямо
+            # із зображення одним проходом; free-text іпостась лишається тією ж.
+            kvt = l2b_ocrlab.facts_from_image(self._image_base64, space=self._space)
         observations = l2b_stage2_lora.to_observations(
             kvt, doc, patient_id, extracted_by="NuExtract3/ZeroGPU"
         )

livemedcard/layers/l2b_ocrlab.py

@@ -47,6 +47,14 @@ def _client(space: str):
     raise OcrLabError(f"Не вдалося під'єднатися до OCR Lab '{space}': {last}")
 
 
+def _facts_of(result) -> list[dict]:
+    """Спільний розбір відповіді Lab: {"facts": [...]} або голий список."""
+    facts = result.get("facts", []) if isinstance(result, dict) else result
+    if not isinstance(facts, list):
+        return []
+    return [f for f in facts if isinstance(f, dict) and f.get("keyword")]
+
+
 def _decode_to_tempfile(image_base64: str) -> str:
     if "," in image_base64:
         image_base64 = image_base64.split(",", 1)[1]
@@ -75,6 +83,30 @@ def image_to_markdown(image_base64: str, *, space: str | None = None) -> str:
     return str(result or "").strip()
 
 
+def facts_from_image(image_base64: str, *, space: str | None = None) -> list[dict]:
+    """Зображення → сирі KVT-факти одним проходом (в обхід markdown-етапу).
+
+    Запасний шлях для випадку, коли транскрипція markdown вийшла неповною (модель
+    може зірватися в петлю на широких таблицях і обірвати документ) — тоді фактів
+    із тексту не витягти, а з самого зображення все ще можна.
+    """
+    try:
+        from gradio_client import handle_file
+    except ImportError as exc:  # pragma: no cover
+        raise OcrLabError(
+            "gradio_client не встановлено — постав extra 'cloud' для хмарного OCR Lab."
+        ) from exc
+    client = _client(space or OCRLAB_SPACE)
+    path = _decode_to_tempfile(image_base64)
+    try:
+        result = client.predict(handle_file(path), api_name="/facts_from_image")
+    except Exception as exc:
+        raise OcrLabError(f"OCR Lab facts_from_image недоступний: {exc}") from exc
+    finally:
+        os.unlink(path)
+    return _facts_of(result)
+
+
 def extract_facts(text: str, *, space: str | None = None) -> list[dict]:
     """Stage 2: текст/markdown → сирі KVT-факти (через ендпойнт /extract_facts)."""
     client = _client(space or OCRLAB_SPACE)
@@ -82,7 +114,4 @@ def extract_facts(text: str, *, space: str | None = None) -> list[dict]:
         result = client.predict(text, api_name="/extract_facts")
     except Exception as exc:
         raise OcrLabError(f"OCR Lab extract_facts недоступний: {exc}") from exc
-    facts = result.get("facts", []) if isinstance(result, dict) else result
-    if not isinstance(facts, list):
-        return []
-    return [f for f in facts if isinstance(f, dict) and f.get("keyword")]
+    return _facts_of(result)

livemedcard/static/index.html

@@ -449,6 +449,7 @@ const I18N = {
     toastExport:'FHIR bundle downloaded', toastNeedInput:'Enter text or choose a photo',
     ocrReading:'Reading (OCR)…', processing:'Processing…',
     toastEscalated:'Processed · escalated to human', toastAuto:'Processed · auto',
+    toastNoFacts:'Document saved, but no measurements were extracted',
     errorPrefix:'Error: ', selected:name=>`Selected: ${name}`,
     chips:['What about kidneys over the last year?','What was potassium?',
       'What medications and any interactions?','What about HbA1c?'],
@@ -491,6 +492,7 @@ const I18N = {
     toastExport:'FHIR Bundle завантажено', toastNeedInput:'Введіть текст або виберіть фото',
     ocrReading:'Зчитування (OCR)…', processing:'Опрацювання…',
     toastEscalated:'Оброблено · ескалація до людини', toastAuto:'Оброблено · авто',
+    toastNoFacts:'Документ збережено, але жодного показника не витягнуто',
     errorPrefix:'Помилка: ', selected:name=>`Вибрано: ${name}`,
     chips:['Що з нирками за останній рік?','Який був калій?',
       'Які ліки приймає і чи є взаємодії?','Що з HbA1c?'],
@@ -803,7 +805,10 @@ $('#add-submit').onclick=async()=>{
     $('#dropzone-text').textContent=t.dropzoneDefault;
     $('#add-form').classList.remove('show');
     await refresh();
-    toast(rep.decision.escalate?t.toastEscalated:t.toastAuto);
+    // Нуль фактів — не помилка конвеєра (документ збережено як текст), але й не
+    // успіх: мовчати про це не можна, інакше «оброблено» приховує порожній витяг.
+    const got=(rep.extraction&&rep.extraction.observations||[]).length;
+    toast(got?(rep.decision.escalate?t.toastEscalated:t.toastAuto):t.toastNoFacts);
   }catch(e){toast(t.errorPrefix+e.message);}
   finally{btn.disabled=false;btn.textContent=orig;}
 };