fix: show every extracted fact, its date, and the document's real language

livemedcard/api.py

@@ -47,6 +47,7 @@ from .config import (
 )
 from .dto import Document, DocKind
 from .fhir import Patient
+from .lang import detect_lang
 from .layers import l3_router
 from .layers import l2b_nuextract, l2b_ocrlab
 from .layers.l2b_ocrlab import OcrLabError
@@ -372,11 +373,31 @@ def get_state_endpoint(lang: str = "uk", state: _State = Depends(_get_state)):
                 "high": ref.high if ref else None,
                 "points": [
                     {"ts": p.ts.date().isoformat(), "value": p.value,
-                     "source": p.source_doc_id, "span": p.source_span}
+                     "source": p.source_doc_id, "span": p.source_span,
+                     "dated": p.date_stated}
                     for p in pts
                 ],
             })
 
+        # Факти без LOINC: витягнуті, але некодовані (напр. TIR-бари AGP-звіту).
+        # Сигналів не дають — межі порівнювати нема з чим. Показуємо їх окремо:
+        # мовчки з'їдений факт неможливо відрізнити від невитягнутого.
+        uncoded = [
+            {"keyword": f.keyword, "value": f.value, "unit": f.unit,
+             "ts": f.ts.date().isoformat(), "source": f.source_doc_id,
+             "span": f.source_span, "dated": f.date_stated}
+            for f in card.factstore.uncoded()
+        ]
+
+        # Мова документа — з його ТЕКСТУ (detect_lang), а не з назви файлу. Якщо
+        # тексту немає, документ не потрапляє сюди взагалі: інтерфейс краще
+        # покаже відсутність бейджа, ніж навмання «UA» (detect_lang("") == "uk").
+        docs = {}
+        for n in card.graph.nodes_of_type("Document"):
+            text = (card.graph.g.nodes[n].get("text") or "").strip()
+            if text:
+                docs[n.split("/", 1)[1]] = {"lang": detect_lang(text)}
+
         seen: dict[str, None] = {}
         for n in card.graph.nodes_of_type("MedicationRequest"):
             seen.setdefault(card.graph.g.nodes[n].get("label", n), None)
@@ -386,6 +407,8 @@ def get_state_endpoint(lang: str = "uk", state: _State = Depends(_get_state)):
             "patient": {"id": card.patient.id, "gender": card.patient.gender},
             "document_count": card.document_count,
             "series": series,
+            "uncoded": uncoded,
+            "docs": docs,
             "medications": medications,
             "signals": [s.model_dump() for s in sigs],
             "decision": decision.model_dump(),

livemedcard/fhir.py

@@ -64,6 +64,11 @@ class Provenance(BaseModel):
     extracted_at: datetime = Field(default_factory=_utcnow)
     confidence: Optional[float] = None
     source_span: Optional[tuple[int, int]] = None
+    # Чи дата факту справді стоїть у документі. False → ``effectiveDateTime`` це
+    # дата завантаження (fallback), а не дата вимірювання. Ряду потрібна якась
+    # мітка часу, але інтерфейс мусить показати різницю: датувати торішній аналіз
+    # сьогоднішнім днем — тиха помилка, яка ламає і тренд, і довіру.
+    date_stated: bool = True
 
 
 class Attachment(BaseModel):

livemedcard/layers/l2b_stage2_lora.py

@@ -148,21 +148,27 @@ def _split_value(value: object) -> tuple[Optional[float], Optional[str]]:
     return num, unit
 
 
-def _parse_timestamp(ts: object, fallback: Optional[datetime]) -> Optional[datetime]:
-    """Дата факту з різних форматів; для періоду «A - B» береться КІНЕЦЬ (B)."""
-    s = str(ts).strip()
-    if not s or s.lower() == "not stated":
-        return fallback
+def _parse_timestamp(
+    ts: object, fallback: Optional[datetime]
+) -> tuple[Optional[datetime], bool]:
+    """Дата факту з різних форматів; для періоду «A - B» береться КІНЕЦЬ (B).
+
+    Другий елемент — чи дата справді прочитана з документа. False → повернуто
+    fallback (дата завантаження), і це треба показати, а не видати за виміряну.
+    """
+    s = "" if ts is None else str(ts).strip()
+    if not s or s.lower() in ("not stated", "none", "null"):
+        return fallback, False
     for sep in (" - ", " – ", " — ", " to "):
         if sep in s:
             s = s.split(sep)[-1].strip()
             break
     for fmt in _TS_DATE_FORMATS:
         try:
-            return datetime.strptime(s, fmt).replace(tzinfo=timezone.utc)
+            return datetime.strptime(s, fmt).replace(tzinfo=timezone.utc), True
         except ValueError:
             continue
-    return fallback
+    return fallback, False
 
 
 def extract_facts(summary_text: str, *, url: str | None = None, model: str | None = None) -> list[dict]:
@@ -203,7 +209,7 @@ def to_observations(
         if unit is None:
             raw_unit = str(item.get("unit") or "").strip()
             unit = raw_unit or None
-        eff = _parse_timestamp(item.get("timestamp"), doc.received_at)
+        eff, date_stated = _parse_timestamp(item.get("timestamp"), doc.received_at)
         bridge = _resolve_loinc(keyword)
         coding = (
             [Coding(system=Sys.LOINC, code=bridge[0], display=bridge[1])]
@@ -222,7 +228,10 @@ def to_observations(
                 effectiveDateTime=eff,
                 valueQuantity=Quantity(value=num, unit=unit),
                 provenance=Provenance(
-                    source_doc_id=doc.id, extracted_by=extracted_by, confidence=None
+                    source_doc_id=doc.id,
+                    extracted_by=extracted_by,
+                    confidence=None,
+                    date_stated=date_stated,
                 ),
             )
         )

livemedcard/static/index.html

@@ -159,6 +159,8 @@
   .trend.flat{color:var(--muted);background:color-mix(in srgb,var(--muted) 14%,transparent)}
   .metric .meta{display:flex;justify-content:space-between;align-items:baseline;gap:8px;margin-top:3px}
   .metric .ref{color:var(--faint);font-size:11.5px;font-family:var(--mono)}
+  .when{font-family:var(--mono);font-size:11.5px;color:var(--muted)}
+  .when.nodate{color:var(--moderate);cursor:help}
   .status{font-size:11.5px;font-weight:700}
   .status.ok{color:var(--ok)} .status.high{color:var(--major)} .status.low{color:var(--moderate)}
   .metric .src{color:var(--faint);font-size:11px;margin-top:7px;display:flex;gap:6px;flex-wrap:wrap;align-items:center}
@@ -167,6 +169,20 @@
   .srcchip:hover{color:var(--accent);border-color:var(--accent);transform:none}
   .lang{font:700 10px/1 var(--mono);padding:2px 5px;border-radius:5px;border:1px solid var(--line)}
   .lang.ua{color:var(--accent)} .lang.en{color:#5e9dff}
+  /* Факти без LOINC: показані, але візуально відділені від таймлайну — вони не
+     мають меж і не дають сигналів, тож не мусять виглядати як перевірені. */
+  .uncoded{margin-top:16px;padding-top:14px;border-top:1px dashed var(--line)}
+  .uncoded h3{font:700 11px/1 var(--mono);letter-spacing:.09em;text-transform:uppercase;
+    color:var(--faint);margin:0 0 10px}
+  .uncoded .rows{display:flex;flex-direction:column;gap:1px}
+  .urow{display:flex;justify-content:space-between;align-items:baseline;gap:10px;
+    padding:7px 0;border-bottom:1px solid var(--line)}
+  .urow:last-child{border-bottom:0}
+  .urow .k{display:flex;flex-direction:column;font-size:13px;color:var(--muted);min-width:0}
+  .umeta{display:flex;gap:6px;align-items:center;flex-wrap:wrap;margin-top:4px}
+  .urow .v{font:700 13.5px/1 var(--mono);color:var(--text);white-space:nowrap}
+  .urow .v .u{font-weight:400;font-size:11px;color:var(--faint);margin-left:3px}
+  .uncoded .note{margin:11px 0 0;font-size:11.5px;line-height:1.55;color:var(--faint)}
   .spark{margin-top:9px}
   .spark path.line{stroke:var(--accent);stroke-width:2.2;fill:none;stroke-linejoin:round;stroke-linecap:round;
     stroke-dasharray:var(--len);stroke-dashoffset:var(--len);animation:draw 1.1s .1s ease-out forwards}
@@ -363,6 +379,11 @@
     <section class="panel d1">
       <h2><span id="h-series">Metrics timeline</span> <span class="tag" id="bi-tag" style="display:none">bilingual · UA + EN</span></h2>
       <div class="series" id="series"><div class="empty">No data yet. Click “Load demo card”.</div></div>
+      <div class="uncoded" id="uncoded" style="display:none">
+        <h3 id="h-uncoded">Extracted · no standard code</h3>
+        <div class="rows" id="uncoded-rows"></div>
+        <p class="note" id="uncoded-note"></p>
+      </div>
     </section>
 
     <div class="right">
@@ -463,6 +484,10 @@ const I18N = {
     statSignals:'safety signals', statLangs:'document languages',
     statusOk:'normal', statusHigh:'above range', statusLow:'below range',
     range:'range', meas:n=>`${n} meas.`,
+    noDate:'no date in document',
+    noDateTitle:'The document does not state a date for this value — the upload date is shown.',
+    hUncoded:'Extracted · no standard code',
+    uncodedNote:'These values were extracted but have no LOINC code, so they have no reference range and raise no automatic signal. They are shown, not hidden — an extracted fact that is invisible looks exactly like one that was never extracted.',
     escalate:'escalated to human (L4)', auto:'automatic processing',
     sevLabel:{critical:'critical',major:'high',moderate:'moderate',info:'info'},
     toastSamples:'Demo card loaded', toastReset:'Card reset',
@@ -513,6 +538,10 @@ const I18N = {
     statSignals:'сигналів безпеки', statLangs:'мови документів',
     statusOk:'у нормі', statusHigh:'вище норми', statusLow:'нижче норми',
     range:'норма', meas:n=>`${n} вимір.`,
+    noDate:'дати немає в документі',
+    noDateTitle:'Документ не подає дати для цього значення — показано дату завантаження.',
+    hUncoded:'Витягнуто · без стандартного коду',
+    uncodedNote:'Ці значення витягнуто, але вони не мають LOINC-коду — отже, ані референсних меж, ані автоматичного сигналу. Ми їх показуємо, а не ховаємо: витягнутий і невидимий факт виглядає точно так само, як невитягнутий.',
     escalate:'ескалація до людини (L4)', auto:'автоматична обробка',
     sevLabel:{critical:'критичний',major:'високий',moderate:'помірний',info:'інфо'},
     toastSamples:'Демо-картку завантажено', toastReset:'Картку скинуто',
@@ -611,7 +640,24 @@ async function api(path, opts){
   return r.status===204?null:r.json();
 }
 
-function langOf(src){ return src && /(-|_)en\b|_en$|-en$/.test(src) ? 'en' : 'ua'; }
+// Мову документа визначає бекенд за його ТЕКСТОМ (`/state.docs`). Вгадувати її з
+// назви файлу не можна: `doc-ocr-e75f8cd4` — це англомовний бланк, завантажений
+// як фото, і суфікса «-en» у нього немає взагалі.
+// null → мова невідома (немає free-text іпостасі). Тоді бейджа просто немає:
+// краще нічого, ніж навмання.
+function langOf(src){
+  const d = lastState && lastState.docs && lastState.docs[src];
+  return d ? (d.lang === 'en' ? 'en' : 'ua') : null;
+}
+
+// Дата вимірювання. Якщо в документі її не було — ми поставили дату завантаження,
+// і мусимо це сказати: датувати торішній аналіз сьогоднішнім днем тихо — гірше,
+// ніж не датувати взагалі (ламається і тренд, і довіра до таймлайну).
+function whenOf(p, t){
+  return p.dated === false
+    ? `<span class="when nodate" title="${t.noDateTitle}">${p.ts} · ${t.noDate}</span>`
+    : `<span class="when">${p.ts}</span>`;
+}
 
 function sparkline(points, low, high){
   const w=300,h=64,pad=9;
@@ -681,7 +727,7 @@ function render(st){
   // stat strip
   const nMeas=st.series.reduce((a,s)=>a+s.points.length,0);
   const langs=new Set();
-  st.series.forEach(s=>s.points.forEach(p=>p.source&&langs.add(langOf(p.source))));
+  st.series.forEach(s=>s.points.forEach(p=>{const l=p.source&&langOf(p.source); if(l)langs.add(l);}));
   const bilingual=langs.has('en')&&langs.has('ua');
   $('#bi-tag').style.display = bilingual?'inline-block':'none';
   const nAlerts=st.signals.length;
@@ -689,7 +735,7 @@ function render(st){
     <div class="stat"><div class="n">${st.series.length}</div><div class="l">${t.statMetrics}</div></div>
     <div class="stat"><div class="n">${nMeas}</div><div class="l">${t.statMeasurements}</div></div>
     <div class="stat alert"><div class="n">${nAlerts}</div><div class="l">${t.statSignals}</div></div>
-    <div class="stat bi"><div class="n">${bilingual?'UA+EN':(langs.has('en')?'EN':'UA')}</div><div class="l">${t.statLangs}</div></div>
+    <div class="stat bi"><div class="n">${!langs.size?'—':bilingual?'UA+EN':(langs.has('en')?'EN':'UA')}</div><div class="l">${t.statLangs}</div></div>
   ` : '';
 
   // story ribbon — investor orientation, only when a drug interaction was caught
@@ -709,7 +755,8 @@ function render(st){
     const name=(LOINC_LABEL[s.loinc]||{})[LANG]||s.keyword;
     const ref=(s.low!=null&&s.high!=null)?`${t.range} ${s.low}–${s.high} ${s.unit||''}`:'';
     const srcs=[...new Set(s.points.map(p=>p.source).filter(Boolean))];
-    const langBadges=[...new Set(srcs.map(langOf))].map(l=>`<span class="lang ${l}">${l.toUpperCase()}</span>`).join('');
+    const langBadges=[...new Set(srcs.map(langOf).filter(Boolean))]
+      .map(l=>`<span class="lang ${l}">${l.toUpperCase()}</span>`).join('');
     const chips=srcs.map(src=>{
       // span останньої точки з цього документа — якір для drawer-підсвітки
       const pt=[...s.points].reverse().find(p=>p.source===src);
@@ -722,11 +769,28 @@ function render(st){
         <span class="big"><span class="val">${last.value}</span><span class="unit">${s.unit||''}</span>
           ${ttxt?`<span class="trend ${tcls}">${ttxt}</span>`:''}</span>
       </div>
-      <div class="meta"><span class="ref">${ref}</span><span class="status ${cls}">${txt}</span></div>
+      <div class="meta"><span class="ref">${whenOf(last,t)}${ref?` · ${ref}`:''}</span><span class="status ${cls}">${txt}</span></div>
       ${sparkline(s.points,s.low,s.high)}
       <div class="src">${langBadges}<span>${t.meas(s.points.length)}</span>${chips}</div>
     </div>`;}).join('');}
 
+  // uncoded — витягнуто, але без LOINC: ні меж, ні сигналів. Показуємо окремо.
+  const unc=st.uncoded||[];
+  const uEl=$('#uncoded');
+  uEl.style.display = unc.length ? 'block' : 'none';
+  if(unc.length){
+    $('#h-uncoded').textContent=t.hUncoded;
+    $('#uncoded-note').textContent=t.uncodedNote;
+    $('#uncoded-rows').innerHTML=unc.map(f=>{
+      const chip=f.source?`<button class="srcchip" data-doc="${f.source}"
+        data-span="${f.span?`${f.span[0]}-${f.span[1]}`:''}" title="${t.srcTitle}">${f.source}</button>`:'';
+      return `<div class="urow">
+        <span class="k">${f.keyword}<span class="umeta">${whenOf(f,t)}${chip}</span></span>
+        <span class="v">${f.value}<span class="u">${f.unit||''}</span></span>
+      </div>`;
+    }).join('');
+  }
+
   // decision
   const d=st.decision;const dEl=$('#decision');
   dEl.className='decision '+(d.escalate?'escalate':'auto');

livemedcard/stores.py

@@ -39,6 +39,8 @@ class KVTFact(BaseModel):
     # (start, end) offset у free-text іпостасі документа-джерела, звідки витягнуто
     # факт (span-рівнева прив'язка для точного grounding). None — коли невідомо.
     source_span: Optional[tuple[int, int]] = None
+    # False → ts це дата завантаження документа, а не дата вимірювання з нього.
+    date_stated: bool = True
 
 
 def _concept_label(cc: Optional[CodeableConcept], fallback: str) -> str:
@@ -76,6 +78,7 @@ def observation_to_kvt(o: Observation) -> Optional[KVTFact]:
         ts=ts,
         source_doc_id=o.provenance.source_doc_id if o.provenance else None,
         source_span=o.provenance.source_span if o.provenance else None,
+        date_stated=o.provenance.date_stated if o.provenance else True,
     )
 
 
@@ -118,6 +121,15 @@ class FactStore:
         """Унікальні LOINC-коди, наявні у сторі (у порядку першої появи)."""
         return list(self._by_loinc)
 
+    def uncoded(self) -> list[KVTFact]:
+        """Факти без LOINC — витягнуті, але без стандартного коду.
+
+        Вони не мають ані таймлайну, ані референсних меж, тож не породжують
+        сигналів. Але й ховати їх не можна: витягнутий і невидимий факт виглядає
+        точно так само, як не витягнутий — а це різні речі.
+        """
+        return [f for f in self._facts if not f.loinc]
+
 
 class KnowledgeGraph:
     """Граф контексту (networkx DiGraph) — зв'язки + провенанс."""