TMA-1 4B public demo: ZeroGPU chat + mini-RAG (TMT + fact sheets) + EN disclaimer

README.md

@@ -1,13 +1,31 @@
 ---
-title: Tma1 Medgemma 4b Demo
-emoji: 📊
-colorFrom: red
-colorTo: green
+title: TMA medgemma-4b demo
+emoji: 🩺
+colorFrom: green
+colorTo: blue
 sdk: gradio
-sdk_version: 6.20.0
-python_version: '3.13'
+sdk_version: 5.9.1
 app_file: app.py
 pinned: false
+short_description: Thai Medical Assistant demo — DRAFT, verify before use
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# TMA · tma1-medgemma-4b — public demo (ZeroGPU)
+
+Public demo of [`icdevelop/tma1-medgemma-4b`](https://huggingface.co/icdevelop/tma1-medgemma-4b) —
+a consumer-facing **Thai Medical Assistant** (general health education, OTC drugs, supplements,
+home medical devices). Multimodal: text + optional image (drug package / label / prescription).
+
+> ⚠️ **DRAFT — not pharmacist-certified.** The model's knowledge base has **not** been formally
+> reviewed or certified by licensed pharmacists/physicians. Answers may be inaccurate or outdated —
+> **verify any information with authoritative sources or licensed professionals before real-world
+> use.** Not a medical device; it does not diagnose. Emergency (Thailand): **1669** ·
+> Mental-health hotline: **1323**.
+
+Grounding in this demo is a bundled KB subset (TMT trade-name lookup + TMA fact sheets for
+supplements/devices, knowledge cutoff Jul 2026); production deployments use the full retrieval KB.
+
+## Stateless API
+
+`POST /gradio_api/call/chat` with `data=[message, history_json, image_b64]` — the caller owns the
+conversation history (pass `"[]"` to start a new chat).

app.py

@@ -0,0 +1,210 @@
+"""ZeroGPU demo Space for TMA-1 — tma1-medgemma-4b (Thai Medical Assistant, multimodal, multi-turn).
+
+Public demo on HuggingFace ZeroGPU (H200 slice). Cloned from PAI's space_demo pattern.
+
+Two surfaces:
+  • Browser UI  — Chatbot with in-page memory.
+  • Stateless API `/chat` — (message, history_json, image_b64) → reply. The caller owns history.
+
+Grounding (mini-RAG bundled with the Space): TMT trade-name lookup + TMA fact sheets
+(supplements/vitamins + home medical devices) injected as reference facts; strict
+anti-hallucination system prompt. Production uses the full KB — this is a demo subset.
+"""
+import json
+import os
+import re
+
+import gradio as gr
+import spaces
+import torch
+from transformers import AutoModelForImageTextToText, AutoProcessor
+
+MODEL_ID = "icdevelop/tma1-medgemma-4b"
+TOKEN = os.environ.get("HF_TOKEN")
+
+SYSTEM = (
+    "คุณคือ TMA ผู้ช่วยสุขภาพ AI สำหรับประชาชนในประเทศไทย ให้ความรู้เรื่องสุขภาพทั่วไป ยา วิตามิน อาหารเสริม "
+    "และอุปกรณ์การแพทย์ที่ใช้ในบ้าน ตอบเป็นภาษาไทยที่สุภาพ เข้าใจง่าย ถูกต้องตามหลักการแพทย์ "
+    "จำบทสนทนาก่อนหน้าและตอบต่อเนื่องอย่างเป็นธรรมชาติ (อย่าทักทายหรือถามข้อมูลซ้ำถ้าผู้ใช้ตอบไปแล้ว)\n"
+    "ขอบเขต (สำคัญมาก):\n"
+    "- คุณ 'ไม่ใช่' แพทย์และไม่วินิจฉัยโรค ไม่อ่านภาพเอกซเรย์ ผลแล็บ ฟิล์ม MRI/CT หรือภาพบาดแผล/ผิวหนังเพื่อวินิจฉัย "
+    "ถ้าผู้ใช้ขอสิ่งเหล่านี้ให้ตอบว่า 'ขออภัยค่ะ TMA ให้ข้อมูลสุขภาพทั่วไปเท่านั้น ไม่สามารถอ่านภาพทางการแพทย์หรือวินิจฉัยโรคได้ "
+    "กรุณาปรึกษาแพทย์ค่ะ' และห้ามเดาว่าภาพนั้นเป็นยา\n"
+    "- ภาพที่รับได้คือ 'ซองยา/ฉลากยา/ฉลากอาหารเสริม/ใบสั่งยา' เพื่อบอกว่าเป็นผลิตภัณฑ์อะไรเท่านั้น\n"
+    "- ไม่สั่งหรือปรับขนาดยาที่ต้องมีใบสั่งแพทย์ และห้ามแนะนำให้หยุดยาที่แพทย์สั่งเอง\n"
+    "กฎเหล็กด้านความปลอดภัย:\n"
+    "1. ห้ามเดา/แต่งข้อมูลผลิตภัณฑ์โดยเด็ดขาด (ชื่อการค้า ตัวยา ความแรง รูปแบบ สรรพคุณ)\n"
+    "2. ใช้ข้อเท็จจริงของผลิตภัณฑ์เฉพาะจาก '[ข้อมูลอ้างอิง]' ที่แนบมาเท่านั้น "
+    "ถ้าไม่พบให้บอกว่า 'ไม่พบข้อมูลในคลังอ้างอิงของ demo นี้ กรุณาสอบถามเภสัชกร' ห้ามคาดเดา\n"
+    "3. อาหารเสริม/วิตามินไม่ใช่ยารักษาโรค — ห้ามกล่าวอ้างสรรพคุณเกินจริง และแก้ความเข้าใจเมื่อผู้ใช้ได้ข้อมูลเกินจริงมา\n"
+    "4. ซักถามข้อมูลที่จำเป็น (อาการ ระยะเวลา โรคประจำตัว ยาที่ใช้ ตั้งครรภ์/ให้นม) ก่อนแนะนำ "
+    "และแนะนำให้แจ้งข้อมูลเหล่านี้กับเภสัชกรที่ร้านด้วย\n"
+    "5. พบสัญญาณอันตรายให้แนะนำไปโรงพยาบาลหรือโทร 1669 ทันที · ปัญหาสุขภาพจิตรุนแรงแนะนำสายด่วน 1323"
+)
+
+_D = os.path.dirname(__file__)
+with open(os.path.join(_D, "tmt_lookup.json"), encoding="utf-8") as f:
+    TMT = json.load(f)
+TMT_KEYS = sorted(TMT.keys(), key=len, reverse=True)
+
+with open(os.path.join(_D, "tma_fact_sheets_v1.json"), encoding="utf-8") as f:
+    SHEETS = json.load(f)
+
+
+def _t(v) -> str:
+    if isinstance(v, list):
+        return " • ".join(_t(x) for x in v if _t(x))
+    if isinstance(v, dict):
+        return " • ".join(f"{k}: {_t(x)}" if not str(k).isdigit() else _t(x) for k, x in v.items() if _t(x))
+    return str(v or "").strip()
+
+
+def _norm(s: str) -> str:
+    return re.sub(r"[^0-9A-Za-zก-๙]+", "", (s or "").upper())
+
+
+# fact-sheet name index: full name + the English part + significant Thai tokens
+SHEET_KEYS = []
+for _s in SHEETS:
+    name = _s["name"]
+    keys = {_norm(name)}
+    m = re.search(r"\(([^)]+)\)", name)
+    if m:
+        keys.add(_norm(m.group(1)))
+    keys.add(_norm(re.sub(r"\([^)]*\)", "", name)))
+    for k in keys:
+        if len(k) >= 4:
+            SHEET_KEYS.append((k, _s))
+SHEET_KEYS.sort(key=lambda x: len(x[0]), reverse=True)
+
+
+def sheet_line(s: dict) -> str:
+    if s["kind"] == "supplement":
+        return (f"- {s['name']} (อาหารเสริม — ไม่ใช่ยารักษาโรค): {_t(s.get('benefits'))[:220]} | "
+                f"ขนาดทั่วไป: {_t(s.get('typical_dose'))[:120]} | ระวัง: {_t(s.get('cautions'))[:150]}")
+    return (f"- {s['name']} (อุปกรณ์ใช้ในบ้าน): {_t(s.get('what_for'))[:180]} | "
+            f"การแปลผล: {_t(s.get('reading_interpretation'))[:200]} | พบแพทย์เมื่อ: {_t(s.get('when_to_see_doctor'))[:150]}")
+
+
+def retrieve(text: str, limit: int = 5) -> str:
+    q = _norm(text)
+    if not q:
+        return ""
+    hits, used = [], []
+    for k in TMT_KEYS:
+        if len(hits) >= limit:
+            break
+        if k in q and not any(k in u for u in used):
+            used.append(k)
+            d = TMT[k]
+            line = f"- {d['name']}: ตัวยา {d['active']}"
+            if d.get("strength"):
+                line += f" | ความแรง {d['strength']}"
+            if d.get("form"):
+                line += f" | รูปแบบ {d['form']}"
+            if d.get("legal"):
+                line += f" | ประเภท {d['legal']}"
+            hits.append(line)
+    seen = set()
+    for k, s in SHEET_KEYS:
+        if len(hits) >= limit + 3:
+            break
+        if k in q and s["name"] not in seen:
+            seen.add(s["name"])
+            hits.append(sheet_line(s))
+    return "[ข้อมูลอ้างอิง — ทะเบียนยา TMT และ fact sheets]\n" + "\n".join(hits) if hits else ""
+
+
+processor = AutoProcessor.from_pretrained(MODEL_ID, token=TOKEN)
+model = AutoModelForImageTextToText.from_pretrained(MODEL_ID, torch_dtype=torch.bfloat16, token=TOKEN)
+
+
+@spaces.GPU(duration=120)
+def _gen(messages):
+    model.to("cuda")
+    inputs = processor.apply_chat_template(
+        messages, add_generation_prompt=True, tokenize=True,
+        return_dict=True, return_tensors="pt",
+    ).to("cuda", dtype=torch.bfloat16)
+    with torch.inference_mode():
+        out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.7)
+    return processor.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True).strip()
+
+
+def _decode_image(image_b64: str):
+    if not image_b64 or not str(image_b64).strip():
+        return None
+    try:
+        import base64
+        import io
+
+        from PIL import Image
+        s = str(image_b64).strip()
+        if s.startswith("data:"):
+            s = s.split(",", 1)[1]
+        return Image.open(io.BytesIO(base64.b64decode(s))).convert("RGB")
+    except Exception:
+        return None
+
+
+def _reply(message: str, history: list, image=None) -> str:
+    message = str(message or "").strip()
+    if not message and image is None:
+        return ""
+    msgs = [{"role": "system", "content": [{"type": "text", "text": SYSTEM}]}]
+    for h in history or []:
+        role, c = h.get("role"), h.get("content")
+        if role in ("user", "assistant") and isinstance(c, str) and c.strip():
+            msgs.append({"role": role, "content": [{"type": "text", "text": c}]})
+    convo = " ".join([message] + [h.get("content", "") for h in (history or []) if isinstance(h.get("content"), str)])
+    ref = retrieve(convo)
+    user_text = (ref + "\n\n[คำถาม] " + message) if ref else (message or "ผลิตภัณฑ์นี้คืออะไร")
+    content = []
+    if image is not None:
+        content.append({"type": "image", "image": image})
+    content.append({"type": "text", "text": user_text})
+    msgs.append({"role": "user", "content": content})
+    return _gen(msgs)
+
+
+def api_chat(message: str, history_json: str = "[]", image_b64: str = "") -> str:
+    try:
+        history = json.loads(history_json) if isinstance(history_json, str) and history_json.strip() else (history_json or [])
+    except Exception:
+        history = []
+    return _reply(message, history, _decode_image(image_b64))
+
+
+DISCLAIMER = (
+    "⚠️ **DRAFT — not pharmacist-certified.** TMA-1 is an AI health assistant under evaluation. "
+    "Its knowledge base has **not** been formally reviewed or certified by licensed pharmacists/physicians, "
+    "and answers may be inaccurate or outdated. **Please verify any information with authoritative sources "
+    "or licensed professionals before real-world use.** Not a medical device — no diagnosis. "
+    "Emergency (Thailand): **1669** · Mental-health hotline: **1323** · Demo uses a KB subset (knowledge cutoff Jul 2026)."
+)
+
+with gr.Blocks(title="TMA · tma1-medgemma-4b demo") as demo:
+    gr.Markdown(f"# TMA · tma1-medgemma-4b — Thai Medical Assistant\n{DISCLAIMER}")
+    chatbot = gr.Chatbot(type="messages", height=460, label="TMA")
+    msg = gr.Textbox(label="พิมพ์คำถาม", placeholder="เช่น วิตามินซีกับซิงค์กินด้วยกันได้มั้ย / เครื่องวัดความดันวัดได้ 150/95 แปลว่าอะไร")
+    with gr.Row():
+        clear = gr.Button("🗑️ เริ่มแชทใหม่")
+
+    def ui_submit(user_msg, chat_history):
+        chat_history = chat_history or []
+        reply = _reply(user_msg, chat_history)
+        chat_history = chat_history + [{"role": "user", "content": user_msg},
+                                       {"role": "assistant", "content": reply}]
+        return "", chat_history
+
+    msg.submit(ui_submit, [msg, chatbot], [msg, chatbot])
+    clear.click(lambda: (None, []), None, [msg, chatbot])
+
+    api_msg = gr.Textbox(visible=False)
+    api_hist = gr.Textbox(visible=False, value="[]")
+    api_img = gr.Textbox(visible=False, value="")
+    api_out = gr.Textbox(visible=False)
+    api_msg.submit(api_chat, [api_msg, api_hist, api_img], api_out, api_name="chat")
+
+if __name__ == "__main__":
+    demo.queue(max_size=20).launch()

requirements.txt

@@ -0,0 +1,6 @@
+spaces
+torch
+transformers>=4.53.0
+accelerate
+pillow
+gradio>=5.0.0