| # Gợi ý vị trí chèn sơ đồ trong Methodology |
|
|
| > Danh sách các chỗ nên thêm hình (ngoài Figure pipeline tổng quan ở §Overview đã có). Mỗi mục ghi rõ: **anchor** (chèn ở đâu trong `methodology (1).tex`), **nội dung sơ đồ**, **caption gợi ý**, **độ ưu tiên**. Bạn xem rồi chọn cái nào làm. |
| > |
| > Ký hiệu ưu tiên: ⭐⭐⭐ rất nên có (paper/thesis nào cũng vẽ) · ⭐⭐ nên có · ⭐ tuỳ chọn. |
|
|
| --- |
|
|
| ## A. Phần Data Preparation (§sec:data) |
|
|
| ### A1. Sơ đồ data pipeline 3 phase ⭐⭐⭐ |
| - **Anchor:** ngay sau đoạn mở đầu §Data Preparation (đoạn "...operates in three logical phases: selection / image transfer / resize and re-shard...", ~dòng 244–255), trước §Sources. |
| - **Nội dung:** flow ngang 3 phase → output: `[SSD: CSV metadata] → Selection → [Cloud notebook] → Image transfer (PhysioNet) → [GPU host] → Resize + tar shard → Unified JSON`. Đánh dấu nơi chạy (SSD/cloud/GPU) và artefact trung gian. |
| - **Caption:** "Three-phase offline data pipeline. Heavy linear-cost work (DICOM join, parsing, resize) runs once; the training loop only consumes the unified JSON + resized image tree." |
| - *Tương đương Figure 2.3 của report mẫu — gần như bắt buộc.* |
|
|
| ### A2. Funnel lọc 4 tầng (selection) ⭐⭐⭐ |
| - **Anchor:** đầu §Selection Pipeline (sec:selection, ~dòng 283–288), hoặc ngay sau paragraph (d) Stratified sampling. |
| - **Nội dung:** sơ đồ phễu (funnel) thu hẹp dần: `~227k studies → (a) frontal-only → (b) report parse (cần cả Findings+Impression) → (c) length-outlier removal → (d) stratified patient-disjoint sampling → 50k (40k/5k/5k)`. Ghi số study còn lại sau mỗi tầng nếu có. |
| - **Caption:** "Four-stage filter chain reducing the full MIMIC-CXR corpus to the 50,000-study working subset." |
| - *Rất "ăn điểm" và dễ hiểu; nên có số liệu thật ở mỗi tầng.* |
|
|
| ### A3. Sơ đồ rẽ nhánh report_mode / image_mode → samples ⭐⭐ |
| - **Anchor:** sau bảng `tab:reportmodes` (~dòng 418), trong §Unified Instruction JSON. |
| - **Nội dung:** 1 study → (image_mode: frontal_only_split → 1 ảnh) → (report_mode: split_cascade → 2 sample: `findings` từ ảnh; `impression` từ ảnh + GT findings). Minh hoạ cascade nối findings→impression. |
| - **Caption:** "How one study is serialised into training samples under `report_mode=split_cascade` and `image_mode=frontal_only_split`." |
|
|
| --- |
|
|
| ## B. Phần Model Architecture (§sec:arch) |
|
|
| ### B1. RAD-DINO patchification ⭐⭐ |
| - **Anchor:** trong §Image Encoder (sec:encoder), sau câu "...emits 1369 patch tokens of dimension 768... class token is discarded..." (~dòng 453–456). |
| - **Nội dung:** `518×518 image → ViT-B/14 chia patch 14×14 → grid 37×37 = 1369 tokens (768-d) [+ CLS bị loại]`. Có thể thêm overlay heatmap minh hoạ patch. |
| - **Caption:** "RAD-DINO patchification: a 518×518 chest X-ray becomes 1369 patch tokens (768-d); the [CLS] token is dropped before projection." |
|
|
| ### B2. Chi tiết module MLP Projection ⭐⭐⭐ |
| - **Anchor:** trong §MLP Projection (sec:projection), ngay sau khối align equations (eq:tap, ~dòng 501) hoặc cuối tiểu mục. |
| - **Nội dung:** `Patch features P (1369×768) + 32 learnable query Q0 → CrossAttn 8-head → H0 (32×768) → Linear W1 + GELU + Dropout → H1 (32×1024) [TAP cho ITC head] → Linear W2 → V (32×4096)`. Đánh dấu nhánh 1024-d rẽ sang ITC head. |
| - **Caption:** "MLP projection module. A 32-query cross-attention pool compresses 1369 patch tokens; the 1024-d intermediate is the tap point routed to the ITC head (Stage 1) or onward to the LLM (Stage 2)." |
| - *Module trung tâm của model — nên vẽ kỹ.* |
|
|
| ### B3. CheXpert classifier → PNU string ⭐⭐ |
| - **Anchor:** trong §CheXpert Classifier (sec:chex), sau khối verbatim ví dụ PNU (~dòng 537) hoặc cuối tiểu mục. |
| - **Nội dung:** `RAD-DINO [CLS] embedding → MLP head → 14×3 logits (per-label argmax) → format_pnu() → PNU 3-section string → chèn vào prompt giữa visual tokens và instruction`. Phân biệt nhánh train (GT từ CSV) vs eval (classifier tự predict). |
| - **Caption:** "Auxiliary CheXpert head: the global RAD-DINO embedding is mapped to a 14×3 (Positive/Negative/Uncertain) tensor and serialised into the PNU prompt block." |
|
|
| ### B4. LoRA injection trên attention block ⭐⭐ |
| - **Anchor:** trong §Language Model and PEFT (sec:llm), sau đoạn mô tả LoRA trên q/k/v/o (~dòng 584–593). |
| - **Nội dung:** 1 transformer block: base weight W (4-bit NF4, frozen) + adapter `ΔW = B·A` (rank 16, trainable) trên q/k/v/o; FFN để nguyên. Có thể thêm công thức `h = Wx + (α/r)·BAx`. |
| - **Caption:** "LoRA adaptation: rank-16 low-rank adapters on q/k/v/o of every Vicuna block; the 4-bit base weights stay frozen, the feed-forward sublayers are untouched." |
|
|
| ### B5. Anatomy của prompt + `<image>` expansion ⭐⭐⭐ |
| - **Anchor:** trong §Prompt Assembly (sec:prompt), sau khối verbatim prompt skeleton (~dòng 606) và/hoặc sau đoạn mô tả expand 31 vị trí (~dòng 608–615). |
| - **Nội dung:** hai phần: |
| 1. **Prompt anatomy** — thanh ngang chia slot, tô màu theo task: `[SYSTEM] [<image>] [PNU block] [task context: GT findings / empty] [instruction] [ASSISTANT: target]`. |
| 2. **Image-token expansion** — `1 <image> placeholder → thay bằng 32 visual tokens → attention mask & label tensor nở thêm 31 vị trí; vùng visual + prompt + pad gán -100`. |
| - **Caption:** "Prompt assembly and image-token expansion. The single `<image>` placeholder is replaced by 32 visual tokens; attention mask, position ids, and labels are expanded by 31, with all non-target positions masked to −100." |
| - *Quan trọng cho phần dễ sai nhất của pipeline (loss masking).* |
|
|
| --- |
|
|
| ## C. Phần Training Strategy (§sec:training) |
|
|
| ### C1. Sơ đồ curriculum 3 stage ⭐⭐⭐ |
| - **Anchor:** đầu §Training Strategy, sau đoạn intro (~dòng 665–674), trước §Stage 0. |
| - **Nội dung:** 3 khối nối tiếp, mỗi khối ghi module frozen/trainable + loss: |
| - `Stage 0`: RAD-DINO frozen → MLP head (BCE, U-MultiClass). |
| - `Stage 1 (ITC)`: encoder frozen, projection+ITC head trainable, **LLM không load**, loss InfoNCE. |
| - `Stage 2`: encoder+classifier+base-LLM frozen, projection+LoRA trainable, loss causal CE. |
| Mũi tên: projection weights Stage 1 → nạp vào Stage 2. |
| - **Caption:** "Two-stage training curriculum (preceded by the Stage 0 classifier). Stage 1 aligns the projection contrastively without loading Vicuna; Stage 2 loads the full model and instruction-tunes projection + LoRA." |
|
|
| ### C2. Sơ đồ contrastive Stage 1 (kiểu CLIP) ⭐⭐⭐ |
| - **Anchor:** trong §Stage 1 (sec:stage1), sau equation InfoNCE (eq:itc, ~dòng 720). |
| - **Nội dung:** hai nhánh: |
| - Image: `image → RAD-DINO → projection → ITC head → mean-pool → 128-d L2-norm`. |
| - Text (offline): `findings (fallback impression) → CXR-BERT → 128-d L2-norm → cache {study_id → tensor}`. |
| - Ma trận tương đồng `B×B`, đường chéo = positive, InfoNCE đối xứng. |
| - **Caption:** "Stage 1 image–text contrastive alignment. Text embeddings are precomputed offline with CXR-BERT; only the projection + ITC head receive gradients." |
|
|
| ### C3. Sơ đồ loss masking (label tensor) ⭐⭐ |
| - **Anchor:** trong §Loss Masking and Image-Token Accounting (~dòng 781–797). |
| - **Nội dung:** một dải token tuyến tính tô màu: `[system −100][32 visual −100][PNU −100][instruction −100][pad −100]` vs `[assistant response: loss được tính]`. Minh hoạ chỉ vùng response đóng góp cross-entropy. |
| - **Caption:** "Label masking. Cross-entropy is computed strictly on assistant-response tokens; system prompt, visual span, PNU block, instruction, and padding are all set to −100." |
|
|
| --- |
|
|
| ## D. Phần Evaluation (§sec:eval) — nếu giữ trong Methodology |
|
|
| ### D1. Sơ đồ luồng evaluation ⭐ |
| - **Anchor:** đầu §Evaluation Protocol hoặc trong §Tasks and Held-Out Data (~dòng 877–896). |
| - **Nội dung:** `test image → [CheXpert PNU predicted] (+ GT findings nếu impression) → model greedy decode → hypothesis → {NLG metrics: BLEU/ROUGE/METEOR/BERTScore} + {Clinical: CheXbert F1} + {VQA: EM/token-F1/LLM-judge}`. |
| - **Caption:** "Evaluation flow per task, from test image to the metric families reported." |
|
|
| ### D2. Sơ đồ CheXbert F1 ⭐ |
| - **Anchor:** trong §Clinical Correctness (sec:clinical-f1, ~dòng 938–961). |
| - **Nội dung:** `generated report + reference report → CheXbert labeler → 2 vectors 14 nhãn → binarise (−1,0→neg) → macro-F1/P/R`. |
| - **Caption:** "Clinical F1: both generated and reference reports are labeled by CheXbert; the 14-label vectors are compared after binarisation." |
|
|
| --- |
|
|
| ## Tổng hợp ưu tiên |
|
|
| | # | Sơ đồ | Mục | Ưu tiên | |
| |---|---|---|---| |
| | A1 | Data pipeline 3 phase | §Data Prep | ⭐⭐⭐ | |
| | A2 | Funnel lọc 4 tầng | §Selection | ⭐⭐⭐ | |
| | B2 | MLP Projection chi tiết | §Projection | ⭐⭐⭐ | |
| | B5 | Prompt anatomy + `<image>` expansion | §Prompt | ⭐⭐⭐ | |
| | C1 | Curriculum 3 stage | §Training | ⭐⭐⭐ | |
| | C2 | Contrastive Stage 1 (CLIP-style) | §Stage 1 | ⭐⭐⭐ | |
| | A3 | report_mode/image_mode → samples | §JSON | ⭐⭐ | |
| | B1 | RAD-DINO patchification | §Encoder | ⭐⭐ | |
| | B3 | CheXpert → PNU | §CheXpert | ⭐⭐ | |
| | B4 | LoRA injection | §LLM | ⭐⭐ | |
| | C3 | Loss masking | §Masking | ⭐⭐ | |
| | D1 | Luồng evaluation | §Eval | ⭐ | |
| | D2 | CheXbert F1 | §Clinical F1 | ⭐ | |
|
|
| > Nếu muốn, tôi có thể chèn sẵn các marker `% [INSERT FIGURE Xn: ...]` vào đúng vị trí trong `methodology (1).tex` (chỉ là comment, không ảnh hưởng biên dịch) để bạn thấy ngay chỗ nào cần hình khi mở file. |
|
|
