Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+SGK_CanhDieu_TuNhienVaXaHoi_3_page_063.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,105 @@
+---
+language:
+- en
+library_name: transformers
+pipeline_tag: image-text-to-text
+base_model: Qwen/Qwen2-VL-2B-Instruct
+datasets:
+- bbdontcry/vietnamese-image-captioning
+license: apache-2.0
+tags:
+- qwen2-vl
+- lora
+- peft
+- image-captioning
+- vietnamese
+- accessibility
+- textbook
+---
+
+[![GitHub](https://img.shields.io/badge/GitHub-itshoang2024%2Fvi--textbook--caption--qwen2vl-181717?logo=github&logoColor=white)](https://github.com/itshoang2024/vi-textbook-caption-qwen2vl)
+
+# LoRA Adapter - Vietnamese Textbook (SGK) Narration Captioning
+
+This repository provides LoRA adapter weights only finetuned from **`Qwen/Qwen2-VL-2B-Instruct`** for Vietnamese textbook image captioning in a **narration-style** format that is screen-reader friendly aiming to **support visually impaired learners**.
+
+> This repo contains **only the adapter** (not the base model).  
+> Full documentation + end-to-end pipeline (01→05) are on GitHub:  
+> https://github.com/itshoang2024/vi-textbook-caption-qwen2vl
+
+---
+
+## Contents
+
+- `adapter_model.safetensors`, `adapter_config.json`: LoRA adapter weights (PEFT)
+- `run_config.json`: prompt + generation config used in our pipeline (reproducibility)
+
+---
+
+## Benchmark (test split)
+
+Dataset: `bbdontcry/vietnamese-image-captioning` (test)
+
+| Model | Quote-CER ↓ | Concept-Rec ↑ | LLM-Score ↑ | BERTScore ↑ | BLEU-4 ↑ | METEOR ↑ |
+|---|---:|---:|---:|---:|---:|---:|
+| Qwen2-VL-2B (Zero-shot) | 0.995 | 0.222 | 3.36/10 | 0.671 | 6.30 | 0.142 |
+| **Qwen2-VL-2B + LoRA (RUN_ID=A)** | **0.385** | **0.632** | **5.09/10** | **0.837** | **43.73** | **0.521** |
+
+---
+
+## Quickstart (load adapter)
+
+```bash
+pip install -U transformers accelerate peft safetensors pillow qwen-vl-utils
+````
+
+```python
+import torch
+from peft import PeftModel
+from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
+
+BASE_ID = "Qwen/Qwen2-VL-2B-Instruct"
+ADAPTER_ID = "hoangphann/LoRA-Qwen2-VL-2B-Instruct-captioning"
+
+model = Qwen2VLForConditionalGeneration.from_pretrained(
+    BASE_ID,
+    torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,
+    device_map="auto" if torch.cuda.is_available() else None,
+)
+model = PeftModel.from_pretrained(model, ADAPTER_ID)
+model.eval()
+
+processor = AutoProcessor.from_pretrained(BASE_ID)
+print("Loaded LoRA adapter (RUN_ID=A).")
+```
+
+> For the exact prompt/generation setup used in evaluation, see `run_config.json` and the Kaggle/GitHub pipeline.
+
+---
+
+## Example (SGK page → narration-style caption)
+
+* `SGK_CanhDieu_TuNhienVaXaHoi_3_page_063.png`
+
+    <img src="./SGK_CanhDieu_TuNhienVaXaHoi_3_page_063.png" alt="SGK example page" width="420">
+
+
+<details>
+<summary><b>Model output</b></summary>
+
+Phía trên cùng là câu hỏi bài tập số 2: "2. Cây nào có rễ cọc, cây nào có rễ chìm trong các hình dưới đây?". Bên dưới là 4 hình minh họa được đánh số thứ tự: - Hình 1 ở góc trên bên trái: Vẽ một cây xoài. Cây có thân và lá, thân cây có rễ. Bên dưới hình là nhãn: "1 Cây xoài". - Hình 2 ở góc trên bên phải: Vẽ một cây lúa. Cây có thân và lá, thân cây có rễ. Bên dưới hình là nhãn: "2 Cây lúa". - Hình 3 ở góc dưới bên trái: Vẽ một cây ngô. Cây có thân và lá, thân cây có rễ. Bên dưới hình là nhãn: "3 Cây ngô". - Hình 4 ở góc dưới bên phải: Vẽ một cây cam. Cây có thân và lá, thân cây có rễ. Bên dưới hình là nhãn: "4 Cây cam". Phía dưới các hình minh họa là biểu tượng dấu hỏi chấm màu đỏ cam kèm câu hỏi: "Kể tên một số cây khác có rễ cọc, rễ chìm mà em biết.". Góc dưới cùng bên trái trang sách có số trang "62". Dưới cùng là dòng chữ mờ "Đọc sách tại hoc10.vn".
+
+</details>
+
+---
+
+## Kaggle notebooks (pipeline)
+
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/dangpham321/01-finetune-qwen-vl-config-a) **01 - Finetune**
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/hoangphann/02-infer-qwen-vl) **02 - Inference**
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/hoangphann/03a-qwen-vl-metrics-light) **03A - Metrics (Light):** Quote-CER, Concept-Rec, BLEU-4, METEOR
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/hoangphann/03b-qwen-vl-metrics-heavy) **03B - Metrics (Heavy):** BERTScore, LLM-Score
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/hoangphann/04-qwen-vl-merge-results) **04 - Merge results**
+- [![Open in Kaggle](https://img.shields.io/badge/Open%20in%20Kaggle-20BEFF?logo=kaggle&logoColor=white)](https://www.kaggle.com/code/hoangphann/05-qwen-vl-deploy) **05 - Demo (Gradio)**
+
+---

adapter_config.json

@@ -0,0 +1,43 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "Qwen/Qwen2-VL-2B-Instruct",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "peft_version": "0.18.0",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "v_proj",
+    "q_proj",
+    "k_proj",
+    "o_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e874379f3140feda12e4e7d5b880046aa5c2a3535c74ff1b6dfcee69fc34fb82
+size 17465792

run_config.json

@@ -0,0 +1,17 @@
+{
+  "created_at": "2026-01-03 01:00:58",
+  "preset": "A",
+  "dataset_id": "bbdontcry/vietnamese-image-captioning",
+  "model_id": "Qwen/Qwen2-VL-2B-Instruct",
+  "quantization": null,
+  "min_pixels": 200704,
+  "max_pixels": 802816,
+  "system_message": "Bạn là một Vision-Language Model hỗ trợ người khiếm thị bằng cách tạo mô tả ảnh bằng tiếng Việt cho trang sách giáo khoa. Chỉ mô tả những gì thấy trong ảnh, không suy đoán.Khi OCR, trích toàn bộ chữ nhìn thấy, theo thứ tự trên xuống dưới, trái sang phải",
+  "prompt_detail": "Hãy thuyết minh chi tiết trang SGK trong ảnh theo luồng đọc từ trên xuống dưới. Khi gặp chữ trong ảnh, hãy đưa vào đúng ngữ cảnh và trích nguyên văn trong ngoặc kép. Không suy luận.",
+  "gen": {
+    "max_new_tokens_detail": 256,
+    "temperature": 0.2,
+    "top_p": 0.9,
+    "do_sample": false
+  }
+}