Upload README.md with huggingface_hub

README.md

@@ -0,0 +1,60 @@
+---
+license: apache-2.0
+base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized
+tags:
+- dgmc
+- social-i-qa
+- gemma
+- social-commonsense-reasoning
+- pytorch
+datasets:
+- allenai/social_i_qa
+metrics:
+- accuracy
+- f1
+---
+
+# Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on Social IQa
+
+Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu
+[Social IQa](https://huggingface.co/datasets/allenai/social_i_qa), gắn thêm vào mô hình nền tảng
+**đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được
+huấn luyện (28.3M tham số). Bài toán là trắc nghiệm xã hội
+3 lựa chọn (A/B/C) dựa trên `context` + `question`.
+
+## Kết quả
+
+| Model | Method | Trainable Params | Accuracy | F1 Macro |
+|---|---|---|---|---|
+| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 67.81% | 0.6777 |
+| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 67.30% | 0.6730 |
+
+Cải thiện: **-0.51 điểm phần trăm** so với zero-shot.
+
+## Cấu hình DGMC
+
+- `block_size`: 64
+- `memory_dim`: 1536
+- `decay_alpha`: 0.1
+
+## Cách sử dụng
+
+Tải file `dgmc_siqa_weights.pt` rồi load lại vào module DGMC tương ứng với
+kiến trúc trong notebook huấn luyện gốc:
+
+```python
+import torch
+ckpt = torch.load("dgmc_siqa_weights.pt", map_location="cpu")
+dgmc.load_state_dict(ckpt["dgmc_state_dict"])
+```
+
+Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen);
+adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
+thế attention gốc của model.
+
+## Huấn luyện
+
+- Epochs: 10
+- Learning rate: 0.0002
+- Gradient accumulation steps: 16
+- Max sequence length: 256