Upload README.md with huggingface_hub

README.md

@@ -0,0 +1,59 @@
+---
+license: apache-2.0
+base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized
+tags:
+- dgmc
+- piqa
+- gemma
+- physical-commonsense-reasoning
+- pytorch
+datasets:
+- piqa
+metrics:
+- accuracy
+- f1
+---
+
+# Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on PIQA
+
+Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu
+[PIQA](https://huggingface.co/datasets/piqa), gắn thêm vào mô hình nền tảng
+**đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được
+huấn luyện (`dgmc_params/1e6:.1f`M tham số).
+
+## Kết quả
+
+| Model | Method | Trainable Params | Accuracy | F1 Macro |
+|---|---|---|---|---|
+| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 75.73% | 0.7561 |
+| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 77.20% | 0.7719 |
+
+Cải thiện: **+1.47 điểm phần trăm** so với zero-shot.
+
+## Cấu hình DGMC
+
+- `block_size`: 64
+- `memory_dim`: 1536
+- `decay_alpha`: 0.1
+
+## Cách sử dụng
+
+Tải file `dgmc_piqa_weights.pt` rồi load lại vào module DGMC tương ứng với
+kiến trúc trong notebook huấn luyện gốc:
+
+```python
+import torch
+ckpt = torch.load("dgmc_piqa_weights.pt", map_location="cpu")
+dgmc.load_state_dict(ckpt["dgmc_state_dict"])
+```
+
+Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen);
+adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
+thế attention gốc của model.
+
+## Huấn luyện
+
+- Epochs: 10
+- Learning rate: 0.0002
+- Gradient accumulation steps: 16
+- Max sequence length: 256