| --- |
| license: apache-2.0 |
| base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized |
| tags: |
| - dgmc |
| - boolq |
| - gemma |
| - yes-no-question-answering |
| - reading-comprehension |
| - pytorch |
| datasets: |
| - boolq |
| metrics: |
| - accuracy |
| - f1 |
| --- |
| |
| # Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on BoolQ |
|
|
| Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu |
| [BoolQ](https://huggingface.co/datasets/google/boolq), gắn thêm vào mô hình nền tảng |
| **đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được |
| huấn luyện (`dgmc_params/1e6:.1f`M tham số). |
|
|
| ## Kết quả |
|
|
| | Model | Method | Trainable Params | Accuracy | F1 Macro | |
| |---|---|---|---|---| |
| | Gemma (Zero-Shot) | Next-token logit scoring | 0 | 72.84% | 0.7279 | |
| | Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 81.07% | 0.7974 | |
|
|
| Cải thiện: **+8.23 điểm phần trăm** so với zero-shot. |
|
|
| ## Cấu hình DGMC |
|
|
| - `block_size`: 64 |
| - `memory_dim`: 1536 |
| - `decay_alpha`: 0.1 |
|
|
| ## Cách sử dụng |
|
|
| Tải file `dgmc_boolq_weights.pt` rồi load lại vào module DGMC tương ứng với |
| kiến trúc trong notebook huấn luyện gốc: |
|
|
| ```python |
| import torch |
| ckpt = torch.load("dgmc_boolq_weights.pt", map_location="cpu") |
| dgmc.load_state_dict(ckpt["dgmc_state_dict"]) |
| ``` |
|
|
| Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen); |
| adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay |
| thế attention gốc của model. |
|
|
| ## Huấn luyện |
|
|
| - Epochs: 10 |
| - Learning rate: 0.0002 |
| - Gradient accumulation steps: 16 |
| - Max sequence length: 256 |
|
|
