| --- |
| license: apache-2.0 |
| base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized |
| tags: |
| - dgmc |
| - social-i-qa |
| - gemma |
| - social-commonsense-reasoning |
| - pytorch |
| datasets: |
| - allenai/social_i_qa |
| metrics: |
| - accuracy |
| - f1 |
| --- |
| |
| # Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on Social IQa |
|
|
| Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu |
| [Social IQa](https://huggingface.co/datasets/allenai/social_i_qa), gắn thêm vào mô hình nền tảng |
| **đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được |
| huấn luyện (28.3M tham số). Bài toán là trắc nghiệm xã hội |
| 3 lựa chọn (A/B/C) dựa trên `context` + `question`. |
|
|
| ## Kết quả |
|
|
| | Model | Method | Trainable Params | Accuracy | F1 Macro | |
| |---|---|---|---|---| |
| | Gemma (Zero-Shot) | Next-token logit scoring | 0 | 67.81% | 0.6777 | |
| | Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 67.30% | 0.6730 | |
|
|
| Cải thiện: **-0.51 điểm phần trăm** so với zero-shot. |
|
|
| ## Cấu hình DGMC |
|
|
| - `block_size`: 64 |
| - `memory_dim`: 1536 |
| - `decay_alpha`: 0.1 |
|
|
| ## Cách sử dụng |
|
|
| Tải file `dgmc_siqa_weights.pt` rồi load lại vào module DGMC tương ứng với |
| kiến trúc trong notebook huấn luyện gốc: |
|
|
| ```python |
| import torch |
| ckpt = torch.load("dgmc_siqa_weights.pt", map_location="cpu") |
| dgmc.load_state_dict(ckpt["dgmc_state_dict"]) |
| ``` |
|
|
| Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen); |
| adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay |
| thế attention gốc của model. |
|
|
| ## Huấn luyện |
|
|
| - Epochs: 10 |
| - Learning rate: 0.0002 |
| - Gradient accumulation steps: 16 |
| - Max sequence length: 256 |
|
|
