---
license: apache-2.0
base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized
tags:
- dgmc
- social-i-qa
- gemma
- social-commonsense-reasoning
- pytorch
datasets:
- allenai/social_i_qa
metrics:
- accuracy
- f1
---

# Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on Social IQa

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu
[Social IQa](https://huggingface.co/datasets/allenai/social_i_qa), gắn thêm vào mô hình nền tảng
**đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được
huấn luyện (28.3M tham số). Bài toán là trắc nghiệm xã hội
3 lựa chọn (A/B/C) dựa trên `context` + `question`.

## Kết quả

| Model | Method | Trainable Params | Accuracy | F1 Macro |
|---|---|---|---|---|
| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 67.81% | 0.6777 |
| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 67.30% | 0.6730 |

Cải thiện: **-0.51 điểm phần trăm** so với zero-shot.

## Cấu hình DGMC

- `block_size`: 64
- `memory_dim`: 1536
- `decay_alpha`: 0.1

## Cách sử dụng

Tải file `dgmc_siqa_weights.pt` rồi load lại vào module DGMC tương ứng với
kiến trúc trong notebook huấn luyện gốc:

```python
import torch
ckpt = torch.load("dgmc_siqa_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])
```

Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen);
adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
thế attention gốc của model.

## Huấn luyện

- Epochs: 10
- Learning rate: 0.0002
- Gradient accumulation steps: 16
- Max sequence length: 256