---
license: apache-2.0
base_model: google/gemma-4-E2B-it-qat-q4_0-unquantized
tags:
- dgmc
- piqa
- gemma
- physical-commonsense-reasoning
- pytorch
datasets:
- piqa
metrics:
- accuracy
- f1
---

# Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on PIQA

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu
[PIQA](https://huggingface.co/datasets/piqa), gắn thêm vào mô hình nền tảng
**đóng băng hoàn toàn** `google/gemma-4-E2B-it-qat-q4_0-unquantized`. Chỉ các tham số của module DGMC được
huấn luyện (`dgmc_params/1e6:.1f`M tham số).

## Kết quả

| Model | Method | Trainable Params | Accuracy | F1 Macro |
|---|---|---|---|---|
| Gemma (Zero-Shot) | Next-token logit scoring | 0 | 75.73% | 0.7561 |
| Gemma + DGMC | DGMC fine-tuned (LM) | 28.3M | 77.20% | 0.7719 |

Cải thiện: **+1.47 điểm phần trăm** so với zero-shot.

## Cấu hình DGMC

- `block_size`: 64
- `memory_dim`: 1536
- `decay_alpha`: 0.1

## Cách sử dụng

Tải file `dgmc_piqa_weights.pt` rồi load lại vào module DGMC tương ứng với
kiến trúc trong notebook huấn luyện gốc:

```python
import torch
ckpt = torch.load("dgmc_piqa_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])
```

Model nền tảng `google/gemma-4-E2B-it-qat-q4_0-unquantized` cần được tải riêng và giữ đóng băng (frozen);
adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay
thế attention gốc của model.

## Huấn luyện

- Epochs: 10
- Learning rate: 0.0002
- Gradient accumulation steps: 16
- Max sequence length: 256