Dat1710/gemma-dgmc-piqa

Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on PIQA

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu PIQA, gắn thêm vào mô hình nền tảng đóng băng hoàn toàn google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được huấn luyện (dgmc_params/1e6:.1fM tham số).

Kết quả

Model	Method	Trainable Params	Accuracy	F1 Macro
Gemma (Zero-Shot)	Next-token logit scoring	0	75.73%	0.7561
Gemma + DGMC	DGMC fine-tuned (LM)	28.3M	77.20%	0.7719

Cải thiện: +1.47 điểm phần trăm so với zero-shot.

Cấu hình DGMC

• block_size: 64
• memory_dim: 1536
• decay_alpha: 0.1

Cách sử dụng

Tải file dgmc_piqa_weights.pt rồi load lại vào module DGMC tương ứng với kiến trúc trong notebook huấn luyện gốc:

import torch
ckpt = torch.load("dgmc_piqa_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])

Model nền tảng google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen); adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay thế attention gốc của model.

Huấn luyện

• Epochs: 10
• Learning rate: 0.0002
• Gradient accumulation steps: 16
• Max sequence length: 256