Dat1710/gemma-dgmc-siqa

Gemma + DGMC (Dual-Gated Memory Consolidation) — fine-tuned on Social IQa

Adapter DGMC (Dual-Gated Memory Consolidation) huấn luyện trên bộ dữ liệu Social IQa, gắn thêm vào mô hình nền tảng đóng băng hoàn toàn google/gemma-4-E2B-it-qat-q4_0-unquantized. Chỉ các tham số của module DGMC được huấn luyện (28.3M tham số). Bài toán là trắc nghiệm xã hội 3 lựa chọn (A/B/C) dựa trên context + question.

Kết quả

Model	Method	Trainable Params	Accuracy	F1 Macro
Gemma (Zero-Shot)	Next-token logit scoring	0	67.81%	0.6777
Gemma + DGMC	DGMC fine-tuned (LM)	28.3M	67.30%	0.6730

Cải thiện: -0.51 điểm phần trăm so với zero-shot.

Cấu hình DGMC

• block_size: 64
• memory_dim: 1536
• decay_alpha: 0.1

Cách sử dụng

Tải file dgmc_siqa_weights.pt rồi load lại vào module DGMC tương ứng với kiến trúc trong notebook huấn luyện gốc:

import torch
ckpt = torch.load("dgmc_siqa_weights.pt", map_location="cpu")
dgmc.load_state_dict(ckpt["dgmc_state_dict"])

Model nền tảng google/gemma-4-E2B-it-qat-q4_0-unquantized cần được tải riêng và giữ đóng băng (frozen); adapter DGMC này chỉ bổ sung một module memory consolidation nhẹ, không thay thế attention gốc của model.

Huấn luyện

• Epochs: 10
• Learning rate: 0.0002
• Gradient accumulation steps: 16
• Max sequence length: 256