Ctrl+K
- .adamw_mu[0]
- .adamw_mu[1]
- .adamw_nu[0]
- .adamw_nu[1]
- .mu[0].attn.c_k
- .mu[0].attn.c_proj
- .mu[0].attn.c_q
- .mu[0].attn.c_v
- .mu[0].mlp.c_fc
- .mu[0].mlp.c_proj
- .mu[10].attn.c_k
- .mu[10].attn.c_proj
- .mu[10].attn.c_q
- .mu[10].attn.c_v
- .mu[10].mlp.c_fc
- .mu[10].mlp.c_proj
- .mu[11].attn.c_k
- .mu[11].attn.c_proj
- .mu[11].attn.c_q
- .mu[11].attn.c_v
- .mu[11].mlp.c_fc
- .mu[11].mlp.c_proj
- .mu[1].attn.c_k
- .mu[1].attn.c_proj
- .mu[1].attn.c_q
- .mu[1].attn.c_v
- .mu[1].mlp.c_fc
- .mu[1].mlp.c_proj
- .mu[2].attn.c_k
- .mu[2].attn.c_proj
- .mu[2].attn.c_q
- .mu[2].attn.c_v
- .mu[2].mlp.c_fc
- .mu[2].mlp.c_proj
- .mu[3].attn.c_k
- .mu[3].attn.c_proj
- .mu[3].attn.c_q
- .mu[3].attn.c_v
- .mu[3].mlp.c_fc
- .mu[3].mlp.c_proj
- .mu[4].attn.c_k
- .mu[4].attn.c_proj
- .mu[4].attn.c_q
- .mu[4].attn.c_v
- .mu[4].mlp.c_fc
- .mu[4].mlp.c_proj
- .mu[5].attn.c_k
- .mu[5].attn.c_proj
- .mu[5].attn.c_q
- .mu[5].attn.c_v