Ctrl+K
- .adamw_mu[1]
- .adamw_nu[1]
- .mu[0].attn.c_k
- .mu[0].attn.c_q
- .mu[0].attn.c_v
- .mu[0].mlp.c_proj
- .mu[10].attn.c_k
- .mu[10].attn.c_q
- .mu[10].attn.c_v
- .mu[11].attn.c_k
- .mu[11].attn.c_q
- .mu[11].attn.c_v
- .mu[11].mlp.c_proj
- .mu[12].attn.c_proj
- .mu[12].mlp.c_fc
- .mu[12].mlp.c_proj
- .mu[13].attn.c_proj
- .mu[13].mlp.c_fc
- .mu[14].attn.c_proj
- .mu[14].mlp.c_fc
- .mu[14].mlp.c_proj
- .mu[15].attn.c_proj
- .mu[15].mlp.c_fc
- .mu[16].attn.c_k
- .mu[16].attn.c_q
- .mu[16].attn.c_v
- .mu[17].attn.c_k
- .mu[17].attn.c_q
- .mu[17].attn.c_v
- .mu[17].mlp.c_proj
- .mu[18].attn.c_proj
- .mu[18].mlp.c_fc
- .mu[18].mlp.c_proj
- .mu[19].attn.c_proj
- .mu[19].mlp.c_fc
- .mu[1].attn.c_k
- .mu[1].attn.c_q
- .mu[1].attn.c_v
- .mu[20].mlp.c_fc
- .mu[20].mlp.c_proj
- .mu[21].mlp.c_fc
- .mu[22].attn.c_k
- .mu[22].attn.c_proj
- .mu[22].attn.c_q
- .mu[22].attn.c_v
- .mu[23].attn.c_k
- .mu[23].attn.c_proj
- .mu[23].attn.c_q
- .mu[23].attn.c_v
- .mu[23].mlp.c_proj