File size: 161 Bytes
d529407 | 1 2 3 4 5 6 7 8 9 10 11 | lora_parameters:
alpha: 32
dropout: 0.05
keys:
- self_attn.q_proj
- self_attn.v_proj
- self_attn.k_proj
- self_attn.o_proj
rank: 16
scale: 1.0
|
d529407 | 1 2 3 4 5 6 7 8 9 10 11 | lora_parameters:
alpha: 32
dropout: 0.05
keys:
- self_attn.q_proj
- self_attn.v_proj
- self_attn.k_proj
- self_attn.o_proj
rank: 16
scale: 1.0
|