conf/peft/att.yaml

use_peft: true
lora_r1: null
lora_r2: null
lora_r: null
lora_relative_r: null
lora_target_modules: [q_proj,k_proj,v_proj,o_proj]
train_embeddings: false
use_rslora: True
use_loraplus: false
loraplus_lr_ratio: 16
lora_alpha: 64