{ "step": 160, "lora_params": { "lora_rank": 64, "lora_alpha": 128, "target_modules": [ "attn.to_q", "attn.to_k", "attn.to_v", "attn.to_out.0", "attn.add_q_proj", "attn.add_k_proj", "attn.add_v_proj", "attn.to_add_out", "ff.linear_in", "ff.linear_out", "ff_context.linear_in", "ff_context.linear_out", "attn.to_qkv_mlp_proj" ] } }