| { | |
| "peft_type": "LORA", | |
| "r": 4, | |
| "lora_alpha": 8, | |
| "lora_dropout": 0.0, | |
| "bias": "none", | |
| "init_lora_weights": "gaussian", | |
| "target_modules": ["to_k", "to_q", "to_v", "to_out.0"] | |
| } |
| { | |
| "peft_type": "LORA", | |
| "r": 4, | |
| "lora_alpha": 8, | |
| "lora_dropout": 0.0, | |
| "bias": "none", | |
| "init_lora_weights": "gaussian", | |
| "target_modules": ["to_k", "to_q", "to_v", "to_out.0"] | |
| } |