| { | |
| "peft_type": "PeftType.LORA", | |
| "auto_mapping": "None", | |
| "base_model_name_or_path": "meta-llama/Llama-2-7b-hf", | |
| "revision": "None", | |
| "task_type": "TaskType.CAUSAL_LM", | |
| "inference_mode": "False", | |
| "r": "8", | |
| "target_modules": "{'q_proj', 'v_proj'}", | |
| "lora_alpha": "16", | |
| "lora_dropout": "0.1", | |
| "fan_in_fan_out": "False", | |
| "bias": "none", | |
| "modules_to_save": "None", | |
| "init_lora_weights": "True", | |
| "layers_to_transform": "None", | |
| "layers_pattern": "None", | |
| "rank_pattern": "{}", | |
| "alpha_pattern": "{}", | |
| "megatron_config": "None", | |
| "megatron_core": "megatron.core", | |
| "loftq_config": "{}" | |
| } |