lora_config.json

{
  "base_model": "./checkpoints/resized2",
  "lora_config": {
    "enable_lm": true,
    "enable_dit": true,
    "enable_proj": false,
    "r": 32,
    "alpha": 16,
    "dropout": 0.0,
    "target_modules_lm": [
      "q_proj",
      "v_proj",
      "k_proj",
      "o_proj"
    ],
    "target_modules_dit": [
      "q_proj",
      "v_proj",
      "k_proj",
      "o_proj"
    ],
    "target_proj_modules": [
      "enc_to_lm_proj",
      "lm_to_dit_proj",
      "res_to_dit_proj"
    ]
  }
}