Wildcat Mini: Ternary Bonsai 2 27B decision model

5889269 verified 2 days ago

220 Bytes

{
 "r": 16,
 "lora_alpha": 32,
 "target_modules": [
  "q_proj",
  "k_proj",
  "v_proj",
  "o_proj",
  "gate_proj",
  "up_proj",
  "down_proj",
  "in_proj_qkv",
  "in_proj_z",
  "out_proj"
 ],
 "scope": "language_model"
}

	{
	"r": 16,
	"lora_alpha": 32,
	"target_modules": [
	"q_proj",
	"k_proj",
	"v_proj",
	"o_proj",
	"gate_proj",
	"up_proj",
	"down_proj",
	"in_proj_qkv",
	"in_proj_z",
	"out_proj"
	],
	"scope": "language_model"
	}