Upload folder using huggingface_hub

evo-kl-configuration-2.5-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 4
+model.layers.0.mlp.gate_proj: 2
+model.layers.0.mlp.up_proj: 3
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 3
+model.layers.1.mlp.up_proj: 3
+model.layers.2.mlp.down_proj: 3
+model.layers.2.mlp.gate_proj: 2
+model.layers.2.mlp.up_proj: 3
+model.layers.3.mlp.down_proj: 3
+model.layers.3.mlp.gate_proj: 2
+model.layers.3.mlp.up_proj: 3
+model.layers.4.mlp.down_proj: 3
+model.layers.4.mlp.gate_proj: 2
+model.layers.4.mlp.up_proj: 3
+model.layers.5.mlp.down_proj: 3
+model.layers.5.mlp.gate_proj: 2
+model.layers.5.mlp.up_proj: 3
+model.layers.6.mlp.down_proj: 3
+model.layers.6.mlp.gate_proj: 2
+model.layers.6.mlp.up_proj: 3
+model.layers.7.mlp.down_proj: 3
+model.layers.7.mlp.gate_proj: 2
+model.layers.7.mlp.up_proj: 2
+model.layers.8.mlp.down_proj: 3
+model.layers.8.mlp.gate_proj: 2
+model.layers.8.mlp.up_proj: 3
+model.layers.9.mlp.down_proj: 3
+model.layers.9.mlp.gate_proj: 2
+model.layers.9.mlp.up_proj: 3
+model.layers.10.mlp.down_proj: 2
+model.layers.10.mlp.gate_proj: 2
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 2
+model.layers.11.mlp.gate_proj: 2
+model.layers.11.mlp.up_proj: 2
+model.layers.12.mlp.down_proj: 3
+model.layers.12.mlp.gate_proj: 2
+model.layers.12.mlp.up_proj: 2
+model.layers.13.mlp.down_proj: 3
+model.layers.13.mlp.gate_proj: 3
+model.layers.13.mlp.up_proj: 3
+model.layers.14.mlp.down_proj: 3
+model.layers.14.mlp.gate_proj: 2
+model.layers.14.mlp.up_proj: 3
+model.layers.15.mlp.down_proj: 3
+model.layers.15.mlp.gate_proj: 2
+model.layers.15.mlp.up_proj: 3
+model.layers.16.mlp.down_proj: 3
+model.layers.16.mlp.gate_proj: 2
+model.layers.16.mlp.up_proj: 3
+model.layers.17.mlp.down_proj: 3
+model.layers.17.mlp.gate_proj: 2
+model.layers.17.mlp.up_proj: 3
+model.layers.18.mlp.down_proj: 3
+model.layers.18.mlp.gate_proj: 2
+model.layers.18.mlp.up_proj: 3
+model.layers.19.mlp.down_proj: 2
+model.layers.19.mlp.gate_proj: 2
+model.layers.19.mlp.up_proj: 3
+model.layers.20.mlp.down_proj: 2
+model.layers.20.mlp.gate_proj: 2
+model.layers.20.mlp.up_proj: 2
+model.layers.21.mlp.down_proj: 3
+model.layers.21.mlp.gate_proj: 2
+model.layers.21.mlp.up_proj: 2
+model.layers.22.mlp.down_proj: 2
+model.layers.22.mlp.gate_proj: 2
+model.layers.22.mlp.up_proj: 2
+model.layers.23.mlp.down_proj: 2
+model.layers.23.mlp.gate_proj: 2
+model.layers.23.mlp.up_proj: 2
+model.layers.24.mlp.down_proj: 2
+model.layers.24.mlp.gate_proj: 2
+model.layers.24.mlp.up_proj: 3
+model.layers.25.mlp.down_proj: 2
+model.layers.25.mlp.gate_proj: 2
+model.layers.25.mlp.up_proj: 2
+model.layers.26.mlp.down_proj: 2
+model.layers.26.mlp.gate_proj: 2
+model.layers.26.mlp.up_proj: 2
+model.layers.27.mlp.down_proj: 2
+model.layers.27.mlp.gate_proj: 3
+model.layers.27.mlp.up_proj: 2
+model.layers.28.mlp.down_proj: 2
+model.layers.28.mlp.gate_proj: 2
+model.layers.28.mlp.up_proj: 2
+model.layers.29.mlp.down_proj: 2
+model.layers.29.mlp.gate_proj: 2
+model.layers.29.mlp.up_proj: 2
+model.layers.30.mlp.down_proj: 3
+model.layers.30.mlp.gate_proj: 2
+model.layers.30.mlp.up_proj: 2
+model.layers.31.mlp.down_proj: 3
+model.layers.31.mlp.gate_proj: 2
+model.layers.31.mlp.up_proj: 3
+model.layers.0.self_attn.k_proj: 2
+model.layers.0.self_attn.v_proj: 3
+model.layers.1.self_attn.k_proj: 3
+model.layers.1.self_attn.v_proj: 6
+model.layers.2.self_attn.k_proj: 3
+model.layers.2.self_attn.v_proj: 3
+model.layers.3.self_attn.k_proj: 3
+model.layers.3.self_attn.v_proj: 2
+model.layers.4.self_attn.k_proj: 3
+model.layers.4.self_attn.v_proj: 3
+model.layers.5.self_attn.k_proj: 3
+model.layers.5.self_attn.v_proj: 3
+model.layers.6.self_attn.k_proj: 3
+model.layers.6.self_attn.v_proj: 3
+model.layers.7.self_attn.k_proj: 3
+model.layers.7.self_attn.v_proj: 2
+model.layers.8.self_attn.k_proj: 3
+model.layers.8.self_attn.v_proj: 3
+model.layers.9.self_attn.k_proj: 3
+model.layers.9.self_attn.v_proj: 3
+model.layers.10.self_attn.k_proj: 3
+model.layers.10.self_attn.v_proj: 3
+model.layers.11.self_attn.k_proj: 3
+model.layers.11.self_attn.v_proj: 3
+model.layers.12.self_attn.k_proj: 2
+model.layers.12.self_attn.v_proj: 3
+model.layers.13.self_attn.k_proj: 3
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 2
+model.layers.15.self_attn.k_proj: 3
+model.layers.15.self_attn.v_proj: 3
+model.layers.16.self_attn.k_proj: 2
+model.layers.16.self_attn.v_proj: 3
+model.layers.17.self_attn.k_proj: 2
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 2
+model.layers.18.self_attn.v_proj: 3
+model.layers.19.self_attn.k_proj: 2
+model.layers.19.self_attn.v_proj: 2
+model.layers.20.self_attn.k_proj: 2
+model.layers.20.self_attn.v_proj: 2
+model.layers.21.self_attn.k_proj: 2
+model.layers.21.self_attn.v_proj: 3
+model.layers.22.self_attn.k_proj: 2
+model.layers.22.self_attn.v_proj: 2
+model.layers.23.self_attn.k_proj: 2
+model.layers.23.self_attn.v_proj: 2
+model.layers.24.self_attn.k_proj: 2
+model.layers.24.self_attn.v_proj: 2
+model.layers.25.self_attn.k_proj: 2
+model.layers.25.self_attn.v_proj: 2
+model.layers.26.self_attn.k_proj: 2
+model.layers.26.self_attn.v_proj: 2
+model.layers.27.self_attn.k_proj: 2
+model.layers.27.self_attn.v_proj: 2
+model.layers.28.self_attn.k_proj: 2
+model.layers.28.self_attn.v_proj: 2
+model.layers.29.self_attn.k_proj: 2
+model.layers.29.self_attn.v_proj: 2
+model.layers.30.self_attn.k_proj: 2
+model.layers.30.self_attn.v_proj: 2
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 3
+model.layers.0.self_attn.o_proj: 3
+model.layers.0.self_attn.q_proj: 2
+model.layers.1.self_attn.o_proj: 3
+model.layers.1.self_attn.q_proj: 2
+model.layers.2.self_attn.o_proj: 3
+model.layers.2.self_attn.q_proj: 3
+model.layers.3.self_attn.o_proj: 3
+model.layers.3.self_attn.q_proj: 4
+model.layers.4.self_attn.o_proj: 4
+model.layers.4.self_attn.q_proj: 3
+model.layers.5.self_attn.o_proj: 3
+model.layers.5.self_attn.q_proj: 3
+model.layers.6.self_attn.o_proj: 3
+model.layers.6.self_attn.q_proj: 3
+model.layers.7.self_attn.o_proj: 3
+model.layers.7.self_attn.q_proj: 3
+model.layers.8.self_attn.o_proj: 3
+model.layers.8.self_attn.q_proj: 3
+model.layers.9.self_attn.o_proj: 4
+model.layers.9.self_attn.q_proj: 3
+model.layers.10.self_attn.o_proj: 3
+model.layers.10.self_attn.q_proj: 3
+model.layers.11.self_attn.o_proj: 3
+model.layers.11.self_attn.q_proj: 3
+model.layers.12.self_attn.o_proj: 3
+model.layers.12.self_attn.q_proj: 2
+model.layers.13.self_attn.o_proj: 3
+model.layers.13.self_attn.q_proj: 2
+model.layers.14.self_attn.o_proj: 3
+model.layers.14.self_attn.q_proj: 3
+model.layers.15.self_attn.o_proj: 3
+model.layers.15.self_attn.q_proj: 3
+model.layers.16.self_attn.o_proj: 3
+model.layers.16.self_attn.q_proj: 3
+model.layers.17.self_attn.o_proj: 3
+model.layers.17.self_attn.q_proj: 2
+model.layers.18.self_attn.o_proj: 2
+model.layers.18.self_attn.q_proj: 2
+model.layers.19.self_attn.o_proj: 2
+model.layers.19.self_attn.q_proj: 3
+model.layers.20.self_attn.o_proj: 2
+model.layers.20.self_attn.q_proj: 2
+model.layers.21.self_attn.o_proj: 3
+model.layers.21.self_attn.q_proj: 2
+model.layers.22.self_attn.o_proj: 3
+model.layers.22.self_attn.q_proj: 2
+model.layers.23.self_attn.o_proj: 2
+model.layers.23.self_attn.q_proj: 2
+model.layers.24.self_attn.o_proj: 2
+model.layers.24.self_attn.q_proj: 2
+model.layers.25.self_attn.o_proj: 2
+model.layers.25.self_attn.q_proj: 2
+model.layers.26.self_attn.o_proj: 2
+model.layers.26.self_attn.q_proj: 2
+model.layers.27.self_attn.o_proj: 3
+model.layers.27.self_attn.q_proj: 2
+model.layers.28.self_attn.o_proj: 2
+model.layers.28.self_attn.q_proj: 2
+model.layers.29.self_attn.o_proj: 2
+model.layers.29.self_attn.q_proj: 3
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 2
+model.layers.31.self_attn.o_proj: 3
+model.layers.31.self_attn.q_proj: 2

evo-kl-configuration-2.75-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 3
+model.layers.0.mlp.gate_proj: 3
+model.layers.0.mlp.up_proj: 3
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 2
+model.layers.1.mlp.up_proj: 3
+model.layers.2.mlp.down_proj: 3
+model.layers.2.mlp.gate_proj: 2
+model.layers.2.mlp.up_proj: 3
+model.layers.3.mlp.down_proj: 3
+model.layers.3.mlp.gate_proj: 2
+model.layers.3.mlp.up_proj: 3
+model.layers.4.mlp.down_proj: 3
+model.layers.4.mlp.gate_proj: 3
+model.layers.4.mlp.up_proj: 3
+model.layers.5.mlp.down_proj: 3
+model.layers.5.mlp.gate_proj: 2
+model.layers.5.mlp.up_proj: 3
+model.layers.6.mlp.down_proj: 3
+model.layers.6.mlp.gate_proj: 2
+model.layers.6.mlp.up_proj: 3
+model.layers.7.mlp.down_proj: 3
+model.layers.7.mlp.gate_proj: 3
+model.layers.7.mlp.up_proj: 3
+model.layers.8.mlp.down_proj: 3
+model.layers.8.mlp.gate_proj: 3
+model.layers.8.mlp.up_proj: 3
+model.layers.9.mlp.down_proj: 3
+model.layers.9.mlp.gate_proj: 2
+model.layers.9.mlp.up_proj: 3
+model.layers.10.mlp.down_proj: 3
+model.layers.10.mlp.gate_proj: 2
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 3
+model.layers.11.mlp.gate_proj: 2
+model.layers.11.mlp.up_proj: 3
+model.layers.12.mlp.down_proj: 3
+model.layers.12.mlp.gate_proj: 3
+model.layers.12.mlp.up_proj: 3
+model.layers.13.mlp.down_proj: 3
+model.layers.13.mlp.gate_proj: 2
+model.layers.13.mlp.up_proj: 3
+model.layers.14.mlp.down_proj: 3
+model.layers.14.mlp.gate_proj: 3
+model.layers.14.mlp.up_proj: 3
+model.layers.15.mlp.down_proj: 3
+model.layers.15.mlp.gate_proj: 2
+model.layers.15.mlp.up_proj: 3
+model.layers.16.mlp.down_proj: 3
+model.layers.16.mlp.gate_proj: 2
+model.layers.16.mlp.up_proj: 3
+model.layers.17.mlp.down_proj: 3
+model.layers.17.mlp.gate_proj: 2
+model.layers.17.mlp.up_proj: 3
+model.layers.18.mlp.down_proj: 3
+model.layers.18.mlp.gate_proj: 2
+model.layers.18.mlp.up_proj: 3
+model.layers.19.mlp.down_proj: 3
+model.layers.19.mlp.gate_proj: 2
+model.layers.19.mlp.up_proj: 3
+model.layers.20.mlp.down_proj: 3
+model.layers.20.mlp.gate_proj: 2
+model.layers.20.mlp.up_proj: 3
+model.layers.21.mlp.down_proj: 3
+model.layers.21.mlp.gate_proj: 3
+model.layers.21.mlp.up_proj: 3
+model.layers.22.mlp.down_proj: 3
+model.layers.22.mlp.gate_proj: 2
+model.layers.22.mlp.up_proj: 3
+model.layers.23.mlp.down_proj: 3
+model.layers.23.mlp.gate_proj: 2
+model.layers.23.mlp.up_proj: 3
+model.layers.24.mlp.down_proj: 2
+model.layers.24.mlp.gate_proj: 2
+model.layers.24.mlp.up_proj: 3
+model.layers.25.mlp.down_proj: 3
+model.layers.25.mlp.gate_proj: 2
+model.layers.25.mlp.up_proj: 3
+model.layers.26.mlp.down_proj: 2
+model.layers.26.mlp.gate_proj: 2
+model.layers.26.mlp.up_proj: 2
+model.layers.27.mlp.down_proj: 3
+model.layers.27.mlp.gate_proj: 3
+model.layers.27.mlp.up_proj: 3
+model.layers.28.mlp.down_proj: 3
+model.layers.28.mlp.gate_proj: 2
+model.layers.28.mlp.up_proj: 2
+model.layers.29.mlp.down_proj: 3
+model.layers.29.mlp.gate_proj: 2
+model.layers.29.mlp.up_proj: 2
+model.layers.30.mlp.down_proj: 3
+model.layers.30.mlp.gate_proj: 3
+model.layers.30.mlp.up_proj: 3
+model.layers.31.mlp.down_proj: 3
+model.layers.31.mlp.gate_proj: 2
+model.layers.31.mlp.up_proj: 3
+model.layers.0.self_attn.k_proj: 3
+model.layers.0.self_attn.v_proj: 3
+model.layers.1.self_attn.k_proj: 3
+model.layers.1.self_attn.v_proj: 6
+model.layers.2.self_attn.k_proj: 3
+model.layers.2.self_attn.v_proj: 3
+model.layers.3.self_attn.k_proj: 3
+model.layers.3.self_attn.v_proj: 3
+model.layers.4.self_attn.k_proj: 3
+model.layers.4.self_attn.v_proj: 4
+model.layers.5.self_attn.k_proj: 3
+model.layers.5.self_attn.v_proj: 4
+model.layers.6.self_attn.k_proj: 3
+model.layers.6.self_attn.v_proj: 3
+model.layers.7.self_attn.k_proj: 3
+model.layers.7.self_attn.v_proj: 2
+model.layers.8.self_attn.k_proj: 3
+model.layers.8.self_attn.v_proj: 3
+model.layers.9.self_attn.k_proj: 3
+model.layers.9.self_attn.v_proj: 3
+model.layers.10.self_attn.k_proj: 3
+model.layers.10.self_attn.v_proj: 4
+model.layers.11.self_attn.k_proj: 3
+model.layers.11.self_attn.v_proj: 3
+model.layers.12.self_attn.k_proj: 3
+model.layers.12.self_attn.v_proj: 3
+model.layers.13.self_attn.k_proj: 3
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 3
+model.layers.15.self_attn.k_proj: 3
+model.layers.15.self_attn.v_proj: 3
+model.layers.16.self_attn.k_proj: 2
+model.layers.16.self_attn.v_proj: 3
+model.layers.17.self_attn.k_proj: 2
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 3
+model.layers.18.self_attn.v_proj: 2
+model.layers.19.self_attn.k_proj: 3
+model.layers.19.self_attn.v_proj: 2
+model.layers.20.self_attn.k_proj: 2
+model.layers.20.self_attn.v_proj: 3
+model.layers.21.self_attn.k_proj: 2
+model.layers.21.self_attn.v_proj: 3
+model.layers.22.self_attn.k_proj: 2
+model.layers.22.self_attn.v_proj: 2
+model.layers.23.self_attn.k_proj: 2
+model.layers.23.self_attn.v_proj: 2
+model.layers.24.self_attn.k_proj: 2
+model.layers.24.self_attn.v_proj: 2
+model.layers.25.self_attn.k_proj: 2
+model.layers.25.self_attn.v_proj: 2
+model.layers.26.self_attn.k_proj: 2
+model.layers.26.self_attn.v_proj: 3
+model.layers.27.self_attn.k_proj: 3
+model.layers.27.self_attn.v_proj: 3
+model.layers.28.self_attn.k_proj: 3
+model.layers.28.self_attn.v_proj: 3
+model.layers.29.self_attn.k_proj: 3
+model.layers.29.self_attn.v_proj: 2
+model.layers.30.self_attn.k_proj: 3
+model.layers.30.self_attn.v_proj: 3
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 3
+model.layers.0.self_attn.o_proj: 3
+model.layers.0.self_attn.q_proj: 2
+model.layers.1.self_attn.o_proj: 4
+model.layers.1.self_attn.q_proj: 2
+model.layers.2.self_attn.o_proj: 3
+model.layers.2.self_attn.q_proj: 3
+model.layers.3.self_attn.o_proj: 3
+model.layers.3.self_attn.q_proj: 3
+model.layers.4.self_attn.o_proj: 3
+model.layers.4.self_attn.q_proj: 3
+model.layers.5.self_attn.o_proj: 3
+model.layers.5.self_attn.q_proj: 4
+model.layers.6.self_attn.o_proj: 3
+model.layers.6.self_attn.q_proj: 3
+model.layers.7.self_attn.o_proj: 3
+model.layers.7.self_attn.q_proj: 3
+model.layers.8.self_attn.o_proj: 4
+model.layers.8.self_attn.q_proj: 3
+model.layers.9.self_attn.o_proj: 3
+model.layers.9.self_attn.q_proj: 3
+model.layers.10.self_attn.o_proj: 3
+model.layers.10.self_attn.q_proj: 3
+model.layers.11.self_attn.o_proj: 3
+model.layers.11.self_attn.q_proj: 4
+model.layers.12.self_attn.o_proj: 3
+model.layers.12.self_attn.q_proj: 3
+model.layers.13.self_attn.o_proj: 3
+model.layers.13.self_attn.q_proj: 3
+model.layers.14.self_attn.o_proj: 3
+model.layers.14.self_attn.q_proj: 3
+model.layers.15.self_attn.o_proj: 4
+model.layers.15.self_attn.q_proj: 3
+model.layers.16.self_attn.o_proj: 4
+model.layers.16.self_attn.q_proj: 3
+model.layers.17.self_attn.o_proj: 3
+model.layers.17.self_attn.q_proj: 2
+model.layers.18.self_attn.o_proj: 3
+model.layers.18.self_attn.q_proj: 2
+model.layers.19.self_attn.o_proj: 2
+model.layers.19.self_attn.q_proj: 3
+model.layers.20.self_attn.o_proj: 3
+model.layers.20.self_attn.q_proj: 3
+model.layers.21.self_attn.o_proj: 3
+model.layers.21.self_attn.q_proj: 3
+model.layers.22.self_attn.o_proj: 2
+model.layers.22.self_attn.q_proj: 3
+model.layers.23.self_attn.o_proj: 2
+model.layers.23.self_attn.q_proj: 3
+model.layers.24.self_attn.o_proj: 2
+model.layers.24.self_attn.q_proj: 2
+model.layers.25.self_attn.o_proj: 3
+model.layers.25.self_attn.q_proj: 3
+model.layers.26.self_attn.o_proj: 2
+model.layers.26.self_attn.q_proj: 2
+model.layers.27.self_attn.o_proj: 2
+model.layers.27.self_attn.q_proj: 2
+model.layers.28.self_attn.o_proj: 3
+model.layers.28.self_attn.q_proj: 2
+model.layers.29.self_attn.o_proj: 2
+model.layers.29.self_attn.q_proj: 3
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 2
+model.layers.31.self_attn.o_proj: 3
+model.layers.31.self_attn.q_proj: 2

evo-kl-configuration-3.0-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 4
+model.layers.0.mlp.gate_proj: 3
+model.layers.0.mlp.up_proj: 3
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 3
+model.layers.1.mlp.up_proj: 3
+model.layers.2.mlp.down_proj: 3
+model.layers.2.mlp.gate_proj: 3
+model.layers.2.mlp.up_proj: 3
+model.layers.3.mlp.down_proj: 4
+model.layers.3.mlp.gate_proj: 3
+model.layers.3.mlp.up_proj: 3
+model.layers.4.mlp.down_proj: 3
+model.layers.4.mlp.gate_proj: 3
+model.layers.4.mlp.up_proj: 4
+model.layers.5.mlp.down_proj: 3
+model.layers.5.mlp.gate_proj: 2
+model.layers.5.mlp.up_proj: 3
+model.layers.6.mlp.down_proj: 3
+model.layers.6.mlp.gate_proj: 3
+model.layers.6.mlp.up_proj: 3
+model.layers.7.mlp.down_proj: 3
+model.layers.7.mlp.gate_proj: 3
+model.layers.7.mlp.up_proj: 3
+model.layers.8.mlp.down_proj: 3
+model.layers.8.mlp.gate_proj: 3
+model.layers.8.mlp.up_proj: 3
+model.layers.9.mlp.down_proj: 3
+model.layers.9.mlp.gate_proj: 3
+model.layers.9.mlp.up_proj: 3
+model.layers.10.mlp.down_proj: 3
+model.layers.10.mlp.gate_proj: 3
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 3
+model.layers.11.mlp.gate_proj: 3
+model.layers.11.mlp.up_proj: 3
+model.layers.12.mlp.down_proj: 3
+model.layers.12.mlp.gate_proj: 3
+model.layers.12.mlp.up_proj: 3
+model.layers.13.mlp.down_proj: 3
+model.layers.13.mlp.gate_proj: 3
+model.layers.13.mlp.up_proj: 3
+model.layers.14.mlp.down_proj: 3
+model.layers.14.mlp.gate_proj: 3
+model.layers.14.mlp.up_proj: 3
+model.layers.15.mlp.down_proj: 3
+model.layers.15.mlp.gate_proj: 3
+model.layers.15.mlp.up_proj: 3
+model.layers.16.mlp.down_proj: 3
+model.layers.16.mlp.gate_proj: 2
+model.layers.16.mlp.up_proj: 3
+model.layers.17.mlp.down_proj: 3
+model.layers.17.mlp.gate_proj: 3
+model.layers.17.mlp.up_proj: 3
+model.layers.18.mlp.down_proj: 3
+model.layers.18.mlp.gate_proj: 2
+model.layers.18.mlp.up_proj: 3
+model.layers.19.mlp.down_proj: 3
+model.layers.19.mlp.gate_proj: 3
+model.layers.19.mlp.up_proj: 3
+model.layers.20.mlp.down_proj: 3
+model.layers.20.mlp.gate_proj: 3
+model.layers.20.mlp.up_proj: 3
+model.layers.21.mlp.down_proj: 3
+model.layers.21.mlp.gate_proj: 3
+model.layers.21.mlp.up_proj: 3
+model.layers.22.mlp.down_proj: 2
+model.layers.22.mlp.gate_proj: 3
+model.layers.22.mlp.up_proj: 3
+model.layers.23.mlp.down_proj: 3
+model.layers.23.mlp.gate_proj: 3
+model.layers.23.mlp.up_proj: 3
+model.layers.24.mlp.down_proj: 3
+model.layers.24.mlp.gate_proj: 2
+model.layers.24.mlp.up_proj: 3
+model.layers.25.mlp.down_proj: 3
+model.layers.25.mlp.gate_proj: 3
+model.layers.25.mlp.up_proj: 3
+model.layers.26.mlp.down_proj: 3
+model.layers.26.mlp.gate_proj: 2
+model.layers.26.mlp.up_proj: 3
+model.layers.27.mlp.down_proj: 3
+model.layers.27.mlp.gate_proj: 3
+model.layers.27.mlp.up_proj: 3
+model.layers.28.mlp.down_proj: 3
+model.layers.28.mlp.gate_proj: 3
+model.layers.28.mlp.up_proj: 3
+model.layers.29.mlp.down_proj: 3
+model.layers.29.mlp.gate_proj: 3
+model.layers.29.mlp.up_proj: 3
+model.layers.30.mlp.down_proj: 3
+model.layers.30.mlp.gate_proj: 3
+model.layers.30.mlp.up_proj: 3
+model.layers.31.mlp.down_proj: 4
+model.layers.31.mlp.gate_proj: 3
+model.layers.31.mlp.up_proj: 3
+model.layers.0.self_attn.k_proj: 3
+model.layers.0.self_attn.v_proj: 3
+model.layers.1.self_attn.k_proj: 3
+model.layers.1.self_attn.v_proj: 6
+model.layers.2.self_attn.k_proj: 3
+model.layers.2.self_attn.v_proj: 3
+model.layers.3.self_attn.k_proj: 4
+model.layers.3.self_attn.v_proj: 3
+model.layers.4.self_attn.k_proj: 3
+model.layers.4.self_attn.v_proj: 4
+model.layers.5.self_attn.k_proj: 3
+model.layers.5.self_attn.v_proj: 3
+model.layers.6.self_attn.k_proj: 3
+model.layers.6.self_attn.v_proj: 3
+model.layers.7.self_attn.k_proj: 3
+model.layers.7.self_attn.v_proj: 4
+model.layers.8.self_attn.k_proj: 3
+model.layers.8.self_attn.v_proj: 4
+model.layers.9.self_attn.k_proj: 4
+model.layers.9.self_attn.v_proj: 3
+model.layers.10.self_attn.k_proj: 3
+model.layers.10.self_attn.v_proj: 3
+model.layers.11.self_attn.k_proj: 4
+model.layers.11.self_attn.v_proj: 4
+model.layers.12.self_attn.k_proj: 3
+model.layers.12.self_attn.v_proj: 3
+model.layers.13.self_attn.k_proj: 3
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 3
+model.layers.15.self_attn.k_proj: 3
+model.layers.15.self_attn.v_proj: 3
+model.layers.16.self_attn.k_proj: 3
+model.layers.16.self_attn.v_proj: 4
+model.layers.17.self_attn.k_proj: 3
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 2
+model.layers.18.self_attn.v_proj: 3
+model.layers.19.self_attn.k_proj: 3
+model.layers.19.self_attn.v_proj: 3
+model.layers.20.self_attn.k_proj: 2
+model.layers.20.self_attn.v_proj: 3
+model.layers.21.self_attn.k_proj: 2
+model.layers.21.self_attn.v_proj: 3
+model.layers.22.self_attn.k_proj: 3
+model.layers.22.self_attn.v_proj: 2
+model.layers.23.self_attn.k_proj: 3
+model.layers.23.self_attn.v_proj: 2
+model.layers.24.self_attn.k_proj: 3
+model.layers.24.self_attn.v_proj: 2
+model.layers.25.self_attn.k_proj: 3
+model.layers.25.self_attn.v_proj: 2
+model.layers.26.self_attn.k_proj: 2
+model.layers.26.self_attn.v_proj: 2
+model.layers.27.self_attn.k_proj: 2
+model.layers.27.self_attn.v_proj: 3
+model.layers.28.self_attn.k_proj: 3
+model.layers.28.self_attn.v_proj: 4
+model.layers.29.self_attn.k_proj: 2
+model.layers.29.self_attn.v_proj: 3
+model.layers.30.self_attn.k_proj: 3
+model.layers.30.self_attn.v_proj: 3
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 3
+model.layers.0.self_attn.o_proj: 3
+model.layers.0.self_attn.q_proj: 2
+model.layers.1.self_attn.o_proj: 4
+model.layers.1.self_attn.q_proj: 4
+model.layers.2.self_attn.o_proj: 3
+model.layers.2.self_attn.q_proj: 3
+model.layers.3.self_attn.o_proj: 3
+model.layers.3.self_attn.q_proj: 3
+model.layers.4.self_attn.o_proj: 3
+model.layers.4.self_attn.q_proj: 3
+model.layers.5.self_attn.o_proj: 3
+model.layers.5.self_attn.q_proj: 4
+model.layers.6.self_attn.o_proj: 3
+model.layers.6.self_attn.q_proj: 3
+model.layers.7.self_attn.o_proj: 3
+model.layers.7.self_attn.q_proj: 4
+model.layers.8.self_attn.o_proj: 4
+model.layers.8.self_attn.q_proj: 3
+model.layers.9.self_attn.o_proj: 4
+model.layers.9.self_attn.q_proj: 3
+model.layers.10.self_attn.o_proj: 3
+model.layers.10.self_attn.q_proj: 3
+model.layers.11.self_attn.o_proj: 3
+model.layers.11.self_attn.q_proj: 3
+model.layers.12.self_attn.o_proj: 3
+model.layers.12.self_attn.q_proj: 4
+model.layers.13.self_attn.o_proj: 4
+model.layers.13.self_attn.q_proj: 3
+model.layers.14.self_attn.o_proj: 4
+model.layers.14.self_attn.q_proj: 3
+model.layers.15.self_attn.o_proj: 3
+model.layers.15.self_attn.q_proj: 3
+model.layers.16.self_attn.o_proj: 3
+model.layers.16.self_attn.q_proj: 3
+model.layers.17.self_attn.o_proj: 3
+model.layers.17.self_attn.q_proj: 3
+model.layers.18.self_attn.o_proj: 3
+model.layers.18.self_attn.q_proj: 3
+model.layers.19.self_attn.o_proj: 3
+model.layers.19.self_attn.q_proj: 3
+model.layers.20.self_attn.o_proj: 3
+model.layers.20.self_attn.q_proj: 3
+model.layers.21.self_attn.o_proj: 3
+model.layers.21.self_attn.q_proj: 3
+model.layers.22.self_attn.o_proj: 3
+model.layers.22.self_attn.q_proj: 2
+model.layers.23.self_attn.o_proj: 3
+model.layers.23.self_attn.q_proj: 2
+model.layers.24.self_attn.o_proj: 2
+model.layers.24.self_attn.q_proj: 2
+model.layers.25.self_attn.o_proj: 2
+model.layers.25.self_attn.q_proj: 3
+model.layers.26.self_attn.o_proj: 2
+model.layers.26.self_attn.q_proj: 3
+model.layers.27.self_attn.o_proj: 3
+model.layers.27.self_attn.q_proj: 2
+model.layers.28.self_attn.o_proj: 3
+model.layers.28.self_attn.q_proj: 2
+model.layers.29.self_attn.o_proj: 3
+model.layers.29.self_attn.q_proj: 3
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 3
+model.layers.31.self_attn.o_proj: 3
+model.layers.31.self_attn.q_proj: 3

evo-kl-configuration-3.25-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 4
+model.layers.0.mlp.gate_proj: 3
+model.layers.0.mlp.up_proj: 3
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 3
+model.layers.1.mlp.up_proj: 3
+model.layers.2.mlp.down_proj: 3
+model.layers.2.mlp.gate_proj: 3
+model.layers.2.mlp.up_proj: 3
+model.layers.3.mlp.down_proj: 3
+model.layers.3.mlp.gate_proj: 3
+model.layers.3.mlp.up_proj: 4
+model.layers.4.mlp.down_proj: 3
+model.layers.4.mlp.gate_proj: 3
+model.layers.4.mlp.up_proj: 4
+model.layers.5.mlp.down_proj: 3
+model.layers.5.mlp.gate_proj: 3
+model.layers.5.mlp.up_proj: 4
+model.layers.6.mlp.down_proj: 3
+model.layers.6.mlp.gate_proj: 2
+model.layers.6.mlp.up_proj: 3
+model.layers.7.mlp.down_proj: 4
+model.layers.7.mlp.gate_proj: 3
+model.layers.7.mlp.up_proj: 3
+model.layers.8.mlp.down_proj: 4
+model.layers.8.mlp.gate_proj: 3
+model.layers.8.mlp.up_proj: 3
+model.layers.9.mlp.down_proj: 3
+model.layers.9.mlp.gate_proj: 3
+model.layers.9.mlp.up_proj: 3
+model.layers.10.mlp.down_proj: 3
+model.layers.10.mlp.gate_proj: 3
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 3
+model.layers.11.mlp.gate_proj: 3
+model.layers.11.mlp.up_proj: 3
+model.layers.12.mlp.down_proj: 3
+model.layers.12.mlp.gate_proj: 3
+model.layers.12.mlp.up_proj: 3
+model.layers.13.mlp.down_proj: 3
+model.layers.13.mlp.gate_proj: 3
+model.layers.13.mlp.up_proj: 4
+model.layers.14.mlp.down_proj: 3
+model.layers.14.mlp.gate_proj: 3
+model.layers.14.mlp.up_proj: 3
+model.layers.15.mlp.down_proj: 3
+model.layers.15.mlp.gate_proj: 3
+model.layers.15.mlp.up_proj: 3
+model.layers.16.mlp.down_proj: 4
+model.layers.16.mlp.gate_proj: 3
+model.layers.16.mlp.up_proj: 3
+model.layers.17.mlp.down_proj: 4
+model.layers.17.mlp.gate_proj: 3
+model.layers.17.mlp.up_proj: 3
+model.layers.18.mlp.down_proj: 4
+model.layers.18.mlp.gate_proj: 3
+model.layers.18.mlp.up_proj: 3
+model.layers.19.mlp.down_proj: 3
+model.layers.19.mlp.gate_proj: 3
+model.layers.19.mlp.up_proj: 3
+model.layers.20.mlp.down_proj: 3
+model.layers.20.mlp.gate_proj: 3
+model.layers.20.mlp.up_proj: 3
+model.layers.21.mlp.down_proj: 3
+model.layers.21.mlp.gate_proj: 3
+model.layers.21.mlp.up_proj: 4
+model.layers.22.mlp.down_proj: 4
+model.layers.22.mlp.gate_proj: 3
+model.layers.22.mlp.up_proj: 3
+model.layers.23.mlp.down_proj: 3
+model.layers.23.mlp.gate_proj: 3
+model.layers.23.mlp.up_proj: 3
+model.layers.24.mlp.down_proj: 3
+model.layers.24.mlp.gate_proj: 3
+model.layers.24.mlp.up_proj: 3
+model.layers.25.mlp.down_proj: 3
+model.layers.25.mlp.gate_proj: 3
+model.layers.25.mlp.up_proj: 3
+model.layers.26.mlp.down_proj: 3
+model.layers.26.mlp.gate_proj: 3
+model.layers.26.mlp.up_proj: 3
+model.layers.27.mlp.down_proj: 3
+model.layers.27.mlp.gate_proj: 3
+model.layers.27.mlp.up_proj: 3
+model.layers.28.mlp.down_proj: 3
+model.layers.28.mlp.gate_proj: 3
+model.layers.28.mlp.up_proj: 3
+model.layers.29.mlp.down_proj: 3
+model.layers.29.mlp.gate_proj: 3
+model.layers.29.mlp.up_proj: 3
+model.layers.30.mlp.down_proj: 4
+model.layers.30.mlp.gate_proj: 3
+model.layers.30.mlp.up_proj: 4
+model.layers.31.mlp.down_proj: 4
+model.layers.31.mlp.gate_proj: 4
+model.layers.31.mlp.up_proj: 6
+model.layers.0.self_attn.k_proj: 3
+model.layers.0.self_attn.v_proj: 4
+model.layers.1.self_attn.k_proj: 3
+model.layers.1.self_attn.v_proj: 8
+model.layers.2.self_attn.k_proj: 3
+model.layers.2.self_attn.v_proj: 4
+model.layers.3.self_attn.k_proj: 3
+model.layers.3.self_attn.v_proj: 6
+model.layers.4.self_attn.k_proj: 3
+model.layers.4.self_attn.v_proj: 4
+model.layers.5.self_attn.k_proj: 4
+model.layers.5.self_attn.v_proj: 3
+model.layers.6.self_attn.k_proj: 3
+model.layers.6.self_attn.v_proj: 3
+model.layers.7.self_attn.k_proj: 3
+model.layers.7.self_attn.v_proj: 4
+model.layers.8.self_attn.k_proj: 4
+model.layers.8.self_attn.v_proj: 4
+model.layers.9.self_attn.k_proj: 6
+model.layers.9.self_attn.v_proj: 3
+model.layers.10.self_attn.k_proj: 4
+model.layers.10.self_attn.v_proj: 3
+model.layers.11.self_attn.k_proj: 4
+model.layers.11.self_attn.v_proj: 3
+model.layers.12.self_attn.k_proj: 4
+model.layers.12.self_attn.v_proj: 3
+model.layers.13.self_attn.k_proj: 4
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 3
+model.layers.15.self_attn.k_proj: 4
+model.layers.15.self_attn.v_proj: 6
+model.layers.16.self_attn.k_proj: 4
+model.layers.16.self_attn.v_proj: 3
+model.layers.17.self_attn.k_proj: 3
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 3
+model.layers.18.self_attn.v_proj: 4
+model.layers.19.self_attn.k_proj: 4
+model.layers.19.self_attn.v_proj: 3
+model.layers.20.self_attn.k_proj: 3
+model.layers.20.self_attn.v_proj: 3
+model.layers.21.self_attn.k_proj: 3
+model.layers.21.self_attn.v_proj: 3
+model.layers.22.self_attn.k_proj: 4
+model.layers.22.self_attn.v_proj: 3
+model.layers.23.self_attn.k_proj: 3
+model.layers.23.self_attn.v_proj: 2
+model.layers.24.self_attn.k_proj: 3
+model.layers.24.self_attn.v_proj: 3
+model.layers.25.self_attn.k_proj: 3
+model.layers.25.self_attn.v_proj: 2
+model.layers.26.self_attn.k_proj: 3
+model.layers.26.self_attn.v_proj: 3
+model.layers.27.self_attn.k_proj: 3
+model.layers.27.self_attn.v_proj: 3
+model.layers.28.self_attn.k_proj: 3
+model.layers.28.self_attn.v_proj: 2
+model.layers.29.self_attn.k_proj: 3
+model.layers.29.self_attn.v_proj: 4
+model.layers.30.self_attn.k_proj: 3
+model.layers.30.self_attn.v_proj: 4
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 3
+model.layers.0.self_attn.o_proj: 6
+model.layers.0.self_attn.q_proj: 3
+model.layers.1.self_attn.o_proj: 4
+model.layers.1.self_attn.q_proj: 4
+model.layers.2.self_attn.o_proj: 4
+model.layers.2.self_attn.q_proj: 3
+model.layers.3.self_attn.o_proj: 3
+model.layers.3.self_attn.q_proj: 4
+model.layers.4.self_attn.o_proj: 4
+model.layers.4.self_attn.q_proj: 3
+model.layers.5.self_attn.o_proj: 3
+model.layers.5.self_attn.q_proj: 4
+model.layers.6.self_attn.o_proj: 3
+model.layers.6.self_attn.q_proj: 4
+model.layers.7.self_attn.o_proj: 4
+model.layers.7.self_attn.q_proj: 4
+model.layers.8.self_attn.o_proj: 4
+model.layers.8.self_attn.q_proj: 3
+model.layers.9.self_attn.o_proj: 4
+model.layers.9.self_attn.q_proj: 3
+model.layers.10.self_attn.o_proj: 4
+model.layers.10.self_attn.q_proj: 3
+model.layers.11.self_attn.o_proj: 4
+model.layers.11.self_attn.q_proj: 4
+model.layers.12.self_attn.o_proj: 4
+model.layers.12.self_attn.q_proj: 4
+model.layers.13.self_attn.o_proj: 4
+model.layers.13.self_attn.q_proj: 4
+model.layers.14.self_attn.o_proj: 4
+model.layers.14.self_attn.q_proj: 4
+model.layers.15.self_attn.o_proj: 4
+model.layers.15.self_attn.q_proj: 3
+model.layers.16.self_attn.o_proj: 3
+model.layers.16.self_attn.q_proj: 3
+model.layers.17.self_attn.o_proj: 3
+model.layers.17.self_attn.q_proj: 3
+model.layers.18.self_attn.o_proj: 3
+model.layers.18.self_attn.q_proj: 3
+model.layers.19.self_attn.o_proj: 3
+model.layers.19.self_attn.q_proj: 3
+model.layers.20.self_attn.o_proj: 3
+model.layers.20.self_attn.q_proj: 3
+model.layers.21.self_attn.o_proj: 4
+model.layers.21.self_attn.q_proj: 3
+model.layers.22.self_attn.o_proj: 3
+model.layers.22.self_attn.q_proj: 3
+model.layers.23.self_attn.o_proj: 2
+model.layers.23.self_attn.q_proj: 3
+model.layers.24.self_attn.o_proj: 2
+model.layers.24.self_attn.q_proj: 3
+model.layers.25.self_attn.o_proj: 3
+model.layers.25.self_attn.q_proj: 3
+model.layers.26.self_attn.o_proj: 4
+model.layers.26.self_attn.q_proj: 2
+model.layers.27.self_attn.o_proj: 3
+model.layers.27.self_attn.q_proj: 3
+model.layers.28.self_attn.o_proj: 6
+model.layers.28.self_attn.q_proj: 2
+model.layers.29.self_attn.o_proj: 3
+model.layers.29.self_attn.q_proj: 4
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 4
+model.layers.31.self_attn.o_proj: 3
+model.layers.31.self_attn.q_proj: 3

evo-kl-configuration-3.5-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 4
+model.layers.0.mlp.gate_proj: 3
+model.layers.0.mlp.up_proj: 3
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 4
+model.layers.1.mlp.up_proj: 3
+model.layers.2.mlp.down_proj: 4
+model.layers.2.mlp.gate_proj: 3
+model.layers.2.mlp.up_proj: 3
+model.layers.3.mlp.down_proj: 4
+model.layers.3.mlp.gate_proj: 3
+model.layers.3.mlp.up_proj: 4
+model.layers.4.mlp.down_proj: 4
+model.layers.4.mlp.gate_proj: 4
+model.layers.4.mlp.up_proj: 4
+model.layers.5.mlp.down_proj: 4
+model.layers.5.mlp.gate_proj: 3
+model.layers.5.mlp.up_proj: 4
+model.layers.6.mlp.down_proj: 4
+model.layers.6.mlp.gate_proj: 3
+model.layers.6.mlp.up_proj: 3
+model.layers.7.mlp.down_proj: 4
+model.layers.7.mlp.gate_proj: 3
+model.layers.7.mlp.up_proj: 3
+model.layers.8.mlp.down_proj: 4
+model.layers.8.mlp.gate_proj: 4
+model.layers.8.mlp.up_proj: 3
+model.layers.9.mlp.down_proj: 4
+model.layers.9.mlp.gate_proj: 3
+model.layers.9.mlp.up_proj: 4
+model.layers.10.mlp.down_proj: 4
+model.layers.10.mlp.gate_proj: 3
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 3
+model.layers.11.mlp.gate_proj: 3
+model.layers.11.mlp.up_proj: 4
+model.layers.12.mlp.down_proj: 4
+model.layers.12.mlp.gate_proj: 4
+model.layers.12.mlp.up_proj: 4
+model.layers.13.mlp.down_proj: 4
+model.layers.13.mlp.gate_proj: 3
+model.layers.13.mlp.up_proj: 4
+model.layers.14.mlp.down_proj: 3
+model.layers.14.mlp.gate_proj: 3
+model.layers.14.mlp.up_proj: 3
+model.layers.15.mlp.down_proj: 3
+model.layers.15.mlp.gate_proj: 3
+model.layers.15.mlp.up_proj: 4
+model.layers.16.mlp.down_proj: 3
+model.layers.16.mlp.gate_proj: 3
+model.layers.16.mlp.up_proj: 3
+model.layers.17.mlp.down_proj: 4
+model.layers.17.mlp.gate_proj: 3
+model.layers.17.mlp.up_proj: 3
+model.layers.18.mlp.down_proj: 4
+model.layers.18.mlp.gate_proj: 3
+model.layers.18.mlp.up_proj: 4
+model.layers.19.mlp.down_proj: 3
+model.layers.19.mlp.gate_proj: 3
+model.layers.19.mlp.up_proj: 4
+model.layers.20.mlp.down_proj: 4
+model.layers.20.mlp.gate_proj: 4
+model.layers.20.mlp.up_proj: 3
+model.layers.21.mlp.down_proj: 4
+model.layers.21.mlp.gate_proj: 3
+model.layers.21.mlp.up_proj: 3
+model.layers.22.mlp.down_proj: 4
+model.layers.22.mlp.gate_proj: 3
+model.layers.22.mlp.up_proj: 3
+model.layers.23.mlp.down_proj: 3
+model.layers.23.mlp.gate_proj: 3
+model.layers.23.mlp.up_proj: 4
+model.layers.24.mlp.down_proj: 3
+model.layers.24.mlp.gate_proj: 3
+model.layers.24.mlp.up_proj: 3
+model.layers.25.mlp.down_proj: 4
+model.layers.25.mlp.gate_proj: 3
+model.layers.25.mlp.up_proj: 3
+model.layers.26.mlp.down_proj: 3
+model.layers.26.mlp.gate_proj: 3
+model.layers.26.mlp.up_proj: 4
+model.layers.27.mlp.down_proj: 3
+model.layers.27.mlp.gate_proj: 4
+model.layers.27.mlp.up_proj: 4
+model.layers.28.mlp.down_proj: 4
+model.layers.28.mlp.gate_proj: 3
+model.layers.28.mlp.up_proj: 3
+model.layers.29.mlp.down_proj: 3
+model.layers.29.mlp.gate_proj: 3
+model.layers.29.mlp.up_proj: 3
+model.layers.30.mlp.down_proj: 4
+model.layers.30.mlp.gate_proj: 3
+model.layers.30.mlp.up_proj: 4
+model.layers.31.mlp.down_proj: 4
+model.layers.31.mlp.gate_proj: 4
+model.layers.31.mlp.up_proj: 4
+model.layers.0.self_attn.k_proj: 3
+model.layers.0.self_attn.v_proj: 8
+model.layers.1.self_attn.k_proj: 4
+model.layers.1.self_attn.v_proj: 6
+model.layers.2.self_attn.k_proj: 6
+model.layers.2.self_attn.v_proj: 6
+model.layers.3.self_attn.k_proj: 4
+model.layers.3.self_attn.v_proj: 4
+model.layers.4.self_attn.k_proj: 4
+model.layers.4.self_attn.v_proj: 4
+model.layers.5.self_attn.k_proj: 4
+model.layers.5.self_attn.v_proj: 3
+model.layers.6.self_attn.k_proj: 3
+model.layers.6.self_attn.v_proj: 4
+model.layers.7.self_attn.k_proj: 3
+model.layers.7.self_attn.v_proj: 3
+model.layers.8.self_attn.k_proj: 4
+model.layers.8.self_attn.v_proj: 4
+model.layers.9.self_attn.k_proj: 4
+model.layers.9.self_attn.v_proj: 3
+model.layers.10.self_attn.k_proj: 3
+model.layers.10.self_attn.v_proj: 4
+model.layers.11.self_attn.k_proj: 4
+model.layers.11.self_attn.v_proj: 4
+model.layers.12.self_attn.k_proj: 4
+model.layers.12.self_attn.v_proj: 4
+model.layers.13.self_attn.k_proj: 4
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 3
+model.layers.15.self_attn.k_proj: 4
+model.layers.15.self_attn.v_proj: 6
+model.layers.16.self_attn.k_proj: 3
+model.layers.16.self_attn.v_proj: 4
+model.layers.17.self_attn.k_proj: 3
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 3
+model.layers.18.self_attn.v_proj: 4
+model.layers.19.self_attn.k_proj: 3
+model.layers.19.self_attn.v_proj: 4
+model.layers.20.self_attn.k_proj: 3
+model.layers.20.self_attn.v_proj: 4
+model.layers.21.self_attn.k_proj: 3
+model.layers.21.self_attn.v_proj: 4
+model.layers.22.self_attn.k_proj: 3
+model.layers.22.self_attn.v_proj: 3
+model.layers.23.self_attn.k_proj: 3
+model.layers.23.self_attn.v_proj: 3
+model.layers.24.self_attn.k_proj: 3
+model.layers.24.self_attn.v_proj: 3
+model.layers.25.self_attn.k_proj: 3
+model.layers.25.self_attn.v_proj: 3
+model.layers.26.self_attn.k_proj: 3
+model.layers.26.self_attn.v_proj: 4
+model.layers.27.self_attn.k_proj: 3
+model.layers.27.self_attn.v_proj: 4
+model.layers.28.self_attn.k_proj: 3
+model.layers.28.self_attn.v_proj: 4
+model.layers.29.self_attn.k_proj: 3
+model.layers.29.self_attn.v_proj: 4
+model.layers.30.self_attn.k_proj: 3
+model.layers.30.self_attn.v_proj: 3
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 3
+model.layers.0.self_attn.o_proj: 6
+model.layers.0.self_attn.q_proj: 3
+model.layers.1.self_attn.o_proj: 4
+model.layers.1.self_attn.q_proj: 3
+model.layers.2.self_attn.o_proj: 4
+model.layers.2.self_attn.q_proj: 4
+model.layers.3.self_attn.o_proj: 4
+model.layers.3.self_attn.q_proj: 4
+model.layers.4.self_attn.o_proj: 4
+model.layers.4.self_attn.q_proj: 4
+model.layers.5.self_attn.o_proj: 3
+model.layers.5.self_attn.q_proj: 4
+model.layers.6.self_attn.o_proj: 3
+model.layers.6.self_attn.q_proj: 4
+model.layers.7.self_attn.o_proj: 4
+model.layers.7.self_attn.q_proj: 4
+model.layers.8.self_attn.o_proj: 6
+model.layers.8.self_attn.q_proj: 3
+model.layers.9.self_attn.o_proj: 4
+model.layers.9.self_attn.q_proj: 4
+model.layers.10.self_attn.o_proj: 4
+model.layers.10.self_attn.q_proj: 4
+model.layers.11.self_attn.o_proj: 3
+model.layers.11.self_attn.q_proj: 4
+model.layers.12.self_attn.o_proj: 4
+model.layers.12.self_attn.q_proj: 4
+model.layers.13.self_attn.o_proj: 8
+model.layers.13.self_attn.q_proj: 4
+model.layers.14.self_attn.o_proj: 4
+model.layers.14.self_attn.q_proj: 4
+model.layers.15.self_attn.o_proj: 4
+model.layers.15.self_attn.q_proj: 3
+model.layers.16.self_attn.o_proj: 3
+model.layers.16.self_attn.q_proj: 4
+model.layers.17.self_attn.o_proj: 3
+model.layers.17.self_attn.q_proj: 3
+model.layers.18.self_attn.o_proj: 3
+model.layers.18.self_attn.q_proj: 3
+model.layers.19.self_attn.o_proj: 3
+model.layers.19.self_attn.q_proj: 3
+model.layers.20.self_attn.o_proj: 3
+model.layers.20.self_attn.q_proj: 3
+model.layers.21.self_attn.o_proj: 3
+model.layers.21.self_attn.q_proj: 3
+model.layers.22.self_attn.o_proj: 3
+model.layers.22.self_attn.q_proj: 3
+model.layers.23.self_attn.o_proj: 4
+model.layers.23.self_attn.q_proj: 3
+model.layers.24.self_attn.o_proj: 3
+model.layers.24.self_attn.q_proj: 3
+model.layers.25.self_attn.o_proj: 4
+model.layers.25.self_attn.q_proj: 3
+model.layers.26.self_attn.o_proj: 3
+model.layers.26.self_attn.q_proj: 4
+model.layers.27.self_attn.o_proj: 3
+model.layers.27.self_attn.q_proj: 3
+model.layers.28.self_attn.o_proj: 3
+model.layers.28.self_attn.q_proj: 3
+model.layers.29.self_attn.o_proj: 4
+model.layers.29.self_attn.q_proj: 4
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 4
+model.layers.31.self_attn.o_proj: 3
+model.layers.31.self_attn.q_proj: 3

evo-kl-configuration-3.75-v2.txt

@@ -0,0 +1,224 @@
+model.layers.0.mlp.down_proj: 4
+model.layers.0.mlp.gate_proj: 3
+model.layers.0.mlp.up_proj: 4
+model.layers.1.mlp.down_proj: 4
+model.layers.1.mlp.gate_proj: 4
+model.layers.1.mlp.up_proj: 4
+model.layers.2.mlp.down_proj: 4
+model.layers.2.mlp.gate_proj: 4
+model.layers.2.mlp.up_proj: 4
+model.layers.3.mlp.down_proj: 4
+model.layers.3.mlp.gate_proj: 3
+model.layers.3.mlp.up_proj: 4
+model.layers.4.mlp.down_proj: 4
+model.layers.4.mlp.gate_proj: 3
+model.layers.4.mlp.up_proj: 4
+model.layers.5.mlp.down_proj: 4
+model.layers.5.mlp.gate_proj: 3
+model.layers.5.mlp.up_proj: 4
+model.layers.6.mlp.down_proj: 4
+model.layers.6.mlp.gate_proj: 3
+model.layers.6.mlp.up_proj: 4
+model.layers.7.mlp.down_proj: 4
+model.layers.7.mlp.gate_proj: 3
+model.layers.7.mlp.up_proj: 4
+model.layers.8.mlp.down_proj: 4
+model.layers.8.mlp.gate_proj: 3
+model.layers.8.mlp.up_proj: 4
+model.layers.9.mlp.down_proj: 3
+model.layers.9.mlp.gate_proj: 3
+model.layers.9.mlp.up_proj: 4
+model.layers.10.mlp.down_proj: 3
+model.layers.10.mlp.gate_proj: 3
+model.layers.10.mlp.up_proj: 3
+model.layers.11.mlp.down_proj: 4
+model.layers.11.mlp.gate_proj: 4
+model.layers.11.mlp.up_proj: 3
+model.layers.12.mlp.down_proj: 4
+model.layers.12.mlp.gate_proj: 4
+model.layers.12.mlp.up_proj: 4
+model.layers.13.mlp.down_proj: 4
+model.layers.13.mlp.gate_proj: 4
+model.layers.13.mlp.up_proj: 4
+model.layers.14.mlp.down_proj: 4
+model.layers.14.mlp.gate_proj: 3
+model.layers.14.mlp.up_proj: 4
+model.layers.15.mlp.down_proj: 4
+model.layers.15.mlp.gate_proj: 3
+model.layers.15.mlp.up_proj: 3
+model.layers.16.mlp.down_proj: 4
+model.layers.16.mlp.gate_proj: 3
+model.layers.16.mlp.up_proj: 4
+model.layers.17.mlp.down_proj: 4
+model.layers.17.mlp.gate_proj: 4
+model.layers.17.mlp.up_proj: 4
+model.layers.18.mlp.down_proj: 4
+model.layers.18.mlp.gate_proj: 4
+model.layers.18.mlp.up_proj: 4
+model.layers.19.mlp.down_proj: 4
+model.layers.19.mlp.gate_proj: 4
+model.layers.19.mlp.up_proj: 4
+model.layers.20.mlp.down_proj: 4
+model.layers.20.mlp.gate_proj: 4
+model.layers.20.mlp.up_proj: 4
+model.layers.21.mlp.down_proj: 4
+model.layers.21.mlp.gate_proj: 3
+model.layers.21.mlp.up_proj: 4
+model.layers.22.mlp.down_proj: 4
+model.layers.22.mlp.gate_proj: 4
+model.layers.22.mlp.up_proj: 4
+model.layers.23.mlp.down_proj: 4
+model.layers.23.mlp.gate_proj: 4
+model.layers.23.mlp.up_proj: 4
+model.layers.24.mlp.down_proj: 3
+model.layers.24.mlp.gate_proj: 4
+model.layers.24.mlp.up_proj: 4
+model.layers.25.mlp.down_proj: 4
+model.layers.25.mlp.gate_proj: 3
+model.layers.25.mlp.up_proj: 3
+model.layers.26.mlp.down_proj: 3
+model.layers.26.mlp.gate_proj: 3
+model.layers.26.mlp.up_proj: 4
+model.layers.27.mlp.down_proj: 3
+model.layers.27.mlp.gate_proj: 4
+model.layers.27.mlp.up_proj: 4
+model.layers.28.mlp.down_proj: 4
+model.layers.28.mlp.gate_proj: 3
+model.layers.28.mlp.up_proj: 3
+model.layers.29.mlp.down_proj: 4
+model.layers.29.mlp.gate_proj: 4
+model.layers.29.mlp.up_proj: 3
+model.layers.30.mlp.down_proj: 4
+model.layers.30.mlp.gate_proj: 4
+model.layers.30.mlp.up_proj: 4
+model.layers.31.mlp.down_proj: 4
+model.layers.31.mlp.gate_proj: 4
+model.layers.31.mlp.up_proj: 4
+model.layers.0.self_attn.k_proj: 4
+model.layers.0.self_attn.v_proj: 6
+model.layers.1.self_attn.k_proj: 3
+model.layers.1.self_attn.v_proj: 8
+model.layers.2.self_attn.k_proj: 4
+model.layers.2.self_attn.v_proj: 4
+model.layers.3.self_attn.k_proj: 4
+model.layers.3.self_attn.v_proj: 6
+model.layers.4.self_attn.k_proj: 3
+model.layers.4.self_attn.v_proj: 4
+model.layers.5.self_attn.k_proj: 4
+model.layers.5.self_attn.v_proj: 3
+model.layers.6.self_attn.k_proj: 4
+model.layers.6.self_attn.v_proj: 4
+model.layers.7.self_attn.k_proj: 4
+model.layers.7.self_attn.v_proj: 4
+model.layers.8.self_attn.k_proj: 6
+model.layers.8.self_attn.v_proj: 3
+model.layers.9.self_attn.k_proj: 6
+model.layers.9.self_attn.v_proj: 4
+model.layers.10.self_attn.k_proj: 4
+model.layers.10.self_attn.v_proj: 3
+model.layers.11.self_attn.k_proj: 4
+model.layers.11.self_attn.v_proj: 4
+model.layers.12.self_attn.k_proj: 4
+model.layers.12.self_attn.v_proj: 4
+model.layers.13.self_attn.k_proj: 4
+model.layers.13.self_attn.v_proj: 3
+model.layers.14.self_attn.k_proj: 3
+model.layers.14.self_attn.v_proj: 6
+model.layers.15.self_attn.k_proj: 4
+model.layers.15.self_attn.v_proj: 6
+model.layers.16.self_attn.k_proj: 4
+model.layers.16.self_attn.v_proj: 6
+model.layers.17.self_attn.k_proj: 4
+model.layers.17.self_attn.v_proj: 3
+model.layers.18.self_attn.k_proj: 3
+model.layers.18.self_attn.v_proj: 4
+model.layers.19.self_attn.k_proj: 4
+model.layers.19.self_attn.v_proj: 3
+model.layers.20.self_attn.k_proj: 3
+model.layers.20.self_attn.v_proj: 6
+model.layers.21.self_attn.k_proj: 3
+model.layers.21.self_attn.v_proj: 4
+model.layers.22.self_attn.k_proj: 3
+model.layers.22.self_attn.v_proj: 3
+model.layers.23.self_attn.k_proj: 3
+model.layers.23.self_attn.v_proj: 3
+model.layers.24.self_attn.k_proj: 4
+model.layers.24.self_attn.v_proj: 3
+model.layers.25.self_attn.k_proj: 4
+model.layers.25.self_attn.v_proj: 3
+model.layers.26.self_attn.k_proj: 3
+model.layers.26.self_attn.v_proj: 3
+model.layers.27.self_attn.k_proj: 3
+model.layers.27.self_attn.v_proj: 4
+model.layers.28.self_attn.k_proj: 4
+model.layers.28.self_attn.v_proj: 4
+model.layers.29.self_attn.k_proj: 3
+model.layers.29.self_attn.v_proj: 4
+model.layers.30.self_attn.k_proj: 3
+model.layers.30.self_attn.v_proj: 3
+model.layers.31.self_attn.k_proj: 3
+model.layers.31.self_attn.v_proj: 4
+model.layers.0.self_attn.o_proj: 4
+model.layers.0.self_attn.q_proj: 3
+model.layers.1.self_attn.o_proj: 4
+model.layers.1.self_attn.q_proj: 4
+model.layers.2.self_attn.o_proj: 4
+model.layers.2.self_attn.q_proj: 4
+model.layers.3.self_attn.o_proj: 3
+model.layers.3.self_attn.q_proj: 4
+model.layers.4.self_attn.o_proj: 4
+model.layers.4.self_attn.q_proj: 4
+model.layers.5.self_attn.o_proj: 4
+model.layers.5.self_attn.q_proj: 4
+model.layers.6.self_attn.o_proj: 4
+model.layers.6.self_attn.q_proj: 3
+model.layers.7.self_attn.o_proj: 4
+model.layers.7.self_attn.q_proj: 4
+model.layers.8.self_attn.o_proj: 4
+model.layers.8.self_attn.q_proj: 4
+model.layers.9.self_attn.o_proj: 6
+model.layers.9.self_attn.q_proj: 4
+model.layers.10.self_attn.o_proj: 4
+model.layers.10.self_attn.q_proj: 4
+model.layers.11.self_attn.o_proj: 4
+model.layers.11.self_attn.q_proj: 4
+model.layers.12.self_attn.o_proj: 4
+model.layers.12.self_attn.q_proj: 4
+model.layers.13.self_attn.o_proj: 4
+model.layers.13.self_attn.q_proj: 4
+model.layers.14.self_attn.o_proj: 4
+model.layers.14.self_attn.q_proj: 6
+model.layers.15.self_attn.o_proj: 4
+model.layers.15.self_attn.q_proj: 6
+model.layers.16.self_attn.o_proj: 6
+model.layers.16.self_attn.q_proj: 4
+model.layers.17.self_attn.o_proj: 4
+model.layers.17.self_attn.q_proj: 3
+model.layers.18.self_attn.o_proj: 4
+model.layers.18.self_attn.q_proj: 4
+model.layers.19.self_attn.o_proj: 3
+model.layers.19.self_attn.q_proj: 4
+model.layers.20.self_attn.o_proj: 4
+model.layers.20.self_attn.q_proj: 3
+model.layers.21.self_attn.o_proj: 3
+model.layers.21.self_attn.q_proj: 4
+model.layers.22.self_attn.o_proj: 3
+model.layers.22.self_attn.q_proj: 4
+model.layers.23.self_attn.o_proj: 3
+model.layers.23.self_attn.q_proj: 3
+model.layers.24.self_attn.o_proj: 3
+model.layers.24.self_attn.q_proj: 3
+model.layers.25.self_attn.o_proj: 4
+model.layers.25.self_attn.q_proj: 3
+model.layers.26.self_attn.o_proj: 4
+model.layers.26.self_attn.q_proj: 3
+model.layers.27.self_attn.o_proj: 3
+model.layers.27.self_attn.q_proj: 3
+model.layers.28.self_attn.o_proj: 3
+model.layers.28.self_attn.q_proj: 4
+model.layers.29.self_attn.o_proj: 4
+model.layers.29.self_attn.q_proj: 4
+model.layers.30.self_attn.o_proj: 3
+model.layers.30.self_attn.q_proj: 3
+model.layers.31.self_attn.o_proj: 4
+model.layers.31.self_attn.q_proj: 4

model.layers.0.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ad6aa9e4b39941e4e390b0957c5b4614e3e36f577d4b0be4eb05dfa121219159
+size 60556799

model.layers.0.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d3a87ff8c119c3a45703c2ca10a1d23158fb6172acabc37b6afea6a75affbc9f
+size 60556799

model.layers.0.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ef91108126e433801c55ec845d801b1f510e0e5b3612c5c73da2f358d9debcea
+size 60556799

model.layers.0.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:69219628c4e06ef22ee516f0744f3c845b5eb2ef6b19e0566488d9dcda6beffb
+size 4326911

model.layers.0.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d25cd01037f67475ac9cfc02f79316cb734ad6315f3735cdab8dcb00df710f86
+size 17303039

model.layers.0.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fc37d678f205dc7572d5b45ea003564766621bc1d5e2d8991a2166bec541bbb7
+size 17303039

model.layers.0.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4136b4f26f55f90133ffe450df9061d8cc929451a81e2e5ba327ca9fd15610a2
+size 4326911

model.layers.1.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8f8506138944972ce1ce86e2874ed5b48043db3e916c29200640fc58cc9f1f80
+size 60556799

model.layers.1.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:28bc549fc51bde6275acc36d6a383334dfa48d6df621dfbf3a451729e2297550
+size 60556799

model.layers.1.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:613cef1546c328228b2a3a7bdca0bb47ae61a1d8c37d865bc64f8a52ff82171e
+size 60556799

model.layers.1.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dd28c601bed4c42b9ba24e8ee3ef6f5845595645cb0698f64497b022677109f2
+size 4326911

model.layers.1.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3b3688c5140990d724b46fbc97ada1ade768f02c507d527fba0df105aa17c13c
+size 17303039

model.layers.1.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:eaad8244238fe5b18dff2a7ac969e8f1dbd5df412f929d51ffa60979326317b5
+size 17303039

model.layers.1.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b7df87f6c9eb0ae98529beb7dc1373e468867e1687e9060edbcf0b7e8b79982f
+size 4326911

model.layers.10.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:243c19abfa02999c1d2ad49aa7dce2522417b4d8e16ecef2e8f32060abf6278a
+size 60556799

model.layers.10.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ae86a1ac47c33ef20bbe828a112714843d5dec5be9f6b7f673fd693f13048578
+size 60556799

model.layers.10.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e33cb27b2264cdf9422b7b7ab00b7ed0a6ae965e586bf7bda4249ba290c0f91f
+size 60556799

model.layers.10.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:86677d3fa841674e0e79186783efb7e060c7b6f65412f56545dd4320879c569b
+size 4326911

model.layers.10.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:308dbe77986e4f695c80b2ce5410a772916af810532ae7d5270bbdf72812b6b3
+size 17303039

model.layers.10.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:50b6baff34468e1bc0b26c01dfb276c7ed2feb3b104f1e9af8d009356f883bf6
+size 17303039

model.layers.10.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:18e4f4c879f587f50e6fd2f209f994fb5bfb347bf1acd21e3dd111cd824ea0ff
+size 4326911

model.layers.11.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:be3ed2fc6a78c20913e7610df54a2c17c6fe163257529205530a62db6f5219e6
+size 60556799

model.layers.11.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6da931c576c895e1a56e421c13a550306eebd531b93fb6a5e3be2342da7b531c
+size 60556799

model.layers.11.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cf34c29def6ea4d8164ab23fd6292ef3524e80bbb416fd66e56531343f93aede
+size 60556799

model.layers.11.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e61e19a09eafc2326c9b9645bb1ad51495607278aa8e276ca98da256ccd1adc7
+size 4326911

model.layers.11.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c38d8e5e656603a2dbb983a2686cdad46212723ba784b778b83b824df5a6e55
+size 17303039

model.layers.11.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ec66fa51b9bd8df856565a07a648a93b37700ea0151f2b45a68194b4bdf857cd
+size 17303039

model.layers.11.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a458551e4f3e02f05a8f1af0659332235c68c065903be4288800a395b97447e0
+size 4326911

model.layers.12.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:63c76878012a75b2861349157727dbdad88c8970663f37115b116c2d61430b82
+size 60556799

model.layers.12.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09f3cb4e9357e8cb2507126857b7c63fd06b793181e9b44e56c167b22782a741
+size 60556799

model.layers.12.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3c3cacd78883f82e9676a6d62a574a39a65d8459354aa1b08cde24e636470224
+size 60556799

model.layers.12.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ce15c46f5e7a65d351a14ff288ec70c51c873c4ab050e4ccc81f2e44ed1651a4
+size 4326911

model.layers.12.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f9d1a16eb11665a8cfc46b448ff209cd8aa3e40191e52693b84e7d4bea9f6e0e
+size 17303039

model.layers.12.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7cef05f7c22632f5af5e120700891d4f3480b6cfd7321d27bb5e27d764936923
+size 17303039

model.layers.12.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6f5d93830d5d103f9089ebcd7fe12a937341944e018d13263acd971404f16fb4
+size 4326911

model.layers.13.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:21285378eb6996927308669a95117cd7d695dd8fcd5ae5169eb1696ae180682f
+size 60556799

model.layers.13.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e6f44023613bc05892cd189615b29371a0ff987f5b1da45ff8b7f175b5ca98d7
+size 60556799

model.layers.13.mlp.up_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c18145b24457bc01e766b3c32edae9d3dd73733891a9888212682d8c3a2007d
+size 60556799

model.layers.13.self_attn.k_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:588f53f9d02bd00c739e70d42c93d8a483e83e713af60e3ac51a386537a690c4
+size 4326911

model.layers.13.self_attn.o_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:adfdeba39e52806bf0ce4f42e0216ca19ad306b5b89e267dfb5d0618712fab79
+size 17303039

model.layers.13.self_attn.q_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ab47c49f09963f5e43777386186791d3f4b269b6f709329ec4fe1b16bd28bd7d
+size 17303039

model.layers.13.self_attn.v_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d548dcbde5cda08a6ae29c4d42c5fdbcba27090821ad99462982391cf557f6ef
+size 4326911

model.layers.14.mlp.down_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7f64d63e1e5a09f17838fe81206e115a01417c75758587314cdd5e7f67b27085
+size 60556799

model.layers.14.mlp.gate_proj/data.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ff0ff883c0324cb5157be7aec14cfbc0810b6752fc966222cbf2de97d0f73e52
+size 60556799