Delete files missing locally

Llama-3.1-8B-Instruct/ll_bsearch_kl0.01_sha_bw5.31_4-5-6-7-8bit/quantization_config.txt

@@ -1,252 +0,0 @@
-# Model: meta-llama/Llama-3.1-8B-Instruct
-# Layer directory: /nfs/scistore19/alistgrp/mhelcig/local/data/search/4_5_6_7_8bit_asym_g128/Llama-3.1-8B-Instruct/6bit/
-# Sensitivity method: shapley
-# Estimation method: permutation_separate
-# Available bitwidths: [4, 5, 6, 7, 8]
-# Bitwidth map: {4: 4.3125, 5: 5.3125, 6: 6.3125, 7: 7.3125, 8: 8.3125}
-#
-# Mode: binary_search_constraint
-# Constraint max_kl: 0.01
-# Weights: nll=0.0, kl=0.0, eap=1.0
-#
-# Average bitwidth: 5.3125
-# Total params: 6979321856
-# Total bits: 37077647360
-# Final KL: 0.009869
-# Final EAP: 0.965837
-# Final ETL: 0.034163
-# Satisfies constraints: True
-# Solver calls: 6
-# Evaluations: 6
-#
-# Bitwidth distribution:
-#   8-bit: 60 layers (26.8%)
-#   7-bit: 10 layers (4.5%)
-#   6-bit: 44 layers (19.6%)
-#   5-bit: 77 layers (34.4%)
-#   4-bit: 33 layers (14.7%)
-#
-model.layers.0.self_attn.q_proj: 6
-model.layers.0.self_attn.k_proj: 7
-model.layers.0.self_attn.v_proj: 7
-model.layers.0.self_attn.o_proj: 5
-model.layers.0.mlp.gate_proj: 4
-model.layers.0.mlp.up_proj: 4
-model.layers.0.mlp.down_proj: 5
-model.layers.1.self_attn.q_proj: 7
-model.layers.1.self_attn.k_proj: 8
-model.layers.1.self_attn.v_proj: 8
-model.layers.1.self_attn.o_proj: 6
-model.layers.1.mlp.gate_proj: 5
-model.layers.1.mlp.up_proj: 5
-model.layers.1.mlp.down_proj: 7
-model.layers.2.self_attn.q_proj: 7
-model.layers.2.self_attn.k_proj: 8
-model.layers.2.self_attn.v_proj: 8
-model.layers.2.self_attn.o_proj: 5
-model.layers.2.mlp.gate_proj: 5
-model.layers.2.mlp.up_proj: 5
-model.layers.2.mlp.down_proj: 4
-model.layers.3.self_attn.q_proj: 6
-model.layers.3.self_attn.k_proj: 8
-model.layers.3.self_attn.v_proj: 8
-model.layers.3.self_attn.o_proj: 6
-model.layers.3.mlp.gate_proj: 5
-model.layers.3.mlp.up_proj: 5
-model.layers.3.mlp.down_proj: 5
-model.layers.4.self_attn.q_proj: 6
-model.layers.4.self_attn.k_proj: 8
-model.layers.4.self_attn.v_proj: 8
-model.layers.4.self_attn.o_proj: 6
-model.layers.4.mlp.gate_proj: 5
-model.layers.4.mlp.up_proj: 5
-model.layers.4.mlp.down_proj: 4
-model.layers.5.self_attn.q_proj: 6
-model.layers.5.self_attn.k_proj: 7
-model.layers.5.self_attn.v_proj: 7
-model.layers.5.self_attn.o_proj: 5
-model.layers.5.mlp.gate_proj: 5
-model.layers.5.mlp.up_proj: 5
-model.layers.5.mlp.down_proj: 4
-model.layers.6.self_attn.q_proj: 6
-model.layers.6.self_attn.k_proj: 8
-model.layers.6.self_attn.v_proj: 8
-model.layers.6.self_attn.o_proj: 6
-model.layers.6.mlp.gate_proj: 5
-model.layers.6.mlp.up_proj: 5
-model.layers.6.mlp.down_proj: 5
-model.layers.7.self_attn.q_proj: 6
-model.layers.7.self_attn.k_proj: 8
-model.layers.7.self_attn.v_proj: 8
-model.layers.7.self_attn.o_proj: 6
-model.layers.7.mlp.gate_proj: 5
-model.layers.7.mlp.up_proj: 5
-model.layers.7.mlp.down_proj: 4
-model.layers.8.self_attn.q_proj: 6
-model.layers.8.self_attn.k_proj: 8
-model.layers.8.self_attn.v_proj: 8
-model.layers.8.self_attn.o_proj: 6
-model.layers.8.mlp.gate_proj: 5
-model.layers.8.mlp.up_proj: 5
-model.layers.8.mlp.down_proj: 4
-model.layers.9.self_attn.q_proj: 7
-model.layers.9.self_attn.k_proj: 8
-model.layers.9.self_attn.v_proj: 8
-model.layers.9.self_attn.o_proj: 6
-model.layers.9.mlp.gate_proj: 4
-model.layers.9.mlp.up_proj: 4
-model.layers.9.mlp.down_proj: 4
-model.layers.10.self_attn.q_proj: 6
-model.layers.10.self_attn.k_proj: 8
-model.layers.10.self_attn.v_proj: 8
-model.layers.10.self_attn.o_proj: 6
-model.layers.10.mlp.gate_proj: 5
-model.layers.10.mlp.up_proj: 5
-model.layers.10.mlp.down_proj: 4
-model.layers.11.self_attn.q_proj: 6
-model.layers.11.self_attn.k_proj: 8
-model.layers.11.self_attn.v_proj: 8
-model.layers.11.self_attn.o_proj: 6
-model.layers.11.mlp.gate_proj: 5
-model.layers.11.mlp.up_proj: 5
-model.layers.11.mlp.down_proj: 4
-model.layers.12.self_attn.q_proj: 6
-model.layers.12.self_attn.k_proj: 8
-model.layers.12.self_attn.v_proj: 8
-model.layers.12.self_attn.o_proj: 6
-model.layers.12.mlp.gate_proj: 4
-model.layers.12.mlp.up_proj: 4
-model.layers.12.mlp.down_proj: 4
-model.layers.13.self_attn.q_proj: 6
-model.layers.13.self_attn.k_proj: 8
-model.layers.13.self_attn.v_proj: 8
-model.layers.13.self_attn.o_proj: 5
-model.layers.13.mlp.gate_proj: 4
-model.layers.13.mlp.up_proj: 4
-model.layers.13.mlp.down_proj: 5
-model.layers.14.self_attn.q_proj: 7
-model.layers.14.self_attn.k_proj: 8
-model.layers.14.self_attn.v_proj: 8
-model.layers.14.self_attn.o_proj: 6
-model.layers.14.mlp.gate_proj: 5
-model.layers.14.mlp.up_proj: 5
-model.layers.14.mlp.down_proj: 5
-model.layers.15.self_attn.q_proj: 7
-model.layers.15.self_attn.k_proj: 8
-model.layers.15.self_attn.v_proj: 8
-model.layers.15.self_attn.o_proj: 5
-model.layers.15.mlp.gate_proj: 5
-model.layers.15.mlp.up_proj: 5
-model.layers.15.mlp.down_proj: 5
-model.layers.16.self_attn.q_proj: 6
-model.layers.16.self_attn.k_proj: 8
-model.layers.16.self_attn.v_proj: 8
-model.layers.16.self_attn.o_proj: 6
-model.layers.16.mlp.gate_proj: 5
-model.layers.16.mlp.up_proj: 5
-model.layers.16.mlp.down_proj: 4
-model.layers.17.self_attn.q_proj: 6
-model.layers.17.self_attn.k_proj: 8
-model.layers.17.self_attn.v_proj: 8
-model.layers.17.self_attn.o_proj: 6
-model.layers.17.mlp.gate_proj: 5
-model.layers.17.mlp.up_proj: 5
-model.layers.17.mlp.down_proj: 5
-model.layers.18.self_attn.q_proj: 6
-model.layers.18.self_attn.k_proj: 8
-model.layers.18.self_attn.v_proj: 8
-model.layers.18.self_attn.o_proj: 6
-model.layers.18.mlp.gate_proj: 5
-model.layers.18.mlp.up_proj: 5
-model.layers.18.mlp.down_proj: 5
-model.layers.19.self_attn.q_proj: 6
-model.layers.19.self_attn.k_proj: 8
-model.layers.19.self_attn.v_proj: 8
-model.layers.19.self_attn.o_proj: 5
-model.layers.19.mlp.gate_proj: 5
-model.layers.19.mlp.up_proj: 5
-model.layers.19.mlp.down_proj: 4
-model.layers.20.self_attn.q_proj: 6
-model.layers.20.self_attn.k_proj: 8
-model.layers.20.self_attn.v_proj: 8
-model.layers.20.self_attn.o_proj: 5
-model.layers.20.mlp.gate_proj: 5
-model.layers.20.mlp.up_proj: 5
-model.layers.20.mlp.down_proj: 5
-model.layers.21.self_attn.q_proj: 6
-model.layers.21.self_attn.k_proj: 8
-model.layers.21.self_attn.v_proj: 8
-model.layers.21.self_attn.o_proj: 5
-model.layers.21.mlp.gate_proj: 4
-model.layers.21.mlp.up_proj: 4
-model.layers.21.mlp.down_proj: 5
-model.layers.22.self_attn.q_proj: 6
-model.layers.22.self_attn.k_proj: 8
-model.layers.22.self_attn.v_proj: 8
-model.layers.22.self_attn.o_proj: 5
-model.layers.22.mlp.gate_proj: 5
-model.layers.22.mlp.up_proj: 5
-model.layers.22.mlp.down_proj: 5
-model.layers.23.self_attn.q_proj: 6
-model.layers.23.self_attn.k_proj: 8
-model.layers.23.self_attn.v_proj: 8
-model.layers.23.self_attn.o_proj: 5
-model.layers.23.mlp.gate_proj: 5
-model.layers.23.mlp.up_proj: 5
-model.layers.23.mlp.down_proj: 4
-model.layers.24.self_attn.q_proj: 6
-model.layers.24.self_attn.k_proj: 8
-model.layers.24.self_attn.v_proj: 8
-model.layers.24.self_attn.o_proj: 5
-model.layers.24.mlp.gate_proj: 5
-model.layers.24.mlp.up_proj: 5
-model.layers.24.mlp.down_proj: 4
-model.layers.25.self_attn.q_proj: 6
-model.layers.25.self_attn.k_proj: 8
-model.layers.25.self_attn.v_proj: 8
-model.layers.25.self_attn.o_proj: 5
-model.layers.25.mlp.gate_proj: 4
-model.layers.25.mlp.up_proj: 4
-model.layers.25.mlp.down_proj: 4
-model.layers.26.self_attn.q_proj: 6
-model.layers.26.self_attn.k_proj: 8
-model.layers.26.self_attn.v_proj: 8
-model.layers.26.self_attn.o_proj: 5
-model.layers.26.mlp.gate_proj: 5
-model.layers.26.mlp.up_proj: 5
-model.layers.26.mlp.down_proj: 4
-model.layers.27.self_attn.q_proj: 6
-model.layers.27.self_attn.k_proj: 8
-model.layers.27.self_attn.v_proj: 8
-model.layers.27.self_attn.o_proj: 5
-model.layers.27.mlp.gate_proj: 5
-model.layers.27.mlp.up_proj: 5
-model.layers.27.mlp.down_proj: 4
-model.layers.28.self_attn.q_proj: 6
-model.layers.28.self_attn.k_proj: 8
-model.layers.28.self_attn.v_proj: 8
-model.layers.28.self_attn.o_proj: 5
-model.layers.28.mlp.gate_proj: 4
-model.layers.28.mlp.up_proj: 4
-model.layers.28.mlp.down_proj: 4
-model.layers.29.self_attn.q_proj: 6
-model.layers.29.self_attn.k_proj: 8
-model.layers.29.self_attn.v_proj: 8
-model.layers.29.self_attn.o_proj: 5
-model.layers.29.mlp.gate_proj: 5
-model.layers.29.mlp.up_proj: 5
-model.layers.29.mlp.down_proj: 4
-model.layers.30.self_attn.q_proj: 6
-model.layers.30.self_attn.k_proj: 8
-model.layers.30.self_attn.v_proj: 8
-model.layers.30.self_attn.o_proj: 5
-model.layers.30.mlp.gate_proj: 5
-model.layers.30.mlp.up_proj: 5
-model.layers.30.mlp.down_proj: 4
-model.layers.31.self_attn.q_proj: 6
-model.layers.31.self_attn.k_proj: 8
-model.layers.31.self_attn.v_proj: 8
-model.layers.31.self_attn.o_proj: 5
-model.layers.31.mlp.gate_proj: 6
-model.layers.31.mlp.up_proj: 6
-model.layers.31.mlp.down_proj: 6