| [2026-02-12 03:54:19,150] [WARNING] [py.warnings._showwarnmsg:110] [PID:6928] /root/axolotl/.venv/lib/python3.12/site-packages/torch/distributed/distributed_c10d.py:4807: UserWarning: No device id is provided via `init_process_group` or `barrier `. Using the current device set by the user. | |
| warnings.warn( # warn only once | |
| [2026-02-12 03:54:22,709] [WARNING] [huggingface_hub.utils._http._warn_on_warning_headers:779] [PID:6928] Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads. | |
| Downloading (incomplete total...): 0.00B [00:00, ?B/s] | |
| Fetching 6 files: 0%| | 0/6 [00:00<?, ?it/s][A | |
| Fetching 6 files: 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 5/6 [00:10<00:02, 2.19s/it][A Fetching 6 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6/6 [00:10<00:00, 1.83s/it] | |
| Download complete: : 0.00B [00:10, ?B/s] Download complete: : 0.00B [00:11, ?B/s] | |
| Loading weights: 0%| | 0/363 [00:00<?, ?it/s] Loading weights: 0%|▎ | 1/363 [00:00<00:00, 4032.98it/s, Materializing param=lm_head.weight] Loading weights: 0%|▎ | 1/363 [00:00<00:00, 1735.33it/s, Materializing param=lm_head.weight] Loading weights: 1%|▌ | 2/363 [00:00<00:00, 1862.89it/s, Materializing param=model.embed_tokens.weight] Loading weights: 1%|▌ | 2/363 [00:00<00:00, 1465.77it/s, Materializing param=model.embed_tokens.weight] Loading weights: 1%|▊ | 3/363 [00:00<00:00, 1616.93it/s, Materializing param=model.layers.0.input_layernorm.weight] Loading weights: 1%|▊ | 3/363 [00:00<00:00, 1352.27it/s, Materializing param=model.layers.0.input_layernorm.weight] Loading weights: 1%|█ | 4/363 [00:00<00:00, 1455.47it/s, Materializing param=model.layers.0.mlp.down_proj.weight] Loading weights: 1%|█ | 4/363 [00:00<00:00, 1301.16it/s, Materializing param=model.layers.0.mlp.down_proj.weight] Loading weights: 1%|█▎ | 5/363 [00:00<00:00, 1360.73it/s, Materializing param=model.layers.0.mlp.gate_proj.weight] Loading weights: 1%|█▎ | 5/363 [00:00<00:00, 1171.72it/s, Materializing param=model.layers.0.mlp.gate_proj.weight] Loading weights: 2%|█▋ | 6/363 [00:00<00:00, 1240.55it/s, Materializing param=model.layers.0.mlp.up_proj.weight] Loading weights: 2%|█▋ | 6/363 [00:00<00:00, 1150.65it/s, Materializing param=model.layers.0.mlp.up_proj.weight] Loading weights: 2%|█▋ | 7/363 [00:00<00:00, 1202.25it/s, Materializing param=model.layers.0.post_attention_layernorm.weight] Loading weights: 2%|█▋ | 7/363 [00:00<00:00, 1108.14it/s, Materializing param=model.layers.0.post_attention_layernorm.weight] Loading weights: 2%|██ | 8/363 [00:00<00:00, 1136.28it/s, Materializing param=model.layers.0.self_attn.k_proj.weight] Loading weights: 2%|██ | 8/363 [00:00<00:00, 1063.60it/s, Materializing param=model.layers.0.self_attn.k_proj.weight] Loading weights: 2%|██▎ | 9/363 [00:00<00:00, 1100.67it/s, Materializing param=model.layers.0.self_attn.o_proj.weight] Loading weights: 2%|██▎ | 9/363 [00:00<00:00, 1041.95it/s, Materializing param=model.layers.0.self_attn.o_proj.weight] Loading weights: 3%|██▌ | 10/363 [00:00<00:00, 1087.28it/s, Materializing param=model.layers.0.self_attn.q_proj.weight] Loading weights: 3%|██▌ | 10/363 [00:00<00:00, 1046.61it/s, Materializing param=model.layers.0.self_attn.q_proj.weight] Loading weights: 3%|██▊ | 11/363 [00:00<00:00, 1087.58it/s, Materializing param=model.layers.0.self_attn.v_proj.weight] Loading weights: 3%|██▊ | 11/363 [00:00<00:00, 1037.05it/s, Materializing param=model.layers.0.self_attn.v_proj.weight] Loading weights: 3%|███ | 12/363 [00:00<00:00, 1049.30it/s, Materializing param=model.layers.1.input_layernorm.weight] Loading weights: 3%|███ | 12/363 [00:00<00:00, 1019.85it/s, Materializing param=model.layers.1.input_layernorm.weight] Loading weights: 4%|███▍ | 13/363 [00:00<00:00, 1061.99it/s, Materializing param=model.layers.1.mlp.down_proj.weight] Loading weights: 4%|███▍ | 13/363 [00:00<00:00, 1034.28it/s, Materializing param=model.layers.1.mlp.down_proj.weight] Loading weights: 4%|███▋ | 14/363 [00:00<00:00, 1073.79it/s, Materializing param=model.layers.1.mlp.gate_proj.weight] Loading weights: 4%|███▋ | 14/363 [00:00<00:00, 1048.35it/s, Materializing param=model.layers.1.mlp.gate_proj.weight] Loading weights: 4%|████ | 15/363 [00:00<00:00, 1078.10it/s, Materializing param=model.layers.1.mlp.up_proj.weight] Loading weights: 4%|████ | 15/363 [00:00<00:00, 979.03it/s, Materializing param=model.layers.1.mlp.up_proj.weight] Loading weights: 4%|███▊ | 16/363 [00:00<00:00, 997.40it/s, Materializing param=model.layers.1.post_attention_layernorm.weight] Loading weights: 4%|███▊ | 16/363 [00:00<00:00, 975.52it/s, Materializing param=model.layers.1.post_attention_layernorm.weight] Loading weights: 5%|████▎ | 17/363 [00:00<00:00, 1003.63it/s, Materializing param=model.layers.1.self_attn.k_proj.weight] Loading weights: 5%|████▍ | 17/363 [00:00<00:00, 984.95it/s, Materializing param=model.layers.1.self_attn.k_proj.weight] Loading weights: 5%|████▌ | 18/363 [00:00<00:00, 1010.46it/s, Materializing param=model.layers.1.self_attn.o_proj.weight] Loading weights: 5%|████▋ | 18/363 [00:00<00:00, 992.38it/s, Materializing param=model.layers.1.self_attn.o_proj.weight] Loading weights: 5%|████▊ | 19/363 [00:00<00:00, 1021.40it/s, Materializing param=model.layers.1.self_attn.q_proj.weight] Loading weights: 5%|████▊ | 19/363 [00:00<00:00, 1003.89it/s, Materializing param=model.layers.1.self_attn.q_proj.weight] Loading weights: 6%|█████ | 20/363 [00:00<00:00, 1029.71it/s, Materializing param=model.layers.1.self_attn.v_proj.weight] Loading weights: 6%|█████ | 20/363 [00:00<00:00, 1013.25it/s, Materializing param=model.layers.1.self_attn.v_proj.weight] Loading weights: 6%|█████▍ | 21/363 [00:00<00:00, 1039.00it/s, Materializing param=model.layers.2.input_layernorm.weight] Loading weights: 6%|█████▍ | 21/363 [00:00<00:00, 1022.03it/s, Materializing param=model.layers.2.input_layernorm.weight] Loading weights: 6%|█████▊ | 22/363 [00:00<00:00, 1046.76it/s, Materializing param=model.layers.2.mlp.down_proj.weight] Loading weights: 6%|█████▊ | 22/363 [00:00<00:00, 1031.07it/s, Materializing param=model.layers.2.mlp.down_proj.weight] Loading weights: 6%|██████ | 23/363 [00:00<00:00, 1053.55it/s, Materializing param=model.layers.2.mlp.gate_proj.weight] Loading weights: 6%|██████ | 23/363 [00:00<00:00, 1038.55it/s, Materializing param=model.layers.2.mlp.gate_proj.weight] Loading weights: 7%|██████▍ | 24/363 [00:00<00:00, 1017.36it/s, Materializing param=model.layers.2.mlp.up_proj.weight] Loading weights: 7%|██████▌ | 24/363 [00:00<00:00, 975.28it/s, Materializing param=model.layers.2.mlp.up_proj.weight] Loading weights: 7%|█████▉ | 25/363 [00:00<00:00, 997.49it/s, Materializing param=model.layers.2.post_attention_layernorm.weight] Loading weights: 7%|█████▉ | 25/363 [00:00<00:00, 985.38it/s, Materializing param=model.layers.2.post_attention_layernorm.weight] Loading weights: 7%|██████▋ | 26/363 [00:00<00:00, 1005.55it/s, Materializing param=model.layers.2.self_attn.k_proj.weight] Loading weights: 7%|██████▋ | 26/363 [00:00<00:00, 994.37it/s, Materializing param=model.layers.2.self_attn.k_proj.weight] Loading weights: 7%|██████▉ | 27/363 [00:00<00:00, 1014.63it/s, Materializing param=model.layers.2.self_attn.o_proj.weight] Loading weights: 7%|██████▉ | 27/363 [00:00<00:00, 1004.62it/s, Materializing param=model.layers.2.self_attn.o_proj.weight] Loading weights: 8%|███████▏ | 28/363 [00:00<00:00, 1025.89it/s, Materializing param=model.layers.2.self_attn.q_proj.weight] Loading weights: 8%|███████▏ | 28/363 [00:00<00:00, 1015.84it/s, Materializing param=model.layers.2.self_attn.q_proj.weight] Loading weights: 8%|███████▍ | 29/363 [00:00<00:00, 1036.22it/s, Materializing param=model.layers.2.self_attn.v_proj.weight] Loading weights: 8%|███████▍ | 29/363 [00:00<00:00, 1025.56it/s, Materializing param=model.layers.2.self_attn.v_proj.weight] Loading weights: 8%|███████▊ | 30/363 [00:00<00:00, 1043.01it/s, Materializing param=model.layers.3.input_layernorm.weight] Loading weights: 8%|███████▊ | 30/363 [00:00<00:00, 1032.86it/s, Materializing param=model.layers.3.input_layernorm.weight] Loading weights: 9%|████████▏ | 31/363 [00:00<00:00, 1052.40it/s, Materializing param=model.layers.3.mlp.down_proj.weight] Loading weights: 9%|████████▏ | 31/363 [00:00<00:00, 1041.63it/s, Materializing param=model.layers.3.mlp.down_proj.weight] Loading weights: 9%|████████▍ | 32/363 [00:00<00:00, 1060.19it/s, Materializing param=model.layers.3.mlp.gate_proj.weight] Loading weights: 9%|████████▍ | 32/363 [00:00<00:00, 1050.32it/s, Materializing param=model.layers.3.mlp.gate_proj.weight] Loading weights: 9%|████████▉ | 33/363 [00:00<00:00, 1068.89it/s, Materializing param=model.layers.3.mlp.up_proj.weight] Loading weights: 9%|████████▉ | 33/363 [00:00<00:00, 1046.97it/s, Materializing param=model.layers.3.mlp.up_proj.weight] Loading weights: 9%|███████▉ | 34/363 [00:00<00:00, 1064.60it/s, Materializing param=model.layers.3.post_attention_layernorm.weight] Loading weights: 9%|███████▉ | 34/363 [00:00<00:00, 1055.28it/s, Materializing param=model.layers.3.post_attention_layernorm.weight] Loading weights: 10%|████████▉ | 35/363 [00:00<00:00, 1069.94it/s, Materializing param=model.layers.3.self_attn.k_proj.weight] Loading weights: 10%|████████▉ | 35/363 [00:00<00:00, 1060.58it/s, Materializing param=model.layers.3.self_attn.k_proj.weight] Loading weights: 10%|█████████▏ | 36/363 [00:00<00:00, 1014.72it/s, Materializing param=model.layers.3.self_attn.o_proj.weight] Loading weights: 10%|█████████▏ | 36/363 [00:00<00:00, 1002.06it/s, Materializing param=model.layers.3.self_attn.o_proj.weight] Loading weights: 10%|█████████▍ | 37/363 [00:00<00:00, 1009.74it/s, Materializing param=model.layers.3.self_attn.q_proj.weight] Loading weights: 10%|█████████▍ | 37/363 [00:00<00:00, 1000.14it/s, Materializing param=model.layers.3.self_attn.q_proj.weight] Loading weights: 10%|█████████▋ | 38/363 [00:00<00:00, 1012.19it/s, Materializing param=model.layers.3.self_attn.v_proj.weight] Loading weights: 10%|█████████▋ | 38/363 [00:00<00:00, 1002.91it/s, Materializing param=model.layers.3.self_attn.v_proj.weight] Loading weights: 11%|██████████ | 39/363 [00:00<00:00, 1014.73it/s, Materializing param=model.layers.4.input_layernorm.weight] Loading weights: 11%|██████████ | 39/363 [00:00<00:00, 1004.91it/s, Materializing param=model.layers.4.input_layernorm.weight] Loading weights: 11%|██████████▌ | 40/363 [00:00<00:00, 1016.99it/s, Materializing param=model.layers.4.mlp.down_proj.weight] Loading weights: 11%|██████████▌ | 40/363 [00:00<00:00, 1008.52it/s, Materializing param=model.layers.4.mlp.down_proj.weight] Loading weights: 11%|██████████▊ | 41/363 [00:00<00:00, 1023.98it/s, Materializing param=model.layers.4.mlp.gate_proj.weight] Loading weights: 11%|██████████▊ | 41/363 [00:00<00:00, 1017.23it/s, Materializing param=model.layers.4.mlp.gate_proj.weight] Loading weights: 12%|███████████▍ | 42/363 [00:00<00:00, 999.45it/s, Materializing param=model.layers.4.mlp.up_proj.weight] Loading weights: 12%|███████████▍ | 42/363 [00:00<00:00, 975.28it/s, Materializing param=model.layers.4.mlp.up_proj.weight] Loading weights: 12%|██████████▏ | 43/363 [00:00<00:00, 982.28it/s, Materializing param=model.layers.4.post_attention_layernorm.weight] Loading weights: 12%|██████████▏ | 43/363 [00:00<00:00, 973.57it/s, Materializing param=model.layers.4.post_attention_layernorm.weight] Loading weights: 12%|███████████▍ | 44/363 [00:00<00:00, 959.56it/s, Materializing param=model.layers.4.self_attn.k_proj.weight] Loading weights: 12%|███████████▍ | 44/363 [00:00<00:00, 950.74it/s, Materializing param=model.layers.4.self_attn.k_proj.weight] Loading weights: 12%|███████████▋ | 45/363 [00:00<00:00, 959.11it/s, Materializing param=model.layers.4.self_attn.o_proj.weight] Loading weights: 12%|███████████▋ | 45/363 [00:00<00:00, 945.25it/s, Materializing param=model.layers.4.self_attn.o_proj.weight] Loading weights: 13%|███████████▉ | 46/363 [00:00<00:00, 951.31it/s, Materializing param=model.layers.4.self_attn.q_proj.weight] Loading weights: 13%|███████████▉ | 46/363 [00:00<00:00, 928.96it/s, Materializing param=model.layers.4.self_attn.q_proj.weight] Loading weights: 13%|████████████▏ | 47/363 [00:00<00:00, 937.34it/s, Materializing param=model.layers.4.self_attn.v_proj.weight] Loading weights: 13%|████████████▏ | 47/363 [00:00<00:00, 931.63it/s, Materializing param=model.layers.4.self_attn.v_proj.weight] Loading weights: 13%|████████████▌ | 48/363 [00:00<00:00, 933.18it/s, Materializing param=model.layers.5.input_layernorm.weight] Loading weights: 13%|████████████▌ | 48/363 [00:00<00:00, 927.09it/s, Materializing param=model.layers.5.input_layernorm.weight] Loading weights: 13%|█████████████ | 49/363 [00:00<00:00, 936.50it/s, Materializing param=model.layers.5.mlp.down_proj.weight] Loading weights: 13%|█████████████ | 49/363 [00:00<00:00, 929.43it/s, Materializing param=model.layers.5.mlp.down_proj.weight] Loading weights: 14%|█████████████▎ | 50/363 [00:00<00:00, 938.16it/s, Materializing param=model.layers.5.mlp.gate_proj.weight] Loading weights: 14%|█████████████▎ | 50/363 [00:00<00:00, 919.38it/s, Materializing param=model.layers.5.mlp.gate_proj.weight] Loading weights: 14%|█████████████▉ | 51/363 [00:00<00:00, 915.10it/s, Materializing param=model.layers.5.mlp.up_proj.weight] Loading weights: 14%|█████████████▉ | 51/363 [00:00<00:00, 908.71it/s, Materializing param=model.layers.5.mlp.up_proj.weight] Loading weights: 14%|████████████▎ | 52/363 [00:00<00:00, 916.63it/s, Materializing param=model.layers.5.post_attention_layernorm.weight] Loading weights: 14%|████████████▎ | 52/363 [00:00<00:00, 909.80it/s, Materializing param=model.layers.5.post_attention_layernorm.weight] Loading weights: 15%|█████████████▋ | 53/363 [00:00<00:00, 915.92it/s, Materializing param=model.layers.5.self_attn.k_proj.weight] Loading weights: 15%|█████████████▋ | 53/363 [00:00<00:00, 909.63it/s, Materializing param=model.layers.5.self_attn.k_proj.weight] Loading weights: 15%|█████████████▉ | 54/363 [00:00<00:00, 918.13it/s, Materializing param=model.layers.5.self_attn.o_proj.weight] Loading weights: 15%|█████████████▉ | 54/363 [00:00<00:00, 892.60it/s, Materializing param=model.layers.5.self_attn.o_proj.weight] Loading weights: 15%|██████████████▏ | 55/363 [00:00<00:00, 865.98it/s, Materializing param=model.layers.5.self_attn.q_proj.weight] Loading weights: 15%|██████████████▏ | 55/363 [00:00<00:00, 850.09it/s, Materializing param=model.layers.5.self_attn.q_proj.weight] Loading weights: 15%|██████████████▌ | 56/363 [00:00<00:00, 856.94it/s, Materializing param=model.layers.5.self_attn.v_proj.weight] Loading weights: 15%|██████████████▌ | 56/363 [00:00<00:00, 846.16it/s, Materializing param=model.layers.5.self_attn.v_proj.weight] Loading weights: 16%|██████████████▉ | 57/363 [00:00<00:00, 853.25it/s, Materializing param=model.layers.6.input_layernorm.weight] Loading weights: 16%|██████████████▉ | 57/363 [00:00<00:00, 848.69it/s, Materializing param=model.layers.6.input_layernorm.weight] Loading weights: 16%|███████████████▍ | 58/363 [00:00<00:00, 855.42it/s, Materializing param=model.layers.6.mlp.down_proj.weight] Loading weights: 16%|███████████████▍ | 58/363 [00:00<00:00, 846.52it/s, Materializing param=model.layers.6.mlp.down_proj.weight] Loading weights: 16%|███████████████▊ | 59/363 [00:00<00:00, 826.58it/s, Materializing param=model.layers.6.mlp.gate_proj.weight] Loading weights: 16%|███████████████▊ | 59/363 [00:00<00:00, 816.20it/s, Materializing param=model.layers.6.mlp.gate_proj.weight] Loading weights: 17%|████████████████▎ | 60/363 [00:00<00:00, 824.26it/s, Materializing param=model.layers.6.mlp.up_proj.weight] Loading weights: 17%|████████████████▎ | 60/363 [00:00<00:00, 821.13it/s, Materializing param=model.layers.6.mlp.up_proj.weight] Loading weights: 17%|██████████████▍ | 61/363 [00:00<00:00, 829.70it/s, Materializing param=model.layers.6.post_attention_layernorm.weight] Loading weights: 17%|██████████████▍ | 61/363 [00:00<00:00, 826.40it/s, Materializing param=model.layers.6.post_attention_layernorm.weight] Loading weights: 17%|████████████████ | 62/363 [00:00<00:00, 834.99it/s, Materializing param=model.layers.6.self_attn.k_proj.weight] Loading weights: 17%|████████████████ | 62/363 [00:00<00:00, 831.76it/s, Materializing param=model.layers.6.self_attn.k_proj.weight] Loading weights: 17%|████████████████▎ | 63/363 [00:00<00:00, 840.21it/s, Materializing param=model.layers.6.self_attn.o_proj.weight] Loading weights: 17%|████████████████▎ | 63/363 [00:00<00:00, 837.01it/s, Materializing param=model.layers.6.self_attn.o_proj.weight] Loading weights: 18%|████████████████▌ | 64/363 [00:00<00:00, 845.31it/s, Materializing param=model.layers.6.self_attn.q_proj.weight] Loading weights: 18%|████████████████▌ | 64/363 [00:00<00:00, 841.98it/s, Materializing param=model.layers.6.self_attn.q_proj.weight] Loading weights: 18%|████████████████▊ | 65/363 [00:00<00:00, 850.02it/s, Materializing param=model.layers.6.self_attn.v_proj.weight] Loading weights: 18%|████████████████▊ | 65/363 [00:00<00:00, 847.04it/s, Materializing param=model.layers.6.self_attn.v_proj.weight] Loading weights: 18%|█████████████████▎ | 66/363 [00:00<00:00, 855.42it/s, Materializing param=model.layers.7.input_layernorm.weight] Loading weights: 18%|█████████████████▎ | 66/363 [00:00<00:00, 837.50it/s, Materializing param=model.layers.7.input_layernorm.weight] Loading weights: 18%|█████████████████▉ | 67/363 [00:00<00:00, 839.23it/s, Materializing param=model.layers.7.mlp.down_proj.weight] Loading weights: 18%|█████████████████▉ | 67/363 [00:00<00:00, 835.48it/s, Materializing param=model.layers.7.mlp.down_proj.weight] Loading weights: 19%|██████████████████▏ | 68/363 [00:00<00:00, 838.56it/s, Materializing param=model.layers.7.mlp.gate_proj.weight] Loading weights: 19%|██████████████████▏ | 68/363 [00:00<00:00, 829.33it/s, Materializing param=model.layers.7.mlp.gate_proj.weight] Loading weights: 19%|██████████████████▊ | 69/363 [00:00<00:00, 815.09it/s, Materializing param=model.layers.7.mlp.up_proj.weight] Loading weights: 19%|██████████████████▊ | 69/363 [00:00<00:00, 809.53it/s, Materializing param=model.layers.7.mlp.up_proj.weight] Loading weights: 19%|████████████████▌ | 70/363 [00:00<00:00, 814.96it/s, Materializing param=model.layers.7.post_attention_layernorm.weight] Loading weights: 19%|████████████████▌ | 70/363 [00:00<00:00, 810.84it/s, Materializing param=model.layers.7.post_attention_layernorm.weight] Loading weights: 20%|██████████████████▍ | 71/363 [00:00<00:00, 814.85it/s, Materializing param=model.layers.7.self_attn.k_proj.weight] Loading weights: 20%|██████████████████▍ | 71/363 [00:00<00:00, 808.66it/s, Materializing param=model.layers.7.self_attn.k_proj.weight] Loading weights: 20%|██████████████████▋ | 72/363 [00:00<00:00, 808.29it/s, Materializing param=model.layers.7.self_attn.o_proj.weight] Loading weights: 20%|██████████████████▋ | 72/363 [00:00<00:00, 792.52it/s, Materializing param=model.layers.7.self_attn.o_proj.weight] Loading weights: 20%|██████████████████▉ | 73/363 [00:00<00:00, 794.44it/s, Materializing param=model.layers.7.self_attn.q_proj.weight] Loading weights: 20%|██████████████████▉ | 73/363 [00:00<00:00, 788.74it/s, Materializing param=model.layers.7.self_attn.q_proj.weight] Loading weights: 20%|███████████████████▏ | 74/363 [00:00<00:00, 791.36it/s, Materializing param=model.layers.7.self_attn.v_proj.weight] Loading weights: 20%|███████████████████▏ | 74/363 [00:00<00:00, 785.39it/s, Materializing param=model.layers.7.self_attn.v_proj.weight] Loading weights: 21%|███████████████████▋ | 75/363 [00:00<00:00, 789.96it/s, Materializing param=model.layers.8.input_layernorm.weight] Loading weights: 21%|███████████████████▋ | 75/363 [00:00<00:00, 773.01it/s, Materializing param=model.layers.8.input_layernorm.weight] Loading weights: 21%|████████████████████▎ | 76/363 [00:00<00:00, 772.32it/s, Materializing param=model.layers.8.mlp.down_proj.weight] Loading weights: 21%|████████████████████▎ | 76/363 [00:00<00:00, 769.03it/s, Materializing param=model.layers.8.mlp.down_proj.weight] Loading weights: 21%|████████████████████▌ | 77/363 [00:00<00:00, 774.52it/s, Materializing param=model.layers.8.mlp.gate_proj.weight] Loading weights: 21%|████████████████████▌ | 77/363 [00:00<00:00, 771.52it/s, Materializing param=model.layers.8.mlp.gate_proj.weight] Loading weights: 21%|████████████████████▊ | 78/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.mlp.gate_proj.weight] Loading weights: 21%|█████████████████████▎ | 78/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.mlp.up_proj.weight] Loading weights: 21%|█████████████████████▎ | 78/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.mlp.up_proj.weight] Loading weights: 22%|██████████████████▋ | 79/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.post_attention_layernorm.weight] Loading weights: 22%|██████████████████▋ | 79/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.post_attention_layernorm.weight] Loading weights: 22%|████████████████████▋ | 80/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.k_proj.weight] Loading weights: 22%|████████████████████▋ | 80/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.k_proj.weight] Loading weights: 22%|████████████████████▉ | 81/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.o_proj.weight] Loading weights: 22%|████████████████████▉ | 81/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.o_proj.weight] Loading weights: 23%|█████████████████████▏ | 82/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.q_proj.weight] Loading weights: 23%|█████████████████████▏ | 82/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.q_proj.weight] Loading weights: 23%|█████████████████████▍ | 83/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.v_proj.weight] Loading weights: 23%|█████████████████████▍ | 83/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.8.self_attn.v_proj.weight] Loading weights: 23%|█████████████████████▉ | 84/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.input_layernorm.weight] Loading weights: 23%|█████████████████████▉ | 84/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.input_layernorm.weight] Loading weights: 23%|██████████████████████▋ | 85/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.down_proj.weight] Loading weights: 23%|██████████████████████▋ | 85/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.down_proj.weight] Loading weights: 24%|██████████████████████▉ | 86/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.gate_proj.weight] Loading weights: 24%|██████████████████████▉ | 86/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.gate_proj.weight] Loading weights: 24%|███████████████████████▋ | 87/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.up_proj.weight] Loading weights: 24%|███████████████████████▋ | 87/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.mlp.up_proj.weight] Loading weights: 24%|████████████████████▊ | 88/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.post_attention_layernorm.weight] Loading weights: 24%|████████████████████▊ | 88/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.post_attention_layernorm.weight] Loading weights: 25%|███████████████████████ | 89/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.k_proj.weight] Loading weights: 25%|███████████████████████ | 89/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.k_proj.weight] Loading weights: 25%|███████████████████████▎ | 90/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.o_proj.weight] Loading weights: 25%|███████████████████████▎ | 90/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.o_proj.weight] Loading weights: 25%|███████████████████████▌ | 91/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.q_proj.weight] Loading weights: 25%|███████████████████████▌ | 91/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.q_proj.weight] Loading weights: 25%|███████████████████████▊ | 92/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.v_proj.weight] Loading weights: 25%|███████████████████████▊ | 92/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.9.self_attn.v_proj.weight] Loading weights: 26%|████████████████████████ | 93/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.input_layernorm.weight] Loading weights: 26%|████████████████████████ | 93/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.input_layernorm.weight] Loading weights: 26%|████████████████████████▊ | 94/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.down_proj.weight] Loading weights: 26%|████████████████████████▊ | 94/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.down_proj.weight] Loading weights: 26%|█████████████████████████ | 95/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.gate_proj.weight] Loading weights: 26%|█████████████████████████ | 95/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.gate_proj.weight] Loading weights: 26%|█████████████████████████▉ | 96/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.up_proj.weight] Loading weights: 26%|█████████████████████████▉ | 96/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.mlp.up_proj.weight] Loading weights: 27%|██████████████████████▋ | 97/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.post_attention_layernorm.weight] Loading weights: 27%|██████████████████████▋ | 97/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.post_attention_layernorm.weight] Loading weights: 27%|█████████████████████████ | 98/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.k_proj.weight] Loading weights: 27%|█████████████████████████ | 98/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.k_proj.weight] Loading weights: 27%|█████████████████████████▎ | 99/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.o_proj.weight] Loading weights: 27%|█████████████████████████▎ | 99/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.o_proj.weight] Loading weights: 28%|█████████████████████████▎ | 100/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.q_proj.weight] Loading weights: 28%|█████████████████████████▎ | 100/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.q_proj.weight] Loading weights: 28%|█████████████████████████▌ | 101/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.v_proj.weight] Loading weights: 28%|█████████████████████████▌ | 101/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.10.self_attn.v_proj.weight] Loading weights: 28%|██████████████████████████▏ | 102/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.input_layernorm.weight] Loading weights: 28%|██████████████████████████▏ | 102/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.input_layernorm.weight] Loading weights: 28%|██████████████████████████▉ | 103/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.down_proj.weight] Loading weights: 28%|██████████████████████████▉ | 103/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.down_proj.weight] Loading weights: 29%|███████████████████████████▏ | 104/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.gate_proj.weight] Loading weights: 29%|███████████████████████████▏ | 104/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.gate_proj.weight] Loading weights: 29%|████████████████████████████ | 105/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.up_proj.weight] Loading weights: 29%|████████████████████████████ | 105/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.mlp.up_proj.weight] Loading weights: 29%|████████████████████████▌ | 106/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.post_attention_layernorm.weight] Loading weights: 29%|████████████████████████▌ | 106/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.post_attention_layernorm.weight] Loading weights: 29%|███████████████████████████ | 107/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.k_proj.weight] Loading weights: 29%|███████████████████████████ | 107/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.k_proj.weight] Loading weights: 30%|███████████████████████████▎ | 108/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.o_proj.weight] Loading weights: 30%|███████████████████████████▎ | 108/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.o_proj.weight] Loading weights: 30%|███████████████████████████▋ | 109/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.q_proj.weight] Loading weights: 30%|███████████████████████████▋ | 109/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.q_proj.weight] Loading weights: 30%|███████████████████████████▉ | 110/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.v_proj.weight] Loading weights: 30%|███████████████████████████▉ | 110/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.11.self_attn.v_proj.weight] Loading weights: 31%|████████████████████████████▍ | 111/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.input_layernorm.weight] Loading weights: 31%|████████████████████████████▍ | 111/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.input_layernorm.weight] Loading weights: 31%|█████████████████████████████▎ | 112/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.down_proj.weight] Loading weights: 31%|█████████████████████████████▎ | 112/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.down_proj.weight] Loading weights: 31%|█████████████████████████████▌ | 113/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.gate_proj.weight] Loading weights: 31%|█████████████████████████████▌ | 113/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.gate_proj.weight] Loading weights: 31%|██████████████████████████████▍ | 114/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.up_proj.weight] Loading weights: 31%|██████████████████████████████▍ | 114/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.mlp.up_proj.weight] Loading weights: 32%|██████████████████████████▌ | 115/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.post_attention_layernorm.weight] Loading weights: 32%|██████████████████████████▌ | 115/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.post_attention_layernorm.weight] Loading weights: 32%|█████████████████████████████▍ | 116/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.k_proj.weight] Loading weights: 32%|█████████████████████████████▍ | 116/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.k_proj.weight] Loading weights: 32%|█████████████████████████████▋ | 117/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.o_proj.weight] Loading weights: 32%|█████████████████████████████▋ | 117/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.o_proj.weight] Loading weights: 33%|█████████████████████████████▉ | 118/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.q_proj.weight] Loading weights: 33%|█████████████████████████████▉ | 118/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.q_proj.weight] Loading weights: 33%|██████████████████████████████▏ | 119/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.v_proj.weight] Loading weights: 33%|██████████████████████████████▏ | 119/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.12.self_attn.v_proj.weight] Loading weights: 33%|██████████████████████████████▋ | 120/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.input_layernorm.weight] Loading weights: 33%|██████████████████████████████▋ | 120/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.input_layernorm.weight] Loading weights: 33%|███████████████████████████████▋ | 121/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.down_proj.weight] Loading weights: 33%|███████████████████████████████▋ | 121/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.down_proj.weight] Loading weights: 34%|███████████████████████████████▉ | 122/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.gate_proj.weight] Loading weights: 34%|███████████████████████████████▉ | 122/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.gate_proj.weight] Loading weights: 34%|████████████████████████████████▊ | 123/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.up_proj.weight] Loading weights: 34%|████████████████████████████████▊ | 123/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.mlp.up_proj.weight] Loading weights: 34%|████████████████████████████▋ | 124/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.post_attention_layernorm.weight] Loading weights: 34%|████████████████████████████▋ | 124/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.post_attention_layernorm.weight] Loading weights: 34%|███████████████████████████████▋ | 125/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.k_proj.weight] Loading weights: 34%|███████████████████████████████▋ | 125/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.k_proj.weight] Loading weights: 35%|███████████████████████████████▉ | 126/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.o_proj.weight] Loading weights: 35%|███████████████████████████████▉ | 126/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.o_proj.weight] Loading weights: 35%|████████████████████████████████▏ | 127/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.q_proj.weight] Loading weights: 35%|████████████████████████████████▏ | 127/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.q_proj.weight] Loading weights: 35%|████████████████████████████████▍ | 128/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.v_proj.weight] Loading weights: 35%|████████████████████████████████▍ | 128/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.13.self_attn.v_proj.weight] Loading weights: 36%|█████████████████████████████████ | 129/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.input_layernorm.weight] Loading weights: 36%|█████████████████████████████████ | 129/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.input_layernorm.weight] Loading weights: 36%|██████████████████████████████████ | 130/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.down_proj.weight] Loading weights: 36%|██████████████████████████████████ | 130/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.down_proj.weight] Loading weights: 36%|██████████████████████████████████▎ | 131/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.gate_proj.weight] Loading weights: 36%|██████████████████████████████████▎ | 131/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.gate_proj.weight] Loading weights: 36%|███████████████████████████████████▎ | 132/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.up_proj.weight] Loading weights: 36%|███████████████████████████████████▎ | 132/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.mlp.up_proj.weight] Loading weights: 37%|██████████████████████████████▊ | 133/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.post_attention_layernorm.weight] Loading weights: 37%|██████████████████████████████▊ | 133/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.post_attention_layernorm.weight] Loading weights: 37%|█████████████████████████████████▉ | 134/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.k_proj.weight] Loading weights: 37%|█████████████████████████████████▉ | 134/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.k_proj.weight] Loading weights: 37%|██████████████████████████████████▏ | 135/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.o_proj.weight] Loading weights: 37%|██████████████████████████████████▏ | 135/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.o_proj.weight] Loading weights: 37%|██████████████████████████████████▍ | 136/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.q_proj.weight] Loading weights: 37%|██████████████████████████████████▍ | 136/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.q_proj.weight] Loading weights: 38%|██████████████████████████████████▋ | 137/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.v_proj.weight] Loading weights: 38%|██████████████████████████████████▋ | 137/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.14.self_attn.v_proj.weight] Loading weights: 38%|███████████████████████████████████▎ | 138/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.input_layernorm.weight] Loading weights: 38%|███████████████████████████████████▎ | 138/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.input_layernorm.weight] Loading weights: 38%|████████████████████████████████████▍ | 139/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.down_proj.weight] Loading weights: 38%|████████████████████████████████████▍ | 139/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.down_proj.weight] Loading weights: 39%|████████████████████████████████████▋ | 140/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.gate_proj.weight] Loading weights: 39%|████████████████████████████████████▋ | 140/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.gate_proj.weight] Loading weights: 39%|█████████████████████████████████████▋ | 141/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.up_proj.weight] Loading weights: 39%|█████████████████████████████████████▋ | 141/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.mlp.up_proj.weight] Loading weights: 39%|████████████████████████████████▊ | 142/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.post_attention_layernorm.weight] Loading weights: 39%|████████████████████████████████▊ | 142/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.post_attention_layernorm.weight] Loading weights: 39%|████████████████████████████████████▏ | 143/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.k_proj.weight] Loading weights: 39%|████████████████████████████████████▏ | 143/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.k_proj.weight] Loading weights: 40%|████████████████████████████████████▍ | 144/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.o_proj.weight] Loading weights: 40%|████████████████████████████████████▍ | 144/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.o_proj.weight] Loading weights: 40%|████████████████████████████████████▋ | 145/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.q_proj.weight] Loading weights: 40%|████████████████████████████████████▋ | 145/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.q_proj.weight] Loading weights: 40%|█████████████████████████████████████ | 146/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.v_proj.weight] Loading weights: 40%|█████████████████████████████████████ | 146/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.15.self_attn.v_proj.weight] Loading weights: 40%|█████████████████████████████████████▋ | 147/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.input_layernorm.weight] Loading weights: 40%|█████████████████████████████████████▋ | 147/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.input_layernorm.weight] Loading weights: 41%|██████████████████████████████████████▋ | 148/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.down_proj.weight] Loading weights: 41%|██████████████████████████████████████▋ | 148/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.down_proj.weight] Loading weights: 41%|██████████████████████████████████████▉ | 149/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.gate_proj.weight] Loading weights: 41%|██████████████████████████████████████▉ | 149/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.gate_proj.weight] Loading weights: 41%|████████████████████████████████████████ | 150/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.up_proj.weight] Loading weights: 41%|████████████████████████████████████████ | 150/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.mlp.up_proj.weight] Loading weights: 42%|██████████████████████████████████▉ | 151/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.post_attention_layernorm.weight] Loading weights: 42%|██████████████████████████████████▉ | 151/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.post_attention_layernorm.weight] Loading weights: 42%|██████████████████████████████████████▌ | 152/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.k_proj.weight] Loading weights: 42%|██████████████████████████████████████▌ | 152/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.k_proj.weight] Loading weights: 42%|██████████████████████████████████████▊ | 153/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.o_proj.weight] Loading weights: 42%|██████████████████████████████████████▊ | 153/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.o_proj.weight] Loading weights: 42%|███████████████████████████████████████ | 154/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.q_proj.weight] Loading weights: 42%|███████████████████████████████████████ | 154/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.q_proj.weight] Loading weights: 43%|███████████████████████████████████████▎ | 155/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.v_proj.weight] Loading weights: 43%|███████████████████████████████████████▎ | 155/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.16.self_attn.v_proj.weight] Loading weights: 43%|███████████████████████████████████████▉ | 156/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.input_layernorm.weight] Loading weights: 43%|███████████████████████████████████████▉ | 156/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.input_layernorm.weight] Loading weights: 43%|█████████████████████████████████████████ | 157/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.down_proj.weight] Loading weights: 43%|█████████████████████████████████████████ | 157/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.down_proj.weight] Loading weights: 44%|█████████████████████████████████████████▎ | 158/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.gate_proj.weight] Loading weights: 44%|█████████████████████████████████████████▎ | 158/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.gate_proj.weight] Loading weights: 44%|██████████████████████████████████████████▍ | 159/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.up_proj.weight] Loading weights: 44%|██████████████████████████████████████████▍ | 159/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.mlp.up_proj.weight] Loading weights: 44%|█████████████████████████████████████ | 160/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.post_attention_layernorm.weight] Loading weights: 44%|█████████████████████████████████████ | 160/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.post_attention_layernorm.weight] Loading weights: 44%|████████████████████████████████████████▊ | 161/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.k_proj.weight] Loading weights: 44%|████████████████████████████████████████▊ | 161/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.k_proj.weight] Loading weights: 45%|█████████████████████████████████████████ | 162/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.o_proj.weight] Loading weights: 45%|█████████████████████████████████████████ | 162/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.o_proj.weight] Loading weights: 45%|█████████████████████████████████████████▎ | 163/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.q_proj.weight] Loading weights: 45%|█████████████████████████████████████████▎ | 163/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.q_proj.weight] Loading weights: 45%|█████████████████████████████████████████▌ | 164/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.v_proj.weight] Loading weights: 45%|█████████████████████████████████████████▌ | 164/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.17.self_attn.v_proj.weight] Loading weights: 45%|██████████████████████████████████████████▎ | 165/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.input_layernorm.weight] Loading weights: 45%|██████████████████████████████████████████▎ | 165/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.input_layernorm.weight] Loading weights: 46%|███████████████████████████████████████████▍ | 166/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.mlp.down_proj.weight] Loading weights: 46%|███████████████████████████████████████████▍ | 166/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.mlp.down_proj.weight] Loading weights: 46%|███████████████████████████████████████████▋ | 167/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.mlp.gate_proj.weight] Loading weights: 46%|███████████████████████████████████████████▋ | 167/363 [00:00<00:00, 777.45it/s, Materializing param=model.layers.18.mlp.gate_proj.weight] Loading weights: 46%|███████████████████████████████████████████▉ | 168/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.mlp.gate_proj.weight] Loading weights: 46%|████████████████████████████████████████████▉ | 168/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.mlp.up_proj.weight] Loading weights: 46%|████████████████████████████████████████████▉ | 168/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.mlp.up_proj.weight] Loading weights: 47%|███████████████████████████████████████ | 169/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.post_attention_layernorm.weight] Loading weights: 47%|███████████████████████████████████████ | 169/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.post_attention_layernorm.weight] Loading weights: 47%|███████████████████████████████████████████ | 170/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.k_proj.weight] Loading weights: 47%|███████████████████████████████████████████ | 170/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.k_proj.weight] Loading weights: 47%|███████████████████████████████████████████▎ | 171/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.o_proj.weight] Loading weights: 47%|███████████████████████████████████████████▎ | 171/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.o_proj.weight] Loading weights: 47%|███████████████████████████████████████████▌ | 172/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.q_proj.weight] Loading weights: 47%|███████████████████████████████████████████▌ | 172/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.q_proj.weight] Loading weights: 48%|███████████████████████████████████████████▊ | 173/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.v_proj.weight] Loading weights: 48%|███████████████████████████████████████████▊ | 173/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.18.self_attn.v_proj.weight] Loading weights: 48%|████████████████████████████████████████████▌ | 174/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.input_layernorm.weight] Loading weights: 48%|████████████████████████████████████████████▌ | 174/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.input_layernorm.weight] Loading weights: 48%|█████████████████████████████████████████████▊ | 175/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.down_proj.weight] Loading weights: 48%|█████████████████████████████████████████████▊ | 175/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.down_proj.weight] Loading weights: 48%|██████████████████████████████████████████████ | 176/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.gate_proj.weight] Loading weights: 48%|██████████████████████████████████████████████ | 176/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.gate_proj.weight] Loading weights: 49%|███████████████████████████████████████████████▎ | 177/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.up_proj.weight] Loading weights: 49%|███████████████████████████████████████████████▎ | 177/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.mlp.up_proj.weight] Loading weights: 49%|█████████████████████████████████████████▏ | 178/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.post_attention_layernorm.weight] Loading weights: 49%|█████████████████████████████████████████▏ | 178/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.post_attention_layernorm.weight] Loading weights: 49%|█████████████████████████████████████████████▎ | 179/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.k_proj.weight] Loading weights: 49%|█████████████████████████████████████████████▎ | 179/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.k_proj.weight] Loading weights: 50%|█████████████████████████████████████████████▌ | 180/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.o_proj.weight] Loading weights: 50%|█████████████████████████████████████████████▌ | 180/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.o_proj.weight] Loading weights: 50%|█████████████████████████████████████████████▊ | 181/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.q_proj.weight] Loading weights: 50%|█████████████████████████████████████████████▊ | 181/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.q_proj.weight] Loading weights: 50%|██████████████████████████████████████████████▏ | 182/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.v_proj.weight] Loading weights: 50%|██████████████████████████████████████████████▏ | 182/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.19.self_attn.v_proj.weight] Loading weights: 50%|██████████████████████████████████████████████▉ | 183/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.input_layernorm.weight] Loading weights: 50%|██████████████████████████████████████████████▉ | 183/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.input_layernorm.weight] Loading weights: 51%|████████████████████████████████████████████████▏ | 184/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.down_proj.weight] Loading weights: 51%|████████████████████████████████████████████████▏ | 184/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.down_proj.weight] Loading weights: 51%|████████████████████████████████████████████████▍ | 185/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.gate_proj.weight] Loading weights: 51%|████████████████████████████████████████████████▍ | 185/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.gate_proj.weight] Loading weights: 51%|█████████████████████████████████████████████████▋ | 186/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.up_proj.weight] Loading weights: 51%|█████████████████████████████████████████████████▋ | 186/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.mlp.up_proj.weight] Loading weights: 52%|███████████████████████████████████████████▎ | 187/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.post_attention_layernorm.weight] Loading weights: 52%|███████████████████████████████████████████▎ | 187/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.post_attention_layernorm.weight] Loading weights: 52%|███████████████████████████████████████████████▋ | 188/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.k_proj.weight] Loading weights: 52%|███████████████████████████████████████████████▋ | 188/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.k_proj.weight] Loading weights: 52%|███████████████████████████████████████████████▉ | 189/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.o_proj.weight] Loading weights: 52%|███████████████████████████████████████████████▉ | 189/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.o_proj.weight] Loading weights: 52%|████████████████████████████████████████████████▏ | 190/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.q_proj.weight] Loading weights: 52%|████████████████████████████████████████████████▏ | 190/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.q_proj.weight] Loading weights: 53%|████████████████████████████████████████████████▍ | 191/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.v_proj.weight] Loading weights: 53%|████████████████████████████████████████████████▍ | 191/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.20.self_attn.v_proj.weight] Loading weights: 53%|█████████████████████████████████████████████████▏ | 192/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.input_layernorm.weight] Loading weights: 53%|█████████████████████████████████████████████████▏ | 192/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.input_layernorm.weight] Loading weights: 53%|██████████████████████████████████████████████████▌ | 193/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.down_proj.weight] Loading weights: 53%|██████████████████████████████████████████████████▌ | 193/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.down_proj.weight] Loading weights: 53%|██████████████████████████████████████████████████▊ | 194/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.gate_proj.weight] Loading weights: 53%|██████████████████████████████████████████████████▊ | 194/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.gate_proj.weight] Loading weights: 54%|████████████████████████████████████████████████████ | 195/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.up_proj.weight] Loading weights: 54%|████████████████████████████████████████████████████ | 195/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.mlp.up_proj.weight] Loading weights: 54%|█████████████████████████████████████████████▎ | 196/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.post_attention_layernorm.weight] Loading weights: 54%|█████████████████████████████████████████████▎ | 196/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.post_attention_layernorm.weight] Loading weights: 54%|█████████████████████████████████████████████████▉ | 197/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.k_proj.weight] Loading weights: 54%|█████████████████████████████████████████████████▉ | 197/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.k_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▏ | 198/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.o_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▏ | 198/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.o_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▍ | 199/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.q_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▍ | 199/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.q_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▋ | 200/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.v_proj.weight] Loading weights: 55%|██████████████████████████████████████████████████▋ | 200/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.21.self_attn.v_proj.weight] Loading weights: 55%|███████████████████████████████████████████████████▍ | 201/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.input_layernorm.weight] Loading weights: 55%|███████████████████████████████████████████████████▍ | 201/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.input_layernorm.weight] Loading weights: 56%|████████████████████████████████████████████████████▊ | 202/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.down_proj.weight] Loading weights: 56%|████████████████████████████████████████████████████▊ | 202/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.down_proj.weight] Loading weights: 56%|█████████████████████████████████████████████████████▏ | 203/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.gate_proj.weight] Loading weights: 56%|█████████████████████████████████████████████████████▏ | 203/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.gate_proj.weight] Loading weights: 56%|██████████████████████████████████████████████████████▌ | 204/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.up_proj.weight] Loading weights: 56%|██████████████████████████████████████████████████████▌ | 204/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.mlp.up_proj.weight] Loading weights: 56%|███████████████████████████████████████████████▍ | 205/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.post_attention_layernorm.weight] Loading weights: 56%|███████████████████████████████████████████████▍ | 205/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.post_attention_layernorm.weight] Loading weights: 57%|████████████████████████████████████████████████████▏ | 206/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.k_proj.weight] Loading weights: 57%|████████████████████████████████████████████████████▏ | 206/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.k_proj.weight] Loading weights: 57%|████████████████████████████████████████████████████▍ | 207/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.o_proj.weight] Loading weights: 57%|████████████████████████████████████████████████████▍ | 207/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.o_proj.weight] Loading weights: 57%|████████████████████████████████████████████████████▋ | 208/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.q_proj.weight] Loading weights: 57%|████████████████████████████████████████████████████▋ | 208/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.q_proj.weight] Loading weights: 58%|████████████████████████████████████████████████████▉ | 209/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.v_proj.weight] Loading weights: 58%|████████████████████████████████████████████████████▉ | 209/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.22.self_attn.v_proj.weight] Loading weights: 58%|█████████████████████████████████████████████████████▊ | 210/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.input_layernorm.weight] Loading weights: 58%|█████████████████████████████████████████████████████▊ | 210/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.input_layernorm.weight] Loading weights: 58%|███████████████████████████████████████████████████████▏ | 211/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.down_proj.weight] Loading weights: 58%|███████████████████████████████████████████████████████▏ | 211/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.down_proj.weight] Loading weights: 58%|███████████████████████████████████████████████████████▍ | 212/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.gate_proj.weight] Loading weights: 58%|███████████████████████████████████████████████████████▍ | 212/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.gate_proj.weight] Loading weights: 59%|████████████████████████████████████████████████████████▉ | 213/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.up_proj.weight] Loading weights: 59%|████████████████████████████████████████████████████████▉ | 213/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.mlp.up_proj.weight] Loading weights: 59%|█████████████████████████████████████████████████▌ | 214/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.post_attention_layernorm.weight] Loading weights: 59%|█████████████████████████████████████████████████▌ | 214/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.post_attention_layernorm.weight] Loading weights: 59%|██████████████████████████████████████████████████████▍ | 215/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.k_proj.weight] Loading weights: 59%|██████████████████████████████████████████████████████▍ | 215/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.k_proj.weight] Loading weights: 60%|██████████████████████████████████████████████████████▋ | 216/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.o_proj.weight] Loading weights: 60%|██████████████████████████████████████████████████████▋ | 216/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.o_proj.weight] Loading weights: 60%|██████████████████████████████████████████████████████▉ | 217/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.q_proj.weight] Loading weights: 60%|██████████████████████████████████████████████████████▉ | 217/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.q_proj.weight] Loading weights: 60%|███████████████████████████████████████████████████████▎ | 218/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.v_proj.weight] Loading weights: 60%|███████████████████████████████████████████████████████▎ | 218/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.23.self_attn.v_proj.weight] Loading weights: 60%|████████████████████████████████████████████████████████ | 219/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.input_layernorm.weight] Loading weights: 60%|████████████████████████████████████████████████████████ | 219/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.input_layernorm.weight] Loading weights: 61%|█████████████████████████████████████████████████████████▌ | 220/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.down_proj.weight] Loading weights: 61%|█████████████████████████████████████████████████████████▌ | 220/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.down_proj.weight] Loading weights: 61%|█████████████████████████████████████████████████████████▊ | 221/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.gate_proj.weight] Loading weights: 61%|█████████████████████████████████████████████████████████▊ | 221/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.gate_proj.weight] Loading weights: 61%|███████████████████████████████████████████████████████████▎ | 222/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.up_proj.weight] Loading weights: 61%|███████████████████████████████████████████████████████████▎ | 222/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.mlp.up_proj.weight] Loading weights: 61%|███████████████████████████████████████████████████▌ | 223/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.post_attention_layernorm.weight] Loading weights: 61%|███████████████████████████████████████████████████▌ | 223/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.post_attention_layernorm.weight] Loading weights: 62%|████████████████████████████████████████████████████████▊ | 224/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.k_proj.weight] Loading weights: 62%|████████████████████████████████████████████████████████▊ | 224/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.k_proj.weight] Loading weights: 62%|█████████████████████████████████████████████████████████ | 225/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.o_proj.weight] Loading weights: 62%|█████████████████████████████████████████████████████████ | 225/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.o_proj.weight] Loading weights: 62%|█████████████████████████████████████████████████████████▎ | 226/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.q_proj.weight] Loading weights: 62%|█████████████████████████████████████████████████████████▎ | 226/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.q_proj.weight] Loading weights: 63%|█████████████████████████████████████████████████████████▌ | 227/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.v_proj.weight] Loading weights: 63%|█████████████████████████████████████████████████████████▌ | 227/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.24.self_attn.v_proj.weight] Loading weights: 63%|██████████████████████████████████████████████████████████▍ | 228/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.input_layernorm.weight] Loading weights: 63%|██████████████████████████████████████████████████████████▍ | 228/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.input_layernorm.weight] Loading weights: 63%|███████████████████████████████████████████████████████████▉ | 229/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.down_proj.weight] Loading weights: 63%|███████████████████████████████████████████████████████████▉ | 229/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.down_proj.weight] Loading weights: 63%|████████████████████████████████████████████████████████████▏ | 230/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.gate_proj.weight] Loading weights: 63%|████████████████████████████████████████████████████████████▏ | 230/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.gate_proj.weight] Loading weights: 64%|█████████████████████████████████████████████████████████████▋ | 231/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.up_proj.weight] Loading weights: 64%|█████████████████████████████████████████████████████████████▋ | 231/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.mlp.up_proj.weight] Loading weights: 64%|█████████████████████████████████████████████████████▋ | 232/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.post_attention_layernorm.weight] Loading weights: 64%|█████████████████████████████████████████████████████▋ | 232/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.post_attention_layernorm.weight] Loading weights: 64%|███████████████████████████████████████████████████████████ | 233/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.k_proj.weight] Loading weights: 64%|███████████████████████████████████████████████████████████ | 233/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.k_proj.weight] Loading weights: 64%|███████████████████████████████████████████████████████████▎ | 234/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.o_proj.weight] Loading weights: 64%|███████████████████████████████████████████████████████████▎ | 234/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.o_proj.weight] Loading weights: 65%|███████████████████████████████████████████████████████████▌ | 235/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.q_proj.weight] Loading weights: 65%|███████████████████████████████████████████████████████████▌ | 235/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.q_proj.weight] Loading weights: 65%|███████████████████████████████████████████████████████████▊ | 236/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.v_proj.weight] Loading weights: 65%|███████████████████████████████████████████████████████████▊ | 236/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.25.self_attn.v_proj.weight] Loading weights: 65%|████████████████████████████████████████████████████████████▋ | 237/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.input_layernorm.weight] Loading weights: 65%|████████████████████████████████████████████████████████████▋ | 237/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.input_layernorm.weight] Loading weights: 66%|██████████████████████████████████████████████████████████████▎ | 238/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.down_proj.weight] Loading weights: 66%|██████████████████████████████████████████████████████████████▎ | 238/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.down_proj.weight] Loading weights: 66%|██████████████████████████████████████████████████████████████▌ | 239/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.gate_proj.weight] Loading weights: 66%|██████████████████████████████████████████████████████████████▌ | 239/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.gate_proj.weight] Loading weights: 66%|████████████████████████████████████████████████████████████████▏ | 240/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.up_proj.weight] Loading weights: 66%|████████████████████████████████████████████████████████████████▏ | 240/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.mlp.up_proj.weight] Loading weights: 66%|███████████████████████████████████████████████████████▊ | 241/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.post_attention_layernorm.weight] Loading weights: 66%|███████████████████████████████████████████████████████▊ | 241/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.post_attention_layernorm.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▎ | 242/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.k_proj.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▎ | 242/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.k_proj.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▌ | 243/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.o_proj.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▌ | 243/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.o_proj.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▊ | 244/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.q_proj.weight] Loading weights: 67%|█████████████████████████████████████████████████████████████▊ | 244/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.q_proj.weight] Loading weights: 67%|██████████████████████████████████████████████████████████████ | 245/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.v_proj.weight] Loading weights: 67%|██████████████████████████████████████████████████████████████ | 245/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.26.self_attn.v_proj.weight] Loading weights: 68%|███████████████████████████████████████████████████████████████ | 246/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.input_layernorm.weight] Loading weights: 68%|███████████████████████████████████████████████████████████████ | 246/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.input_layernorm.weight] Loading weights: 68%|████████████████████████████████████████████████████████████████▋ | 247/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.down_proj.weight] Loading weights: 68%|████████████████████████████████████████████████████████████████▋ | 247/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.down_proj.weight] Loading weights: 68%|████████████████████████████████████████████████████████████████▉ | 248/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.gate_proj.weight] Loading weights: 68%|████████████████████████████████████████████████████████████████▉ | 248/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.gate_proj.weight] Loading weights: 69%|██████████████████████████████████████████████████████████████████▌ | 249/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.up_proj.weight] Loading weights: 69%|██████████████████████████████████████████████████████████████████▌ | 249/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.mlp.up_proj.weight] Loading weights: 69%|█████████████████████████████████████████████████████████▊ | 250/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.post_attention_layernorm.weight] Loading weights: 69%|█████████████████████████████████████████████████████████▊ | 250/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.post_attention_layernorm.weight] Loading weights: 69%|███████████████████████████████████████████████████████████████▌ | 251/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.self_attn.k_proj.weight] Loading weights: 69%|███████████████████████████████████████████████████████████████▌ | 251/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.self_attn.k_proj.weight] Loading weights: 69%|███████████████████████████████████████████████████████████████▊ | 252/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.self_attn.o_proj.weight] Loading weights: 69%|███████████████████████████████████████████████████████████████▊ | 252/363 [00:00<00:00, 847.67it/s, Materializing param=model.layers.27.self_attn.o_proj.weight] Loading weights: 70%|████████████████████████████████████████████████████████████████ | 253/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.27.self_attn.o_proj.weight] Loading weights: 70%|████████████████████████████████████████████████████████████████ | 253/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.27.self_attn.q_proj.weight] Loading weights: 70%|████████████████████████████████████████████████████████████████ | 253/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.27.self_attn.q_proj.weight] Loading weights: 70%|████████████████████████████████████████████████████████████████▎ | 254/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.27.self_attn.v_proj.weight] Loading weights: 70%|████████████████████████████████████████████████████████████████▎ | 254/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.27.self_attn.v_proj.weight] Loading weights: 70%|█████████████████████████████████████████████████████████████████▎ | 255/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.input_layernorm.weight] Loading weights: 70%|█████████████████████████████████████████████████████████████████▎ | 255/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.input_layernorm.weight] Loading weights: 71%|██████████████████████████████████████████████████████████████████▉ | 256/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.down_proj.weight] Loading weights: 71%|██████████████████████████████████████████████████████████████████▉ | 256/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.down_proj.weight] Loading weights: 71%|███████████████████████████████████████████████████████████████████▎ | 257/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.gate_proj.weight] Loading weights: 71%|███████████████████████████████████████████████████████████████████▎ | 257/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.gate_proj.weight] Loading weights: 71%|████████████████████████████████████████████████████████████████████▉ | 258/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.up_proj.weight] Loading weights: 71%|████████████████████████████████████████████████████████████████████▉ | 258/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.mlp.up_proj.weight] Loading weights: 71%|███████████████████████████████████████████████████████████▉ | 259/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.post_attention_layernorm.weight] Loading weights: 71%|███████████████████████████████████████████████████████████▉ | 259/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.post_attention_layernorm.weight] Loading weights: 72%|█████████████████████████████████████████████████████████████████▉ | 260/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.k_proj.weight] Loading weights: 72%|█████████████████████████████████████████████████████████████████▉ | 260/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.k_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▏ | 261/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.o_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▏ | 261/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.o_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▍ | 262/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.q_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▍ | 262/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.q_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▋ | 263/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.v_proj.weight] Loading weights: 72%|██████████████████████████████████████████████████████████████████▋ | 263/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.28.self_attn.v_proj.weight] Loading weights: 73%|███████████████████████████████████████████████████████████████████▋ | 264/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.input_layernorm.weight] Loading weights: 73%|███████████████████████████████████████████████████████████████████▋ | 264/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.input_layernorm.weight] Loading weights: 73%|█████████████████████████████████████████████████████████████████████▎ | 265/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.down_proj.weight] Loading weights: 73%|█████████████████████████████████████████████████████████████████████▎ | 265/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.down_proj.weight] Loading weights: 73%|█████████████████████████████████████████████████████████████████████▌ | 266/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.gate_proj.weight] Loading weights: 73%|█████████████████████████████████████████████████████████████████████▌ | 266/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.gate_proj.weight] Loading weights: 74%|███████████████████████████████████████████████████████████████████████▎ | 267/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.up_proj.weight] Loading weights: 74%|███████████████████████████████████████████████████████████████████████▎ | 267/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.mlp.up_proj.weight] Loading weights: 74%|██████████████████████████████████████████████████████████████ | 268/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.post_attention_layernorm.weight] Loading weights: 74%|██████████████████████████████████████████████████████████████ | 268/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.post_attention_layernorm.weight] Loading weights: 74%|████████████████████████████████████████████████████████████████████▏ | 269/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.k_proj.weight] Loading weights: 74%|████████████████████████████████████████████████████████████████████▏ | 269/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.k_proj.weight] Loading weights: 74%|████████████████████████████████████████████████████████████████████▍ | 270/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.o_proj.weight] Loading weights: 74%|████████████████████████████████████████████████████████████████████▍ | 270/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.o_proj.weight] Loading weights: 75%|████████████████████████████████████████████████████████████████████▋ | 271/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.q_proj.weight] Loading weights: 75%|████████████████████████████████████████████████████████████████████▋ | 271/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.q_proj.weight] Loading weights: 75%|████████████████████████████████████████████████████████████████████▉ | 272/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.v_proj.weight] Loading weights: 75%|████████████████████████████████████████████████████████████████████▉ | 272/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.29.self_attn.v_proj.weight] Loading weights: 75%|█████████████████████████████████████████████████████████████████████▉ | 273/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.input_layernorm.weight] Loading weights: 75%|█████████████████████████████████████████████████████████████████████▉ | 273/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.input_layernorm.weight] Loading weights: 75%|███████████████████████████████████████████████████████████████████████▋ | 274/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.down_proj.weight] Loading weights: 75%|███████████████████████████████████████████████████████████████████████▋ | 274/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.down_proj.weight] Loading weights: 76%|███████████████████████████████████████████████████████████████████████▉ | 275/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.gate_proj.weight] Loading weights: 76%|███████████████████████████████████████████████████████████████████████▉ | 275/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.gate_proj.weight] Loading weights: 76%|█████████████████████████████████████████████████████████████████████████▊ | 276/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.up_proj.weight] Loading weights: 76%|█████████████████████████████████████████████████████████████████████████▊ | 276/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.mlp.up_proj.weight] Loading weights: 76%|████████████████████████████████████████████████████████████████ | 277/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.post_attention_layernorm.weight] Loading weights: 76%|████████████████████████████████████████████████████████████████ | 277/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.post_attention_layernorm.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▍ | 278/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.k_proj.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▍ | 278/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.k_proj.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▋ | 279/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.o_proj.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▋ | 279/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.o_proj.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▉ | 280/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.q_proj.weight] Loading weights: 77%|██████████████████████████████████████████████████████████████████████▉ | 280/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.q_proj.weight] Loading weights: 77%|███████████████████████████████████████████████████████████████████████▏ | 281/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.v_proj.weight] Loading weights: 77%|███████████████████████████████████████████████████████████████████████▏ | 281/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.30.self_attn.v_proj.weight] Loading weights: 78%|████████████████████████████████████████████████████████████████████████▏ | 282/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.input_layernorm.weight] Loading weights: 78%|████████████████████████████████████████████████████████████████████████▏ | 282/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.input_layernorm.weight] Loading weights: 78%|██████████████████████████████████████████████████████████████████████████ | 283/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.down_proj.weight] Loading weights: 78%|██████████████████████████████████████████████████████████████████████████ | 283/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.down_proj.weight] Loading weights: 78%|██████████████████████████████████████████████████████████████████████████▎ | 284/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.gate_proj.weight] Loading weights: 78%|██████████████████████████████████████████████████████████████████████████▎ | 284/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.gate_proj.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████████▏ | 285/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.up_proj.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████████▏ | 285/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.mlp.up_proj.weight] Loading weights: 79%|██████████████████████████████████████████████████████████████████▏ | 286/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.post_attention_layernorm.weight] Loading weights: 79%|██████████████████████████████████████████████████████████████████▏ | 286/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.post_attention_layernorm.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████▋ | 287/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.k_proj.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████▋ | 287/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.k_proj.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████▉ | 288/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.o_proj.weight] Loading weights: 79%|████████████████████████████████████████████████████████████████████████▉ | 288/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.o_proj.weight] Loading weights: 80%|█████████████████████████████████████████████████████████████████████████▏ | 289/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.q_proj.weight] Loading weights: 80%|█████████████████████████████████████████████████████████████████████████▏ | 289/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.q_proj.weight] Loading weights: 80%|█████████████████████████████████████████████████████████████████████████▍ | 290/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.v_proj.weight] Loading weights: 80%|█████████████████████████████████████████████████████████████████████████▍ | 290/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.31.self_attn.v_proj.weight] Loading weights: 80%|██████████████████████████████████████████████████████████████████████████▌ | 291/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.input_layernorm.weight] Loading weights: 80%|██████████████████████████████████████████████████████████████████████████▌ | 291/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.input_layernorm.weight] Loading weights: 80%|████████████████████████████████████████████████████████████████████████████▍ | 292/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.down_proj.weight] Loading weights: 80%|████████████████████████████████████████████████████████████████████████████▍ | 292/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.down_proj.weight] Loading weights: 81%|████████████████████████████████████████████████████████████████████████████▋ | 293/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.gate_proj.weight] Loading weights: 81%|████████████████████████████████████████████████████████████████████████████▋ | 293/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.gate_proj.weight] Loading weights: 81%|██████████████████████████████████████████████████████████████████████████████▌ | 294/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.up_proj.weight] Loading weights: 81%|██████████████████████████████████████████████████████████████████████████████▌ | 294/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.mlp.up_proj.weight] Loading weights: 81%|████████████████████████████████████████████████████████████████████▎ | 295/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.post_attention_layernorm.weight] Loading weights: 81%|████████████████████████████████████████████████████████████████████▎ | 295/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.post_attention_layernorm.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████ | 296/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.k_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████ | 296/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.k_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▎ | 297/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.o_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▎ | 297/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.o_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▌ | 298/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.q_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▌ | 298/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.q_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▊ | 299/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.v_proj.weight] Loading weights: 82%|███████████████████████████████████████████████████████████████████████████▊ | 299/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.32.self_attn.v_proj.weight] Loading weights: 83%|████████████████████████████████████████████████████████████████████████████▊ | 300/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.input_layernorm.weight] Loading weights: 83%|████████████████████████████████████████████████████████████████████████████▊ | 300/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.input_layernorm.weight] Loading weights: 83%|██████████████████████████████████████████████████████████████████████████████▊ | 301/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.down_proj.weight] Loading weights: 83%|██████████████████████████████████████████████████████████████████████████████▊ | 301/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.down_proj.weight] Loading weights: 83%|███████████████████████████████████████████████████████████████████████████████ | 302/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.gate_proj.weight] Loading weights: 83%|███████████████████████████████████████████████████████████████████████████████ | 302/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.gate_proj.weight] Loading weights: 83%|████████████████████████████████████████████████████████████████████████████████▉ | 303/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.up_proj.weight] Loading weights: 83%|████████████████████████████████████████████████████████████████████████████████▉ | 303/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.mlp.up_proj.weight] Loading weights: 84%|██████████████████████████████████████████████████████████████████████▎ | 304/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.post_attention_layernorm.weight] Loading weights: 84%|██████████████████████████████████████████████████████████████████████▎ | 304/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.post_attention_layernorm.weight] Loading weights: 84%|█████████████████████████████████████████████████████████████████████████████▎ | 305/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.k_proj.weight] Loading weights: 84%|█████████████████████████████████████████████████████████████████████████████▎ | 305/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.k_proj.weight] Loading weights: 84%|█████████████████████████████████████████████████████████████████████████████▌ | 306/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.o_proj.weight] Loading weights: 84%|█████████████████████████████████████████████████████████████████████████████▌ | 306/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.o_proj.weight] Loading weights: 85%|█████████████████████████████████████████████████████████████████████████████▊ | 307/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.q_proj.weight] Loading weights: 85%|█████████████████████████████████████████████████████████████████████████████▊ | 307/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.q_proj.weight] Loading weights: 85%|██████████████████████████████████████████████████████████████████████████████ | 308/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.v_proj.weight] Loading weights: 85%|██████████████████████████████████████████████████████████████████████████████ | 308/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.33.self_attn.v_proj.weight] Loading weights: 85%|███████████████████████████████████████████████████████████████████████████████▏ | 309/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.input_layernorm.weight] Loading weights: 85%|███████████████████████████████████████████████████████████████████████████████▏ | 309/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.input_layernorm.weight] Loading weights: 85%|█████████████████████████████████████████████████████████████████████████████████▏ | 310/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.down_proj.weight] Loading weights: 85%|█████████████████████████████████████████████████████████████████████████████████▏ | 310/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.down_proj.weight] Loading weights: 86%|█████████████████████████████████████████████████████████████████████████████████▍ | 311/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.gate_proj.weight] Loading weights: 86%|█████████████████████████████████████████████████████████████████████████████████▍ | 311/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.gate_proj.weight] Loading weights: 86%|███████████████████████████████████████████████████████████████████████████████████▎ | 312/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.up_proj.weight] Loading weights: 86%|███████████████████████████████████████████████████████████████████████████████████▎ | 312/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.mlp.up_proj.weight] Loading weights: 86%|████████████████████████████████████████████████████████████████████████▍ | 313/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.post_attention_layernorm.weight] Loading weights: 86%|████████████████████████████████████████████████████████████████████████▍ | 313/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.post_attention_layernorm.weight] Loading weights: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 314/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.k_proj.weight] Loading weights: 87%|███████████████████████████████████████████████████████████████████████████████▌ | 314/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.k_proj.weight] Loading weights: 87%|███████████████████████████████████████████████████████████████████████████████▊ | 315/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.o_proj.weight] Loading weights: 87%|███████████████████████████████████████████████████████████████████████████████▊ | 315/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.o_proj.weight] Loading weights: 87%|████████████████████████████████████████████████████████████████████████████████ | 316/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.q_proj.weight] Loading weights: 87%|████████████████████████████████████████████████████████████████████████████████ | 316/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.q_proj.weight] Loading weights: 87%|████████████████████████████████████████████████████████████████████████████████▎ | 317/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.v_proj.weight] Loading weights: 87%|████████████████████████████████████████████████████████████████████████████████▎ | 317/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.34.self_attn.v_proj.weight] Loading weights: 88%|█████████████████████████████████████████████████████████████████████████████████▍ | 318/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.input_layernorm.weight] Loading weights: 88%|█████████████████████████████████████████████████████████████████████████████████▍ | 318/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.input_layernorm.weight] Loading weights: 88%|███████████████████████████████████████████████████████████████████████████████████▍ | 319/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.down_proj.weight] Loading weights: 88%|███████████████████████████████████████████████████████████████████████████████████▍ | 319/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.down_proj.weight] Loading weights: 88%|███████████████████████████████████████████████████████████████████████████████████▋ | 320/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.gate_proj.weight] Loading weights: 88%|███████████████████████████████████████████████████████████████████████████████████▋ | 320/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.gate_proj.weight] Loading weights: 88%|█████████████████████████████████████████████████████████████████████████████████████▊ | 321/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.up_proj.weight] Loading weights: 88%|█████████████████████████████████████████████████████████████████████████████████████▊ | 321/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.mlp.up_proj.weight] Loading weights: 89%|██████████████████████████████████████████████████████████████████████████▌ | 322/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.post_attention_layernorm.weight] Loading weights: 89%|██████████████████████████████████████████████████████████████████████████▌ | 322/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.post_attention_layernorm.weight] Loading weights: 89%|█████████████████████████████████████████████████████████████████████████████████▊ | 323/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.k_proj.weight] Loading weights: 89%|█████████████████████████████████████████████████████████████████████████████████▊ | 323/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.k_proj.weight] Loading weights: 89%|██████████████████████████████████████████████████████████████████████████████████ | 324/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.o_proj.weight] Loading weights: 89%|██████████████████████████████████████████████████████████████████████████████████ | 324/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.o_proj.weight] Loading weights: 90%|██████████████████████████████████████████████████████████████████████████████████▎ | 325/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.q_proj.weight] Loading weights: 90%|██████████████████████████████████████████████████████████████████████████████████▎ | 325/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.q_proj.weight] Loading weights: 90%|██████████████████████████████████████████████████████████████████████████████████▌ | 326/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.v_proj.weight] Loading weights: 90%|██████████████████████████████████████████████████████████████████████████████████▌ | 326/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.35.self_attn.v_proj.weight] Loading weights: 90%|███████████████████████████████████████████████████████████████████████████████████▊ | 327/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.input_layernorm.weight] Loading weights: 90%|███████████████████████████████████████████████████████████████████████████████████▊ | 327/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.input_layernorm.weight] Loading weights: 90%|█████████████████████████████████████████████████████████████████████████████████████▊ | 328/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.down_proj.weight] Loading weights: 90%|█████████████████████████████████████████████████████████████████████████████████████▊ | 328/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.down_proj.weight] Loading weights: 91%|██████████████████████████████████████████████████████████████████████████████████████ | 329/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.gate_proj.weight] Loading weights: 91%|██████████████████████████████████████████████████████████████████████████████████████ | 329/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.gate_proj.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████████████████▏ | 330/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.up_proj.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████████████████▏ | 330/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.mlp.up_proj.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████▌ | 331/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.post_attention_layernorm.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████▌ | 331/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.post_attention_layernorm.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████████████▏ | 332/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.k_proj.weight] Loading weights: 91%|████████████████████████████████████████████████████████████████████████████████████▏ | 332/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.k_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▍ | 333/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.o_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▍ | 333/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.o_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▋ | 334/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.q_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▋ | 334/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.q_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▉ | 335/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.v_proj.weight] Loading weights: 92%|████████████████████████████████████████████████████████████████████████████████████▉ | 335/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.36.self_attn.v_proj.weight] Loading weights: 93%|██████████████████████████████████████████████████████████████████████████████████████ | 336/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.input_layernorm.weight] Loading weights: 93%|██████████████████████████████████████████████████████████████████████████████████████ | 336/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.input_layernorm.weight] Loading weights: 93%|████████████████████████████████████████████████████████████████████████████████████████▏ | 337/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.down_proj.weight] Loading weights: 93%|████████████████████████████████████████████████████████████████████████████████████████▏ | 337/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.down_proj.weight] Loading weights: 93%|████████████████████████████████████████████████████████████████████████████████████████▍ | 338/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.gate_proj.weight] Loading weights: 93%|████████████████████████████████████████████████████████████████████████████████████████▍ | 338/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.gate_proj.weight] Loading weights: 93%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 339/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.up_proj.weight] Loading weights: 93%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 339/363 [00:00<00:00, 767.53it/s, Materializing param=model.layers.37.mlp.up_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 340/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.mlp.up_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████▋ | 340/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.post_attention_layernorm.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████▋ | 340/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.post_attention_layernorm.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▍ | 341/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.k_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▍ | 341/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.k_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▋ | 342/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.o_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▋ | 342/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.o_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▉ | 343/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.q_proj.weight] Loading weights: 94%|██████████████████████████████████████████████████████████████████████████████████████▉ | 343/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.q_proj.weight] Loading weights: 95%|███████████████████████████████████████████████████████████████████████████████████████▏ | 344/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.v_proj.weight] Loading weights: 95%|███████████████████████████████████████████████████████████████████████████████████████▏ | 344/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.37.self_attn.v_proj.weight] Loading weights: 95%|████████████████████████████████████████████████████████████████████████████████████████▍ | 345/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.input_layernorm.weight] Loading weights: 95%|████████████████████████████████████████████████████████████████████████████████████████▍ | 345/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.input_layernorm.weight] Loading weights: 95%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 346/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.down_proj.weight] Loading weights: 95%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 346/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.down_proj.weight] Loading weights: 96%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 347/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.gate_proj.weight] Loading weights: 96%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 347/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.gate_proj.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 348/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.up_proj.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 348/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.mlp.up_proj.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████▊ | 349/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.post_attention_layernorm.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████▊ | 349/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.post_attention_layernorm.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████████████▋ | 350/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.k_proj.weight] Loading weights: 96%|████████████████████████████████████████████████████████████████████████████████████████▋ | 350/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.k_proj.weight] Loading weights: 97%|████████████████████████████████████████████████████████████████████████████████████████▉ | 351/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.o_proj.weight] Loading weights: 97%|████████████████████████████████████████████████████████████████████████████████████████▉ | 351/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.o_proj.weight] Loading weights: 97%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 352/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.q_proj.weight] Loading weights: 97%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 352/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.q_proj.weight] Loading weights: 97%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 353/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.v_proj.weight] Loading weights: 97%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 353/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.38.self_attn.v_proj.weight] Loading weights: 98%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 354/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.input_layernorm.weight] Loading weights: 98%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 354/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.input_layernorm.weight] Loading weights: 98%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 355/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.down_proj.weight] Loading weights: 98%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 355/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.down_proj.weight] Loading weights: 98%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 356/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.gate_proj.weight] Loading weights: 98%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 356/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.gate_proj.weight] Loading weights: 98%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.up_proj.weight] Loading weights: 98%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 357/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.mlp.up_proj.weight] Loading weights: 99%|██████████████████████████████████████████████████████████████████████████████████▊ | 358/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.post_attention_layernorm.weight] Loading weights: 99%|██████████████████████████████████████████████████████████████████████████████████▊ | 358/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.post_attention_layernorm.weight] Loading weights: 99%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 359/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.k_proj.weight] Loading weights: 99%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 359/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.k_proj.weight] Loading weights: 99%|███████████████████████████████████████████████████████████████████████████████████████████▏| 360/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.o_proj.weight] Loading weights: 99%|███████████████████████████████████████████████████████████████████████████████████████████▏| 360/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.o_proj.weight] Loading weights: 99%|███████████████████████████████████████████████████████████████████████████████████████████▍| 361/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.q_proj.weight] Loading weights: 99%|███████████████████████████████████████████████████████████████████████████████████████████▍| 361/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.q_proj.weight] Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████▋| 362/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.v_proj.weight] Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████▋| 362/363 [00:00<00:00, 802.59it/s, Materializing param=model.layers.39.self_attn.v_proj.weight] Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 363/363 [00:00<00:00, 802.59it/s, Materializing param=model.norm.weight] Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 363/363 [00:00<00:00, 802.59it/s, Materializing param=model.norm.weight] Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 363/363 [00:00<00:00, 806.46it/s, Materializing param=model.norm.weight] | |
| [2026-02-12 04:04:14,796] [WARNING] [accelerate.utils.dataclasses.__post_init__:1962] [PID:6928] sync_module_states is obsolete in FSDP2, as it is not needed anymore.Setting sync_module_states to None.Multiple deprecation warnings due to FSDP2 conversion: | |
| sharding_strategy is deprecated in favor of reshard_after_forward. This will be removed in a future version of Accelerate. | |
| [2026-02-12 04:04:22,096] [WARNING] [py.warnings._showwarnmsg:110] [PID:6928] /root/axolotl/.venv/lib/python3.12/site-packages/torch/distributed/distributed_c10d.py:4807: UserWarning: No device id is provided via `init_process_group` or `barrier `. Using the current device set by the user. | |
| warnings.warn( # warn only once | |
| [0m |