Llama2letsmod / checkpoint-100 /trainer_state.json
strumber's picture
Upload folder using huggingface_hub
0c0e40c
{
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 0.35398230088495575,
"eval_steps": 500,
"global_step": 100,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.0,
"learning_rate": 1.4083333333333335e-05,
"loss": 3.5534,
"step": 1
},
{
"epoch": 0.01,
"learning_rate": 1.4066666666666667e-05,
"loss": 3.7127,
"step": 2
},
{
"epoch": 0.01,
"learning_rate": 1.4050000000000001e-05,
"loss": 4.2623,
"step": 3
},
{
"epoch": 0.01,
"learning_rate": 1.4033333333333333e-05,
"loss": 3.7368,
"step": 4
},
{
"epoch": 0.02,
"learning_rate": 1.4016666666666667e-05,
"loss": 4.161,
"step": 5
},
{
"epoch": 0.02,
"learning_rate": 1.4e-05,
"loss": 3.6681,
"step": 6
},
{
"epoch": 0.02,
"learning_rate": 1.3983333333333334e-05,
"loss": 3.9844,
"step": 7
},
{
"epoch": 0.03,
"learning_rate": 1.3966666666666666e-05,
"loss": 3.8629,
"step": 8
},
{
"epoch": 0.03,
"learning_rate": 1.395e-05,
"loss": 3.5326,
"step": 9
},
{
"epoch": 0.04,
"learning_rate": 1.3933333333333334e-05,
"loss": 4.133,
"step": 10
},
{
"epoch": 0.04,
"learning_rate": 1.3916666666666668e-05,
"loss": 3.4204,
"step": 11
},
{
"epoch": 0.04,
"learning_rate": 1.39e-05,
"loss": 3.8807,
"step": 12
},
{
"epoch": 0.05,
"learning_rate": 1.3883333333333335e-05,
"loss": 3.0356,
"step": 13
},
{
"epoch": 0.05,
"learning_rate": 1.3866666666666667e-05,
"loss": 4.1021,
"step": 14
},
{
"epoch": 0.05,
"learning_rate": 1.3850000000000001e-05,
"loss": 3.601,
"step": 15
},
{
"epoch": 0.06,
"learning_rate": 1.3833333333333334e-05,
"loss": 3.9449,
"step": 16
},
{
"epoch": 0.06,
"learning_rate": 1.3816666666666668e-05,
"loss": 3.5298,
"step": 17
},
{
"epoch": 0.06,
"learning_rate": 1.38e-05,
"loss": 4.0018,
"step": 18
},
{
"epoch": 0.07,
"learning_rate": 1.3783333333333334e-05,
"loss": 3.9118,
"step": 19
},
{
"epoch": 0.07,
"learning_rate": 1.3766666666666666e-05,
"loss": 3.4263,
"step": 20
},
{
"epoch": 0.07,
"learning_rate": 1.375e-05,
"loss": 3.6932,
"step": 21
},
{
"epoch": 0.08,
"learning_rate": 1.3733333333333333e-05,
"loss": 3.635,
"step": 22
},
{
"epoch": 0.08,
"learning_rate": 1.3716666666666667e-05,
"loss": 3.4161,
"step": 23
},
{
"epoch": 0.08,
"learning_rate": 1.37e-05,
"loss": 3.7193,
"step": 24
},
{
"epoch": 0.09,
"learning_rate": 1.3683333333333333e-05,
"loss": 3.4549,
"step": 25
},
{
"epoch": 0.09,
"learning_rate": 1.3666666666666667e-05,
"loss": 4.1942,
"step": 26
},
{
"epoch": 0.1,
"learning_rate": 1.3650000000000001e-05,
"loss": 3.3606,
"step": 27
},
{
"epoch": 0.1,
"learning_rate": 1.3633333333333334e-05,
"loss": 3.3916,
"step": 28
},
{
"epoch": 0.1,
"learning_rate": 1.3616666666666668e-05,
"loss": 3.8369,
"step": 29
},
{
"epoch": 0.11,
"learning_rate": 1.36e-05,
"loss": 4.0893,
"step": 30
},
{
"epoch": 0.11,
"learning_rate": 1.3583333333333334e-05,
"loss": 3.4825,
"step": 31
},
{
"epoch": 0.11,
"learning_rate": 1.3566666666666667e-05,
"loss": 3.6664,
"step": 32
},
{
"epoch": 0.12,
"learning_rate": 1.355e-05,
"loss": 3.6649,
"step": 33
},
{
"epoch": 0.12,
"learning_rate": 1.3533333333333335e-05,
"loss": 2.7988,
"step": 34
},
{
"epoch": 0.12,
"learning_rate": 1.3516666666666667e-05,
"loss": 3.8814,
"step": 35
},
{
"epoch": 0.13,
"learning_rate": 1.3500000000000001e-05,
"loss": 3.3368,
"step": 36
},
{
"epoch": 0.13,
"learning_rate": 1.3483333333333334e-05,
"loss": 3.8391,
"step": 37
},
{
"epoch": 0.13,
"learning_rate": 1.3466666666666668e-05,
"loss": 3.4131,
"step": 38
},
{
"epoch": 0.14,
"learning_rate": 1.345e-05,
"loss": 3.8337,
"step": 39
},
{
"epoch": 0.14,
"learning_rate": 1.3433333333333334e-05,
"loss": 3.7387,
"step": 40
},
{
"epoch": 0.15,
"learning_rate": 1.3416666666666666e-05,
"loss": 3.5366,
"step": 41
},
{
"epoch": 0.15,
"learning_rate": 1.34e-05,
"loss": 3.4234,
"step": 42
},
{
"epoch": 0.15,
"learning_rate": 1.3383333333333333e-05,
"loss": 3.9778,
"step": 43
},
{
"epoch": 0.16,
"learning_rate": 1.3366666666666667e-05,
"loss": 3.3433,
"step": 44
},
{
"epoch": 0.16,
"learning_rate": 1.3350000000000001e-05,
"loss": 3.5675,
"step": 45
},
{
"epoch": 0.16,
"learning_rate": 1.3333333333333335e-05,
"loss": 3.6335,
"step": 46
},
{
"epoch": 0.17,
"learning_rate": 1.3316666666666667e-05,
"loss": 3.864,
"step": 47
},
{
"epoch": 0.17,
"learning_rate": 1.3300000000000001e-05,
"loss": 3.6632,
"step": 48
},
{
"epoch": 0.17,
"learning_rate": 1.3283333333333334e-05,
"loss": 4.4024,
"step": 49
},
{
"epoch": 0.18,
"learning_rate": 1.3266666666666668e-05,
"loss": 3.1513,
"step": 50
},
{
"epoch": 0.18,
"learning_rate": 1.325e-05,
"loss": 2.8684,
"step": 51
},
{
"epoch": 0.18,
"learning_rate": 1.3233333333333334e-05,
"loss": 3.3777,
"step": 52
},
{
"epoch": 0.19,
"learning_rate": 1.3216666666666667e-05,
"loss": 3.2801,
"step": 53
},
{
"epoch": 0.19,
"learning_rate": 1.32e-05,
"loss": 3.5396,
"step": 54
},
{
"epoch": 0.19,
"learning_rate": 1.3183333333333333e-05,
"loss": 3.7721,
"step": 55
},
{
"epoch": 0.2,
"learning_rate": 1.3166666666666667e-05,
"loss": 3.7046,
"step": 56
},
{
"epoch": 0.2,
"learning_rate": 1.315e-05,
"loss": 3.5611,
"step": 57
},
{
"epoch": 0.21,
"learning_rate": 1.3133333333333334e-05,
"loss": 4.0658,
"step": 58
},
{
"epoch": 0.21,
"learning_rate": 1.3116666666666666e-05,
"loss": 3.1316,
"step": 59
},
{
"epoch": 0.21,
"learning_rate": 1.31e-05,
"loss": 3.4185,
"step": 60
},
{
"epoch": 0.22,
"learning_rate": 1.3083333333333332e-05,
"loss": 3.438,
"step": 61
},
{
"epoch": 0.22,
"learning_rate": 1.3066666666666668e-05,
"loss": 3.2125,
"step": 62
},
{
"epoch": 0.22,
"learning_rate": 1.305e-05,
"loss": 3.2451,
"step": 63
},
{
"epoch": 0.23,
"learning_rate": 1.3033333333333334e-05,
"loss": 3.3465,
"step": 64
},
{
"epoch": 0.23,
"learning_rate": 1.3016666666666667e-05,
"loss": 3.3044,
"step": 65
},
{
"epoch": 0.23,
"learning_rate": 1.3000000000000001e-05,
"loss": 3.6976,
"step": 66
},
{
"epoch": 0.24,
"learning_rate": 1.2983333333333335e-05,
"loss": 3.649,
"step": 67
},
{
"epoch": 0.24,
"learning_rate": 1.2966666666666667e-05,
"loss": 3.428,
"step": 68
},
{
"epoch": 0.24,
"learning_rate": 1.2950000000000001e-05,
"loss": 3.2451,
"step": 69
},
{
"epoch": 0.25,
"learning_rate": 1.2933333333333334e-05,
"loss": 3.1329,
"step": 70
},
{
"epoch": 0.25,
"learning_rate": 1.2916666666666668e-05,
"loss": 3.0509,
"step": 71
},
{
"epoch": 0.25,
"learning_rate": 1.29e-05,
"loss": 3.2347,
"step": 72
},
{
"epoch": 0.26,
"learning_rate": 1.2883333333333334e-05,
"loss": 3.1726,
"step": 73
},
{
"epoch": 0.26,
"learning_rate": 1.2866666666666667e-05,
"loss": 3.7461,
"step": 74
},
{
"epoch": 0.27,
"learning_rate": 1.285e-05,
"loss": 3.3563,
"step": 75
},
{
"epoch": 0.27,
"learning_rate": 1.2833333333333333e-05,
"loss": 3.4234,
"step": 76
},
{
"epoch": 0.27,
"learning_rate": 1.2816666666666667e-05,
"loss": 3.1188,
"step": 77
},
{
"epoch": 0.28,
"learning_rate": 1.28e-05,
"loss": 3.384,
"step": 78
},
{
"epoch": 0.28,
"learning_rate": 1.2783333333333333e-05,
"loss": 3.4152,
"step": 79
},
{
"epoch": 0.28,
"learning_rate": 1.2766666666666668e-05,
"loss": 3.6954,
"step": 80
},
{
"epoch": 0.29,
"learning_rate": 1.2750000000000002e-05,
"loss": 3.6661,
"step": 81
},
{
"epoch": 0.29,
"learning_rate": 1.2733333333333334e-05,
"loss": 3.9602,
"step": 82
},
{
"epoch": 0.29,
"learning_rate": 1.2716666666666668e-05,
"loss": 3.2385,
"step": 83
},
{
"epoch": 0.3,
"learning_rate": 1.27e-05,
"loss": 3.0475,
"step": 84
},
{
"epoch": 0.3,
"learning_rate": 1.2683333333333334e-05,
"loss": 3.6019,
"step": 85
},
{
"epoch": 0.3,
"learning_rate": 1.2666666666666667e-05,
"loss": 3.4866,
"step": 86
},
{
"epoch": 0.31,
"learning_rate": 1.2650000000000001e-05,
"loss": 3.53,
"step": 87
},
{
"epoch": 0.31,
"learning_rate": 1.2633333333333333e-05,
"loss": 3.2146,
"step": 88
},
{
"epoch": 0.32,
"learning_rate": 1.2616666666666667e-05,
"loss": 3.0397,
"step": 89
},
{
"epoch": 0.32,
"learning_rate": 1.26e-05,
"loss": 3.917,
"step": 90
},
{
"epoch": 0.32,
"learning_rate": 1.2583333333333334e-05,
"loss": 3.1018,
"step": 91
},
{
"epoch": 0.33,
"learning_rate": 1.2566666666666666e-05,
"loss": 3.3793,
"step": 92
},
{
"epoch": 0.33,
"learning_rate": 1.255e-05,
"loss": 3.3385,
"step": 93
},
{
"epoch": 0.33,
"learning_rate": 1.2533333333333332e-05,
"loss": 2.6842,
"step": 94
},
{
"epoch": 0.34,
"learning_rate": 1.2516666666666667e-05,
"loss": 3.2845,
"step": 95
},
{
"epoch": 0.34,
"learning_rate": 1.2499999999999999e-05,
"loss": 3.6947,
"step": 96
},
{
"epoch": 0.34,
"learning_rate": 1.2483333333333335e-05,
"loss": 2.8063,
"step": 97
},
{
"epoch": 0.35,
"learning_rate": 1.2466666666666669e-05,
"loss": 3.316,
"step": 98
},
{
"epoch": 0.35,
"learning_rate": 1.2450000000000001e-05,
"loss": 3.1536,
"step": 99
},
{
"epoch": 0.35,
"learning_rate": 1.2433333333333335e-05,
"loss": 3.4605,
"step": 100
}
],
"logging_steps": 1,
"max_steps": 846,
"num_train_epochs": 3,
"save_steps": 100,
"total_flos": 544408811274240.0,
"trial_name": null,
"trial_params": null
}