| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 375, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 7.784165382385254, |
| "learning_rate": 4.96e-05, |
| "loss": 3.2243, |
| "mean_token_accuracy": 0.5354933539128979, |
| "num_tokens": 131072.0, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 0.17079119384288788, |
| "learning_rate": 4.906666666666667e-05, |
| "loss": 0.0211, |
| "mean_token_accuracy": 0.9976251516491175, |
| "num_tokens": 262144.0, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 0.08301104605197906, |
| "learning_rate": 4.853333333333334e-05, |
| "loss": 0.0011, |
| "mean_token_accuracy": 0.9996854290366173, |
| "num_tokens": 393216.0, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 0.005679777357727289, |
| "learning_rate": 4.8e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 524288.0, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.0005719825276173651, |
| "learning_rate": 4.746666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 655360.0, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.0012804552679881454, |
| "learning_rate": 4.6933333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 786432.0, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 0.00012686925765592605, |
| "learning_rate": 4.64e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 917504.0, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 0.0002875796926673502, |
| "learning_rate": 4.5866666666666666e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1048576.0, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 8.00159978098236e-05, |
| "learning_rate": 4.5333333333333335e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1179648.0, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.00021337272482924163, |
| "learning_rate": 4.4800000000000005e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1310720.0, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 8.723162318347022e-05, |
| "learning_rate": 4.426666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1441792.0, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.00028161672526039183, |
| "learning_rate": 4.373333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1572864.0, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 8.043045818340033e-05, |
| "learning_rate": 4.32e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1703936.0, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.00018893576634582132, |
| "learning_rate": 4.266666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1835008.0, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.0001543586840853095, |
| "learning_rate": 4.213333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 1966080.0, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 6.0028876760043204e-05, |
| "learning_rate": 4.16e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2097152.0, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 0.0004870198608841747, |
| "learning_rate": 4.106666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2228224.0, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.00021691097936127335, |
| "learning_rate": 4.0533333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2359296.0, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 4.944597094436176e-05, |
| "learning_rate": 4e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2490368.0, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 4.033681034343317e-05, |
| "learning_rate": 3.9466666666666666e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2621440.0, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 2.9870894650230184e-05, |
| "learning_rate": 3.8933333333333336e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2752512.0, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.00012185564992250875, |
| "learning_rate": 3.8400000000000005e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 2883584.0, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 1.976287239813246e-05, |
| "learning_rate": 3.786666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3014656.0, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 3.324087811051868e-05, |
| "learning_rate": 3.733333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3145728.0, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 4.884622831013985e-05, |
| "learning_rate": 3.68e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3276800.0, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 4.518795321928337e-05, |
| "learning_rate": 3.626666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3407872.0, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.00011629111395450309, |
| "learning_rate": 3.573333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3538944.0, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 7.061118958517909e-05, |
| "learning_rate": 3.52e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3670016.0, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 2.817103268171195e-05, |
| "learning_rate": 3.466666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3801088.0, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.00037333546788431704, |
| "learning_rate": 3.4133333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 3932160.0, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.00017842785746324807, |
| "learning_rate": 3.3600000000000004e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4063232.0, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 2.040605977526866e-05, |
| "learning_rate": 3.3066666666666666e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4194304.0, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 2.505922930140514e-05, |
| "learning_rate": 3.253333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4325376.0, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 2.2652215193375014e-05, |
| "learning_rate": 3.2000000000000005e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4456448.0, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 2.3868757125455886e-05, |
| "learning_rate": 3.146666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4587520.0, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 1.1212788194825407e-05, |
| "learning_rate": 3.093333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4718592.0, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 2.3257109205587767e-05, |
| "learning_rate": 3.04e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4849664.0, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 3.711251702043228e-05, |
| "learning_rate": 2.986666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 4980736.0, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 7.297754928003997e-05, |
| "learning_rate": 2.9333333333333336e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5111808.0, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.00010517063492443413, |
| "learning_rate": 2.88e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5242880.0, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 4.255213207216002e-05, |
| "learning_rate": 2.8266666666666668e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5373952.0, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 2.3020815206109546e-05, |
| "learning_rate": 2.7733333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5505024.0, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 3.63195977115538e-05, |
| "learning_rate": 2.7200000000000004e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5636096.0, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.00012827274622395635, |
| "learning_rate": 2.6666666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5767168.0, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 1.7511865735286847e-05, |
| "learning_rate": 2.6133333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 5898240.0, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 2.0694662453024648e-05, |
| "learning_rate": 2.5600000000000002e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6029312.0, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 2.1587062292383052e-05, |
| "learning_rate": 2.5066666666666665e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6160384.0, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 3.564270446076989e-05, |
| "learning_rate": 2.4533333333333334e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6291456.0, |
| "step": 192 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 1.6911988495849073e-05, |
| "learning_rate": 2.4e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6422528.0, |
| "step": 196 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 1.3672574823431205e-05, |
| "learning_rate": 2.3466666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6553600.0, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 2.0297446098993532e-05, |
| "learning_rate": 2.2933333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6684672.0, |
| "step": 204 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 4.1647574107628316e-05, |
| "learning_rate": 2.2400000000000002e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6815744.0, |
| "step": 208 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 2.4722034140722826e-05, |
| "learning_rate": 2.186666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 6946816.0, |
| "step": 212 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.00011115494271507487, |
| "learning_rate": 2.1333333333333335e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7077888.0, |
| "step": 216 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.0002275779697811231, |
| "learning_rate": 2.08e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7208960.0, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 1.4726716472068802e-05, |
| "learning_rate": 2.0266666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7340032.0, |
| "step": 224 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 5.0394388381391764e-05, |
| "learning_rate": 1.9733333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7471104.0, |
| "step": 228 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 1.3866126209904905e-05, |
| "learning_rate": 1.9200000000000003e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7602176.0, |
| "step": 232 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 4.473595254239626e-05, |
| "learning_rate": 1.866666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7733248.0, |
| "step": 236 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 2.318756014574319e-05, |
| "learning_rate": 1.8133333333333335e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7864320.0, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 2.479927206877619e-05, |
| "learning_rate": 1.76e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 7995392.0, |
| "step": 244 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 1.8104836271959357e-05, |
| "learning_rate": 1.7066666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8126464.0, |
| "step": 248 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 2.454722380207386e-05, |
| "learning_rate": 1.6533333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8257536.0, |
| "step": 252 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 4.033783625345677e-05, |
| "learning_rate": 1.6000000000000003e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8388608.0, |
| "step": 256 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 1.899342896649614e-05, |
| "learning_rate": 1.546666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8519680.0, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 1.3646393199451268e-05, |
| "learning_rate": 1.4933333333333335e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8650752.0, |
| "step": 264 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 2.635463170008734e-05, |
| "learning_rate": 1.44e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8781824.0, |
| "step": 268 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 1.4024440133653115e-05, |
| "learning_rate": 1.3866666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 8912896.0, |
| "step": 272 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 3.000015021825675e-05, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9043968.0, |
| "step": 276 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 1.750220326357521e-05, |
| "learning_rate": 1.2800000000000001e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9175040.0, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 1.83539668796584e-05, |
| "learning_rate": 1.2266666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9306112.0, |
| "step": 284 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 1.9930874259443954e-05, |
| "learning_rate": 1.1733333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9437184.0, |
| "step": 288 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 4.059869024786167e-05, |
| "learning_rate": 1.1200000000000001e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9568256.0, |
| "step": 292 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 3.668823046609759e-05, |
| "learning_rate": 1.0666666666666667e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9699328.0, |
| "step": 296 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 1.7250209566554986e-05, |
| "learning_rate": 1.0133333333333333e-05, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9830400.0, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 1.6612504623481072e-05, |
| "learning_rate": 9.600000000000001e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 9961472.0, |
| "step": 304 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 1.4511652807414066e-05, |
| "learning_rate": 9.066666666666667e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10092544.0, |
| "step": 308 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 1.369124038319569e-05, |
| "learning_rate": 8.533333333333334e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10223616.0, |
| "step": 312 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 1.970947050722316e-05, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10354688.0, |
| "step": 316 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 1.170242376247188e-05, |
| "learning_rate": 7.4666666666666675e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10485760.0, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 2.1730736989411525e-05, |
| "learning_rate": 6.933333333333334e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10616832.0, |
| "step": 324 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 9.14263364393264e-06, |
| "learning_rate": 6.4000000000000006e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10747904.0, |
| "step": 328 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 1.0860680959012825e-05, |
| "learning_rate": 5.866666666666667e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 10878976.0, |
| "step": 332 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 1.1703940799634438e-05, |
| "learning_rate": 5.333333333333334e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11010048.0, |
| "step": 336 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 2.3761449483572505e-05, |
| "learning_rate": 4.800000000000001e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11141120.0, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 1.4820380783930887e-05, |
| "learning_rate": 4.266666666666667e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11272192.0, |
| "step": 344 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 1.8240920326206833e-05, |
| "learning_rate": 3.7333333333333337e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11403264.0, |
| "step": 348 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 1.2562619303935207e-05, |
| "learning_rate": 3.2000000000000003e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11534336.0, |
| "step": 352 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 2.1829606339451857e-05, |
| "learning_rate": 2.666666666666667e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11665408.0, |
| "step": 356 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 1.444341160095064e-05, |
| "learning_rate": 2.1333333333333334e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11796480.0, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 2.2969670681050047e-05, |
| "learning_rate": 1.6000000000000001e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 11927552.0, |
| "step": 364 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 1.6758533092797734e-05, |
| "learning_rate": 1.0666666666666667e-06, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 12058624.0, |
| "step": 368 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 2.6082643671543337e-05, |
| "learning_rate": 5.333333333333333e-07, |
| "loss": 0.0, |
| "mean_token_accuracy": 1.0, |
| "num_tokens": 12189696.0, |
| "step": 372 |
| } |
| ], |
| "logging_steps": 4, |
| "max_steps": 375, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 10, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3.3962990764032e+16, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
