| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 5000, | |
| "global_step": 15000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 1.0555673837661743, | |
| "learning_rate": 1.9866666666666667e-05, | |
| "loss": 0.9803, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 1.0609339475631714, | |
| "learning_rate": 1.9733333333333336e-05, | |
| "loss": 0.9477, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.8154662251472473, | |
| "learning_rate": 1.9600000000000002e-05, | |
| "loss": 0.9472, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.8507415652275085, | |
| "learning_rate": 1.9466666666666668e-05, | |
| "loss": 0.9496, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.9045298099517822, | |
| "learning_rate": 1.9333333333333333e-05, | |
| "loss": 0.9416, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 1.2995306253433228, | |
| "learning_rate": 1.9200000000000003e-05, | |
| "loss": 0.9501, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.8860793709754944, | |
| "learning_rate": 1.9066666666666668e-05, | |
| "loss": 0.929, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.8791409134864807, | |
| "learning_rate": 1.8933333333333334e-05, | |
| "loss": 0.9323, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.868554949760437, | |
| "learning_rate": 1.88e-05, | |
| "loss": 0.9252, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.7996535301208496, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 0.916, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.9991319179534912, | |
| "learning_rate": 1.8533333333333334e-05, | |
| "loss": 0.9267, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 1.0026607513427734, | |
| "learning_rate": 1.8400000000000003e-05, | |
| "loss": 0.9281, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.860996663570404, | |
| "learning_rate": 1.826666666666667e-05, | |
| "loss": 0.9272, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.8613474369049072, | |
| "learning_rate": 1.8133333333333335e-05, | |
| "loss": 0.9277, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.8491615653038025, | |
| "learning_rate": 1.8e-05, | |
| "loss": 0.9293, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.9264828562736511, | |
| "learning_rate": 1.7866666666666666e-05, | |
| "loss": 0.917, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.8633733987808228, | |
| "learning_rate": 1.7733333333333335e-05, | |
| "loss": 0.9325, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.8906639218330383, | |
| "learning_rate": 1.76e-05, | |
| "loss": 0.9126, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.885764479637146, | |
| "learning_rate": 1.7466666666666667e-05, | |
| "loss": 0.9065, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.8839893937110901, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 0.9429, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.913644552230835, | |
| "learning_rate": 1.72e-05, | |
| "loss": 0.9056, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.8399360179901123, | |
| "learning_rate": 1.706666666666667e-05, | |
| "loss": 0.913, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.8176397681236267, | |
| "learning_rate": 1.6933333333333336e-05, | |
| "loss": 0.9192, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.8771522045135498, | |
| "learning_rate": 1.6800000000000002e-05, | |
| "loss": 0.9222, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.7874905467033386, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.9197, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 0.8051652312278748, | |
| "learning_rate": 1.6533333333333333e-05, | |
| "loss": 0.91, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 0.80189049243927, | |
| "learning_rate": 1.64e-05, | |
| "loss": 0.9091, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.7678588032722473, | |
| "learning_rate": 1.6266666666666668e-05, | |
| "loss": 0.9111, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 0.7835684418678284, | |
| "learning_rate": 1.6133333333333334e-05, | |
| "loss": 0.9127, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.8735753297805786, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.9038, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 0.8635367155075073, | |
| "learning_rate": 1.586666666666667e-05, | |
| "loss": 0.9148, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.8477209210395813, | |
| "learning_rate": 1.5733333333333334e-05, | |
| "loss": 0.9123, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 0.7765554785728455, | |
| "learning_rate": 1.5600000000000003e-05, | |
| "loss": 0.8898, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 0.891146183013916, | |
| "learning_rate": 1.546666666666667e-05, | |
| "loss": 0.8992, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.8695024251937866, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 0.9114, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.927379846572876, | |
| "learning_rate": 1.5200000000000002e-05, | |
| "loss": 0.89, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 0.885179340839386, | |
| "learning_rate": 1.5066666666666668e-05, | |
| "loss": 0.9159, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 0.9603422284126282, | |
| "learning_rate": 1.4933333333333335e-05, | |
| "loss": 0.9115, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 0.8624181151390076, | |
| "learning_rate": 1.48e-05, | |
| "loss": 0.9025, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.9430868625640869, | |
| "learning_rate": 1.4666666666666666e-05, | |
| "loss": 0.8984, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 0.7860404849052429, | |
| "learning_rate": 1.4533333333333335e-05, | |
| "loss": 0.8887, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 0.793118417263031, | |
| "learning_rate": 1.4400000000000001e-05, | |
| "loss": 0.9097, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 0.8741154074668884, | |
| "learning_rate": 1.4266666666666668e-05, | |
| "loss": 0.8919, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.7793194651603699, | |
| "learning_rate": 1.4133333333333334e-05, | |
| "loss": 0.8927, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.7923697233200073, | |
| "learning_rate": 1.4e-05, | |
| "loss": 0.9032, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 0.8406550288200378, | |
| "learning_rate": 1.3866666666666669e-05, | |
| "loss": 0.8878, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 1.0170931816101074, | |
| "learning_rate": 1.3733333333333335e-05, | |
| "loss": 0.9032, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.8855489492416382, | |
| "learning_rate": 1.3600000000000002e-05, | |
| "loss": 0.9026, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 0.7720271348953247, | |
| "learning_rate": 1.3466666666666668e-05, | |
| "loss": 0.8978, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.841073751449585, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.8958, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.88493812084198, | |
| "eval_runtime": 62.115, | |
| "eval_samples_per_second": 16.099, | |
| "eval_steps_per_second": 2.012, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 0.856351375579834, | |
| "learning_rate": 1.3200000000000002e-05, | |
| "loss": 0.7886, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.92889404296875, | |
| "learning_rate": 1.3066666666666668e-05, | |
| "loss": 0.7957, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 0.8512794375419617, | |
| "learning_rate": 1.2933333333333334e-05, | |
| "loss": 0.7887, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 0.8943263292312622, | |
| "learning_rate": 1.2800000000000001e-05, | |
| "loss": 0.8119, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.908469557762146, | |
| "learning_rate": 1.2666666666666667e-05, | |
| "loss": 0.7958, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.790229856967926, | |
| "learning_rate": 1.2533333333333336e-05, | |
| "loss": 0.7958, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 1.14, | |
| "grad_norm": 1.0110950469970703, | |
| "learning_rate": 1.2400000000000002e-05, | |
| "loss": 0.7907, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.9110943078994751, | |
| "learning_rate": 1.2266666666666667e-05, | |
| "loss": 0.7939, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 0.8515949249267578, | |
| "learning_rate": 1.2133333333333335e-05, | |
| "loss": 0.7849, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.8418060541152954, | |
| "learning_rate": 1.2e-05, | |
| "loss": 0.8036, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 0.8303418159484863, | |
| "learning_rate": 1.186666666666667e-05, | |
| "loss": 0.8002, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 0.8996633291244507, | |
| "learning_rate": 1.1733333333333335e-05, | |
| "loss": 0.8005, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": 0.8889008164405823, | |
| "learning_rate": 1.16e-05, | |
| "loss": 0.7956, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.8718474507331848, | |
| "learning_rate": 1.1466666666666668e-05, | |
| "loss": 0.786, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.931644856929779, | |
| "learning_rate": 1.1333333333333334e-05, | |
| "loss": 0.8017, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.873427152633667, | |
| "learning_rate": 1.1200000000000001e-05, | |
| "loss": 0.7855, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 0.8685030341148376, | |
| "learning_rate": 1.1066666666666669e-05, | |
| "loss": 0.802, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 1.36, | |
| "grad_norm": 0.8744147419929504, | |
| "learning_rate": 1.0933333333333334e-05, | |
| "loss": 0.7936, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 0.9263073205947876, | |
| "learning_rate": 1.0800000000000002e-05, | |
| "loss": 0.7864, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.8322786688804626, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.7886, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 0.8734496235847473, | |
| "learning_rate": 1.0533333333333333e-05, | |
| "loss": 0.7889, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 1.0558969974517822, | |
| "learning_rate": 1.04e-05, | |
| "loss": 0.8092, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 0.8517795205116272, | |
| "learning_rate": 1.0266666666666668e-05, | |
| "loss": 0.8061, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.8912076354026794, | |
| "learning_rate": 1.0133333333333335e-05, | |
| "loss": 0.8073, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.8496484756469727, | |
| "learning_rate": 1e-05, | |
| "loss": 0.789, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.8365699648857117, | |
| "learning_rate": 9.866666666666668e-06, | |
| "loss": 0.7813, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 1.54, | |
| "grad_norm": 0.8612975478172302, | |
| "learning_rate": 9.733333333333334e-06, | |
| "loss": 0.7923, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.825588047504425, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 0.8017, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 0.9208545684814453, | |
| "learning_rate": 9.466666666666667e-06, | |
| "loss": 0.7975, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.8390321731567383, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.8023, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 1.62, | |
| "grad_norm": 0.9178739786148071, | |
| "learning_rate": 9.200000000000002e-06, | |
| "loss": 0.7965, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 1.64, | |
| "grad_norm": 0.9349595904350281, | |
| "learning_rate": 9.066666666666667e-06, | |
| "loss": 0.7977, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 1.66, | |
| "grad_norm": 0.8347993493080139, | |
| "learning_rate": 8.933333333333333e-06, | |
| "loss": 0.7898, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 1.68, | |
| "grad_norm": 0.8217402696609497, | |
| "learning_rate": 8.8e-06, | |
| "loss": 0.7903, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.8198782801628113, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.8032, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.8704864382743835, | |
| "learning_rate": 8.533333333333335e-06, | |
| "loss": 0.7967, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "grad_norm": 0.892342746257782, | |
| "learning_rate": 8.400000000000001e-06, | |
| "loss": 0.7884, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.9803333282470703, | |
| "learning_rate": 8.266666666666667e-06, | |
| "loss": 0.7859, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 1.78, | |
| "grad_norm": 0.8991880416870117, | |
| "learning_rate": 8.133333333333334e-06, | |
| "loss": 0.7872, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 1.0206116437911987, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.7967, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 1.82, | |
| "grad_norm": 0.8060243725776672, | |
| "learning_rate": 7.866666666666667e-06, | |
| "loss": 0.7893, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 1.84, | |
| "grad_norm": 0.8802576065063477, | |
| "learning_rate": 7.733333333333334e-06, | |
| "loss": 0.7985, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 1.86, | |
| "grad_norm": 0.8549374341964722, | |
| "learning_rate": 7.600000000000001e-06, | |
| "loss": 0.7889, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.9457976222038269, | |
| "learning_rate": 7.4666666666666675e-06, | |
| "loss": 0.8061, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.8606815338134766, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.7866, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.8577678799629211, | |
| "learning_rate": 7.2000000000000005e-06, | |
| "loss": 0.7951, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 1.94, | |
| "grad_norm": 0.9072070717811584, | |
| "learning_rate": 7.066666666666667e-06, | |
| "loss": 0.7879, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.8739129304885864, | |
| "learning_rate": 6.9333333333333344e-06, | |
| "loss": 0.7936, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 1.98, | |
| "grad_norm": 0.8881368637084961, | |
| "learning_rate": 6.800000000000001e-06, | |
| "loss": 0.7825, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.9448174834251404, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.7837, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.8766704201698303, | |
| "eval_runtime": 64.0882, | |
| "eval_samples_per_second": 15.604, | |
| "eval_steps_per_second": 1.95, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 2.02, | |
| "grad_norm": 0.8892523050308228, | |
| "learning_rate": 6.534666666666667e-06, | |
| "loss": 0.7014, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 0.9131534695625305, | |
| "learning_rate": 6.4013333333333334e-06, | |
| "loss": 0.6962, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 2.06, | |
| "grad_norm": 0.9470012784004211, | |
| "learning_rate": 6.268000000000001e-06, | |
| "loss": 0.6874, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.9785165190696716, | |
| "learning_rate": 6.134666666666667e-06, | |
| "loss": 0.7029, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 1.0245338678359985, | |
| "learning_rate": 6.001333333333334e-06, | |
| "loss": 0.6922, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 0.920975387096405, | |
| "learning_rate": 5.868e-06, | |
| "loss": 0.6973, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 2.14, | |
| "grad_norm": 0.9391937851905823, | |
| "learning_rate": 5.734666666666667e-06, | |
| "loss": 0.6917, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.9682599306106567, | |
| "learning_rate": 5.601333333333334e-06, | |
| "loss": 0.6965, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 2.18, | |
| "grad_norm": 1.0669585466384888, | |
| "learning_rate": 5.468e-06, | |
| "loss": 0.698, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 1.0977643728256226, | |
| "learning_rate": 5.3346666666666665e-06, | |
| "loss": 0.6961, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 2.22, | |
| "grad_norm": 0.9608291387557983, | |
| "learning_rate": 5.201333333333334e-06, | |
| "loss": 0.6935, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.9867018461227417, | |
| "learning_rate": 5.069333333333334e-06, | |
| "loss": 0.691, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 2.26, | |
| "grad_norm": 0.9778249263763428, | |
| "learning_rate": 4.936e-06, | |
| "loss": 0.6973, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 2.28, | |
| "grad_norm": 1.040911316871643, | |
| "learning_rate": 4.802666666666667e-06, | |
| "loss": 0.6958, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.948652446269989, | |
| "learning_rate": 4.669333333333334e-06, | |
| "loss": 0.7075, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 1.045653223991394, | |
| "learning_rate": 4.536e-06, | |
| "loss": 0.6966, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 2.34, | |
| "grad_norm": 0.9575178623199463, | |
| "learning_rate": 4.4040000000000005e-06, | |
| "loss": 0.7036, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 0.8968670964241028, | |
| "learning_rate": 4.270666666666667e-06, | |
| "loss": 0.7038, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 2.38, | |
| "grad_norm": 0.9445046186447144, | |
| "learning_rate": 4.137333333333334e-06, | |
| "loss": 0.687, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 1.0018490552902222, | |
| "learning_rate": 4.004e-06, | |
| "loss": 0.6978, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 0.9981265664100647, | |
| "learning_rate": 3.870666666666667e-06, | |
| "loss": 0.6876, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 0.9957240223884583, | |
| "learning_rate": 3.737333333333333e-06, | |
| "loss": 0.691, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 2.46, | |
| "grad_norm": 1.0652461051940918, | |
| "learning_rate": 3.604e-06, | |
| "loss": 0.7026, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.9067023992538452, | |
| "learning_rate": 3.470666666666667e-06, | |
| "loss": 0.6918, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.997002899646759, | |
| "learning_rate": 3.3373333333333336e-06, | |
| "loss": 0.7013, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 0.914594829082489, | |
| "learning_rate": 3.2040000000000006e-06, | |
| "loss": 0.7025, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 2.54, | |
| "grad_norm": 1.197375774383545, | |
| "learning_rate": 3.0706666666666667e-06, | |
| "loss": 0.7053, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 1.0545796155929565, | |
| "learning_rate": 2.9373333333333336e-06, | |
| "loss": 0.6888, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 1.0479904413223267, | |
| "learning_rate": 2.804e-06, | |
| "loss": 0.6853, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.9415286183357239, | |
| "learning_rate": 2.670666666666667e-06, | |
| "loss": 0.7053, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 2.62, | |
| "grad_norm": 0.9765642881393433, | |
| "learning_rate": 2.5373333333333332e-06, | |
| "loss": 0.7093, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 0.9646571278572083, | |
| "learning_rate": 2.404e-06, | |
| "loss": 0.7026, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 2.66, | |
| "grad_norm": 0.9278367757797241, | |
| "learning_rate": 2.2706666666666667e-06, | |
| "loss": 0.6967, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 2.68, | |
| "grad_norm": 0.9418883323669434, | |
| "learning_rate": 2.1373333333333337e-06, | |
| "loss": 0.699, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 1.0113035440444946, | |
| "learning_rate": 2.004e-06, | |
| "loss": 0.6937, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 2.72, | |
| "grad_norm": 1.0150426626205444, | |
| "learning_rate": 1.8706666666666667e-06, | |
| "loss": 0.6795, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 2.74, | |
| "grad_norm": 1.177462100982666, | |
| "learning_rate": 1.7373333333333333e-06, | |
| "loss": 0.6822, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 2.76, | |
| "grad_norm": 1.1305912733078003, | |
| "learning_rate": 1.604e-06, | |
| "loss": 0.7039, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 2.78, | |
| "grad_norm": 0.9975621700286865, | |
| "learning_rate": 1.470666666666667e-06, | |
| "loss": 0.6864, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 1.0691418647766113, | |
| "learning_rate": 1.3373333333333335e-06, | |
| "loss": 0.6945, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 2.82, | |
| "grad_norm": 0.988650381565094, | |
| "learning_rate": 1.204e-06, | |
| "loss": 0.6891, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 2.84, | |
| "grad_norm": 1.0204881429672241, | |
| "learning_rate": 1.0706666666666668e-06, | |
| "loss": 0.6873, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 2.86, | |
| "grad_norm": 1.0628246068954468, | |
| "learning_rate": 9.373333333333334e-07, | |
| "loss": 0.691, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 1.058432698249817, | |
| "learning_rate": 8.04e-07, | |
| "loss": 0.6938, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 1.0059112310409546, | |
| "learning_rate": 6.706666666666667e-07, | |
| "loss": 0.7113, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 0.963862955570221, | |
| "learning_rate": 5.373333333333334e-07, | |
| "loss": 0.6831, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 2.94, | |
| "grad_norm": 0.9393936395645142, | |
| "learning_rate": 4.04e-07, | |
| "loss": 0.7055, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 1.1199434995651245, | |
| "learning_rate": 2.706666666666667e-07, | |
| "loss": 0.6944, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 2.98, | |
| "grad_norm": 1.1279562711715698, | |
| "learning_rate": 1.3733333333333335e-07, | |
| "loss": 0.7033, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.9235104918479919, | |
| "learning_rate": 4e-09, | |
| "loss": 0.6902, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_loss": 0.8971832394599915, | |
| "eval_runtime": 53.8519, | |
| "eval_samples_per_second": 18.569, | |
| "eval_steps_per_second": 2.321, | |
| "step": 15000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 15000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 5000, | |
| "total_flos": 1.88804379967488e+18, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |