| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 5.0, | |
| "eval_steps": 500, | |
| "global_step": 300, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.016666666666666666, | |
| "grad_norm": 5.245656972900781, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.8776, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 5.218891393087194, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.8699, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.05, | |
| "grad_norm": 4.907833071621939, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.8757, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 2.26627933986632, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.7787, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 2.9279695049055183, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.761, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 3.527749490226711, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.7651, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.11666666666666667, | |
| "grad_norm": 3.605889624479288, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 0.7356, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 2.3738801725418615, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 0.6935, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.15, | |
| "grad_norm": 2.274725710925249, | |
| "learning_rate": 2.4e-05, | |
| "loss": 0.6894, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 1.9493552307289557, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 0.6534, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.18333333333333332, | |
| "grad_norm": 1.4315069665868227, | |
| "learning_rate": 2.9333333333333333e-05, | |
| "loss": 0.6564, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 1.5253504226991403, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 0.637, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.21666666666666667, | |
| "grad_norm": 1.0362270714290227, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 0.6096, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 1.0535753199910156, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 0.6146, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 0.8349010003862102, | |
| "learning_rate": 4e-05, | |
| "loss": 0.5966, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.106306463757904, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 0.5894, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.2833333333333333, | |
| "grad_norm": 1.6404444358554484, | |
| "learning_rate": 4.5333333333333335e-05, | |
| "loss": 0.5883, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 1.2010935784418375, | |
| "learning_rate": 4.8e-05, | |
| "loss": 0.5857, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.31666666666666665, | |
| "grad_norm": 1.2437856605381512, | |
| "learning_rate": 5.066666666666667e-05, | |
| "loss": 0.5799, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 1.1054886271753657, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 0.5833, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.35, | |
| "grad_norm": 1.8467836888011633, | |
| "learning_rate": 5.6e-05, | |
| "loss": 0.5691, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 1.3123090569088927, | |
| "learning_rate": 5.8666666666666665e-05, | |
| "loss": 0.5801, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.38333333333333336, | |
| "grad_norm": 1.9040924123333776, | |
| "learning_rate": 6.133333333333334e-05, | |
| "loss": 0.5703, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 1.519433235348848, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 0.5597, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 1.9894575780267958, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 0.5603, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 1.692437490204837, | |
| "learning_rate": 6.933333333333334e-05, | |
| "loss": 0.5565, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.45, | |
| "grad_norm": 1.590883494763927, | |
| "learning_rate": 7.2e-05, | |
| "loss": 0.5543, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 1.7224717553042976, | |
| "learning_rate": 7.466666666666667e-05, | |
| "loss": 0.5545, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.48333333333333334, | |
| "grad_norm": 1.1992732138594948, | |
| "learning_rate": 7.733333333333333e-05, | |
| "loss": 0.5499, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 1.5597591487390383, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5466, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.5166666666666667, | |
| "grad_norm": 13.235144568199255, | |
| "learning_rate": 7.99972923201505e-05, | |
| "loss": 0.5549, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 3.874062099184836, | |
| "learning_rate": 7.998916964717848e-05, | |
| "loss": 0.5886, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.55, | |
| "grad_norm": 1.4820859850590011, | |
| "learning_rate": 7.997563308076384e-05, | |
| "loss": 0.5638, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 2.2378343082372383, | |
| "learning_rate": 7.9956684453541e-05, | |
| "loss": 0.5635, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 2.0542713302674125, | |
| "learning_rate": 7.993232633085074e-05, | |
| "loss": 0.5569, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 1.3440983509202997, | |
| "learning_rate": 7.990256201039297e-05, | |
| "loss": 0.5466, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.6166666666666667, | |
| "grad_norm": 1.95814978563299, | |
| "learning_rate": 7.986739552178024e-05, | |
| "loss": 0.5497, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 1.4390522422057623, | |
| "learning_rate": 7.982683162599218e-05, | |
| "loss": 0.5501, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.65, | |
| "grad_norm": 1.236091120549879, | |
| "learning_rate": 7.978087581473094e-05, | |
| "loss": 0.5319, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 1.6696941417701605, | |
| "learning_rate": 7.972953430967773e-05, | |
| "loss": 0.529, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.6833333333333333, | |
| "grad_norm": 1.1511510733974055, | |
| "learning_rate": 7.967281406165047e-05, | |
| "loss": 0.5341, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 1.5109081225827479, | |
| "learning_rate": 7.961072274966282e-05, | |
| "loss": 0.5422, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.7166666666666667, | |
| "grad_norm": 1.6183268194402816, | |
| "learning_rate": 7.954326877988446e-05, | |
| "loss": 0.5375, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 1.2434289553277165, | |
| "learning_rate": 7.947046128450319e-05, | |
| "loss": 0.5354, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 2.449120981246454, | |
| "learning_rate": 7.939231012048833e-05, | |
| "loss": 0.5368, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 1.5991953169483721, | |
| "learning_rate": 7.930882586825653e-05, | |
| "loss": 0.5325, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.7833333333333333, | |
| "grad_norm": 1.9062555539894481, | |
| "learning_rate": 7.922001983023918e-05, | |
| "loss": 0.5263, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 1.108612799462749, | |
| "learning_rate": 7.912590402935223e-05, | |
| "loss": 0.5198, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.8166666666666667, | |
| "grad_norm": 2.154405805332455, | |
| "learning_rate": 7.902649120736858e-05, | |
| "loss": 0.5271, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 1.6242552519251434, | |
| "learning_rate": 7.892179482319297e-05, | |
| "loss": 0.5306, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.85, | |
| "grad_norm": 1.8581343300186228, | |
| "learning_rate": 7.881182905103986e-05, | |
| "loss": 0.5304, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 1.654252376154325, | |
| "learning_rate": 7.869660877851456e-05, | |
| "loss": 0.5303, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.8833333333333333, | |
| "grad_norm": 18.002108491304732, | |
| "learning_rate": 7.857614960459756e-05, | |
| "loss": 0.5191, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 3.6384293492152766, | |
| "learning_rate": 7.845046783753276e-05, | |
| "loss": 0.5527, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 2.619651938582199, | |
| "learning_rate": 7.831958049261956e-05, | |
| "loss": 0.5317, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 1.8069739421088107, | |
| "learning_rate": 7.818350528990929e-05, | |
| "loss": 0.5257, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.95, | |
| "grad_norm": 2.095214243472687, | |
| "learning_rate": 7.804226065180615e-05, | |
| "loss": 0.5142, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 1.388139375514743, | |
| "learning_rate": 7.789586570057317e-05, | |
| "loss": 0.5224, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.9833333333333333, | |
| "grad_norm": 1.5046369746206, | |
| "learning_rate": 7.774434025574335e-05, | |
| "loss": 0.52, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 1.686276016808025, | |
| "learning_rate": 7.758770483143634e-05, | |
| "loss": 0.5222, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.0166666666666666, | |
| "grad_norm": 0.7679065511895556, | |
| "learning_rate": 7.742598063358127e-05, | |
| "loss": 0.4969, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 1.0333333333333334, | |
| "grad_norm": 1.6671453143503268, | |
| "learning_rate": 7.72591895570457e-05, | |
| "loss": 0.5029, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 1.05, | |
| "grad_norm": 2.220579381452646, | |
| "learning_rate": 7.70873541826715e-05, | |
| "loss": 0.5371, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 4.570845075146369, | |
| "learning_rate": 7.69104977742177e-05, | |
| "loss": 0.6454, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 95.70037821653926, | |
| "learning_rate": 7.672864427521097e-05, | |
| "loss": 5.1073, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 25.51120723470009, | |
| "learning_rate": 7.654181830570404e-05, | |
| "loss": 0.8472, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 1.1166666666666667, | |
| "grad_norm": 4.160165799743227, | |
| "learning_rate": 7.635004515894258e-05, | |
| "loss": 0.599, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 23.550770127615383, | |
| "learning_rate": 7.615335079794083e-05, | |
| "loss": 0.5545, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 1.15, | |
| "grad_norm": 6.573080981318929, | |
| "learning_rate": 7.595176185196669e-05, | |
| "loss": 0.5589, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 2.529666305514143, | |
| "learning_rate": 7.57453056129365e-05, | |
| "loss": 0.5536, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.1833333333333333, | |
| "grad_norm": 1.5493207967736369, | |
| "learning_rate": 7.553401003172018e-05, | |
| "loss": 0.553, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 1.5353410133791279, | |
| "learning_rate": 7.531790371435709e-05, | |
| "loss": 0.5278, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 1.2166666666666668, | |
| "grad_norm": 1.080718986337614, | |
| "learning_rate": 7.509701591818328e-05, | |
| "loss": 0.5185, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 1.2333333333333334, | |
| "grad_norm": 1.0926454805582764, | |
| "learning_rate": 7.48713765478705e-05, | |
| "loss": 0.5235, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 1.6500275732342171, | |
| "learning_rate": 7.464101615137756e-05, | |
| "loss": 0.5273, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.6947273168033852, | |
| "learning_rate": 7.440596591581463e-05, | |
| "loss": 0.5096, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 1.2833333333333332, | |
| "grad_norm": 1.1866376155740894, | |
| "learning_rate": 7.416625766322104e-05, | |
| "loss": 0.5113, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 1.364003256949255, | |
| "learning_rate": 7.392192384625704e-05, | |
| "loss": 0.5002, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 1.3166666666666667, | |
| "grad_norm": 0.7699646989586344, | |
| "learning_rate": 7.36729975438103e-05, | |
| "loss": 0.5056, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.9387918212619166, | |
| "learning_rate": 7.341951245651747e-05, | |
| "loss": 0.5052, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 1.35, | |
| "grad_norm": 0.9794384927838236, | |
| "learning_rate": 7.316150290220167e-05, | |
| "loss": 0.4894, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 1.3666666666666667, | |
| "grad_norm": 1.0473737374776888, | |
| "learning_rate": 7.28990038112265e-05, | |
| "loss": 0.4936, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 1.3833333333333333, | |
| "grad_norm": 1.1742291915881278, | |
| "learning_rate": 7.26320507217669e-05, | |
| "loss": 0.505, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 1.6225251259818336, | |
| "learning_rate": 7.236067977499791e-05, | |
| "loss": 0.4905, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 0.8410079622378729, | |
| "learning_rate": 7.208492771020176e-05, | |
| "loss": 0.5074, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 1.4333333333333333, | |
| "grad_norm": 1.8512093181988574, | |
| "learning_rate": 7.180483185979392e-05, | |
| "loss": 0.503, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 1.45, | |
| "grad_norm": 1.1798570273773599, | |
| "learning_rate": 7.152043014426888e-05, | |
| "loss": 0.4975, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 2.0044106173108847, | |
| "learning_rate": 7.123176106706638e-05, | |
| "loss": 0.4956, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 1.4833333333333334, | |
| "grad_norm": 1.6187294121217053, | |
| "learning_rate": 7.093886370935857e-05, | |
| "loss": 0.5099, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 1.3316813459007235, | |
| "learning_rate": 7.064177772475912e-05, | |
| "loss": 0.4821, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.5166666666666666, | |
| "grad_norm": 1.3236329742991892, | |
| "learning_rate": 7.034054333395477e-05, | |
| "loss": 0.5009, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 1.2710355585646307, | |
| "learning_rate": 7.003520131925997e-05, | |
| "loss": 0.4933, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 1.55, | |
| "grad_norm": 0.8906498668488716, | |
| "learning_rate": 6.972579301909577e-05, | |
| "loss": 0.4973, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 1.5666666666666667, | |
| "grad_norm": 0.9758072573672575, | |
| "learning_rate": 6.941236032239316e-05, | |
| "loss": 0.4891, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 0.8325314640236163, | |
| "learning_rate": 6.909494566292195e-05, | |
| "loss": 0.4906, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.6862846883116868, | |
| "learning_rate": 6.877359201354606e-05, | |
| "loss": 0.4708, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 1.6166666666666667, | |
| "grad_norm": 0.8114306753381507, | |
| "learning_rate": 6.844834288040548e-05, | |
| "loss": 0.48, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 1.6333333333333333, | |
| "grad_norm": 0.6802406870407687, | |
| "learning_rate": 6.811924229702648e-05, | |
| "loss": 0.4907, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 1.65, | |
| "grad_norm": 0.7746572186775433, | |
| "learning_rate": 6.778633481835989e-05, | |
| "loss": 0.4792, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.596342711723325, | |
| "learning_rate": 6.744966551474936e-05, | |
| "loss": 0.4709, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 1.6833333333333333, | |
| "grad_norm": 0.5786523069395214, | |
| "learning_rate": 6.71092799658293e-05, | |
| "loss": 0.4717, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.578720133999103, | |
| "learning_rate": 6.676522425435433e-05, | |
| "loss": 0.4726, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 1.7166666666666668, | |
| "grad_norm": 0.619421135446994, | |
| "learning_rate": 6.641754495996031e-05, | |
| "loss": 0.4732, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.5320320618804577, | |
| "learning_rate": 6.606628915285822e-05, | |
| "loss": 0.475, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 0.5935909070239521, | |
| "learning_rate": 6.571150438746157e-05, | |
| "loss": 0.476, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 1.7666666666666666, | |
| "grad_norm": 0.7225146247808617, | |
| "learning_rate": 6.53532386959484e-05, | |
| "loss": 0.4804, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 1.7833333333333332, | |
| "grad_norm": 0.8099377428335527, | |
| "learning_rate": 6.499154058175841e-05, | |
| "loss": 0.4801, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.9381139587591945, | |
| "learning_rate": 6.462645901302633e-05, | |
| "loss": 0.4695, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 1.8166666666666667, | |
| "grad_norm": 1.280364541057433, | |
| "learning_rate": 6.425804341595255e-05, | |
| "loss": 0.474, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 0.7258487421487859, | |
| "learning_rate": 6.388634366811146e-05, | |
| "loss": 0.4753, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.85, | |
| "grad_norm": 0.4381708977671278, | |
| "learning_rate": 6.351141009169893e-05, | |
| "loss": 0.4801, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.6827208700360275, | |
| "learning_rate": 6.313329344671946e-05, | |
| "loss": 0.4671, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 1.8833333333333333, | |
| "grad_norm": 1.122933541517188, | |
| "learning_rate": 6.275204492411408e-05, | |
| "loss": 0.4742, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.8764710794281773, | |
| "learning_rate": 6.236771613882987e-05, | |
| "loss": 0.4669, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 0.6477607688780823, | |
| "learning_rate": 6.198035912283225e-05, | |
| "loss": 0.4704, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.5534687080744243, | |
| "learning_rate": 6.159002631806052e-05, | |
| "loss": 0.4624, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 1.95, | |
| "grad_norm": 0.45096824695667637, | |
| "learning_rate": 6.11967705693282e-05, | |
| "loss": 0.4602, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 1.9666666666666668, | |
| "grad_norm": 0.554357902331042, | |
| "learning_rate": 6.0800645117168616e-05, | |
| "loss": 0.4684, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 1.9833333333333334, | |
| "grad_norm": 0.5221484514841085, | |
| "learning_rate": 6.040170359062702e-05, | |
| "loss": 0.4683, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.5704263223686744, | |
| "learning_rate": 6.000000000000001e-05, | |
| "loss": 0.4461, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 2.0166666666666666, | |
| "grad_norm": 0.5709278974682745, | |
| "learning_rate": 5.959558872952349e-05, | |
| "loss": 0.4438, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 2.033333333333333, | |
| "grad_norm": 0.5801282027560986, | |
| "learning_rate": 5.918852453000986e-05, | |
| "loss": 0.4412, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 2.05, | |
| "grad_norm": 0.6959111187765339, | |
| "learning_rate": 5.877886251143564e-05, | |
| "loss": 0.4383, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 0.6383137765035167, | |
| "learning_rate": 5.836665813548047e-05, | |
| "loss": 0.439, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 0.6979472630547436, | |
| "learning_rate": 5.79519672080185e-05, | |
| "loss": 0.4404, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.8032609331074188, | |
| "learning_rate": 5.75348458715631e-05, | |
| "loss": 0.4446, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 2.1166666666666667, | |
| "grad_norm": 0.8008578170362761, | |
| "learning_rate": 5.711535059766617e-05, | |
| "loss": 0.4328, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.7544509359404, | |
| "learning_rate": 5.669353817927272e-05, | |
| "loss": 0.4332, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 2.15, | |
| "grad_norm": 0.5277962998797086, | |
| "learning_rate": 5.626946572303202e-05, | |
| "loss": 0.4439, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 0.48832916475247207, | |
| "learning_rate": 5.584319064156628e-05, | |
| "loss": 0.4363, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 2.183333333333333, | |
| "grad_norm": 0.3193641330679638, | |
| "learning_rate": 5.541477064569794e-05, | |
| "loss": 0.437, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.43285764791873127, | |
| "learning_rate": 5.4984263736636494e-05, | |
| "loss": 0.4396, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 2.216666666666667, | |
| "grad_norm": 0.506381220210278, | |
| "learning_rate": 5.4551728198126066e-05, | |
| "loss": 0.441, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 2.2333333333333334, | |
| "grad_norm": 0.497473946767306, | |
| "learning_rate": 5.4117222588554756e-05, | |
| "loss": 0.4356, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 0.3626547796740017, | |
| "learning_rate": 5.368080573302676e-05, | |
| "loss": 0.4483, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.4460556149358041, | |
| "learning_rate": 5.324253671539833e-05, | |
| "loss": 0.4315, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 2.283333333333333, | |
| "grad_norm": 0.35392468089641915, | |
| "learning_rate": 5.280247487027886e-05, | |
| "loss": 0.4324, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.477174161688509, | |
| "learning_rate": 5.23606797749979e-05, | |
| "loss": 0.4369, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 2.3166666666666664, | |
| "grad_norm": 0.4332074029655615, | |
| "learning_rate": 5.191721124153928e-05, | |
| "loss": 0.4384, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 0.359337416622667, | |
| "learning_rate": 5.1472129308443616e-05, | |
| "loss": 0.4323, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 2.35, | |
| "grad_norm": 0.45751469741830436, | |
| "learning_rate": 5.102549423267997e-05, | |
| "loss": 0.4413, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 2.3666666666666667, | |
| "grad_norm": 0.36273885092681685, | |
| "learning_rate": 5.05773664814881e-05, | |
| "loss": 0.4372, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 2.3833333333333333, | |
| "grad_norm": 0.43840182150058027, | |
| "learning_rate": 5.012780672419208e-05, | |
| "loss": 0.4389, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.5814229277766988, | |
| "learning_rate": 4.967687582398671e-05, | |
| "loss": 0.4366, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 0.4648544861511475, | |
| "learning_rate": 4.922463482969761e-05, | |
| "loss": 0.4244, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 2.4333333333333336, | |
| "grad_norm": 0.43277324284253266, | |
| "learning_rate": 4.877114496751613e-05, | |
| "loss": 0.4263, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 2.45, | |
| "grad_norm": 0.3445487784949258, | |
| "learning_rate": 4.831646763271037e-05, | |
| "loss": 0.4259, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 0.249493804872003, | |
| "learning_rate": 4.786066438131321e-05, | |
| "loss": 0.4303, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 2.4833333333333334, | |
| "grad_norm": 0.35648001360715187, | |
| "learning_rate": 4.740379692178858e-05, | |
| "loss": 0.4371, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.35764410624086523, | |
| "learning_rate": 4.694592710667723e-05, | |
| "loss": 0.4363, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 2.5166666666666666, | |
| "grad_norm": 0.32197356996135706, | |
| "learning_rate": 4.648711692422271e-05, | |
| "loss": 0.4284, | |
| "step": 151 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 0.26813902456960564, | |
| "learning_rate": 4.602742848997933e-05, | |
| "loss": 0.4268, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 2.55, | |
| "grad_norm": 0.3152449367621475, | |
| "learning_rate": 4.556692403840262e-05, | |
| "loss": 0.4361, | |
| "step": 153 | |
| }, | |
| { | |
| "epoch": 2.5666666666666664, | |
| "grad_norm": 0.3044173540598896, | |
| "learning_rate": 4.51056659144238e-05, | |
| "loss": 0.4369, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 0.34156608545292216, | |
| "learning_rate": 4.464371656500921e-05, | |
| "loss": 0.4288, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.23359937356488897, | |
| "learning_rate": 4.418113853070614e-05, | |
| "loss": 0.4284, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 2.6166666666666667, | |
| "grad_norm": 0.2622225256652441, | |
| "learning_rate": 4.37179944371757e-05, | |
| "loss": 0.4301, | |
| "step": 157 | |
| }, | |
| { | |
| "epoch": 2.6333333333333333, | |
| "grad_norm": 0.2666586570230336, | |
| "learning_rate": 4.3254346986714334e-05, | |
| "loss": 0.4309, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 2.65, | |
| "grad_norm": 0.22512452157668708, | |
| "learning_rate": 4.2790258949765014e-05, | |
| "loss": 0.4383, | |
| "step": 159 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 0.22395685196851006, | |
| "learning_rate": 4.2325793156419035e-05, | |
| "loss": 0.4302, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 2.6833333333333336, | |
| "grad_norm": 0.2631712834526137, | |
| "learning_rate": 4.186101248790988e-05, | |
| "loss": 0.4274, | |
| "step": 161 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 0.18137357765826834, | |
| "learning_rate": 4.139597986810005e-05, | |
| "loss": 0.4283, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 2.716666666666667, | |
| "grad_norm": 0.2152319656904045, | |
| "learning_rate": 4.093075825496225e-05, | |
| "loss": 0.4262, | |
| "step": 163 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 0.23695720587637784, | |
| "learning_rate": 4.046541063205589e-05, | |
| "loss": 0.4267, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 0.18535759709420013, | |
| "learning_rate": 4e-05, | |
| "loss": 0.431, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 2.7666666666666666, | |
| "grad_norm": 0.19512911640325292, | |
| "learning_rate": 3.953458936794413e-05, | |
| "loss": 0.4302, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 2.783333333333333, | |
| "grad_norm": 0.24096730339995487, | |
| "learning_rate": 3.9069241745037753e-05, | |
| "loss": 0.4243, | |
| "step": 167 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.252078037604114, | |
| "learning_rate": 3.860402013189998e-05, | |
| "loss": 0.4282, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 2.8166666666666664, | |
| "grad_norm": 0.1924034465875299, | |
| "learning_rate": 3.813898751209013e-05, | |
| "loss": 0.4267, | |
| "step": 169 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 0.23563515928261294, | |
| "learning_rate": 3.767420684358097e-05, | |
| "loss": 0.4376, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 2.85, | |
| "grad_norm": 0.1634490186417809, | |
| "learning_rate": 3.720974105023499e-05, | |
| "loss": 0.4331, | |
| "step": 171 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 0.18183833282724582, | |
| "learning_rate": 3.674565301328568e-05, | |
| "loss": 0.4255, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 2.8833333333333333, | |
| "grad_norm": 0.1732573714191111, | |
| "learning_rate": 3.628200556282432e-05, | |
| "loss": 0.4242, | |
| "step": 173 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 0.17815235424744558, | |
| "learning_rate": 3.581886146929387e-05, | |
| "loss": 0.4329, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 0.22481501284187758, | |
| "learning_rate": 3.535628343499079e-05, | |
| "loss": 0.4338, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 0.1800561213440347, | |
| "learning_rate": 3.4894334085576215e-05, | |
| "loss": 0.4228, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 2.95, | |
| "grad_norm": 0.19746447907155162, | |
| "learning_rate": 3.44330759615974e-05, | |
| "loss": 0.4352, | |
| "step": 177 | |
| }, | |
| { | |
| "epoch": 2.966666666666667, | |
| "grad_norm": 0.18920195029733491, | |
| "learning_rate": 3.397257151002068e-05, | |
| "loss": 0.4293, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 2.9833333333333334, | |
| "grad_norm": 0.2323628846730535, | |
| "learning_rate": 3.351288307577731e-05, | |
| "loss": 0.4359, | |
| "step": 179 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.21748900457524406, | |
| "learning_rate": 3.305407289332279e-05, | |
| "loss": 0.4174, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 3.0166666666666666, | |
| "grad_norm": 0.271621511298459, | |
| "learning_rate": 3.2596203078211424e-05, | |
| "loss": 0.4078, | |
| "step": 181 | |
| }, | |
| { | |
| "epoch": 3.033333333333333, | |
| "grad_norm": 0.2012008013431602, | |
| "learning_rate": 3.213933561868679e-05, | |
| "loss": 0.3961, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 3.05, | |
| "grad_norm": 0.3220604765409426, | |
| "learning_rate": 3.168353236728964e-05, | |
| "loss": 0.4045, | |
| "step": 183 | |
| }, | |
| { | |
| "epoch": 3.066666666666667, | |
| "grad_norm": 0.19572819773614739, | |
| "learning_rate": 3.122885503248386e-05, | |
| "loss": 0.3961, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 3.0833333333333335, | |
| "grad_norm": 0.33244677864095823, | |
| "learning_rate": 3.07753651703024e-05, | |
| "loss": 0.3928, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 3.1, | |
| "grad_norm": 0.24724515409460784, | |
| "learning_rate": 3.0323124176013297e-05, | |
| "loss": 0.3967, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 3.1166666666666667, | |
| "grad_norm": 0.296372671702842, | |
| "learning_rate": 2.9872193275807933e-05, | |
| "loss": 0.3934, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 3.1333333333333333, | |
| "grad_norm": 0.23480346232564567, | |
| "learning_rate": 2.9422633518511926e-05, | |
| "loss": 0.3999, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 3.15, | |
| "grad_norm": 0.2299020315400507, | |
| "learning_rate": 2.8974505767320037e-05, | |
| "loss": 0.3957, | |
| "step": 189 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 0.20438922063246678, | |
| "learning_rate": 2.8527870691556404e-05, | |
| "loss": 0.3909, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 3.183333333333333, | |
| "grad_norm": 0.23024242910435916, | |
| "learning_rate": 2.808278875846072e-05, | |
| "loss": 0.3979, | |
| "step": 191 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 0.19952835302247546, | |
| "learning_rate": 2.7639320225002108e-05, | |
| "loss": 0.3878, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 3.216666666666667, | |
| "grad_norm": 0.2433848525247375, | |
| "learning_rate": 2.7197525129721138e-05, | |
| "loss": 0.4054, | |
| "step": 193 | |
| }, | |
| { | |
| "epoch": 3.2333333333333334, | |
| "grad_norm": 0.18781862787549544, | |
| "learning_rate": 2.6757463284601682e-05, | |
| "loss": 0.4018, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 0.24582760836055703, | |
| "learning_rate": 2.6319194266973256e-05, | |
| "loss": 0.4003, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 3.2666666666666666, | |
| "grad_norm": 0.1952833254189799, | |
| "learning_rate": 2.5882777411445254e-05, | |
| "loss": 0.3976, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 3.283333333333333, | |
| "grad_norm": 0.24107320758003553, | |
| "learning_rate": 2.5448271801873957e-05, | |
| "loss": 0.3894, | |
| "step": 197 | |
| }, | |
| { | |
| "epoch": 3.3, | |
| "grad_norm": 0.20156597827284783, | |
| "learning_rate": 2.501573626336352e-05, | |
| "loss": 0.3937, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 3.3166666666666664, | |
| "grad_norm": 0.19144637276173257, | |
| "learning_rate": 2.4585229354302077e-05, | |
| "loss": 0.4047, | |
| "step": 199 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 0.19465848820341938, | |
| "learning_rate": 2.4156809358433728e-05, | |
| "loss": 0.3926, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 3.35, | |
| "grad_norm": 0.17941943926005774, | |
| "learning_rate": 2.3730534276968e-05, | |
| "loss": 0.3996, | |
| "step": 201 | |
| }, | |
| { | |
| "epoch": 3.3666666666666667, | |
| "grad_norm": 0.16877944368715106, | |
| "learning_rate": 2.330646182072729e-05, | |
| "loss": 0.3988, | |
| "step": 202 | |
| }, | |
| { | |
| "epoch": 3.3833333333333333, | |
| "grad_norm": 0.15853651420700432, | |
| "learning_rate": 2.288464940233384e-05, | |
| "loss": 0.3969, | |
| "step": 203 | |
| }, | |
| { | |
| "epoch": 3.4, | |
| "grad_norm": 0.17704756414138859, | |
| "learning_rate": 2.24651541284369e-05, | |
| "loss": 0.3965, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 3.4166666666666665, | |
| "grad_norm": 0.16488014130826012, | |
| "learning_rate": 2.2048032791981515e-05, | |
| "loss": 0.3975, | |
| "step": 205 | |
| }, | |
| { | |
| "epoch": 3.4333333333333336, | |
| "grad_norm": 0.16892937284191595, | |
| "learning_rate": 2.1633341864519526e-05, | |
| "loss": 0.3867, | |
| "step": 206 | |
| }, | |
| { | |
| "epoch": 3.45, | |
| "grad_norm": 0.1358343960156378, | |
| "learning_rate": 2.122113748856438e-05, | |
| "loss": 0.393, | |
| "step": 207 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 0.1504422610938134, | |
| "learning_rate": 2.0811475469990167e-05, | |
| "loss": 0.4008, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 3.4833333333333334, | |
| "grad_norm": 0.13351109545536258, | |
| "learning_rate": 2.0404411270476527e-05, | |
| "loss": 0.3992, | |
| "step": 209 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 0.14061486072290816, | |
| "learning_rate": 2.0000000000000012e-05, | |
| "loss": 0.3951, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 3.5166666666666666, | |
| "grad_norm": 0.13436586012369262, | |
| "learning_rate": 1.959829640937299e-05, | |
| "loss": 0.3976, | |
| "step": 211 | |
| }, | |
| { | |
| "epoch": 3.533333333333333, | |
| "grad_norm": 0.14060275789158602, | |
| "learning_rate": 1.9199354882831387e-05, | |
| "loss": 0.3967, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 3.55, | |
| "grad_norm": 0.1342180419460769, | |
| "learning_rate": 1.880322943067181e-05, | |
| "loss": 0.3957, | |
| "step": 213 | |
| }, | |
| { | |
| "epoch": 3.5666666666666664, | |
| "grad_norm": 0.1565449126623076, | |
| "learning_rate": 1.8409973681939498e-05, | |
| "loss": 0.3938, | |
| "step": 214 | |
| }, | |
| { | |
| "epoch": 3.5833333333333335, | |
| "grad_norm": 0.13732136525737537, | |
| "learning_rate": 1.8019640877167763e-05, | |
| "loss": 0.4015, | |
| "step": 215 | |
| }, | |
| { | |
| "epoch": 3.6, | |
| "grad_norm": 0.1528036709245904, | |
| "learning_rate": 1.7632283861170135e-05, | |
| "loss": 0.398, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 3.6166666666666667, | |
| "grad_norm": 0.1381840793587635, | |
| "learning_rate": 1.7247955075885938e-05, | |
| "loss": 0.3984, | |
| "step": 217 | |
| }, | |
| { | |
| "epoch": 3.6333333333333333, | |
| "grad_norm": 0.1396644742501586, | |
| "learning_rate": 1.686670655328054e-05, | |
| "loss": 0.4015, | |
| "step": 218 | |
| }, | |
| { | |
| "epoch": 3.65, | |
| "grad_norm": 0.13192549802922138, | |
| "learning_rate": 1.648858990830108e-05, | |
| "loss": 0.3966, | |
| "step": 219 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 0.16349750723173231, | |
| "learning_rate": 1.6113656331888563e-05, | |
| "loss": 0.3945, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 3.6833333333333336, | |
| "grad_norm": 0.13224488929146622, | |
| "learning_rate": 1.5741956584047478e-05, | |
| "loss": 0.3958, | |
| "step": 221 | |
| }, | |
| { | |
| "epoch": 3.7, | |
| "grad_norm": 0.12993749122903758, | |
| "learning_rate": 1.537354098697367e-05, | |
| "loss": 0.4005, | |
| "step": 222 | |
| }, | |
| { | |
| "epoch": 3.716666666666667, | |
| "grad_norm": 0.14331709716651275, | |
| "learning_rate": 1.5008459418241601e-05, | |
| "loss": 0.3961, | |
| "step": 223 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 0.12912698549430687, | |
| "learning_rate": 1.4646761304051587e-05, | |
| "loss": 0.3973, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 0.10960674321997634, | |
| "learning_rate": 1.4288495612538427e-05, | |
| "loss": 0.3929, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 3.7666666666666666, | |
| "grad_norm": 0.14116340307643566, | |
| "learning_rate": 1.3933710847141795e-05, | |
| "loss": 0.4019, | |
| "step": 226 | |
| }, | |
| { | |
| "epoch": 3.783333333333333, | |
| "grad_norm": 0.12835976733909077, | |
| "learning_rate": 1.3582455040039699e-05, | |
| "loss": 0.392, | |
| "step": 227 | |
| }, | |
| { | |
| "epoch": 3.8, | |
| "grad_norm": 0.128669245437869, | |
| "learning_rate": 1.3234775745645684e-05, | |
| "loss": 0.3891, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 3.8166666666666664, | |
| "grad_norm": 0.12765896916982683, | |
| "learning_rate": 1.2890720034170712e-05, | |
| "loss": 0.3885, | |
| "step": 229 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 0.11261573225899339, | |
| "learning_rate": 1.2550334485250661e-05, | |
| "loss": 0.3918, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 3.85, | |
| "grad_norm": 0.14800903395041998, | |
| "learning_rate": 1.2213665181640106e-05, | |
| "loss": 0.394, | |
| "step": 231 | |
| }, | |
| { | |
| "epoch": 3.8666666666666667, | |
| "grad_norm": 0.12264985697670748, | |
| "learning_rate": 1.1880757702973531e-05, | |
| "loss": 0.3913, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 3.8833333333333333, | |
| "grad_norm": 0.11956086317480628, | |
| "learning_rate": 1.1551657119594517e-05, | |
| "loss": 0.3972, | |
| "step": 233 | |
| }, | |
| { | |
| "epoch": 3.9, | |
| "grad_norm": 0.12216008583272517, | |
| "learning_rate": 1.1226407986453963e-05, | |
| "loss": 0.3952, | |
| "step": 234 | |
| }, | |
| { | |
| "epoch": 3.9166666666666665, | |
| "grad_norm": 0.10807206577145119, | |
| "learning_rate": 1.0905054337078051e-05, | |
| "loss": 0.396, | |
| "step": 235 | |
| }, | |
| { | |
| "epoch": 3.9333333333333336, | |
| "grad_norm": 0.13607781438092512, | |
| "learning_rate": 1.0587639677606857e-05, | |
| "loss": 0.3997, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 3.95, | |
| "grad_norm": 0.12355453197057942, | |
| "learning_rate": 1.0274206980904226e-05, | |
| "loss": 0.3938, | |
| "step": 237 | |
| }, | |
| { | |
| "epoch": 3.966666666666667, | |
| "grad_norm": 0.10359625686756976, | |
| "learning_rate": 9.964798680740033e-06, | |
| "loss": 0.3943, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 3.9833333333333334, | |
| "grad_norm": 0.10965361681764693, | |
| "learning_rate": 9.659456666045247e-06, | |
| "loss": 0.4011, | |
| "step": 239 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 0.13451240932118808, | |
| "learning_rate": 9.358222275240884e-06, | |
| "loss": 0.3842, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 4.016666666666667, | |
| "grad_norm": 0.16087635109826715, | |
| "learning_rate": 9.061136290641448e-06, | |
| "loss": 0.3761, | |
| "step": 241 | |
| }, | |
| { | |
| "epoch": 4.033333333333333, | |
| "grad_norm": 0.1188504453770387, | |
| "learning_rate": 8.768238932933632e-06, | |
| "loss": 0.3796, | |
| "step": 242 | |
| }, | |
| { | |
| "epoch": 4.05, | |
| "grad_norm": 0.11640131602293756, | |
| "learning_rate": 8.479569855731125e-06, | |
| "loss": 0.3792, | |
| "step": 243 | |
| }, | |
| { | |
| "epoch": 4.066666666666666, | |
| "grad_norm": 0.1302923728977513, | |
| "learning_rate": 8.195168140206084e-06, | |
| "loss": 0.3702, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 4.083333333333333, | |
| "grad_norm": 0.13392917273999477, | |
| "learning_rate": 7.915072289798247e-06, | |
| "loss": 0.3648, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 4.1, | |
| "grad_norm": 0.12543716532845192, | |
| "learning_rate": 7.639320225002106e-06, | |
| "loss": 0.3873, | |
| "step": 246 | |
| }, | |
| { | |
| "epoch": 4.116666666666666, | |
| "grad_norm": 0.127937227499042, | |
| "learning_rate": 7.367949278233126e-06, | |
| "loss": 0.3802, | |
| "step": 247 | |
| }, | |
| { | |
| "epoch": 4.133333333333334, | |
| "grad_norm": 0.13964406384103364, | |
| "learning_rate": 7.1009961887735075e-06, | |
| "loss": 0.3812, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 4.15, | |
| "grad_norm": 0.11564360422872587, | |
| "learning_rate": 6.838497097798336e-06, | |
| "loss": 0.3763, | |
| "step": 249 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 0.10780983998780042, | |
| "learning_rate": 6.58048754348255e-06, | |
| "loss": 0.3754, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 4.183333333333334, | |
| "grad_norm": 0.11962978216910981, | |
| "learning_rate": 6.327002456189699e-06, | |
| "loss": 0.3706, | |
| "step": 251 | |
| }, | |
| { | |
| "epoch": 4.2, | |
| "grad_norm": 0.12362296757916746, | |
| "learning_rate": 6.078076153742962e-06, | |
| "loss": 0.3788, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 4.216666666666667, | |
| "grad_norm": 0.11060827729490633, | |
| "learning_rate": 5.833742336778981e-06, | |
| "loss": 0.372, | |
| "step": 253 | |
| }, | |
| { | |
| "epoch": 4.233333333333333, | |
| "grad_norm": 0.11095254927254816, | |
| "learning_rate": 5.5940340841853915e-06, | |
| "loss": 0.3683, | |
| "step": 254 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 0.10221255870180875, | |
| "learning_rate": 5.358983848622452e-06, | |
| "loss": 0.3806, | |
| "step": 255 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 0.10403266613885799, | |
| "learning_rate": 5.128623452129508e-06, | |
| "loss": 0.3713, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 4.283333333333333, | |
| "grad_norm": 0.11572955395038909, | |
| "learning_rate": 4.902984081816717e-06, | |
| "loss": 0.3766, | |
| "step": 257 | |
| }, | |
| { | |
| "epoch": 4.3, | |
| "grad_norm": 0.15003311835231536, | |
| "learning_rate": 4.6820962856429205e-06, | |
| "loss": 0.3782, | |
| "step": 258 | |
| }, | |
| { | |
| "epoch": 4.316666666666666, | |
| "grad_norm": 0.09897498567539731, | |
| "learning_rate": 4.4659899682798446e-06, | |
| "loss": 0.3802, | |
| "step": 259 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 0.09161651892999853, | |
| "learning_rate": 4.254694387063514e-06, | |
| "loss": 0.3768, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 4.35, | |
| "grad_norm": 0.10695851145081539, | |
| "learning_rate": 4.048238148033328e-06, | |
| "loss": 0.3734, | |
| "step": 261 | |
| }, | |
| { | |
| "epoch": 4.366666666666666, | |
| "grad_norm": 0.11485862198811234, | |
| "learning_rate": 3.846649202059181e-06, | |
| "loss": 0.3837, | |
| "step": 262 | |
| }, | |
| { | |
| "epoch": 4.383333333333334, | |
| "grad_norm": 0.09894255205848254, | |
| "learning_rate": 3.6499548410574303e-06, | |
| "loss": 0.3692, | |
| "step": 263 | |
| }, | |
| { | |
| "epoch": 4.4, | |
| "grad_norm": 0.08599887026696498, | |
| "learning_rate": 3.458181694295961e-06, | |
| "loss": 0.3677, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 4.416666666666667, | |
| "grad_norm": 0.08698967028762236, | |
| "learning_rate": 3.2713557247890447e-06, | |
| "loss": 0.3855, | |
| "step": 265 | |
| }, | |
| { | |
| "epoch": 4.433333333333334, | |
| "grad_norm": 0.09235513297244223, | |
| "learning_rate": 3.0895022257823083e-06, | |
| "loss": 0.372, | |
| "step": 266 | |
| }, | |
| { | |
| "epoch": 4.45, | |
| "grad_norm": 0.10445911123787113, | |
| "learning_rate": 2.9126458173285077e-06, | |
| "loss": 0.381, | |
| "step": 267 | |
| }, | |
| { | |
| "epoch": 4.466666666666667, | |
| "grad_norm": 0.10221496852931042, | |
| "learning_rate": 2.7408104429543025e-06, | |
| "loss": 0.3809, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 4.483333333333333, | |
| "grad_norm": 0.08587879304844272, | |
| "learning_rate": 2.574019366418745e-06, | |
| "loss": 0.3751, | |
| "step": 269 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 0.09015126611361238, | |
| "learning_rate": 2.4122951685636674e-06, | |
| "loss": 0.3838, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 4.516666666666667, | |
| "grad_norm": 0.08784996132113758, | |
| "learning_rate": 2.25565974425666e-06, | |
| "loss": 0.3676, | |
| "step": 271 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 0.0847147467848922, | |
| "learning_rate": 2.104134299426832e-06, | |
| "loss": 0.3761, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 4.55, | |
| "grad_norm": 0.08776259867732322, | |
| "learning_rate": 1.957739348193859e-06, | |
| "loss": 0.3686, | |
| "step": 273 | |
| }, | |
| { | |
| "epoch": 4.566666666666666, | |
| "grad_norm": 0.08534997975862194, | |
| "learning_rate": 1.8164947100907238e-06, | |
| "loss": 0.3757, | |
| "step": 274 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 0.0837806982293435, | |
| "learning_rate": 1.6804195073804442e-06, | |
| "loss": 0.3739, | |
| "step": 275 | |
| }, | |
| { | |
| "epoch": 4.6, | |
| "grad_norm": 0.08381875882285177, | |
| "learning_rate": 1.5495321624672443e-06, | |
| "loss": 0.3797, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 4.616666666666667, | |
| "grad_norm": 0.08120595617712789, | |
| "learning_rate": 1.423850395402444e-06, | |
| "loss": 0.3718, | |
| "step": 277 | |
| }, | |
| { | |
| "epoch": 4.633333333333333, | |
| "grad_norm": 0.08481195207669447, | |
| "learning_rate": 1.3033912214854482e-06, | |
| "loss": 0.3827, | |
| "step": 278 | |
| }, | |
| { | |
| "epoch": 4.65, | |
| "grad_norm": 0.08655723787141399, | |
| "learning_rate": 1.1881709489601413e-06, | |
| "loss": 0.3693, | |
| "step": 279 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 0.07892331394338291, | |
| "learning_rate": 1.0782051768070477e-06, | |
| "loss": 0.3772, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 4.683333333333334, | |
| "grad_norm": 0.08341083482611329, | |
| "learning_rate": 9.735087926314324e-07, | |
| "loss": 0.3783, | |
| "step": 281 | |
| }, | |
| { | |
| "epoch": 4.7, | |
| "grad_norm": 0.07896510956111198, | |
| "learning_rate": 8.740959706477725e-07, | |
| "loss": 0.3749, | |
| "step": 282 | |
| }, | |
| { | |
| "epoch": 4.716666666666667, | |
| "grad_norm": 0.08336166448673067, | |
| "learning_rate": 7.799801697608278e-07, | |
| "loss": 0.381, | |
| "step": 283 | |
| }, | |
| { | |
| "epoch": 4.733333333333333, | |
| "grad_norm": 0.08046079736125109, | |
| "learning_rate": 6.911741317434706e-07, | |
| "loss": 0.3718, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 0.09024599509642792, | |
| "learning_rate": 6.076898795116792e-07, | |
| "loss": 0.382, | |
| "step": 285 | |
| }, | |
| { | |
| "epoch": 4.766666666666667, | |
| "grad_norm": 0.08331916982861774, | |
| "learning_rate": 5.295387154968312e-07, | |
| "loss": 0.3715, | |
| "step": 286 | |
| }, | |
| { | |
| "epoch": 4.783333333333333, | |
| "grad_norm": 0.07901763344169457, | |
| "learning_rate": 4.5673122011553605e-07, | |
| "loss": 0.3763, | |
| "step": 287 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 0.08022410821945614, | |
| "learning_rate": 3.8927725033718553e-07, | |
| "loss": 0.3808, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 4.816666666666666, | |
| "grad_norm": 0.07742599988645317, | |
| "learning_rate": 3.2718593834953237e-07, | |
| "loss": 0.3806, | |
| "step": 289 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 0.07882803655503354, | |
| "learning_rate": 2.704656903222791e-07, | |
| "loss": 0.3728, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 4.85, | |
| "grad_norm": 0.07729395855995894, | |
| "learning_rate": 2.1912418526906841e-07, | |
| "loss": 0.3833, | |
| "step": 291 | |
| }, | |
| { | |
| "epoch": 4.866666666666667, | |
| "grad_norm": 0.07951048749391536, | |
| "learning_rate": 1.7316837400782604e-07, | |
| "loss": 0.3715, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 4.883333333333333, | |
| "grad_norm": 0.0760323522910653, | |
| "learning_rate": 1.3260447821975775e-07, | |
| "loss": 0.3786, | |
| "step": 293 | |
| }, | |
| { | |
| "epoch": 4.9, | |
| "grad_norm": 0.07785411151535049, | |
| "learning_rate": 9.74379896070321e-08, | |
| "loss": 0.3741, | |
| "step": 294 | |
| }, | |
| { | |
| "epoch": 4.916666666666667, | |
| "grad_norm": 0.07811264825931089, | |
| "learning_rate": 6.767366914927298e-08, | |
| "loss": 0.3815, | |
| "step": 295 | |
| }, | |
| { | |
| "epoch": 4.933333333333334, | |
| "grad_norm": 0.07524369659461613, | |
| "learning_rate": 4.331554645901737e-08, | |
| "loss": 0.371, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 4.95, | |
| "grad_norm": 0.07719894809649144, | |
| "learning_rate": 2.4366919236169518e-08, | |
| "loss": 0.3762, | |
| "step": 297 | |
| }, | |
| { | |
| "epoch": 4.966666666666667, | |
| "grad_norm": 0.07886340732100874, | |
| "learning_rate": 1.0830352821531442e-08, | |
| "loss": 0.3786, | |
| "step": 298 | |
| }, | |
| { | |
| "epoch": 4.983333333333333, | |
| "grad_norm": 0.07836420034802934, | |
| "learning_rate": 2.7076798495118127e-09, | |
| "loss": 0.3751, | |
| "step": 299 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 0.08008746421389691, | |
| "learning_rate": 0.0, | |
| "loss": 0.3712, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "step": 300, | |
| "total_flos": 5032842677452800.0, | |
| "train_loss": 0.4754675631721815, | |
| "train_runtime": 6942.3427, | |
| "train_samples_per_second": 21.922, | |
| "train_steps_per_second": 0.043 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 300, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 5032842677452800.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |