| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 5.0, | |
| "eval_steps": 500, | |
| "global_step": 1200, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.004166666666666667, | |
| "grad_norm": 6.832746617212501, | |
| "learning_rate": 3.3333333333333335e-07, | |
| "loss": 1.0708, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.008333333333333333, | |
| "grad_norm": 6.722005165892311, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 1.0439, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.0125, | |
| "grad_norm": 6.592513139645599, | |
| "learning_rate": 1.0000000000000002e-06, | |
| "loss": 1.0359, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.016666666666666666, | |
| "grad_norm": 6.400449551473129, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 1.0264, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.020833333333333332, | |
| "grad_norm": 6.141935206476066, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 1.0219, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.025, | |
| "grad_norm": 6.144188614406256, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 1.0423, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.029166666666666667, | |
| "grad_norm": 4.723936973082147, | |
| "learning_rate": 2.3333333333333336e-06, | |
| "loss": 0.9905, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 4.404721433571438, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.9999, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.0375, | |
| "grad_norm": 2.8556986560850834, | |
| "learning_rate": 3e-06, | |
| "loss": 0.9511, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.041666666666666664, | |
| "grad_norm": 2.645937958339345, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.9576, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.04583333333333333, | |
| "grad_norm": 2.5264859541553673, | |
| "learning_rate": 3.6666666666666666e-06, | |
| "loss": 0.9467, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.05, | |
| "grad_norm": 4.249945414605477, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.923, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.05416666666666667, | |
| "grad_norm": 4.438511276924439, | |
| "learning_rate": 4.333333333333334e-06, | |
| "loss": 0.9284, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.058333333333333334, | |
| "grad_norm": 4.350535532893484, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.9276, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.0625, | |
| "grad_norm": 3.837878669737464, | |
| "learning_rate": 5e-06, | |
| "loss": 0.9148, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 3.096451437357516, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.8751, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.07083333333333333, | |
| "grad_norm": 2.8188767114680444, | |
| "learning_rate": 5.666666666666667e-06, | |
| "loss": 0.8635, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.075, | |
| "grad_norm": 2.263860832111962, | |
| "learning_rate": 6e-06, | |
| "loss": 0.8441, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.07916666666666666, | |
| "grad_norm": 1.6832918244958086, | |
| "learning_rate": 6.333333333333333e-06, | |
| "loss": 0.8396, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 1.3015547810704755, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.8143, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.0875, | |
| "grad_norm": 1.325993130595308, | |
| "learning_rate": 7e-06, | |
| "loss": 0.8114, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.09166666666666666, | |
| "grad_norm": 1.361193673338303, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.8006, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.09583333333333334, | |
| "grad_norm": 1.122439118254614, | |
| "learning_rate": 7.666666666666667e-06, | |
| "loss": 0.7868, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.916710349802209, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.7731, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.10416666666666667, | |
| "grad_norm": 0.9193543079053559, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.7738, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.10833333333333334, | |
| "grad_norm": 0.9146646422133236, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.7583, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.1125, | |
| "grad_norm": 0.7990361061623279, | |
| "learning_rate": 9e-06, | |
| "loss": 0.7399, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.11666666666666667, | |
| "grad_norm": 0.7768592276111252, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.7457, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.12083333333333333, | |
| "grad_norm": 0.8435019115381818, | |
| "learning_rate": 9.666666666666667e-06, | |
| "loss": 0.742, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.125, | |
| "grad_norm": 0.8088610628833126, | |
| "learning_rate": 1e-05, | |
| "loss": 0.7327, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.12916666666666668, | |
| "grad_norm": 0.8244906434691093, | |
| "learning_rate": 1.0333333333333335e-05, | |
| "loss": 0.7368, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.6349527593388378, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.7302, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.1375, | |
| "grad_norm": 0.7242668613698263, | |
| "learning_rate": 1.1000000000000001e-05, | |
| "loss": 0.7265, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.14166666666666666, | |
| "grad_norm": 0.6934236067516485, | |
| "learning_rate": 1.1333333333333334e-05, | |
| "loss": 0.7121, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.14583333333333334, | |
| "grad_norm": 0.6230632857377315, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 0.722, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.15, | |
| "grad_norm": 0.6057998943730727, | |
| "learning_rate": 1.2e-05, | |
| "loss": 0.7071, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.15416666666666667, | |
| "grad_norm": 0.7154466695410022, | |
| "learning_rate": 1.2333333333333334e-05, | |
| "loss": 0.7115, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.15833333333333333, | |
| "grad_norm": 0.583085961426423, | |
| "learning_rate": 1.2666666666666667e-05, | |
| "loss": 0.7029, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.1625, | |
| "grad_norm": 0.6637301966327246, | |
| "learning_rate": 1.3000000000000001e-05, | |
| "loss": 0.7006, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.6570162295776591, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.7006, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.17083333333333334, | |
| "grad_norm": 1.6249295445681182, | |
| "learning_rate": 1.3666666666666667e-05, | |
| "loss": 0.7444, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.175, | |
| "grad_norm": 0.6711937521500816, | |
| "learning_rate": 1.4e-05, | |
| "loss": 0.681, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.17916666666666667, | |
| "grad_norm": 0.593977893755728, | |
| "learning_rate": 1.4333333333333334e-05, | |
| "loss": 0.6917, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.18333333333333332, | |
| "grad_norm": 0.5683636125066719, | |
| "learning_rate": 1.4666666666666666e-05, | |
| "loss": 0.6949, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.1875, | |
| "grad_norm": 0.6547304924994687, | |
| "learning_rate": 1.5000000000000002e-05, | |
| "loss": 0.6754, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.19166666666666668, | |
| "grad_norm": 0.7057244148349102, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 0.6694, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.19583333333333333, | |
| "grad_norm": 0.5428808928110224, | |
| "learning_rate": 1.5666666666666667e-05, | |
| "loss": 0.6691, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.6611089292468514, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.6866, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.20416666666666666, | |
| "grad_norm": 0.6437372302287256, | |
| "learning_rate": 1.6333333333333335e-05, | |
| "loss": 0.6857, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.20833333333333334, | |
| "grad_norm": 0.6242998695394557, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.6718, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.2125, | |
| "grad_norm": 0.6614584849659777, | |
| "learning_rate": 1.7e-05, | |
| "loss": 0.651, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.21666666666666667, | |
| "grad_norm": 0.7075875910735387, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 0.6701, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.22083333333333333, | |
| "grad_norm": 0.7746688794934284, | |
| "learning_rate": 1.7666666666666668e-05, | |
| "loss": 0.6612, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.225, | |
| "grad_norm": 0.6528458565370922, | |
| "learning_rate": 1.8e-05, | |
| "loss": 0.6612, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.22916666666666666, | |
| "grad_norm": 0.8854520187882521, | |
| "learning_rate": 1.8333333333333333e-05, | |
| "loss": 0.6698, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 0.8249936321934339, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 0.6617, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.2375, | |
| "grad_norm": 0.5756591220496925, | |
| "learning_rate": 1.9e-05, | |
| "loss": 0.6677, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.24166666666666667, | |
| "grad_norm": 0.8391486543945865, | |
| "learning_rate": 1.9333333333333333e-05, | |
| "loss": 0.6706, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.24583333333333332, | |
| "grad_norm": 0.62922500152976, | |
| "learning_rate": 1.9666666666666666e-05, | |
| "loss": 0.6566, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 0.6497012856342578, | |
| "learning_rate": 2e-05, | |
| "loss": 0.6574, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.25416666666666665, | |
| "grad_norm": 0.7545979639769097, | |
| "learning_rate": 2.0333333333333334e-05, | |
| "loss": 0.6621, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.25833333333333336, | |
| "grad_norm": 0.8814596289446414, | |
| "learning_rate": 2.066666666666667e-05, | |
| "loss": 0.6586, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.2625, | |
| "grad_norm": 0.7700986600044052, | |
| "learning_rate": 2.1000000000000002e-05, | |
| "loss": 0.658, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.9615923023054905, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 0.6642, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.2708333333333333, | |
| "grad_norm": 0.8182385944675528, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 0.6381, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.275, | |
| "grad_norm": 1.051267871370525, | |
| "learning_rate": 2.2000000000000003e-05, | |
| "loss": 0.6583, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.2791666666666667, | |
| "grad_norm": 1.2421800485008891, | |
| "learning_rate": 2.2333333333333335e-05, | |
| "loss": 0.6542, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.2833333333333333, | |
| "grad_norm": 0.6126955289728726, | |
| "learning_rate": 2.2666666666666668e-05, | |
| "loss": 0.6405, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.2875, | |
| "grad_norm": 1.3065782386729479, | |
| "learning_rate": 2.3e-05, | |
| "loss": 0.6495, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.2916666666666667, | |
| "grad_norm": 0.7369647940897622, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 0.6528, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.29583333333333334, | |
| "grad_norm": 1.0013990364301564, | |
| "learning_rate": 2.3666666666666668e-05, | |
| "loss": 0.6464, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.7251342067519649, | |
| "learning_rate": 2.4e-05, | |
| "loss": 0.6532, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.30416666666666664, | |
| "grad_norm": 0.8534756592984158, | |
| "learning_rate": 2.4333333333333333e-05, | |
| "loss": 0.6456, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.30833333333333335, | |
| "grad_norm": 1.2829910855808402, | |
| "learning_rate": 2.466666666666667e-05, | |
| "loss": 0.6456, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.3125, | |
| "grad_norm": 1.236903958770797, | |
| "learning_rate": 2.5e-05, | |
| "loss": 0.6513, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.31666666666666665, | |
| "grad_norm": 0.5131185359463901, | |
| "learning_rate": 2.5333333333333334e-05, | |
| "loss": 0.6372, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.32083333333333336, | |
| "grad_norm": 2.3385091984770368, | |
| "learning_rate": 2.566666666666667e-05, | |
| "loss": 0.6548, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.325, | |
| "grad_norm": 0.8092584972470216, | |
| "learning_rate": 2.6000000000000002e-05, | |
| "loss": 0.6259, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.32916666666666666, | |
| "grad_norm": 1.1480450227714387, | |
| "learning_rate": 2.6333333333333334e-05, | |
| "loss": 0.6471, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 1.3446863157735278, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 0.6327, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.3375, | |
| "grad_norm": 0.9457919638742119, | |
| "learning_rate": 2.7000000000000002e-05, | |
| "loss": 0.6384, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.3416666666666667, | |
| "grad_norm": 1.3685610850125536, | |
| "learning_rate": 2.7333333333333335e-05, | |
| "loss": 0.6439, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.3458333333333333, | |
| "grad_norm": 0.927016131784247, | |
| "learning_rate": 2.7666666666666667e-05, | |
| "loss": 0.6346, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.35, | |
| "grad_norm": 1.7296485345201886, | |
| "learning_rate": 2.8e-05, | |
| "loss": 0.6144, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.3541666666666667, | |
| "grad_norm": 1.1192559744753852, | |
| "learning_rate": 2.833333333333334e-05, | |
| "loss": 0.6345, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.35833333333333334, | |
| "grad_norm": 1.9746537864549802, | |
| "learning_rate": 2.8666666666666668e-05, | |
| "loss": 0.6389, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.3625, | |
| "grad_norm": 1.5806534536841268, | |
| "learning_rate": 2.9e-05, | |
| "loss": 0.6421, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 1.7605886971256688, | |
| "learning_rate": 2.9333333333333333e-05, | |
| "loss": 0.6361, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.37083333333333335, | |
| "grad_norm": 1.6811946573872856, | |
| "learning_rate": 2.9666666666666672e-05, | |
| "loss": 0.6314, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.375, | |
| "grad_norm": 1.3081097753931652, | |
| "learning_rate": 3.0000000000000004e-05, | |
| "loss": 0.6353, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.37916666666666665, | |
| "grad_norm": 1.5049824569727834, | |
| "learning_rate": 3.0333333333333333e-05, | |
| "loss": 0.6317, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.38333333333333336, | |
| "grad_norm": 1.3597412965849915, | |
| "learning_rate": 3.066666666666667e-05, | |
| "loss": 0.6308, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.3875, | |
| "grad_norm": 1.1246511962005503, | |
| "learning_rate": 3.1e-05, | |
| "loss": 0.6301, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.39166666666666666, | |
| "grad_norm": 1.3514034216556179, | |
| "learning_rate": 3.1333333333333334e-05, | |
| "loss": 0.6173, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.3958333333333333, | |
| "grad_norm": 0.8233867898594832, | |
| "learning_rate": 3.1666666666666666e-05, | |
| "loss": 0.6374, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 1.2477454499494327, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 0.6276, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.4041666666666667, | |
| "grad_norm": 1.6817621692909872, | |
| "learning_rate": 3.233333333333334e-05, | |
| "loss": 0.6266, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.4083333333333333, | |
| "grad_norm": 0.9690166971983942, | |
| "learning_rate": 3.266666666666667e-05, | |
| "loss": 0.6115, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.4125, | |
| "grad_norm": 2.056378981841651, | |
| "learning_rate": 3.3e-05, | |
| "loss": 0.6411, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 1.4524599154878437, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.6296, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.42083333333333334, | |
| "grad_norm": 1.7764216839712343, | |
| "learning_rate": 3.366666666666667e-05, | |
| "loss": 0.6306, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 0.425, | |
| "grad_norm": 1.2833543049437115, | |
| "learning_rate": 3.4e-05, | |
| "loss": 0.6332, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 0.42916666666666664, | |
| "grad_norm": 1.5878349617582599, | |
| "learning_rate": 3.433333333333333e-05, | |
| "loss": 0.6239, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 1.2599519265097134, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 0.6329, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.4375, | |
| "grad_norm": 1.4043098221264916, | |
| "learning_rate": 3.5000000000000004e-05, | |
| "loss": 0.628, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.44166666666666665, | |
| "grad_norm": 1.3695734550327043, | |
| "learning_rate": 3.5333333333333336e-05, | |
| "loss": 0.6242, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 0.44583333333333336, | |
| "grad_norm": 1.8927604495720616, | |
| "learning_rate": 3.566666666666667e-05, | |
| "loss": 0.6293, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 0.45, | |
| "grad_norm": 1.545056158668806, | |
| "learning_rate": 3.6e-05, | |
| "loss": 0.6314, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.45416666666666666, | |
| "grad_norm": 1.3545906617804928, | |
| "learning_rate": 3.633333333333333e-05, | |
| "loss": 0.6141, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 0.4583333333333333, | |
| "grad_norm": 1.2952086169381063, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 0.6278, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.4625, | |
| "grad_norm": 1.3901722627101962, | |
| "learning_rate": 3.7000000000000005e-05, | |
| "loss": 0.6282, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 1.3427286533742586, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 0.6462, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.4708333333333333, | |
| "grad_norm": 1.346385132452033, | |
| "learning_rate": 3.766666666666667e-05, | |
| "loss": 0.6271, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 0.475, | |
| "grad_norm": 0.7296460808724746, | |
| "learning_rate": 3.8e-05, | |
| "loss": 0.6216, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 0.4791666666666667, | |
| "grad_norm": 1.3372849398246114, | |
| "learning_rate": 3.833333333333334e-05, | |
| "loss": 0.6232, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.48333333333333334, | |
| "grad_norm": 1.1792019780697154, | |
| "learning_rate": 3.866666666666667e-05, | |
| "loss": 0.6221, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.4875, | |
| "grad_norm": 0.9733165096843328, | |
| "learning_rate": 3.9e-05, | |
| "loss": 0.6091, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 0.49166666666666664, | |
| "grad_norm": 3.070797337467993, | |
| "learning_rate": 3.933333333333333e-05, | |
| "loss": 0.6217, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 0.49583333333333335, | |
| "grad_norm": 1.815790495636315, | |
| "learning_rate": 3.966666666666667e-05, | |
| "loss": 0.6359, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 1.2390089256852326, | |
| "learning_rate": 4e-05, | |
| "loss": 0.6169, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.5041666666666667, | |
| "grad_norm": 1.2315486946506111, | |
| "learning_rate": 3.999991538410973e-05, | |
| "loss": 0.6164, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 0.5083333333333333, | |
| "grad_norm": 1.1701554198658328, | |
| "learning_rate": 3.999966153715489e-05, | |
| "loss": 0.6193, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 0.5125, | |
| "grad_norm": 1.170132178403549, | |
| "learning_rate": 3.999923846128343e-05, | |
| "loss": 0.6262, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 0.5166666666666667, | |
| "grad_norm": 0.924658478726418, | |
| "learning_rate": 3.999864616007525e-05, | |
| "loss": 0.6212, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.5208333333333334, | |
| "grad_norm": 1.3858534997900562, | |
| "learning_rate": 3.999788463854215e-05, | |
| "loss": 0.6233, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.525, | |
| "grad_norm": 1.2657158164721372, | |
| "learning_rate": 3.999695390312783e-05, | |
| "loss": 0.616, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 0.5291666666666667, | |
| "grad_norm": 0.9216763016227539, | |
| "learning_rate": 3.999585396170777e-05, | |
| "loss": 0.614, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.8360006381611302, | |
| "learning_rate": 3.999458482358924e-05, | |
| "loss": 0.6153, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.5375, | |
| "grad_norm": 0.7839786158921856, | |
| "learning_rate": 3.9993146499511146e-05, | |
| "loss": 0.6009, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 0.5416666666666666, | |
| "grad_norm": 0.844641037367548, | |
| "learning_rate": 3.9991539001644015e-05, | |
| "loss": 0.6212, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.5458333333333333, | |
| "grad_norm": 1.0382957024566257, | |
| "learning_rate": 3.998976234358982e-05, | |
| "loss": 0.5999, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 0.55, | |
| "grad_norm": 1.6242521962961614, | |
| "learning_rate": 3.998781654038192e-05, | |
| "loss": 0.6096, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.5541666666666667, | |
| "grad_norm": 0.757093292258469, | |
| "learning_rate": 3.9985701608484896e-05, | |
| "loss": 0.5941, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 0.5583333333333333, | |
| "grad_norm": 1.320612616681096, | |
| "learning_rate": 3.998341756579443e-05, | |
| "loss": 0.6203, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 0.5625, | |
| "grad_norm": 1.0193798832099399, | |
| "learning_rate": 3.998096443163716e-05, | |
| "loss": 0.5934, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 1.2908818567365226, | |
| "learning_rate": 3.99783422267705e-05, | |
| "loss": 0.6207, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.5708333333333333, | |
| "grad_norm": 0.8168141068726303, | |
| "learning_rate": 3.9975550973382454e-05, | |
| "loss": 0.6041, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 0.575, | |
| "grad_norm": 1.226295133247973, | |
| "learning_rate": 3.9972590695091476e-05, | |
| "loss": 0.6185, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 0.5791666666666667, | |
| "grad_norm": 0.8072529028243578, | |
| "learning_rate": 3.9969461416946226e-05, | |
| "loss": 0.6129, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 0.9164338574256401, | |
| "learning_rate": 3.996616316542537e-05, | |
| "loss": 0.6096, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.5875, | |
| "grad_norm": 0.6469959513500211, | |
| "learning_rate": 3.996269596843734e-05, | |
| "loss": 0.6054, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 0.5916666666666667, | |
| "grad_norm": 0.7039330048055549, | |
| "learning_rate": 3.995905985532015e-05, | |
| "loss": 0.6099, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 0.5958333333333333, | |
| "grad_norm": 2.860385292654008, | |
| "learning_rate": 3.995525485684109e-05, | |
| "loss": 0.6421, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 1.29306335703376, | |
| "learning_rate": 3.9951281005196486e-05, | |
| "loss": 0.6136, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.6041666666666666, | |
| "grad_norm": 1.0424569923889895, | |
| "learning_rate": 3.994713833401145e-05, | |
| "loss": 0.61, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.6083333333333333, | |
| "grad_norm": 0.8181795724051063, | |
| "learning_rate": 3.9942826878339554e-05, | |
| "loss": 0.6207, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 0.6125, | |
| "grad_norm": 0.9973579708540373, | |
| "learning_rate": 3.9938346674662565e-05, | |
| "loss": 0.6077, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 0.6166666666666667, | |
| "grad_norm": 0.9616324528943014, | |
| "learning_rate": 3.993369776089012e-05, | |
| "loss": 0.5942, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.6208333333333333, | |
| "grad_norm": 0.7398130298674523, | |
| "learning_rate": 3.992888017635944e-05, | |
| "loss": 0.603, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 0.625, | |
| "grad_norm": 1.0467599824887701, | |
| "learning_rate": 3.9923893961834914e-05, | |
| "loss": 0.6195, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.6291666666666667, | |
| "grad_norm": 0.6645550535908764, | |
| "learning_rate": 3.991873915950786e-05, | |
| "loss": 0.6009, | |
| "step": 151 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 0.9702680008326658, | |
| "learning_rate": 3.991341581299609e-05, | |
| "loss": 0.6069, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.6375, | |
| "grad_norm": 0.8185881298517128, | |
| "learning_rate": 3.9907923967343583e-05, | |
| "loss": 0.5993, | |
| "step": 153 | |
| }, | |
| { | |
| "epoch": 0.6416666666666667, | |
| "grad_norm": 0.8221931733724522, | |
| "learning_rate": 3.990226366902007e-05, | |
| "loss": 0.6061, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 0.6458333333333334, | |
| "grad_norm": 0.9078682479987112, | |
| "learning_rate": 3.989643496592067e-05, | |
| "loss": 0.6047, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 0.65, | |
| "grad_norm": 0.9292043332159131, | |
| "learning_rate": 3.989043790736547e-05, | |
| "loss": 0.6163, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.6541666666666667, | |
| "grad_norm": 0.6420744015708145, | |
| "learning_rate": 3.9884272544099126e-05, | |
| "loss": 0.6064, | |
| "step": 157 | |
| }, | |
| { | |
| "epoch": 0.6583333333333333, | |
| "grad_norm": 0.9300016754772198, | |
| "learning_rate": 3.98779389282904e-05, | |
| "loss": 0.61, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 0.6625, | |
| "grad_norm": 0.7116085686707454, | |
| "learning_rate": 3.9871437113531757e-05, | |
| "loss": 0.6001, | |
| "step": 159 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.6506607966868728, | |
| "learning_rate": 3.9864767154838864e-05, | |
| "loss": 0.6013, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.6708333333333333, | |
| "grad_norm": 0.5244776504731719, | |
| "learning_rate": 3.9857929108650186e-05, | |
| "loss": 0.6115, | |
| "step": 161 | |
| }, | |
| { | |
| "epoch": 0.675, | |
| "grad_norm": 0.5265289462591022, | |
| "learning_rate": 3.985092303282645e-05, | |
| "loss": 0.5974, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 0.6791666666666667, | |
| "grad_norm": 0.6913443137294888, | |
| "learning_rate": 3.9843748986650185e-05, | |
| "loss": 0.6027, | |
| "step": 163 | |
| }, | |
| { | |
| "epoch": 0.6833333333333333, | |
| "grad_norm": 0.8952111006978029, | |
| "learning_rate": 3.983640703082523e-05, | |
| "loss": 0.6093, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.6875, | |
| "grad_norm": 0.8808092276456894, | |
| "learning_rate": 3.982889722747621e-05, | |
| "loss": 0.604, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 0.6916666666666667, | |
| "grad_norm": 1.0124872467980413, | |
| "learning_rate": 3.982121964014797e-05, | |
| "loss": 0.6017, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 0.6958333333333333, | |
| "grad_norm": 1.0141756140919487, | |
| "learning_rate": 3.981337433380512e-05, | |
| "loss": 0.6043, | |
| "step": 167 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.7940035583599523, | |
| "learning_rate": 3.980536137483141e-05, | |
| "loss": 0.603, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.7041666666666667, | |
| "grad_norm": 0.6815397720273677, | |
| "learning_rate": 3.97971808310292e-05, | |
| "loss": 0.6033, | |
| "step": 169 | |
| }, | |
| { | |
| "epoch": 0.7083333333333334, | |
| "grad_norm": 0.5692713098104114, | |
| "learning_rate": 3.978883277161889e-05, | |
| "loss": 0.6129, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.7125, | |
| "grad_norm": 0.8949397237934722, | |
| "learning_rate": 3.978031726723834e-05, | |
| "loss": 0.602, | |
| "step": 171 | |
| }, | |
| { | |
| "epoch": 0.7166666666666667, | |
| "grad_norm": 0.8439068707146551, | |
| "learning_rate": 3.977163438994223e-05, | |
| "loss": 0.6022, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.7208333333333333, | |
| "grad_norm": 0.6537749129209305, | |
| "learning_rate": 3.976278421320152e-05, | |
| "loss": 0.6046, | |
| "step": 173 | |
| }, | |
| { | |
| "epoch": 0.725, | |
| "grad_norm": 0.5719443319621762, | |
| "learning_rate": 3.9753766811902756e-05, | |
| "loss": 0.5952, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 0.7291666666666666, | |
| "grad_norm": 0.5335331999127876, | |
| "learning_rate": 3.9744582262347486e-05, | |
| "loss": 0.5924, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 0.5315711772829829, | |
| "learning_rate": 3.973523064225159e-05, | |
| "loss": 0.6038, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.7375, | |
| "grad_norm": 5.833689240074311, | |
| "learning_rate": 3.972571203074463e-05, | |
| "loss": 0.6138, | |
| "step": 177 | |
| }, | |
| { | |
| "epoch": 0.7416666666666667, | |
| "grad_norm": 1.1180970011488844, | |
| "learning_rate": 3.9716026508369193e-05, | |
| "loss": 0.6115, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 0.7458333333333333, | |
| "grad_norm": 1.6810215498208934, | |
| "learning_rate": 3.970617415708019e-05, | |
| "loss": 0.5983, | |
| "step": 179 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 0.7611713210374506, | |
| "learning_rate": 3.9696155060244166e-05, | |
| "loss": 0.6102, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.7541666666666667, | |
| "grad_norm": 2.0108424942557246, | |
| "learning_rate": 3.96859693026386e-05, | |
| "loss": 0.6058, | |
| "step": 181 | |
| }, | |
| { | |
| "epoch": 0.7583333333333333, | |
| "grad_norm": 1.2496496213454418, | |
| "learning_rate": 3.967561697045118e-05, | |
| "loss": 0.6251, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 0.7625, | |
| "grad_norm": 2.2604311300328663, | |
| "learning_rate": 3.96650981512791e-05, | |
| "loss": 0.6186, | |
| "step": 183 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 1.9309829509381906, | |
| "learning_rate": 3.965441293412827e-05, | |
| "loss": 0.6222, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.7708333333333334, | |
| "grad_norm": 1.5275380908225737, | |
| "learning_rate": 3.964356140941262e-05, | |
| "loss": 0.6142, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 0.775, | |
| "grad_norm": 1.6402801417918575, | |
| "learning_rate": 3.9632543668953284e-05, | |
| "loss": 0.6074, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 0.7791666666666667, | |
| "grad_norm": 1.4018197992605743, | |
| "learning_rate": 3.962135980597786e-05, | |
| "loss": 0.6092, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 0.7833333333333333, | |
| "grad_norm": 1.57474479862592, | |
| "learning_rate": 3.961000991511959e-05, | |
| "loss": 0.5987, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.7875, | |
| "grad_norm": 0.9332683903563855, | |
| "learning_rate": 3.9598494092416594e-05, | |
| "loss": 0.6006, | |
| "step": 189 | |
| }, | |
| { | |
| "epoch": 0.7916666666666666, | |
| "grad_norm": 6.4262698284657285, | |
| "learning_rate": 3.958681243531103e-05, | |
| "loss": 0.6427, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.7958333333333333, | |
| "grad_norm": 2.031731227747491, | |
| "learning_rate": 3.957496504264828e-05, | |
| "loss": 0.6164, | |
| "step": 191 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 1.0255549765691543, | |
| "learning_rate": 3.9562952014676116e-05, | |
| "loss": 0.5982, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.8041666666666667, | |
| "grad_norm": 1.7950123558844988, | |
| "learning_rate": 3.955077345304383e-05, | |
| "loss": 0.6145, | |
| "step": 193 | |
| }, | |
| { | |
| "epoch": 0.8083333333333333, | |
| "grad_norm": 1.6661107778405753, | |
| "learning_rate": 3.953842946080142e-05, | |
| "loss": 0.6139, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 0.8125, | |
| "grad_norm": 1.255537604337782, | |
| "learning_rate": 3.952592014239867e-05, | |
| "loss": 0.6156, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 0.8166666666666667, | |
| "grad_norm": 1.0157832236691309, | |
| "learning_rate": 3.951324560368429e-05, | |
| "loss": 0.6147, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.8208333333333333, | |
| "grad_norm": 1.0705014177371002, | |
| "learning_rate": 3.950040595190502e-05, | |
| "loss": 0.6109, | |
| "step": 197 | |
| }, | |
| { | |
| "epoch": 0.825, | |
| "grad_norm": 0.8720346538745792, | |
| "learning_rate": 3.948740129570471e-05, | |
| "loss": 0.604, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 0.8291666666666667, | |
| "grad_norm": 0.9108778498246244, | |
| "learning_rate": 3.9474231745123425e-05, | |
| "loss": 0.5978, | |
| "step": 199 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.6858303735878576, | |
| "learning_rate": 3.946089741159648e-05, | |
| "loss": 0.6025, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.8375, | |
| "grad_norm": 0.8093276888050045, | |
| "learning_rate": 3.9447398407953536e-05, | |
| "loss": 0.6052, | |
| "step": 201 | |
| }, | |
| { | |
| "epoch": 0.8416666666666667, | |
| "grad_norm": 0.5387365454899715, | |
| "learning_rate": 3.943373484841761e-05, | |
| "loss": 0.5951, | |
| "step": 202 | |
| }, | |
| { | |
| "epoch": 0.8458333333333333, | |
| "grad_norm": 0.6523938284137194, | |
| "learning_rate": 3.941990684860412e-05, | |
| "loss": 0.5983, | |
| "step": 203 | |
| }, | |
| { | |
| "epoch": 0.85, | |
| "grad_norm": 0.5930411495149569, | |
| "learning_rate": 3.940591452551993e-05, | |
| "loss": 0.6085, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 0.8541666666666666, | |
| "grad_norm": 0.6501507887091976, | |
| "learning_rate": 3.9391757997562323e-05, | |
| "loss": 0.591, | |
| "step": 205 | |
| }, | |
| { | |
| "epoch": 0.8583333333333333, | |
| "grad_norm": 0.6330658290793114, | |
| "learning_rate": 3.9377437384518014e-05, | |
| "loss": 0.5937, | |
| "step": 206 | |
| }, | |
| { | |
| "epoch": 0.8625, | |
| "grad_norm": 0.6849294359909535, | |
| "learning_rate": 3.936295280756216e-05, | |
| "loss": 0.6022, | |
| "step": 207 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 0.9148446915969376, | |
| "learning_rate": 3.934830438925728e-05, | |
| "loss": 0.6108, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 0.8708333333333333, | |
| "grad_norm": 0.5414127308524658, | |
| "learning_rate": 3.933349225355228e-05, | |
| "loss": 0.5914, | |
| "step": 209 | |
| }, | |
| { | |
| "epoch": 0.875, | |
| "grad_norm": 0.6807208332138882, | |
| "learning_rate": 3.931851652578137e-05, | |
| "loss": 0.5779, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.8791666666666667, | |
| "grad_norm": 0.5116956086012243, | |
| "learning_rate": 3.930337733266299e-05, | |
| "loss": 0.5859, | |
| "step": 211 | |
| }, | |
| { | |
| "epoch": 0.8833333333333333, | |
| "grad_norm": 0.6464602536360001, | |
| "learning_rate": 3.928807480229878e-05, | |
| "loss": 0.5968, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 0.8875, | |
| "grad_norm": 0.5445816251083418, | |
| "learning_rate": 3.927260906417246e-05, | |
| "loss": 0.5865, | |
| "step": 213 | |
| }, | |
| { | |
| "epoch": 0.8916666666666667, | |
| "grad_norm": 0.5331557945158678, | |
| "learning_rate": 3.925698024914876e-05, | |
| "loss": 0.5919, | |
| "step": 214 | |
| }, | |
| { | |
| "epoch": 0.8958333333333334, | |
| "grad_norm": 0.4500416131513844, | |
| "learning_rate": 3.9241188489472266e-05, | |
| "loss": 0.6017, | |
| "step": 215 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.5131283210508815, | |
| "learning_rate": 3.922523391876638e-05, | |
| "loss": 0.5913, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 0.9041666666666667, | |
| "grad_norm": 0.434716603766219, | |
| "learning_rate": 3.920911667203211e-05, | |
| "loss": 0.6077, | |
| "step": 217 | |
| }, | |
| { | |
| "epoch": 0.9083333333333333, | |
| "grad_norm": 0.5173179366442318, | |
| "learning_rate": 3.919283688564699e-05, | |
| "loss": 0.5913, | |
| "step": 218 | |
| }, | |
| { | |
| "epoch": 0.9125, | |
| "grad_norm": 0.4041240210095621, | |
| "learning_rate": 3.917639469736386e-05, | |
| "loss": 0.589, | |
| "step": 219 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 0.39317734578321195, | |
| "learning_rate": 3.915979024630978e-05, | |
| "loss": 0.582, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.9208333333333333, | |
| "grad_norm": 0.45574417962886826, | |
| "learning_rate": 3.914302367298478e-05, | |
| "loss": 0.5905, | |
| "step": 221 | |
| }, | |
| { | |
| "epoch": 0.925, | |
| "grad_norm": 0.46494202536514745, | |
| "learning_rate": 3.912609511926071e-05, | |
| "loss": 0.6087, | |
| "step": 222 | |
| }, | |
| { | |
| "epoch": 0.9291666666666667, | |
| "grad_norm": 0.34877093481702964, | |
| "learning_rate": 3.910900472838004e-05, | |
| "loss": 0.5858, | |
| "step": 223 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.4465679019806231, | |
| "learning_rate": 3.909175264495464e-05, | |
| "loss": 0.601, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 0.9375, | |
| "grad_norm": 0.4484295111435038, | |
| "learning_rate": 3.907433901496454e-05, | |
| "loss": 0.5961, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 0.9416666666666667, | |
| "grad_norm": 0.3737784566652126, | |
| "learning_rate": 3.9056763985756724e-05, | |
| "loss": 0.5832, | |
| "step": 226 | |
| }, | |
| { | |
| "epoch": 0.9458333333333333, | |
| "grad_norm": 0.5549965681657777, | |
| "learning_rate": 3.903902770604386e-05, | |
| "loss": 0.5935, | |
| "step": 227 | |
| }, | |
| { | |
| "epoch": 0.95, | |
| "grad_norm": 0.39219086903022765, | |
| "learning_rate": 3.9021130325903076e-05, | |
| "loss": 0.5871, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 0.9541666666666667, | |
| "grad_norm": 0.4326134130395831, | |
| "learning_rate": 3.900307199677462e-05, | |
| "loss": 0.5869, | |
| "step": 229 | |
| }, | |
| { | |
| "epoch": 0.9583333333333334, | |
| "grad_norm": 0.3878340710100633, | |
| "learning_rate": 3.898485287146068e-05, | |
| "loss": 0.5792, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.9625, | |
| "grad_norm": 0.491588750881979, | |
| "learning_rate": 3.896647310412399e-05, | |
| "loss": 0.5875, | |
| "step": 231 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 0.47167566982740994, | |
| "learning_rate": 3.8947932850286585e-05, | |
| "loss": 0.5884, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 0.9708333333333333, | |
| "grad_norm": 0.40037721633670603, | |
| "learning_rate": 3.892923226682849e-05, | |
| "loss": 0.5829, | |
| "step": 233 | |
| }, | |
| { | |
| "epoch": 0.975, | |
| "grad_norm": 0.45656296290139076, | |
| "learning_rate": 3.891037151198634e-05, | |
| "loss": 0.5735, | |
| "step": 234 | |
| }, | |
| { | |
| "epoch": 0.9791666666666666, | |
| "grad_norm": 0.4209143206597181, | |
| "learning_rate": 3.88913507453521e-05, | |
| "loss": 0.5798, | |
| "step": 235 | |
| }, | |
| { | |
| "epoch": 0.9833333333333333, | |
| "grad_norm": 0.4440792761438726, | |
| "learning_rate": 3.887217012787167e-05, | |
| "loss": 0.5786, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 0.9875, | |
| "grad_norm": 0.4053025555601259, | |
| "learning_rate": 3.885282982184357e-05, | |
| "loss": 0.591, | |
| "step": 237 | |
| }, | |
| { | |
| "epoch": 0.9916666666666667, | |
| "grad_norm": 0.4480467695908802, | |
| "learning_rate": 3.883332999091751e-05, | |
| "loss": 0.582, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 0.9958333333333333, | |
| "grad_norm": 0.38550322094656303, | |
| "learning_rate": 3.8813670800093046e-05, | |
| "loss": 0.5841, | |
| "step": 239 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.3452238821589659, | |
| "learning_rate": 3.879385241571817e-05, | |
| "loss": 0.5872, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 1.0041666666666667, | |
| "grad_norm": 0.4406010955303967, | |
| "learning_rate": 3.877387500548791e-05, | |
| "loss": 0.5473, | |
| "step": 241 | |
| }, | |
| { | |
| "epoch": 1.0083333333333333, | |
| "grad_norm": 0.4196619562165898, | |
| "learning_rate": 3.87537387384429e-05, | |
| "loss": 0.5601, | |
| "step": 242 | |
| }, | |
| { | |
| "epoch": 1.0125, | |
| "grad_norm": 0.4781544548132093, | |
| "learning_rate": 3.873344378496795e-05, | |
| "loss": 0.543, | |
| "step": 243 | |
| }, | |
| { | |
| "epoch": 1.0166666666666666, | |
| "grad_norm": 0.5015649231577988, | |
| "learning_rate": 3.8712990316790633e-05, | |
| "loss": 0.548, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 1.0208333333333333, | |
| "grad_norm": 0.45896771388250757, | |
| "learning_rate": 3.8692378506979775e-05, | |
| "loss": 0.5424, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 1.025, | |
| "grad_norm": 0.46992886856713934, | |
| "learning_rate": 3.8671608529944035e-05, | |
| "loss": 0.5459, | |
| "step": 246 | |
| }, | |
| { | |
| "epoch": 1.0291666666666666, | |
| "grad_norm": 0.475481875853481, | |
| "learning_rate": 3.8650680561430444e-05, | |
| "loss": 0.5367, | |
| "step": 247 | |
| }, | |
| { | |
| "epoch": 1.0333333333333334, | |
| "grad_norm": 0.38513999120173803, | |
| "learning_rate": 3.862959477852285e-05, | |
| "loss": 0.5559, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 1.0375, | |
| "grad_norm": 0.42911051850784293, | |
| "learning_rate": 3.860835135964049e-05, | |
| "loss": 0.5328, | |
| "step": 249 | |
| }, | |
| { | |
| "epoch": 1.0416666666666667, | |
| "grad_norm": 0.38439411540736046, | |
| "learning_rate": 3.858695048453645e-05, | |
| "loss": 0.5365, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.0458333333333334, | |
| "grad_norm": 0.4556082309066422, | |
| "learning_rate": 3.8565392334296135e-05, | |
| "loss": 0.5463, | |
| "step": 251 | |
| }, | |
| { | |
| "epoch": 1.05, | |
| "grad_norm": 0.37563339606917695, | |
| "learning_rate": 3.854367709133575e-05, | |
| "loss": 0.5442, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 1.0541666666666667, | |
| "grad_norm": 0.42796480491292316, | |
| "learning_rate": 3.852180493940076e-05, | |
| "loss": 0.5323, | |
| "step": 253 | |
| }, | |
| { | |
| "epoch": 1.0583333333333333, | |
| "grad_norm": 0.45795521696408836, | |
| "learning_rate": 3.849977606356432e-05, | |
| "loss": 0.5545, | |
| "step": 254 | |
| }, | |
| { | |
| "epoch": 1.0625, | |
| "grad_norm": 0.5434892586255291, | |
| "learning_rate": 3.8477590650225735e-05, | |
| "loss": 0.5475, | |
| "step": 255 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.5281205108015046, | |
| "learning_rate": 3.845524888710885e-05, | |
| "loss": 0.5305, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 1.0708333333333333, | |
| "grad_norm": 0.4370969266096491, | |
| "learning_rate": 3.843275096326048e-05, | |
| "loss": 0.5573, | |
| "step": 257 | |
| }, | |
| { | |
| "epoch": 1.075, | |
| "grad_norm": 0.5780691860713271, | |
| "learning_rate": 3.841009706904881e-05, | |
| "loss": 0.5487, | |
| "step": 258 | |
| }, | |
| { | |
| "epoch": 1.0791666666666666, | |
| "grad_norm": 0.6207487195598114, | |
| "learning_rate": 3.8387287396161784e-05, | |
| "loss": 0.5353, | |
| "step": 259 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 0.431876399456736, | |
| "learning_rate": 3.8364322137605484e-05, | |
| "loss": 0.5397, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 1.0875, | |
| "grad_norm": 0.5804160168692262, | |
| "learning_rate": 3.834120148770248e-05, | |
| "loss": 0.532, | |
| "step": 261 | |
| }, | |
| { | |
| "epoch": 1.0916666666666666, | |
| "grad_norm": 0.6680196534577321, | |
| "learning_rate": 3.8317925642090225e-05, | |
| "loss": 0.5473, | |
| "step": 262 | |
| }, | |
| { | |
| "epoch": 1.0958333333333334, | |
| "grad_norm": 0.5454194856383294, | |
| "learning_rate": 3.829449479771935e-05, | |
| "loss": 0.5567, | |
| "step": 263 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.40571905557902443, | |
| "learning_rate": 3.827090915285202e-05, | |
| "loss": 0.5544, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 1.1041666666666667, | |
| "grad_norm": 0.5235345680353714, | |
| "learning_rate": 3.824716890706029e-05, | |
| "loss": 0.5444, | |
| "step": 265 | |
| }, | |
| { | |
| "epoch": 1.1083333333333334, | |
| "grad_norm": 0.5700836568044627, | |
| "learning_rate": 3.8223274261224344e-05, | |
| "loss": 0.5453, | |
| "step": 266 | |
| }, | |
| { | |
| "epoch": 1.1125, | |
| "grad_norm": 0.4188022120925585, | |
| "learning_rate": 3.8199225417530865e-05, | |
| "loss": 0.5414, | |
| "step": 267 | |
| }, | |
| { | |
| "epoch": 1.1166666666666667, | |
| "grad_norm": 0.7690176283666269, | |
| "learning_rate": 3.817502257947129e-05, | |
| "loss": 0.556, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 1.1208333333333333, | |
| "grad_norm": 0.5572958616235794, | |
| "learning_rate": 3.815066595184007e-05, | |
| "loss": 0.5428, | |
| "step": 269 | |
| }, | |
| { | |
| "epoch": 1.125, | |
| "grad_norm": 0.391475640768384, | |
| "learning_rate": 3.812615574073301e-05, | |
| "loss": 0.5432, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 1.1291666666666667, | |
| "grad_norm": 0.5234766948965066, | |
| "learning_rate": 3.81014921535454e-05, | |
| "loss": 0.5349, | |
| "step": 271 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.4394439696375235, | |
| "learning_rate": 3.807667539897041e-05, | |
| "loss": 0.5453, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 1.1375, | |
| "grad_norm": 0.4285560305810143, | |
| "learning_rate": 3.805170568699722e-05, | |
| "loss": 0.5395, | |
| "step": 273 | |
| }, | |
| { | |
| "epoch": 1.1416666666666666, | |
| "grad_norm": 0.4359544909786749, | |
| "learning_rate": 3.8026583228909244e-05, | |
| "loss": 0.5534, | |
| "step": 274 | |
| }, | |
| { | |
| "epoch": 1.1458333333333333, | |
| "grad_norm": 0.4300470633162109, | |
| "learning_rate": 3.800130823728242e-05, | |
| "loss": 0.55, | |
| "step": 275 | |
| }, | |
| { | |
| "epoch": 1.15, | |
| "grad_norm": 0.3912020945403841, | |
| "learning_rate": 3.7975880925983345e-05, | |
| "loss": 0.5348, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 1.1541666666666668, | |
| "grad_norm": 0.4788065319423428, | |
| "learning_rate": 3.795030151016746e-05, | |
| "loss": 0.5193, | |
| "step": 277 | |
| }, | |
| { | |
| "epoch": 1.1583333333333332, | |
| "grad_norm": 0.5122579098660471, | |
| "learning_rate": 3.7924570206277274e-05, | |
| "loss": 0.54, | |
| "step": 278 | |
| }, | |
| { | |
| "epoch": 1.1625, | |
| "grad_norm": 0.3892443444552306, | |
| "learning_rate": 3.78986872320405e-05, | |
| "loss": 0.5562, | |
| "step": 279 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 0.3757068038324186, | |
| "learning_rate": 3.787265280646825e-05, | |
| "loss": 0.5475, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 1.1708333333333334, | |
| "grad_norm": 0.4002637376745568, | |
| "learning_rate": 3.784646714985311e-05, | |
| "loss": 0.5446, | |
| "step": 281 | |
| }, | |
| { | |
| "epoch": 1.175, | |
| "grad_norm": 0.6434613018830029, | |
| "learning_rate": 3.782013048376736e-05, | |
| "loss": 0.5423, | |
| "step": 282 | |
| }, | |
| { | |
| "epoch": 1.1791666666666667, | |
| "grad_norm": 0.4802579423585243, | |
| "learning_rate": 3.779364303106104e-05, | |
| "loss": 0.5551, | |
| "step": 283 | |
| }, | |
| { | |
| "epoch": 1.1833333333333333, | |
| "grad_norm": 0.34320293525448575, | |
| "learning_rate": 3.776700501586009e-05, | |
| "loss": 0.5371, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 1.1875, | |
| "grad_norm": 0.37243144250715815, | |
| "learning_rate": 3.774021666356444e-05, | |
| "loss": 0.5441, | |
| "step": 285 | |
| }, | |
| { | |
| "epoch": 1.1916666666666667, | |
| "grad_norm": 0.47943818705729785, | |
| "learning_rate": 3.7713278200846125e-05, | |
| "loss": 0.553, | |
| "step": 286 | |
| }, | |
| { | |
| "epoch": 1.1958333333333333, | |
| "grad_norm": 0.48019468557764794, | |
| "learning_rate": 3.768618985564734e-05, | |
| "loss": 0.5364, | |
| "step": 287 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.3737355351361219, | |
| "learning_rate": 3.7658951857178544e-05, | |
| "loss": 0.5381, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 1.2041666666666666, | |
| "grad_norm": 0.4316833796281385, | |
| "learning_rate": 3.763156443591647e-05, | |
| "loss": 0.5526, | |
| "step": 289 | |
| }, | |
| { | |
| "epoch": 1.2083333333333333, | |
| "grad_norm": 0.5367694193809566, | |
| "learning_rate": 3.760402782360222e-05, | |
| "loss": 0.5402, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 1.2125, | |
| "grad_norm": 0.5054159315871245, | |
| "learning_rate": 3.757634225323931e-05, | |
| "loss": 0.5447, | |
| "step": 291 | |
| }, | |
| { | |
| "epoch": 1.2166666666666668, | |
| "grad_norm": 0.37465922664626905, | |
| "learning_rate": 3.754850795909164e-05, | |
| "loss": 0.5464, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 1.2208333333333332, | |
| "grad_norm": 0.4667280578857415, | |
| "learning_rate": 3.7520525176681575e-05, | |
| "loss": 0.5443, | |
| "step": 293 | |
| }, | |
| { | |
| "epoch": 1.225, | |
| "grad_norm": 0.41038515137599035, | |
| "learning_rate": 3.749239414278792e-05, | |
| "loss": 0.5391, | |
| "step": 294 | |
| }, | |
| { | |
| "epoch": 1.2291666666666667, | |
| "grad_norm": 0.4872872931948412, | |
| "learning_rate": 3.7464115095443924e-05, | |
| "loss": 0.5498, | |
| "step": 295 | |
| }, | |
| { | |
| "epoch": 1.2333333333333334, | |
| "grad_norm": 0.3714350455253727, | |
| "learning_rate": 3.743568827393525e-05, | |
| "loss": 0.5438, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 1.2375, | |
| "grad_norm": 0.5352847539446225, | |
| "learning_rate": 3.7407113918797995e-05, | |
| "loss": 0.5554, | |
| "step": 297 | |
| }, | |
| { | |
| "epoch": 1.2416666666666667, | |
| "grad_norm": 0.37054802860531405, | |
| "learning_rate": 3.7378392271816606e-05, | |
| "loss": 0.5335, | |
| "step": 298 | |
| }, | |
| { | |
| "epoch": 1.2458333333333333, | |
| "grad_norm": 0.48597193778007786, | |
| "learning_rate": 3.734952357602185e-05, | |
| "loss": 0.5437, | |
| "step": 299 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 0.38678763041126857, | |
| "learning_rate": 3.732050807568878e-05, | |
| "loss": 0.5462, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 1.2541666666666667, | |
| "grad_norm": 0.3876114600715386, | |
| "learning_rate": 3.7291346016334616e-05, | |
| "loss": 0.5418, | |
| "step": 301 | |
| }, | |
| { | |
| "epoch": 1.2583333333333333, | |
| "grad_norm": 0.40139068236775927, | |
| "learning_rate": 3.726203764471673e-05, | |
| "loss": 0.5476, | |
| "step": 302 | |
| }, | |
| { | |
| "epoch": 1.2625, | |
| "grad_norm": 0.39993072044779654, | |
| "learning_rate": 3.723258320883052e-05, | |
| "loss": 0.5476, | |
| "step": 303 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.4777404763468545, | |
| "learning_rate": 3.720298295790732e-05, | |
| "loss": 0.5369, | |
| "step": 304 | |
| }, | |
| { | |
| "epoch": 1.2708333333333333, | |
| "grad_norm": 0.3836987377047922, | |
| "learning_rate": 3.7173237142412266e-05, | |
| "loss": 0.5294, | |
| "step": 305 | |
| }, | |
| { | |
| "epoch": 1.275, | |
| "grad_norm": 0.3874760875383913, | |
| "learning_rate": 3.714334601404225e-05, | |
| "loss": 0.5475, | |
| "step": 306 | |
| }, | |
| { | |
| "epoch": 1.2791666666666668, | |
| "grad_norm": 0.4939800332038625, | |
| "learning_rate": 3.7113309825723706e-05, | |
| "loss": 0.5477, | |
| "step": 307 | |
| }, | |
| { | |
| "epoch": 1.2833333333333332, | |
| "grad_norm": 0.5384604306792786, | |
| "learning_rate": 3.708312883161052e-05, | |
| "loss": 0.5476, | |
| "step": 308 | |
| }, | |
| { | |
| "epoch": 1.2875, | |
| "grad_norm": 0.38400202597605726, | |
| "learning_rate": 3.705280328708185e-05, | |
| "loss": 0.5388, | |
| "step": 309 | |
| }, | |
| { | |
| "epoch": 1.2916666666666667, | |
| "grad_norm": 0.7635101023152292, | |
| "learning_rate": 3.702233344873999e-05, | |
| "loss": 0.5441, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 1.2958333333333334, | |
| "grad_norm": 0.4749517009016558, | |
| "learning_rate": 3.6991719574408216e-05, | |
| "loss": 0.5457, | |
| "step": 311 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.6186036408886622, | |
| "learning_rate": 3.696096192312852e-05, | |
| "loss": 0.5336, | |
| "step": 312 | |
| }, | |
| { | |
| "epoch": 1.3041666666666667, | |
| "grad_norm": 0.6039600691439416, | |
| "learning_rate": 3.693006075515952e-05, | |
| "loss": 0.5457, | |
| "step": 313 | |
| }, | |
| { | |
| "epoch": 1.3083333333333333, | |
| "grad_norm": 0.44510838255318347, | |
| "learning_rate": 3.689901633197421e-05, | |
| "loss": 0.5425, | |
| "step": 314 | |
| }, | |
| { | |
| "epoch": 1.3125, | |
| "grad_norm": 0.5281284436574588, | |
| "learning_rate": 3.686782891625772e-05, | |
| "loss": 0.5225, | |
| "step": 315 | |
| }, | |
| { | |
| "epoch": 1.3166666666666667, | |
| "grad_norm": 0.4383316355693497, | |
| "learning_rate": 3.683649877190515e-05, | |
| "loss": 0.5501, | |
| "step": 316 | |
| }, | |
| { | |
| "epoch": 1.3208333333333333, | |
| "grad_norm": 0.49956813129428346, | |
| "learning_rate": 3.680502616401932e-05, | |
| "loss": 0.5359, | |
| "step": 317 | |
| }, | |
| { | |
| "epoch": 1.325, | |
| "grad_norm": 0.5515987870342378, | |
| "learning_rate": 3.6773411358908486e-05, | |
| "loss": 0.5339, | |
| "step": 318 | |
| }, | |
| { | |
| "epoch": 1.3291666666666666, | |
| "grad_norm": 0.4345037680070084, | |
| "learning_rate": 3.674165462408415e-05, | |
| "loss": 0.5336, | |
| "step": 319 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.4400948719090633, | |
| "learning_rate": 3.6709756228258735e-05, | |
| "loss": 0.5455, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 1.3375, | |
| "grad_norm": 0.5395972581738513, | |
| "learning_rate": 3.6677716441343366e-05, | |
| "loss": 0.5524, | |
| "step": 321 | |
| }, | |
| { | |
| "epoch": 1.3416666666666668, | |
| "grad_norm": 0.5392777298500487, | |
| "learning_rate": 3.664553553444556e-05, | |
| "loss": 0.5413, | |
| "step": 322 | |
| }, | |
| { | |
| "epoch": 1.3458333333333332, | |
| "grad_norm": 0.4462815897326446, | |
| "learning_rate": 3.661321377986691e-05, | |
| "loss": 0.5455, | |
| "step": 323 | |
| }, | |
| { | |
| "epoch": 1.35, | |
| "grad_norm": 0.408044981134378, | |
| "learning_rate": 3.658075145110083e-05, | |
| "loss": 0.5359, | |
| "step": 324 | |
| }, | |
| { | |
| "epoch": 1.3541666666666667, | |
| "grad_norm": 2.6517110892639804, | |
| "learning_rate": 3.654814882283021e-05, | |
| "loss": 0.5599, | |
| "step": 325 | |
| }, | |
| { | |
| "epoch": 1.3583333333333334, | |
| "grad_norm": 0.6426062801390939, | |
| "learning_rate": 3.6515406170925085e-05, | |
| "loss": 0.5451, | |
| "step": 326 | |
| }, | |
| { | |
| "epoch": 1.3625, | |
| "grad_norm": 0.7569615680173203, | |
| "learning_rate": 3.648252377244031e-05, | |
| "loss": 0.5511, | |
| "step": 327 | |
| }, | |
| { | |
| "epoch": 1.3666666666666667, | |
| "grad_norm": 0.5615222121177936, | |
| "learning_rate": 3.644950190561325e-05, | |
| "loss": 0.5353, | |
| "step": 328 | |
| }, | |
| { | |
| "epoch": 1.3708333333333333, | |
| "grad_norm": 3.908446658444029, | |
| "learning_rate": 3.641634084986135e-05, | |
| "loss": 0.5363, | |
| "step": 329 | |
| }, | |
| { | |
| "epoch": 1.375, | |
| "grad_norm": 0.86056567015776, | |
| "learning_rate": 3.638304088577984e-05, | |
| "loss": 0.5337, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 1.3791666666666667, | |
| "grad_norm": 0.968674440323784, | |
| "learning_rate": 3.6349602295139334e-05, | |
| "loss": 0.5349, | |
| "step": 331 | |
| }, | |
| { | |
| "epoch": 1.3833333333333333, | |
| "grad_norm": 0.7662941534325669, | |
| "learning_rate": 3.631602536088345e-05, | |
| "loss": 0.5493, | |
| "step": 332 | |
| }, | |
| { | |
| "epoch": 1.3875, | |
| "grad_norm": 0.6489821024054829, | |
| "learning_rate": 3.628231036712639e-05, | |
| "loss": 0.551, | |
| "step": 333 | |
| }, | |
| { | |
| "epoch": 1.3916666666666666, | |
| "grad_norm": 0.6768400112848093, | |
| "learning_rate": 3.624845759915059e-05, | |
| "loss": 0.5506, | |
| "step": 334 | |
| }, | |
| { | |
| "epoch": 1.3958333333333333, | |
| "grad_norm": 0.6300666456353369, | |
| "learning_rate": 3.6214467343404247e-05, | |
| "loss": 0.5492, | |
| "step": 335 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.5258555208327108, | |
| "learning_rate": 3.6180339887498953e-05, | |
| "loss": 0.5508, | |
| "step": 336 | |
| }, | |
| { | |
| "epoch": 1.4041666666666668, | |
| "grad_norm": 0.5524501054068902, | |
| "learning_rate": 3.61460755202072e-05, | |
| "loss": 0.5435, | |
| "step": 337 | |
| }, | |
| { | |
| "epoch": 1.4083333333333332, | |
| "grad_norm": 0.5625403333344081, | |
| "learning_rate": 3.611167453145999e-05, | |
| "loss": 0.5515, | |
| "step": 338 | |
| }, | |
| { | |
| "epoch": 1.4125, | |
| "grad_norm": 0.5913598318371671, | |
| "learning_rate": 3.6077137212344345e-05, | |
| "loss": 0.5534, | |
| "step": 339 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 0.5062091818940291, | |
| "learning_rate": 3.604246385510088e-05, | |
| "loss": 0.5454, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 1.4208333333333334, | |
| "grad_norm": 0.7149264594412322, | |
| "learning_rate": 3.600765475312128e-05, | |
| "loss": 0.526, | |
| "step": 341 | |
| }, | |
| { | |
| "epoch": 1.425, | |
| "grad_norm": 0.48134148469588334, | |
| "learning_rate": 3.597271020094586e-05, | |
| "loss": 0.5324, | |
| "step": 342 | |
| }, | |
| { | |
| "epoch": 1.4291666666666667, | |
| "grad_norm": 0.5417590266608151, | |
| "learning_rate": 3.593763049426107e-05, | |
| "loss": 0.5575, | |
| "step": 343 | |
| }, | |
| { | |
| "epoch": 1.4333333333333333, | |
| "grad_norm": 0.5591822618770105, | |
| "learning_rate": 3.590241592989696e-05, | |
| "loss": 0.5503, | |
| "step": 344 | |
| }, | |
| { | |
| "epoch": 1.4375, | |
| "grad_norm": 0.5257518162521898, | |
| "learning_rate": 3.586706680582471e-05, | |
| "loss": 0.5445, | |
| "step": 345 | |
| }, | |
| { | |
| "epoch": 1.4416666666666667, | |
| "grad_norm": 0.4634408909849689, | |
| "learning_rate": 3.583158342115407e-05, | |
| "loss": 0.5406, | |
| "step": 346 | |
| }, | |
| { | |
| "epoch": 1.4458333333333333, | |
| "grad_norm": 0.49613445514198684, | |
| "learning_rate": 3.579596607613087e-05, | |
| "loss": 0.5465, | |
| "step": 347 | |
| }, | |
| { | |
| "epoch": 1.45, | |
| "grad_norm": 0.5672027866995051, | |
| "learning_rate": 3.576021507213444e-05, | |
| "loss": 0.553, | |
| "step": 348 | |
| }, | |
| { | |
| "epoch": 1.4541666666666666, | |
| "grad_norm": 0.4941824109882221, | |
| "learning_rate": 3.5724330711675085e-05, | |
| "loss": 0.5349, | |
| "step": 349 | |
| }, | |
| { | |
| "epoch": 1.4583333333333333, | |
| "grad_norm": 0.5669200741703913, | |
| "learning_rate": 3.568831329839152e-05, | |
| "loss": 0.558, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 1.4625, | |
| "grad_norm": 0.6336248661527731, | |
| "learning_rate": 3.565216313704828e-05, | |
| "loss": 0.5214, | |
| "step": 351 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.4862325834076314, | |
| "learning_rate": 3.561588053353319e-05, | |
| "loss": 0.5326, | |
| "step": 352 | |
| }, | |
| { | |
| "epoch": 1.4708333333333332, | |
| "grad_norm": 50.599831096867604, | |
| "learning_rate": 3.557946579485472e-05, | |
| "loss": 0.5274, | |
| "step": 353 | |
| }, | |
| { | |
| "epoch": 1.475, | |
| "grad_norm": 10.910060517204235, | |
| "learning_rate": 3.554291922913942e-05, | |
| "loss": 0.6153, | |
| "step": 354 | |
| }, | |
| { | |
| "epoch": 1.4791666666666667, | |
| "grad_norm": 1.074406038442234, | |
| "learning_rate": 3.550624114562932e-05, | |
| "loss": 0.5439, | |
| "step": 355 | |
| }, | |
| { | |
| "epoch": 1.4833333333333334, | |
| "grad_norm": 1.0370534681055068, | |
| "learning_rate": 3.5469431854679284e-05, | |
| "loss": 0.557, | |
| "step": 356 | |
| }, | |
| { | |
| "epoch": 1.4875, | |
| "grad_norm": 0.8216011964637442, | |
| "learning_rate": 3.5432491667754404e-05, | |
| "loss": 0.5478, | |
| "step": 357 | |
| }, | |
| { | |
| "epoch": 1.4916666666666667, | |
| "grad_norm": 0.8134009163833327, | |
| "learning_rate": 3.539542089742736e-05, | |
| "loss": 0.542, | |
| "step": 358 | |
| }, | |
| { | |
| "epoch": 1.4958333333333333, | |
| "grad_norm": 0.8750034828796878, | |
| "learning_rate": 3.535821985737578e-05, | |
| "loss": 0.5527, | |
| "step": 359 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.6744505015229905, | |
| "learning_rate": 3.532088886237956e-05, | |
| "loss": 0.5531, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 1.5041666666666667, | |
| "grad_norm": 0.544924446215458, | |
| "learning_rate": 3.5283428228318265e-05, | |
| "loss": 0.5491, | |
| "step": 361 | |
| }, | |
| { | |
| "epoch": 1.5083333333333333, | |
| "grad_norm": 0.6751247516552488, | |
| "learning_rate": 3.524583827216837e-05, | |
| "loss": 0.5466, | |
| "step": 362 | |
| }, | |
| { | |
| "epoch": 1.5125, | |
| "grad_norm": 0.3674962335666127, | |
| "learning_rate": 3.520811931200063e-05, | |
| "loss": 0.5438, | |
| "step": 363 | |
| }, | |
| { | |
| "epoch": 1.5166666666666666, | |
| "grad_norm": 0.6309369607091287, | |
| "learning_rate": 3.5170271666977383e-05, | |
| "loss": 0.5433, | |
| "step": 364 | |
| }, | |
| { | |
| "epoch": 1.5208333333333335, | |
| "grad_norm": 0.499517179632754, | |
| "learning_rate": 3.513229565734986e-05, | |
| "loss": 0.5398, | |
| "step": 365 | |
| }, | |
| { | |
| "epoch": 1.525, | |
| "grad_norm": 0.515334408837096, | |
| "learning_rate": 3.5094191604455446e-05, | |
| "loss": 0.5361, | |
| "step": 366 | |
| }, | |
| { | |
| "epoch": 1.5291666666666668, | |
| "grad_norm": 0.4723797383914561, | |
| "learning_rate": 3.505595983071497e-05, | |
| "loss": 0.5394, | |
| "step": 367 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 0.5793396713598776, | |
| "learning_rate": 3.5017600659629986e-05, | |
| "loss": 0.5438, | |
| "step": 368 | |
| }, | |
| { | |
| "epoch": 1.5375, | |
| "grad_norm": 2.5464060896803797, | |
| "learning_rate": 3.497911441578005e-05, | |
| "loss": 0.5528, | |
| "step": 369 | |
| }, | |
| { | |
| "epoch": 1.5416666666666665, | |
| "grad_norm": 0.8887207215422138, | |
| "learning_rate": 3.4940501424819927e-05, | |
| "loss": 0.5388, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.5458333333333334, | |
| "grad_norm": 0.6433041354795661, | |
| "learning_rate": 3.490176201347688e-05, | |
| "loss": 0.5455, | |
| "step": 371 | |
| }, | |
| { | |
| "epoch": 1.55, | |
| "grad_norm": 2.263023677021183, | |
| "learning_rate": 3.4862896509547886e-05, | |
| "loss": 0.5386, | |
| "step": 372 | |
| }, | |
| { | |
| "epoch": 1.5541666666666667, | |
| "grad_norm": 0.6011992934825787, | |
| "learning_rate": 3.482390524189687e-05, | |
| "loss": 0.5453, | |
| "step": 373 | |
| }, | |
| { | |
| "epoch": 1.5583333333333333, | |
| "grad_norm": 0.7611855558373163, | |
| "learning_rate": 3.478478854045192e-05, | |
| "loss": 0.5397, | |
| "step": 374 | |
| }, | |
| { | |
| "epoch": 1.5625, | |
| "grad_norm": 0.4847408846399714, | |
| "learning_rate": 3.474554673620248e-05, | |
| "loss": 0.5374, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 1.5666666666666667, | |
| "grad_norm": 0.6917296997816444, | |
| "learning_rate": 3.470618016119658e-05, | |
| "loss": 0.5317, | |
| "step": 376 | |
| }, | |
| { | |
| "epoch": 1.5708333333333333, | |
| "grad_norm": 0.4894917757184793, | |
| "learning_rate": 3.4666689148537976e-05, | |
| "loss": 0.5447, | |
| "step": 377 | |
| }, | |
| { | |
| "epoch": 1.575, | |
| "grad_norm": 0.5536289373283173, | |
| "learning_rate": 3.462707403238341e-05, | |
| "loss": 0.5486, | |
| "step": 378 | |
| }, | |
| { | |
| "epoch": 1.5791666666666666, | |
| "grad_norm": 0.5209679404299189, | |
| "learning_rate": 3.458733514793971e-05, | |
| "loss": 0.5387, | |
| "step": 379 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 0.41294624066206936, | |
| "learning_rate": 3.4547472831460976e-05, | |
| "loss": 0.536, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 1.5875, | |
| "grad_norm": 0.4776106205291494, | |
| "learning_rate": 3.450748742024575e-05, | |
| "loss": 0.5299, | |
| "step": 381 | |
| }, | |
| { | |
| "epoch": 1.5916666666666668, | |
| "grad_norm": 0.4408073207618328, | |
| "learning_rate": 3.446737925263416e-05, | |
| "loss": 0.5513, | |
| "step": 382 | |
| }, | |
| { | |
| "epoch": 1.5958333333333332, | |
| "grad_norm": 1.011039352548808, | |
| "learning_rate": 3.442714866800503e-05, | |
| "loss": 0.5373, | |
| "step": 383 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.4728935369610765, | |
| "learning_rate": 3.438679600677303e-05, | |
| "loss": 0.5573, | |
| "step": 384 | |
| }, | |
| { | |
| "epoch": 1.6041666666666665, | |
| "grad_norm": 0.44203385402051665, | |
| "learning_rate": 3.434632161038579e-05, | |
| "loss": 0.5476, | |
| "step": 385 | |
| }, | |
| { | |
| "epoch": 1.6083333333333334, | |
| "grad_norm": 0.44675782958431953, | |
| "learning_rate": 3.430572582132103e-05, | |
| "loss": 0.5318, | |
| "step": 386 | |
| }, | |
| { | |
| "epoch": 1.6125, | |
| "grad_norm": 0.40337499189073334, | |
| "learning_rate": 3.426500898308364e-05, | |
| "loss": 0.546, | |
| "step": 387 | |
| }, | |
| { | |
| "epoch": 1.6166666666666667, | |
| "grad_norm": 3.887202940437168, | |
| "learning_rate": 3.422417144020274e-05, | |
| "loss": 0.5556, | |
| "step": 388 | |
| }, | |
| { | |
| "epoch": 1.6208333333333333, | |
| "grad_norm": 0.722313529945089, | |
| "learning_rate": 3.4183213538228876e-05, | |
| "loss": 0.5369, | |
| "step": 389 | |
| }, | |
| { | |
| "epoch": 1.625, | |
| "grad_norm": 0.6188201178714671, | |
| "learning_rate": 3.4142135623730954e-05, | |
| "loss": 0.5333, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 1.6291666666666667, | |
| "grad_norm": 8.0133358740126, | |
| "learning_rate": 3.410093804429341e-05, | |
| "loss": 0.6215, | |
| "step": 391 | |
| }, | |
| { | |
| "epoch": 1.6333333333333333, | |
| "grad_norm": 0.7859856462540775, | |
| "learning_rate": 3.405962114851324e-05, | |
| "loss": 0.5418, | |
| "step": 392 | |
| }, | |
| { | |
| "epoch": 1.6375, | |
| "grad_norm": 0.5405499807694932, | |
| "learning_rate": 3.401818528599702e-05, | |
| "loss": 0.5347, | |
| "step": 393 | |
| }, | |
| { | |
| "epoch": 1.6416666666666666, | |
| "grad_norm": 0.5714313002014001, | |
| "learning_rate": 3.3976630807358e-05, | |
| "loss": 0.5541, | |
| "step": 394 | |
| }, | |
| { | |
| "epoch": 1.6458333333333335, | |
| "grad_norm": 0.5882264280306395, | |
| "learning_rate": 3.3934958064213105e-05, | |
| "loss": 0.5365, | |
| "step": 395 | |
| }, | |
| { | |
| "epoch": 1.65, | |
| "grad_norm": 0.6292291165942625, | |
| "learning_rate": 3.3893167409179945e-05, | |
| "loss": 0.5332, | |
| "step": 396 | |
| }, | |
| { | |
| "epoch": 1.6541666666666668, | |
| "grad_norm": 0.5061325980182686, | |
| "learning_rate": 3.385125919587389e-05, | |
| "loss": 0.5256, | |
| "step": 397 | |
| }, | |
| { | |
| "epoch": 1.6583333333333332, | |
| "grad_norm": 0.5896622141204226, | |
| "learning_rate": 3.3809233778904995e-05, | |
| "loss": 0.5365, | |
| "step": 398 | |
| }, | |
| { | |
| "epoch": 1.6625, | |
| "grad_norm": 0.42991753010476663, | |
| "learning_rate": 3.376709151387508e-05, | |
| "loss": 0.5419, | |
| "step": 399 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.5320307698753223, | |
| "learning_rate": 3.372483275737468e-05, | |
| "loss": 0.5355, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.6708333333333334, | |
| "grad_norm": 0.4362313241457944, | |
| "learning_rate": 3.368245786698e-05, | |
| "loss": 0.5359, | |
| "step": 401 | |
| }, | |
| { | |
| "epoch": 1.675, | |
| "grad_norm": 0.5090533209283697, | |
| "learning_rate": 3.363996720124997e-05, | |
| "loss": 0.5468, | |
| "step": 402 | |
| }, | |
| { | |
| "epoch": 1.6791666666666667, | |
| "grad_norm": 0.41335826704940476, | |
| "learning_rate": 3.3597361119723145e-05, | |
| "loss": 0.5351, | |
| "step": 403 | |
| }, | |
| { | |
| "epoch": 1.6833333333333333, | |
| "grad_norm": 0.5078274330938815, | |
| "learning_rate": 3.355463998291465e-05, | |
| "loss": 0.5348, | |
| "step": 404 | |
| }, | |
| { | |
| "epoch": 1.6875, | |
| "grad_norm": 0.3804915040214098, | |
| "learning_rate": 3.351180415231321e-05, | |
| "loss": 0.5279, | |
| "step": 405 | |
| }, | |
| { | |
| "epoch": 1.6916666666666667, | |
| "grad_norm": 0.47013384517847556, | |
| "learning_rate": 3.3468853990378005e-05, | |
| "loss": 0.5285, | |
| "step": 406 | |
| }, | |
| { | |
| "epoch": 1.6958333333333333, | |
| "grad_norm": 0.40689934674421463, | |
| "learning_rate": 3.342578986053567e-05, | |
| "loss": 0.5277, | |
| "step": 407 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.4448533400141461, | |
| "learning_rate": 3.3382612127177166e-05, | |
| "loss": 0.5334, | |
| "step": 408 | |
| }, | |
| { | |
| "epoch": 1.7041666666666666, | |
| "grad_norm": 0.47219175452122747, | |
| "learning_rate": 3.3339321155654723e-05, | |
| "loss": 0.5315, | |
| "step": 409 | |
| }, | |
| { | |
| "epoch": 1.7083333333333335, | |
| "grad_norm": 1.1226303581586898, | |
| "learning_rate": 3.3295917312278754e-05, | |
| "loss": 0.5582, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 1.7125, | |
| "grad_norm": 1.1384407299842498, | |
| "learning_rate": 3.3252400964314756e-05, | |
| "loss": 0.5497, | |
| "step": 411 | |
| }, | |
| { | |
| "epoch": 1.7166666666666668, | |
| "grad_norm": 1.0300242288581747, | |
| "learning_rate": 3.3208772479980154e-05, | |
| "loss": 0.6032, | |
| "step": 412 | |
| }, | |
| { | |
| "epoch": 1.7208333333333332, | |
| "grad_norm": 0.30687240316764763, | |
| "learning_rate": 3.316503222844128e-05, | |
| "loss": 0.5289, | |
| "step": 413 | |
| }, | |
| { | |
| "epoch": 1.725, | |
| "grad_norm": 0.3582513272424745, | |
| "learning_rate": 3.312118057981015e-05, | |
| "loss": 0.5379, | |
| "step": 414 | |
| }, | |
| { | |
| "epoch": 1.7291666666666665, | |
| "grad_norm": 0.3291272208159582, | |
| "learning_rate": 3.3077217905141395e-05, | |
| "loss": 0.532, | |
| "step": 415 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.30850616340598214, | |
| "learning_rate": 3.303314457642911e-05, | |
| "loss": 0.546, | |
| "step": 416 | |
| }, | |
| { | |
| "epoch": 1.7375, | |
| "grad_norm": 0.386781836944319, | |
| "learning_rate": 3.298896096660367e-05, | |
| "loss": 0.5269, | |
| "step": 417 | |
| }, | |
| { | |
| "epoch": 1.7416666666666667, | |
| "grad_norm": 0.33791320712541995, | |
| "learning_rate": 3.294466744952865e-05, | |
| "loss": 0.5487, | |
| "step": 418 | |
| }, | |
| { | |
| "epoch": 1.7458333333333333, | |
| "grad_norm": 0.3836471909857469, | |
| "learning_rate": 3.290026439999757e-05, | |
| "loss": 0.5364, | |
| "step": 419 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 0.3409114081935661, | |
| "learning_rate": 3.285575219373079e-05, | |
| "loss": 0.5351, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 1.7541666666666667, | |
| "grad_norm": 0.4038423945266767, | |
| "learning_rate": 3.281113120737231e-05, | |
| "loss": 0.5316, | |
| "step": 421 | |
| }, | |
| { | |
| "epoch": 1.7583333333333333, | |
| "grad_norm": 0.447896853158445, | |
| "learning_rate": 3.276640181848657e-05, | |
| "loss": 0.5347, | |
| "step": 422 | |
| }, | |
| { | |
| "epoch": 1.7625, | |
| "grad_norm": 0.39772425809590717, | |
| "learning_rate": 3.272156440555528e-05, | |
| "loss": 0.533, | |
| "step": 423 | |
| }, | |
| { | |
| "epoch": 1.7666666666666666, | |
| "grad_norm": 0.49904113747582496, | |
| "learning_rate": 3.26766193479742e-05, | |
| "loss": 0.5384, | |
| "step": 424 | |
| }, | |
| { | |
| "epoch": 1.7708333333333335, | |
| "grad_norm": 0.4127689853333455, | |
| "learning_rate": 3.2631567026049954e-05, | |
| "loss": 0.538, | |
| "step": 425 | |
| }, | |
| { | |
| "epoch": 1.775, | |
| "grad_norm": 0.46507484347333206, | |
| "learning_rate": 3.258640782099675e-05, | |
| "loss": 0.5377, | |
| "step": 426 | |
| }, | |
| { | |
| "epoch": 1.7791666666666668, | |
| "grad_norm": 0.40509094921794664, | |
| "learning_rate": 3.254114211493324e-05, | |
| "loss": 0.5312, | |
| "step": 427 | |
| }, | |
| { | |
| "epoch": 1.7833333333333332, | |
| "grad_norm": 4.0203588633843825, | |
| "learning_rate": 3.2495770290879204e-05, | |
| "loss": 0.5602, | |
| "step": 428 | |
| }, | |
| { | |
| "epoch": 1.7875, | |
| "grad_norm": 0.6620483623851753, | |
| "learning_rate": 3.2450292732752395e-05, | |
| "loss": 0.5388, | |
| "step": 429 | |
| }, | |
| { | |
| "epoch": 1.7916666666666665, | |
| "grad_norm": 0.6221145466142196, | |
| "learning_rate": 3.2404709825365204e-05, | |
| "loss": 0.5411, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 1.7958333333333334, | |
| "grad_norm": 0.4939363274260579, | |
| "learning_rate": 3.235902195442147e-05, | |
| "loss": 0.5474, | |
| "step": 431 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.6538538086125941, | |
| "learning_rate": 3.2313229506513167e-05, | |
| "loss": 0.5382, | |
| "step": 432 | |
| }, | |
| { | |
| "epoch": 1.8041666666666667, | |
| "grad_norm": 0.46231434195977417, | |
| "learning_rate": 3.2267332869117186e-05, | |
| "loss": 0.5378, | |
| "step": 433 | |
| }, | |
| { | |
| "epoch": 1.8083333333333333, | |
| "grad_norm": 0.48393570230931093, | |
| "learning_rate": 3.2221332430592e-05, | |
| "loss": 0.5339, | |
| "step": 434 | |
| }, | |
| { | |
| "epoch": 1.8125, | |
| "grad_norm": 0.4731624643118013, | |
| "learning_rate": 3.217522858017442e-05, | |
| "loss": 0.5321, | |
| "step": 435 | |
| }, | |
| { | |
| "epoch": 1.8166666666666667, | |
| "grad_norm": 0.3951340592928766, | |
| "learning_rate": 3.2129021707976274e-05, | |
| "loss": 0.5269, | |
| "step": 436 | |
| }, | |
| { | |
| "epoch": 1.8208333333333333, | |
| "grad_norm": 0.4241328181614359, | |
| "learning_rate": 3.208271220498113e-05, | |
| "loss": 0.5452, | |
| "step": 437 | |
| }, | |
| { | |
| "epoch": 1.825, | |
| "grad_norm": 0.385964971839393, | |
| "learning_rate": 3.203630046304097e-05, | |
| "loss": 0.5413, | |
| "step": 438 | |
| }, | |
| { | |
| "epoch": 1.8291666666666666, | |
| "grad_norm": 0.32637856355400724, | |
| "learning_rate": 3.198978687487288e-05, | |
| "loss": 0.5401, | |
| "step": 439 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 0.626582631847551, | |
| "learning_rate": 3.194317183405573e-05, | |
| "loss": 0.5377, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 1.8375, | |
| "grad_norm": 0.3603921671355549, | |
| "learning_rate": 3.189645573502683e-05, | |
| "loss": 0.523, | |
| "step": 441 | |
| }, | |
| { | |
| "epoch": 1.8416666666666668, | |
| "grad_norm": 0.42659135886403154, | |
| "learning_rate": 3.184963897307862e-05, | |
| "loss": 0.5312, | |
| "step": 442 | |
| }, | |
| { | |
| "epoch": 1.8458333333333332, | |
| "grad_norm": 0.32166388456083606, | |
| "learning_rate": 3.1802721944355295e-05, | |
| "loss": 0.545, | |
| "step": 443 | |
| }, | |
| { | |
| "epoch": 1.85, | |
| "grad_norm": 0.36067229289591707, | |
| "learning_rate": 3.1755705045849465e-05, | |
| "loss": 0.5286, | |
| "step": 444 | |
| }, | |
| { | |
| "epoch": 1.8541666666666665, | |
| "grad_norm": 0.2956763484410633, | |
| "learning_rate": 3.1708588675398814e-05, | |
| "loss": 0.5209, | |
| "step": 445 | |
| }, | |
| { | |
| "epoch": 1.8583333333333334, | |
| "grad_norm": 1.1731313817904956, | |
| "learning_rate": 3.1661373231682696e-05, | |
| "loss": 0.548, | |
| "step": 446 | |
| }, | |
| { | |
| "epoch": 1.8625, | |
| "grad_norm": 0.3227064853360421, | |
| "learning_rate": 3.1614059114218795e-05, | |
| "loss": 0.5357, | |
| "step": 447 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.36709296331463204, | |
| "learning_rate": 3.156664672335973e-05, | |
| "loss": 0.5434, | |
| "step": 448 | |
| }, | |
| { | |
| "epoch": 1.8708333333333333, | |
| "grad_norm": 0.3363593683628134, | |
| "learning_rate": 3.151913646028967e-05, | |
| "loss": 0.5379, | |
| "step": 449 | |
| }, | |
| { | |
| "epoch": 1.875, | |
| "grad_norm": 0.40281837434158557, | |
| "learning_rate": 3.147152872702092e-05, | |
| "loss": 0.538, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 1.8791666666666667, | |
| "grad_norm": 0.31351522785056457, | |
| "learning_rate": 3.1423823926390575e-05, | |
| "loss": 0.5353, | |
| "step": 451 | |
| }, | |
| { | |
| "epoch": 1.8833333333333333, | |
| "grad_norm": 0.39324055047755585, | |
| "learning_rate": 3.137602246205704e-05, | |
| "loss": 0.5266, | |
| "step": 452 | |
| }, | |
| { | |
| "epoch": 1.8875, | |
| "grad_norm": 0.3664580431628436, | |
| "learning_rate": 3.132812473849666e-05, | |
| "loss": 0.5366, | |
| "step": 453 | |
| }, | |
| { | |
| "epoch": 1.8916666666666666, | |
| "grad_norm": 0.41704352937571465, | |
| "learning_rate": 3.128013116100029e-05, | |
| "loss": 0.5285, | |
| "step": 454 | |
| }, | |
| { | |
| "epoch": 1.8958333333333335, | |
| "grad_norm": 0.39282335707785704, | |
| "learning_rate": 3.123204213566986e-05, | |
| "loss": 0.5426, | |
| "step": 455 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.36218214273512056, | |
| "learning_rate": 3.1183858069414936e-05, | |
| "loss": 0.5482, | |
| "step": 456 | |
| }, | |
| { | |
| "epoch": 1.9041666666666668, | |
| "grad_norm": 0.39771815020451934, | |
| "learning_rate": 3.113557936994929e-05, | |
| "loss": 0.5349, | |
| "step": 457 | |
| }, | |
| { | |
| "epoch": 1.9083333333333332, | |
| "grad_norm": 0.37776725153082563, | |
| "learning_rate": 3.1087206445787436e-05, | |
| "loss": 0.5321, | |
| "step": 458 | |
| }, | |
| { | |
| "epoch": 1.9125, | |
| "grad_norm": 0.3413941460478657, | |
| "learning_rate": 3.103873970624117e-05, | |
| "loss": 0.5452, | |
| "step": 459 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 0.36909470454931836, | |
| "learning_rate": 3.0990179561416124e-05, | |
| "loss": 0.5328, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 1.9208333333333334, | |
| "grad_norm": 0.26521618628019933, | |
| "learning_rate": 3.094152642220829e-05, | |
| "loss": 0.5389, | |
| "step": 461 | |
| }, | |
| { | |
| "epoch": 1.925, | |
| "grad_norm": 0.34325211349261603, | |
| "learning_rate": 3.0892780700300544e-05, | |
| "loss": 0.541, | |
| "step": 462 | |
| }, | |
| { | |
| "epoch": 1.9291666666666667, | |
| "grad_norm": 4.811603499350673, | |
| "learning_rate": 3.084394280815914e-05, | |
| "loss": 0.5755, | |
| "step": 463 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.4786137584045623, | |
| "learning_rate": 3.079501315903026e-05, | |
| "loss": 0.53, | |
| "step": 464 | |
| }, | |
| { | |
| "epoch": 1.9375, | |
| "grad_norm": 0.41344035214790137, | |
| "learning_rate": 3.0745992166936484e-05, | |
| "loss": 0.5321, | |
| "step": 465 | |
| }, | |
| { | |
| "epoch": 1.9416666666666667, | |
| "grad_norm": 0.3320667262805005, | |
| "learning_rate": 3.0696880246673293e-05, | |
| "loss": 0.5313, | |
| "step": 466 | |
| }, | |
| { | |
| "epoch": 1.9458333333333333, | |
| "grad_norm": 0.5393309931610712, | |
| "learning_rate": 3.064767781380558e-05, | |
| "loss": 0.5345, | |
| "step": 467 | |
| }, | |
| { | |
| "epoch": 1.95, | |
| "grad_norm": 0.36344810477596545, | |
| "learning_rate": 3.05983852846641e-05, | |
| "loss": 0.5341, | |
| "step": 468 | |
| }, | |
| { | |
| "epoch": 1.9541666666666666, | |
| "grad_norm": 0.37782531754913795, | |
| "learning_rate": 3.0549003076342e-05, | |
| "loss": 0.526, | |
| "step": 469 | |
| }, | |
| { | |
| "epoch": 1.9583333333333335, | |
| "grad_norm": 0.37027854117681785, | |
| "learning_rate": 3.0499531606691204e-05, | |
| "loss": 0.5382, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 1.9625, | |
| "grad_norm": 0.3759462692918367, | |
| "learning_rate": 3.0449971294318977e-05, | |
| "loss": 0.5321, | |
| "step": 471 | |
| }, | |
| { | |
| "epoch": 1.9666666666666668, | |
| "grad_norm": 0.843520724044957, | |
| "learning_rate": 3.0400322558584308e-05, | |
| "loss": 0.5437, | |
| "step": 472 | |
| }, | |
| { | |
| "epoch": 1.9708333333333332, | |
| "grad_norm": 0.3915495912006152, | |
| "learning_rate": 3.0350585819594402e-05, | |
| "loss": 0.526, | |
| "step": 473 | |
| }, | |
| { | |
| "epoch": 1.975, | |
| "grad_norm": 0.34332380102586857, | |
| "learning_rate": 3.030076149820109e-05, | |
| "loss": 0.5261, | |
| "step": 474 | |
| }, | |
| { | |
| "epoch": 1.9791666666666665, | |
| "grad_norm": 0.38262503583227475, | |
| "learning_rate": 3.0250850015997307e-05, | |
| "loss": 0.5229, | |
| "step": 475 | |
| }, | |
| { | |
| "epoch": 1.9833333333333334, | |
| "grad_norm": 0.3460892043692767, | |
| "learning_rate": 3.020085179531351e-05, | |
| "loss": 0.5239, | |
| "step": 476 | |
| }, | |
| { | |
| "epoch": 1.9875, | |
| "grad_norm": 0.3156293867995891, | |
| "learning_rate": 3.0150767259214087e-05, | |
| "loss": 0.5388, | |
| "step": 477 | |
| }, | |
| { | |
| "epoch": 1.9916666666666667, | |
| "grad_norm": 0.33013269777276694, | |
| "learning_rate": 3.0100596831493806e-05, | |
| "loss": 0.5253, | |
| "step": 478 | |
| }, | |
| { | |
| "epoch": 1.9958333333333333, | |
| "grad_norm": 0.33797798159952824, | |
| "learning_rate": 3.0050340936674202e-05, | |
| "loss": 0.5383, | |
| "step": 479 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.386842030161799, | |
| "learning_rate": 3.0000000000000004e-05, | |
| "loss": 0.5302, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 2.004166666666667, | |
| "grad_norm": 0.4886159342930222, | |
| "learning_rate": 2.9949574447435533e-05, | |
| "loss": 0.4922, | |
| "step": 481 | |
| }, | |
| { | |
| "epoch": 2.0083333333333333, | |
| "grad_norm": 0.36231983910258553, | |
| "learning_rate": 2.9899064705661086e-05, | |
| "loss": 0.4804, | |
| "step": 482 | |
| }, | |
| { | |
| "epoch": 2.0125, | |
| "grad_norm": 0.642614800738087, | |
| "learning_rate": 2.9848471202069347e-05, | |
| "loss": 0.4851, | |
| "step": 483 | |
| }, | |
| { | |
| "epoch": 2.0166666666666666, | |
| "grad_norm": 0.42808250895072036, | |
| "learning_rate": 2.9797794364761743e-05, | |
| "loss": 0.4761, | |
| "step": 484 | |
| }, | |
| { | |
| "epoch": 2.0208333333333335, | |
| "grad_norm": 0.48344163286053543, | |
| "learning_rate": 2.974703462254485e-05, | |
| "loss": 0.4931, | |
| "step": 485 | |
| }, | |
| { | |
| "epoch": 2.025, | |
| "grad_norm": 0.43795264872636147, | |
| "learning_rate": 2.9696192404926747e-05, | |
| "loss": 0.484, | |
| "step": 486 | |
| }, | |
| { | |
| "epoch": 2.029166666666667, | |
| "grad_norm": 0.41290565168811605, | |
| "learning_rate": 2.964526814211338e-05, | |
| "loss": 0.485, | |
| "step": 487 | |
| }, | |
| { | |
| "epoch": 2.033333333333333, | |
| "grad_norm": 0.4356828882854518, | |
| "learning_rate": 2.959426226500493e-05, | |
| "loss": 0.4809, | |
| "step": 488 | |
| }, | |
| { | |
| "epoch": 2.0375, | |
| "grad_norm": 0.47840529952039423, | |
| "learning_rate": 2.954317520519217e-05, | |
| "loss": 0.4661, | |
| "step": 489 | |
| }, | |
| { | |
| "epoch": 2.0416666666666665, | |
| "grad_norm": 0.39630661023736297, | |
| "learning_rate": 2.9492007394952812e-05, | |
| "loss": 0.483, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 2.0458333333333334, | |
| "grad_norm": 0.4498881048188075, | |
| "learning_rate": 2.9440759267247828e-05, | |
| "loss": 0.4672, | |
| "step": 491 | |
| }, | |
| { | |
| "epoch": 2.05, | |
| "grad_norm": 0.38435953428018615, | |
| "learning_rate": 2.938943125571782e-05, | |
| "loss": 0.4781, | |
| "step": 492 | |
| }, | |
| { | |
| "epoch": 2.0541666666666667, | |
| "grad_norm": 0.3805953549515372, | |
| "learning_rate": 2.933802379467932e-05, | |
| "loss": 0.4736, | |
| "step": 493 | |
| }, | |
| { | |
| "epoch": 2.058333333333333, | |
| "grad_norm": 0.3971953776801394, | |
| "learning_rate": 2.9286537319121143e-05, | |
| "loss": 0.4795, | |
| "step": 494 | |
| }, | |
| { | |
| "epoch": 2.0625, | |
| "grad_norm": 1.3716827159292087, | |
| "learning_rate": 2.9234972264700687e-05, | |
| "loss": 0.5018, | |
| "step": 495 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 0.3993347299586712, | |
| "learning_rate": 2.9183329067740235e-05, | |
| "loss": 0.4698, | |
| "step": 496 | |
| }, | |
| { | |
| "epoch": 2.0708333333333333, | |
| "grad_norm": 0.9163296799211197, | |
| "learning_rate": 2.9131608165223313e-05, | |
| "loss": 0.4755, | |
| "step": 497 | |
| }, | |
| { | |
| "epoch": 2.075, | |
| "grad_norm": 2.135437266520834, | |
| "learning_rate": 2.9079809994790937e-05, | |
| "loss": 0.5212, | |
| "step": 498 | |
| }, | |
| { | |
| "epoch": 2.0791666666666666, | |
| "grad_norm": 0.48648387390989906, | |
| "learning_rate": 2.902793499473794e-05, | |
| "loss": 0.4897, | |
| "step": 499 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 0.4170170937467103, | |
| "learning_rate": 2.897598360400925e-05, | |
| "loss": 0.4785, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 2.0875, | |
| "grad_norm": 0.4091898520641542, | |
| "learning_rate": 2.8923956262196178e-05, | |
| "loss": 0.4776, | |
| "step": 501 | |
| }, | |
| { | |
| "epoch": 2.091666666666667, | |
| "grad_norm": 1.9001726189022239, | |
| "learning_rate": 2.8871853409532727e-05, | |
| "loss": 0.5005, | |
| "step": 502 | |
| }, | |
| { | |
| "epoch": 2.095833333333333, | |
| "grad_norm": 0.40030925906512504, | |
| "learning_rate": 2.88196754868918e-05, | |
| "loss": 0.4657, | |
| "step": 503 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.5070798940030533, | |
| "learning_rate": 2.876742293578155e-05, | |
| "loss": 0.4723, | |
| "step": 504 | |
| }, | |
| { | |
| "epoch": 2.1041666666666665, | |
| "grad_norm": 0.3373194429400813, | |
| "learning_rate": 2.871509619834159e-05, | |
| "loss": 0.4727, | |
| "step": 505 | |
| }, | |
| { | |
| "epoch": 2.1083333333333334, | |
| "grad_norm": 0.5029763550394912, | |
| "learning_rate": 2.8662695717339263e-05, | |
| "loss": 0.4715, | |
| "step": 506 | |
| }, | |
| { | |
| "epoch": 2.1125, | |
| "grad_norm": 0.3160338581031689, | |
| "learning_rate": 2.8610221936165906e-05, | |
| "loss": 0.482, | |
| "step": 507 | |
| }, | |
| { | |
| "epoch": 2.1166666666666667, | |
| "grad_norm": 0.4239598480395657, | |
| "learning_rate": 2.8557675298833086e-05, | |
| "loss": 0.485, | |
| "step": 508 | |
| }, | |
| { | |
| "epoch": 2.120833333333333, | |
| "grad_norm": 0.4505317331014363, | |
| "learning_rate": 2.8505056249968864e-05, | |
| "loss": 0.4873, | |
| "step": 509 | |
| }, | |
| { | |
| "epoch": 2.125, | |
| "grad_norm": 0.35674874414132907, | |
| "learning_rate": 2.8452365234813992e-05, | |
| "loss": 0.4823, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 2.129166666666667, | |
| "grad_norm": 0.3584842873122445, | |
| "learning_rate": 2.8399602699218194e-05, | |
| "loss": 0.4914, | |
| "step": 511 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 0.45393019871536366, | |
| "learning_rate": 2.834676908963636e-05, | |
| "loss": 0.4818, | |
| "step": 512 | |
| }, | |
| { | |
| "epoch": 2.1375, | |
| "grad_norm": 0.3280287194393449, | |
| "learning_rate": 2.8293864853124783e-05, | |
| "loss": 0.4661, | |
| "step": 513 | |
| }, | |
| { | |
| "epoch": 2.1416666666666666, | |
| "grad_norm": 0.8727083767597136, | |
| "learning_rate": 2.8240890437337373e-05, | |
| "loss": 0.4712, | |
| "step": 514 | |
| }, | |
| { | |
| "epoch": 2.1458333333333335, | |
| "grad_norm": 0.3355338663269697, | |
| "learning_rate": 2.8187846290521852e-05, | |
| "loss": 0.4785, | |
| "step": 515 | |
| }, | |
| { | |
| "epoch": 2.15, | |
| "grad_norm": 0.35543276922208744, | |
| "learning_rate": 2.813473286151601e-05, | |
| "loss": 0.4756, | |
| "step": 516 | |
| }, | |
| { | |
| "epoch": 2.154166666666667, | |
| "grad_norm": 0.379520013404558, | |
| "learning_rate": 2.8081550599743835e-05, | |
| "loss": 0.475, | |
| "step": 517 | |
| }, | |
| { | |
| "epoch": 2.158333333333333, | |
| "grad_norm": 0.36729339199772665, | |
| "learning_rate": 2.8028299955211785e-05, | |
| "loss": 0.4827, | |
| "step": 518 | |
| }, | |
| { | |
| "epoch": 2.1625, | |
| "grad_norm": 0.33712245862059337, | |
| "learning_rate": 2.7974981378504926e-05, | |
| "loss": 0.4774, | |
| "step": 519 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 0.3538163894156368, | |
| "learning_rate": 2.792159532078314e-05, | |
| "loss": 0.4865, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 2.1708333333333334, | |
| "grad_norm": 0.349953200583264, | |
| "learning_rate": 2.7868142233777305e-05, | |
| "loss": 0.4804, | |
| "step": 521 | |
| }, | |
| { | |
| "epoch": 2.175, | |
| "grad_norm": 0.4504984747532693, | |
| "learning_rate": 2.7814622569785474e-05, | |
| "loss": 0.473, | |
| "step": 522 | |
| }, | |
| { | |
| "epoch": 2.1791666666666667, | |
| "grad_norm": 0.36475798074586124, | |
| "learning_rate": 2.776103678166906e-05, | |
| "loss": 0.4804, | |
| "step": 523 | |
| }, | |
| { | |
| "epoch": 2.183333333333333, | |
| "grad_norm": 0.35154700117924165, | |
| "learning_rate": 2.770738532284897e-05, | |
| "loss": 0.481, | |
| "step": 524 | |
| }, | |
| { | |
| "epoch": 2.1875, | |
| "grad_norm": 0.31920708112097607, | |
| "learning_rate": 2.7653668647301797e-05, | |
| "loss": 0.486, | |
| "step": 525 | |
| }, | |
| { | |
| "epoch": 2.191666666666667, | |
| "grad_norm": 0.33469857140235026, | |
| "learning_rate": 2.7599887209555986e-05, | |
| "loss": 0.4704, | |
| "step": 526 | |
| }, | |
| { | |
| "epoch": 2.1958333333333333, | |
| "grad_norm": 0.3123705103605502, | |
| "learning_rate": 2.7546041464687942e-05, | |
| "loss": 0.4735, | |
| "step": 527 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.31620822768657053, | |
| "learning_rate": 2.7492131868318247e-05, | |
| "loss": 0.4906, | |
| "step": 528 | |
| }, | |
| { | |
| "epoch": 2.2041666666666666, | |
| "grad_norm": 0.3237998625926402, | |
| "learning_rate": 2.7438158876607732e-05, | |
| "loss": 0.478, | |
| "step": 529 | |
| }, | |
| { | |
| "epoch": 2.2083333333333335, | |
| "grad_norm": 0.35055598074469685, | |
| "learning_rate": 2.738412294625369e-05, | |
| "loss": 0.4926, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 2.2125, | |
| "grad_norm": 0.306146932881888, | |
| "learning_rate": 2.7330024534485948e-05, | |
| "loss": 0.4726, | |
| "step": 531 | |
| }, | |
| { | |
| "epoch": 2.216666666666667, | |
| "grad_norm": 0.3562224476164066, | |
| "learning_rate": 2.7275864099063033e-05, | |
| "loss": 0.4732, | |
| "step": 532 | |
| }, | |
| { | |
| "epoch": 2.220833333333333, | |
| "grad_norm": 0.3566436235010374, | |
| "learning_rate": 2.7221642098268292e-05, | |
| "loss": 0.4946, | |
| "step": 533 | |
| }, | |
| { | |
| "epoch": 2.225, | |
| "grad_norm": 0.31114253338918896, | |
| "learning_rate": 2.7167358990906e-05, | |
| "loss": 0.4831, | |
| "step": 534 | |
| }, | |
| { | |
| "epoch": 2.2291666666666665, | |
| "grad_norm": 0.3436461920189891, | |
| "learning_rate": 2.7113015236297537e-05, | |
| "loss": 0.477, | |
| "step": 535 | |
| }, | |
| { | |
| "epoch": 2.2333333333333334, | |
| "grad_norm": 0.30580165869202075, | |
| "learning_rate": 2.7058611294277378e-05, | |
| "loss": 0.4698, | |
| "step": 536 | |
| }, | |
| { | |
| "epoch": 2.2375, | |
| "grad_norm": 0.3102715492300113, | |
| "learning_rate": 2.7004147625189353e-05, | |
| "loss": 0.4719, | |
| "step": 537 | |
| }, | |
| { | |
| "epoch": 2.2416666666666667, | |
| "grad_norm": 0.3080035358302375, | |
| "learning_rate": 2.694962468988263e-05, | |
| "loss": 0.4898, | |
| "step": 538 | |
| }, | |
| { | |
| "epoch": 2.245833333333333, | |
| "grad_norm": 0.2848422958925151, | |
| "learning_rate": 2.6895042949707886e-05, | |
| "loss": 0.4922, | |
| "step": 539 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 0.30926455577430995, | |
| "learning_rate": 2.684040286651338e-05, | |
| "loss": 0.4862, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 2.2541666666666664, | |
| "grad_norm": 0.3111976209215279, | |
| "learning_rate": 2.6785704902641024e-05, | |
| "loss": 0.4751, | |
| "step": 541 | |
| }, | |
| { | |
| "epoch": 2.2583333333333333, | |
| "grad_norm": 0.873839818408244, | |
| "learning_rate": 2.673094952092253e-05, | |
| "loss": 0.4719, | |
| "step": 542 | |
| }, | |
| { | |
| "epoch": 2.2625, | |
| "grad_norm": 0.33204149695565766, | |
| "learning_rate": 2.667613718467542e-05, | |
| "loss": 0.4807, | |
| "step": 543 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 0.30632882956124574, | |
| "learning_rate": 2.6621268357699165e-05, | |
| "loss": 0.4706, | |
| "step": 544 | |
| }, | |
| { | |
| "epoch": 2.2708333333333335, | |
| "grad_norm": 0.2961072711355155, | |
| "learning_rate": 2.6566343504271227e-05, | |
| "loss": 0.4708, | |
| "step": 545 | |
| }, | |
| { | |
| "epoch": 2.275, | |
| "grad_norm": 0.30704392710398426, | |
| "learning_rate": 2.6511363089143137e-05, | |
| "loss": 0.4791, | |
| "step": 546 | |
| }, | |
| { | |
| "epoch": 2.279166666666667, | |
| "grad_norm": 0.2712205518719514, | |
| "learning_rate": 2.645632757753658e-05, | |
| "loss": 0.4773, | |
| "step": 547 | |
| }, | |
| { | |
| "epoch": 2.283333333333333, | |
| "grad_norm": 0.3315405168045059, | |
| "learning_rate": 2.640123743513943e-05, | |
| "loss": 0.4782, | |
| "step": 548 | |
| }, | |
| { | |
| "epoch": 2.2875, | |
| "grad_norm": 0.292396395388033, | |
| "learning_rate": 2.6346093128101847e-05, | |
| "loss": 0.4904, | |
| "step": 549 | |
| }, | |
| { | |
| "epoch": 2.2916666666666665, | |
| "grad_norm": 0.3188557649620602, | |
| "learning_rate": 2.6290895123032277e-05, | |
| "loss": 0.4737, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 2.2958333333333334, | |
| "grad_norm": 0.30424659204927196, | |
| "learning_rate": 2.623564388699356e-05, | |
| "loss": 0.4717, | |
| "step": 551 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.31138223815754884, | |
| "learning_rate": 2.618033988749895e-05, | |
| "loss": 0.4958, | |
| "step": 552 | |
| }, | |
| { | |
| "epoch": 2.3041666666666667, | |
| "grad_norm": 0.30916556586063254, | |
| "learning_rate": 2.6124983592508164e-05, | |
| "loss": 0.4863, | |
| "step": 553 | |
| }, | |
| { | |
| "epoch": 2.3083333333333336, | |
| "grad_norm": 0.2814754830068476, | |
| "learning_rate": 2.6069575470423417e-05, | |
| "loss": 0.4751, | |
| "step": 554 | |
| }, | |
| { | |
| "epoch": 2.3125, | |
| "grad_norm": 0.3050857927796688, | |
| "learning_rate": 2.601411599008546e-05, | |
| "loss": 0.4857, | |
| "step": 555 | |
| }, | |
| { | |
| "epoch": 2.3166666666666664, | |
| "grad_norm": 0.6697455437225489, | |
| "learning_rate": 2.595860562076964e-05, | |
| "loss": 0.4971, | |
| "step": 556 | |
| }, | |
| { | |
| "epoch": 2.3208333333333333, | |
| "grad_norm": 0.2961077434019537, | |
| "learning_rate": 2.590304483218188e-05, | |
| "loss": 0.4771, | |
| "step": 557 | |
| }, | |
| { | |
| "epoch": 2.325, | |
| "grad_norm": 0.30687641453285824, | |
| "learning_rate": 2.5847434094454737e-05, | |
| "loss": 0.4678, | |
| "step": 558 | |
| }, | |
| { | |
| "epoch": 2.3291666666666666, | |
| "grad_norm": 0.3265943888762366, | |
| "learning_rate": 2.5791773878143423e-05, | |
| "loss": 0.4874, | |
| "step": 559 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 0.27371615641543545, | |
| "learning_rate": 2.5736064654221808e-05, | |
| "loss": 0.4846, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 2.3375, | |
| "grad_norm": 0.2850078562359186, | |
| "learning_rate": 2.568030689407846e-05, | |
| "loss": 0.4717, | |
| "step": 561 | |
| }, | |
| { | |
| "epoch": 2.341666666666667, | |
| "grad_norm": 0.33065075323146403, | |
| "learning_rate": 2.5624501069512614e-05, | |
| "loss": 0.4896, | |
| "step": 562 | |
| }, | |
| { | |
| "epoch": 2.345833333333333, | |
| "grad_norm": 0.29663809900661076, | |
| "learning_rate": 2.556864765273024e-05, | |
| "loss": 0.4793, | |
| "step": 563 | |
| }, | |
| { | |
| "epoch": 2.35, | |
| "grad_norm": 0.33466439648780866, | |
| "learning_rate": 2.5512747116339985e-05, | |
| "loss": 0.4728, | |
| "step": 564 | |
| }, | |
| { | |
| "epoch": 2.3541666666666665, | |
| "grad_norm": 0.3069432487995425, | |
| "learning_rate": 2.5456799933349224e-05, | |
| "loss": 0.4858, | |
| "step": 565 | |
| }, | |
| { | |
| "epoch": 2.3583333333333334, | |
| "grad_norm": 0.29228368662647797, | |
| "learning_rate": 2.540080657716002e-05, | |
| "loss": 0.4756, | |
| "step": 566 | |
| }, | |
| { | |
| "epoch": 2.3625, | |
| "grad_norm": 0.31414622680486587, | |
| "learning_rate": 2.534476752156514e-05, | |
| "loss": 0.4834, | |
| "step": 567 | |
| }, | |
| { | |
| "epoch": 2.3666666666666667, | |
| "grad_norm": 0.2817331987878316, | |
| "learning_rate": 2.528868324074405e-05, | |
| "loss": 0.4726, | |
| "step": 568 | |
| }, | |
| { | |
| "epoch": 2.3708333333333336, | |
| "grad_norm": 0.3380976895995865, | |
| "learning_rate": 2.523255420925887e-05, | |
| "loss": 0.4878, | |
| "step": 569 | |
| }, | |
| { | |
| "epoch": 2.375, | |
| "grad_norm": 0.3105825248790639, | |
| "learning_rate": 2.5176380902050418e-05, | |
| "loss": 0.4842, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 2.3791666666666664, | |
| "grad_norm": 0.3446065634556075, | |
| "learning_rate": 2.512016379443412e-05, | |
| "loss": 0.4676, | |
| "step": 571 | |
| }, | |
| { | |
| "epoch": 2.3833333333333333, | |
| "grad_norm": 0.3031685646264204, | |
| "learning_rate": 2.506390336209604e-05, | |
| "loss": 0.4777, | |
| "step": 572 | |
| }, | |
| { | |
| "epoch": 2.3875, | |
| "grad_norm": 0.3190633563175478, | |
| "learning_rate": 2.5007600081088833e-05, | |
| "loss": 0.472, | |
| "step": 573 | |
| }, | |
| { | |
| "epoch": 2.3916666666666666, | |
| "grad_norm": 0.30317278906178724, | |
| "learning_rate": 2.4951254427827723e-05, | |
| "loss": 0.4939, | |
| "step": 574 | |
| }, | |
| { | |
| "epoch": 2.3958333333333335, | |
| "grad_norm": 0.33341565510429794, | |
| "learning_rate": 2.4894866879086478e-05, | |
| "loss": 0.4677, | |
| "step": 575 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.2866935477908003, | |
| "learning_rate": 2.4838437911993355e-05, | |
| "loss": 0.4809, | |
| "step": 576 | |
| }, | |
| { | |
| "epoch": 2.404166666666667, | |
| "grad_norm": 0.35012731057688545, | |
| "learning_rate": 2.478196800402709e-05, | |
| "loss": 0.4875, | |
| "step": 577 | |
| }, | |
| { | |
| "epoch": 2.408333333333333, | |
| "grad_norm": 0.2857732158533012, | |
| "learning_rate": 2.4725457633012836e-05, | |
| "loss": 0.4786, | |
| "step": 578 | |
| }, | |
| { | |
| "epoch": 2.4125, | |
| "grad_norm": 0.2922696264209706, | |
| "learning_rate": 2.4668907277118114e-05, | |
| "loss": 0.4742, | |
| "step": 579 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 0.2727927566881546, | |
| "learning_rate": 2.4612317414848804e-05, | |
| "loss": 0.494, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 2.4208333333333334, | |
| "grad_norm": 0.29570114731198865, | |
| "learning_rate": 2.455568852504507e-05, | |
| "loss": 0.4741, | |
| "step": 581 | |
| }, | |
| { | |
| "epoch": 2.425, | |
| "grad_norm": 0.3708837715005484, | |
| "learning_rate": 2.4499021086877304e-05, | |
| "loss": 0.4887, | |
| "step": 582 | |
| }, | |
| { | |
| "epoch": 2.4291666666666667, | |
| "grad_norm": 0.2914145818910581, | |
| "learning_rate": 2.4442315579842068e-05, | |
| "loss": 0.4777, | |
| "step": 583 | |
| }, | |
| { | |
| "epoch": 2.4333333333333336, | |
| "grad_norm": 0.27994366238168417, | |
| "learning_rate": 2.4385572483758066e-05, | |
| "loss": 0.4984, | |
| "step": 584 | |
| }, | |
| { | |
| "epoch": 2.4375, | |
| "grad_norm": 0.3139348955681916, | |
| "learning_rate": 2.4328792278762058e-05, | |
| "loss": 0.4779, | |
| "step": 585 | |
| }, | |
| { | |
| "epoch": 2.4416666666666664, | |
| "grad_norm": 0.27424589280548484, | |
| "learning_rate": 2.4271975445304806e-05, | |
| "loss": 0.4771, | |
| "step": 586 | |
| }, | |
| { | |
| "epoch": 2.4458333333333333, | |
| "grad_norm": 0.32738262546874447, | |
| "learning_rate": 2.4215122464146996e-05, | |
| "loss": 0.4708, | |
| "step": 587 | |
| }, | |
| { | |
| "epoch": 2.45, | |
| "grad_norm": 0.2843471029941453, | |
| "learning_rate": 2.4158233816355185e-05, | |
| "loss": 0.4797, | |
| "step": 588 | |
| }, | |
| { | |
| "epoch": 2.4541666666666666, | |
| "grad_norm": 0.3486283991456439, | |
| "learning_rate": 2.4101309983297757e-05, | |
| "loss": 0.4921, | |
| "step": 589 | |
| }, | |
| { | |
| "epoch": 2.4583333333333335, | |
| "grad_norm": 0.2931710908645017, | |
| "learning_rate": 2.4044351446640763e-05, | |
| "loss": 0.4783, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 2.4625, | |
| "grad_norm": 0.3772039960998048, | |
| "learning_rate": 2.3987358688343946e-05, | |
| "loss": 0.4876, | |
| "step": 591 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 0.34693662887064003, | |
| "learning_rate": 2.3930332190656604e-05, | |
| "loss": 0.4796, | |
| "step": 592 | |
| }, | |
| { | |
| "epoch": 2.470833333333333, | |
| "grad_norm": 0.32582379868897454, | |
| "learning_rate": 2.3873272436113525e-05, | |
| "loss": 0.4913, | |
| "step": 593 | |
| }, | |
| { | |
| "epoch": 2.475, | |
| "grad_norm": 0.34143930489491536, | |
| "learning_rate": 2.38161799075309e-05, | |
| "loss": 0.473, | |
| "step": 594 | |
| }, | |
| { | |
| "epoch": 2.4791666666666665, | |
| "grad_norm": 0.3015093958025492, | |
| "learning_rate": 2.375905508800224e-05, | |
| "loss": 0.4784, | |
| "step": 595 | |
| }, | |
| { | |
| "epoch": 2.4833333333333334, | |
| "grad_norm": 0.32483312747413107, | |
| "learning_rate": 2.370189846089429e-05, | |
| "loss": 0.4756, | |
| "step": 596 | |
| }, | |
| { | |
| "epoch": 2.4875, | |
| "grad_norm": 0.30399694525041737, | |
| "learning_rate": 2.3644710509842956e-05, | |
| "loss": 0.4809, | |
| "step": 597 | |
| }, | |
| { | |
| "epoch": 2.4916666666666667, | |
| "grad_norm": 0.29199630583002084, | |
| "learning_rate": 2.358749171874915e-05, | |
| "loss": 0.4953, | |
| "step": 598 | |
| }, | |
| { | |
| "epoch": 2.4958333333333336, | |
| "grad_norm": 0.28833627252516764, | |
| "learning_rate": 2.3530242571774787e-05, | |
| "loss": 0.4902, | |
| "step": 599 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.2731371512874426, | |
| "learning_rate": 2.3472963553338614e-05, | |
| "loss": 0.4934, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 2.5041666666666664, | |
| "grad_norm": 0.2812643292598403, | |
| "learning_rate": 2.341565514811214e-05, | |
| "loss": 0.4834, | |
| "step": 601 | |
| }, | |
| { | |
| "epoch": 2.5083333333333333, | |
| "grad_norm": 0.2728818767616976, | |
| "learning_rate": 2.3358317841015547e-05, | |
| "loss": 0.4942, | |
| "step": 602 | |
| }, | |
| { | |
| "epoch": 2.5125, | |
| "grad_norm": 0.2835734026581958, | |
| "learning_rate": 2.3300952117213552e-05, | |
| "loss": 0.4884, | |
| "step": 603 | |
| }, | |
| { | |
| "epoch": 2.5166666666666666, | |
| "grad_norm": 0.27950979825189903, | |
| "learning_rate": 2.3243558462111354e-05, | |
| "loss": 0.4823, | |
| "step": 604 | |
| }, | |
| { | |
| "epoch": 2.5208333333333335, | |
| "grad_norm": 0.32855079628815703, | |
| "learning_rate": 2.3186137361350455e-05, | |
| "loss": 0.4809, | |
| "step": 605 | |
| }, | |
| { | |
| "epoch": 2.525, | |
| "grad_norm": 0.2865668790848711, | |
| "learning_rate": 2.312868930080462e-05, | |
| "loss": 0.4833, | |
| "step": 606 | |
| }, | |
| { | |
| "epoch": 2.529166666666667, | |
| "grad_norm": 0.362397932363514, | |
| "learning_rate": 2.3071214766575722e-05, | |
| "loss": 0.4882, | |
| "step": 607 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 0.27359911997882985, | |
| "learning_rate": 2.3013714244989665e-05, | |
| "loss": 0.4704, | |
| "step": 608 | |
| }, | |
| { | |
| "epoch": 2.5375, | |
| "grad_norm": 0.411023294567305, | |
| "learning_rate": 2.2956188222592218e-05, | |
| "loss": 0.474, | |
| "step": 609 | |
| }, | |
| { | |
| "epoch": 2.5416666666666665, | |
| "grad_norm": 0.30896571731498135, | |
| "learning_rate": 2.2898637186144935e-05, | |
| "loss": 0.4877, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 2.5458333333333334, | |
| "grad_norm": 0.37291302446089014, | |
| "learning_rate": 2.2841061622621052e-05, | |
| "loss": 0.4804, | |
| "step": 611 | |
| }, | |
| { | |
| "epoch": 2.55, | |
| "grad_norm": 0.30780547512469386, | |
| "learning_rate": 2.278346201920131e-05, | |
| "loss": 0.4834, | |
| "step": 612 | |
| }, | |
| { | |
| "epoch": 2.5541666666666667, | |
| "grad_norm": 0.38234307930546974, | |
| "learning_rate": 2.2725838863269894e-05, | |
| "loss": 0.4658, | |
| "step": 613 | |
| }, | |
| { | |
| "epoch": 2.5583333333333336, | |
| "grad_norm": 0.29580812288782055, | |
| "learning_rate": 2.2668192642410257e-05, | |
| "loss": 0.4819, | |
| "step": 614 | |
| }, | |
| { | |
| "epoch": 2.5625, | |
| "grad_norm": 0.2954304255659645, | |
| "learning_rate": 2.261052384440104e-05, | |
| "loss": 0.4885, | |
| "step": 615 | |
| }, | |
| { | |
| "epoch": 2.5666666666666664, | |
| "grad_norm": 0.2864840321894157, | |
| "learning_rate": 2.25528329572119e-05, | |
| "loss": 0.4803, | |
| "step": 616 | |
| }, | |
| { | |
| "epoch": 2.5708333333333333, | |
| "grad_norm": 0.3038019951115472, | |
| "learning_rate": 2.249512046899941e-05, | |
| "loss": 0.4904, | |
| "step": 617 | |
| }, | |
| { | |
| "epoch": 2.575, | |
| "grad_norm": 0.3018523128168798, | |
| "learning_rate": 2.243738686810295e-05, | |
| "loss": 0.481, | |
| "step": 618 | |
| }, | |
| { | |
| "epoch": 2.5791666666666666, | |
| "grad_norm": 0.3064640894185579, | |
| "learning_rate": 2.237963264304051e-05, | |
| "loss": 0.4826, | |
| "step": 619 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 0.33390959627026834, | |
| "learning_rate": 2.2321858282504606e-05, | |
| "loss": 0.4962, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 2.5875, | |
| "grad_norm": 0.33593338556580077, | |
| "learning_rate": 2.226406427535814e-05, | |
| "loss": 0.4878, | |
| "step": 621 | |
| }, | |
| { | |
| "epoch": 2.591666666666667, | |
| "grad_norm": 0.36493331594003126, | |
| "learning_rate": 2.220625111063024e-05, | |
| "loss": 0.4862, | |
| "step": 622 | |
| }, | |
| { | |
| "epoch": 2.595833333333333, | |
| "grad_norm": 0.3421217275923928, | |
| "learning_rate": 2.214841927751215e-05, | |
| "loss": 0.4743, | |
| "step": 623 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.3645361104855795, | |
| "learning_rate": 2.209056926535307e-05, | |
| "loss": 0.4823, | |
| "step": 624 | |
| }, | |
| { | |
| "epoch": 2.6041666666666665, | |
| "grad_norm": 0.31849245941437065, | |
| "learning_rate": 2.203270156365604e-05, | |
| "loss": 0.4932, | |
| "step": 625 | |
| }, | |
| { | |
| "epoch": 2.6083333333333334, | |
| "grad_norm": 0.30986398369115403, | |
| "learning_rate": 2.1974816662073758e-05, | |
| "loss": 0.4956, | |
| "step": 626 | |
| }, | |
| { | |
| "epoch": 2.6125, | |
| "grad_norm": 0.2985332744172327, | |
| "learning_rate": 2.1916915050404482e-05, | |
| "loss": 0.4814, | |
| "step": 627 | |
| }, | |
| { | |
| "epoch": 2.6166666666666667, | |
| "grad_norm": 0.28107318743495113, | |
| "learning_rate": 2.185899721858785e-05, | |
| "loss": 0.4851, | |
| "step": 628 | |
| }, | |
| { | |
| "epoch": 2.6208333333333336, | |
| "grad_norm": 0.28571519193262973, | |
| "learning_rate": 2.1801063656700747e-05, | |
| "loss": 0.4821, | |
| "step": 629 | |
| }, | |
| { | |
| "epoch": 2.625, | |
| "grad_norm": 0.2711978932752102, | |
| "learning_rate": 2.174311485495317e-05, | |
| "loss": 0.4954, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 2.6291666666666664, | |
| "grad_norm": 0.29656648394449375, | |
| "learning_rate": 2.168515130368406e-05, | |
| "loss": 0.4781, | |
| "step": 631 | |
| }, | |
| { | |
| "epoch": 2.6333333333333333, | |
| "grad_norm": 0.3104422675510097, | |
| "learning_rate": 2.1627173493357167e-05, | |
| "loss": 0.4803, | |
| "step": 632 | |
| }, | |
| { | |
| "epoch": 2.6375, | |
| "grad_norm": 0.36965495278596316, | |
| "learning_rate": 2.1569181914556904e-05, | |
| "loss": 0.4826, | |
| "step": 633 | |
| }, | |
| { | |
| "epoch": 2.6416666666666666, | |
| "grad_norm": 0.3223492852763015, | |
| "learning_rate": 2.1511177057984164e-05, | |
| "loss": 0.4779, | |
| "step": 634 | |
| }, | |
| { | |
| "epoch": 2.6458333333333335, | |
| "grad_norm": 0.34318985783201117, | |
| "learning_rate": 2.1453159414452216e-05, | |
| "loss": 0.4884, | |
| "step": 635 | |
| }, | |
| { | |
| "epoch": 2.65, | |
| "grad_norm": 0.362660355217092, | |
| "learning_rate": 2.1395129474882507e-05, | |
| "loss": 0.4851, | |
| "step": 636 | |
| }, | |
| { | |
| "epoch": 2.654166666666667, | |
| "grad_norm": 0.3849296701995083, | |
| "learning_rate": 2.133708773030055e-05, | |
| "loss": 0.4781, | |
| "step": 637 | |
| }, | |
| { | |
| "epoch": 2.658333333333333, | |
| "grad_norm": 0.345196788673683, | |
| "learning_rate": 2.1279034671831714e-05, | |
| "loss": 0.4784, | |
| "step": 638 | |
| }, | |
| { | |
| "epoch": 2.6625, | |
| "grad_norm": 0.32279802778936617, | |
| "learning_rate": 2.1220970790697142e-05, | |
| "loss": 0.4917, | |
| "step": 639 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 0.3409858710595207, | |
| "learning_rate": 2.1162896578209517e-05, | |
| "loss": 0.4719, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 2.6708333333333334, | |
| "grad_norm": 0.28185884498274283, | |
| "learning_rate": 2.1104812525768974e-05, | |
| "loss": 0.4868, | |
| "step": 641 | |
| }, | |
| { | |
| "epoch": 2.675, | |
| "grad_norm": 0.3499626677709927, | |
| "learning_rate": 2.1046719124858882e-05, | |
| "loss": 0.4861, | |
| "step": 642 | |
| }, | |
| { | |
| "epoch": 2.6791666666666667, | |
| "grad_norm": 0.32050661825638865, | |
| "learning_rate": 2.0988616867041724e-05, | |
| "loss": 0.4894, | |
| "step": 643 | |
| }, | |
| { | |
| "epoch": 2.6833333333333336, | |
| "grad_norm": 0.31129138266135237, | |
| "learning_rate": 2.093050624395494e-05, | |
| "loss": 0.4804, | |
| "step": 644 | |
| }, | |
| { | |
| "epoch": 2.6875, | |
| "grad_norm": 0.30995162670378557, | |
| "learning_rate": 2.0872387747306725e-05, | |
| "loss": 0.4846, | |
| "step": 645 | |
| }, | |
| { | |
| "epoch": 2.6916666666666664, | |
| "grad_norm": 0.30657951578221276, | |
| "learning_rate": 2.081426186887192e-05, | |
| "loss": 0.4799, | |
| "step": 646 | |
| }, | |
| { | |
| "epoch": 2.6958333333333333, | |
| "grad_norm": 0.28010159120030614, | |
| "learning_rate": 2.0756129100487824e-05, | |
| "loss": 0.48, | |
| "step": 647 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 0.3218333829986327, | |
| "learning_rate": 2.0697989934050025e-05, | |
| "loss": 0.4907, | |
| "step": 648 | |
| }, | |
| { | |
| "epoch": 2.7041666666666666, | |
| "grad_norm": 0.306173405304901, | |
| "learning_rate": 2.063984486150826e-05, | |
| "loss": 0.4734, | |
| "step": 649 | |
| }, | |
| { | |
| "epoch": 2.7083333333333335, | |
| "grad_norm": 0.3130124259185629, | |
| "learning_rate": 2.058169437486223e-05, | |
| "loss": 0.4947, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 2.7125, | |
| "grad_norm": 0.3322990379420207, | |
| "learning_rate": 2.0523538966157467e-05, | |
| "loss": 0.4835, | |
| "step": 651 | |
| }, | |
| { | |
| "epoch": 2.716666666666667, | |
| "grad_norm": 0.29992494239908996, | |
| "learning_rate": 2.0465379127481127e-05, | |
| "loss": 0.4772, | |
| "step": 652 | |
| }, | |
| { | |
| "epoch": 2.720833333333333, | |
| "grad_norm": 0.3178162321643254, | |
| "learning_rate": 2.0407215350957874e-05, | |
| "loss": 0.4683, | |
| "step": 653 | |
| }, | |
| { | |
| "epoch": 2.725, | |
| "grad_norm": 0.2867051833726081, | |
| "learning_rate": 2.0349048128745673e-05, | |
| "loss": 0.4803, | |
| "step": 654 | |
| }, | |
| { | |
| "epoch": 2.7291666666666665, | |
| "grad_norm": 0.35847920749443224, | |
| "learning_rate": 2.029087795303166e-05, | |
| "loss": 0.478, | |
| "step": 655 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 0.33294952908394987, | |
| "learning_rate": 2.0232705316027946e-05, | |
| "loss": 0.4652, | |
| "step": 656 | |
| }, | |
| { | |
| "epoch": 2.7375, | |
| "grad_norm": 0.38266650139915515, | |
| "learning_rate": 2.017453070996748e-05, | |
| "loss": 0.4826, | |
| "step": 657 | |
| }, | |
| { | |
| "epoch": 2.7416666666666667, | |
| "grad_norm": 0.30795152276985793, | |
| "learning_rate": 2.011635462709988e-05, | |
| "loss": 0.477, | |
| "step": 658 | |
| }, | |
| { | |
| "epoch": 2.7458333333333336, | |
| "grad_norm": 0.38585790311584595, | |
| "learning_rate": 2.0058177559687243e-05, | |
| "loss": 0.478, | |
| "step": 659 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 0.27355684507598177, | |
| "learning_rate": 2e-05, | |
| "loss": 0.4815, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 2.7541666666666664, | |
| "grad_norm": 0.36938965074944063, | |
| "learning_rate": 1.9941822440312767e-05, | |
| "loss": 0.481, | |
| "step": 661 | |
| }, | |
| { | |
| "epoch": 2.7583333333333333, | |
| "grad_norm": 0.30838872545055446, | |
| "learning_rate": 1.9883645372900123e-05, | |
| "loss": 0.4768, | |
| "step": 662 | |
| }, | |
| { | |
| "epoch": 2.7625, | |
| "grad_norm": 0.32239571777232606, | |
| "learning_rate": 1.9825469290032525e-05, | |
| "loss": 0.4805, | |
| "step": 663 | |
| }, | |
| { | |
| "epoch": 2.7666666666666666, | |
| "grad_norm": 0.31003015928588906, | |
| "learning_rate": 1.9767294683972064e-05, | |
| "loss": 0.4722, | |
| "step": 664 | |
| }, | |
| { | |
| "epoch": 2.7708333333333335, | |
| "grad_norm": 0.2864026736524577, | |
| "learning_rate": 1.9709122046968347e-05, | |
| "loss": 0.4831, | |
| "step": 665 | |
| }, | |
| { | |
| "epoch": 2.775, | |
| "grad_norm": 0.31752753580075455, | |
| "learning_rate": 1.965095187125433e-05, | |
| "loss": 0.4719, | |
| "step": 666 | |
| }, | |
| { | |
| "epoch": 2.779166666666667, | |
| "grad_norm": 0.24935376161786096, | |
| "learning_rate": 1.9592784649042126e-05, | |
| "loss": 0.4816, | |
| "step": 667 | |
| }, | |
| { | |
| "epoch": 2.783333333333333, | |
| "grad_norm": 0.30819566169829543, | |
| "learning_rate": 1.9534620872518877e-05, | |
| "loss": 0.4698, | |
| "step": 668 | |
| }, | |
| { | |
| "epoch": 2.7875, | |
| "grad_norm": 0.2717547936152192, | |
| "learning_rate": 1.9476461033842543e-05, | |
| "loss": 0.4726, | |
| "step": 669 | |
| }, | |
| { | |
| "epoch": 2.7916666666666665, | |
| "grad_norm": 0.2779824399041734, | |
| "learning_rate": 1.9418305625137773e-05, | |
| "loss": 0.4741, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 2.7958333333333334, | |
| "grad_norm": 0.2607959193113493, | |
| "learning_rate": 1.936015513849175e-05, | |
| "loss": 0.4943, | |
| "step": 671 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 0.26176751100628287, | |
| "learning_rate": 1.930201006594999e-05, | |
| "loss": 0.473, | |
| "step": 672 | |
| }, | |
| { | |
| "epoch": 2.8041666666666667, | |
| "grad_norm": 0.3139692117589432, | |
| "learning_rate": 1.9243870899512183e-05, | |
| "loss": 0.4751, | |
| "step": 673 | |
| }, | |
| { | |
| "epoch": 2.8083333333333336, | |
| "grad_norm": 0.24642201352931178, | |
| "learning_rate": 1.9185738131128085e-05, | |
| "loss": 0.4835, | |
| "step": 674 | |
| }, | |
| { | |
| "epoch": 2.8125, | |
| "grad_norm": 0.2942248041458852, | |
| "learning_rate": 1.9127612252693285e-05, | |
| "loss": 0.4795, | |
| "step": 675 | |
| }, | |
| { | |
| "epoch": 2.8166666666666664, | |
| "grad_norm": 0.31530719934076834, | |
| "learning_rate": 1.9069493756045066e-05, | |
| "loss": 0.4897, | |
| "step": 676 | |
| }, | |
| { | |
| "epoch": 2.8208333333333333, | |
| "grad_norm": 0.2856546329064761, | |
| "learning_rate": 1.9011383132958283e-05, | |
| "loss": 0.4822, | |
| "step": 677 | |
| }, | |
| { | |
| "epoch": 2.825, | |
| "grad_norm": 0.3142632497311166, | |
| "learning_rate": 1.8953280875141125e-05, | |
| "loss": 0.4808, | |
| "step": 678 | |
| }, | |
| { | |
| "epoch": 2.8291666666666666, | |
| "grad_norm": 0.2683101120621211, | |
| "learning_rate": 1.8895187474231033e-05, | |
| "loss": 0.4628, | |
| "step": 679 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 0.2985836933034999, | |
| "learning_rate": 1.8837103421790486e-05, | |
| "loss": 0.4849, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 2.8375, | |
| "grad_norm": 0.289427551706044, | |
| "learning_rate": 1.877902920930286e-05, | |
| "loss": 0.482, | |
| "step": 681 | |
| }, | |
| { | |
| "epoch": 2.841666666666667, | |
| "grad_norm": 0.3177527556022089, | |
| "learning_rate": 1.872096532816829e-05, | |
| "loss": 0.4791, | |
| "step": 682 | |
| }, | |
| { | |
| "epoch": 2.845833333333333, | |
| "grad_norm": 0.29906446929376074, | |
| "learning_rate": 1.866291226969946e-05, | |
| "loss": 0.4795, | |
| "step": 683 | |
| }, | |
| { | |
| "epoch": 2.85, | |
| "grad_norm": 0.48825763612085826, | |
| "learning_rate": 1.8604870525117496e-05, | |
| "loss": 0.4725, | |
| "step": 684 | |
| }, | |
| { | |
| "epoch": 2.8541666666666665, | |
| "grad_norm": 0.2604887835947638, | |
| "learning_rate": 1.854684058554779e-05, | |
| "loss": 0.4892, | |
| "step": 685 | |
| }, | |
| { | |
| "epoch": 2.8583333333333334, | |
| "grad_norm": 0.2891297457749367, | |
| "learning_rate": 1.8488822942015846e-05, | |
| "loss": 0.4796, | |
| "step": 686 | |
| }, | |
| { | |
| "epoch": 2.8625, | |
| "grad_norm": 0.29497307175926024, | |
| "learning_rate": 1.8430818085443106e-05, | |
| "loss": 0.4825, | |
| "step": 687 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 0.27568988832284147, | |
| "learning_rate": 1.837282650664284e-05, | |
| "loss": 0.4716, | |
| "step": 688 | |
| }, | |
| { | |
| "epoch": 2.8708333333333336, | |
| "grad_norm": 0.28164760335757116, | |
| "learning_rate": 1.8314848696315944e-05, | |
| "loss": 0.4727, | |
| "step": 689 | |
| }, | |
| { | |
| "epoch": 2.875, | |
| "grad_norm": 0.32781527439873553, | |
| "learning_rate": 1.8256885145046837e-05, | |
| "loss": 0.4749, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 2.8791666666666664, | |
| "grad_norm": 0.26859929264606247, | |
| "learning_rate": 1.8198936343299263e-05, | |
| "loss": 0.4904, | |
| "step": 691 | |
| }, | |
| { | |
| "epoch": 2.8833333333333333, | |
| "grad_norm": 0.31235195321834397, | |
| "learning_rate": 1.814100278141216e-05, | |
| "loss": 0.4783, | |
| "step": 692 | |
| }, | |
| { | |
| "epoch": 2.8875, | |
| "grad_norm": 0.28349927090727645, | |
| "learning_rate": 1.808308494959552e-05, | |
| "loss": 0.4787, | |
| "step": 693 | |
| }, | |
| { | |
| "epoch": 2.8916666666666666, | |
| "grad_norm": 0.3421647684660964, | |
| "learning_rate": 1.8025183337926246e-05, | |
| "loss": 0.4798, | |
| "step": 694 | |
| }, | |
| { | |
| "epoch": 2.8958333333333335, | |
| "grad_norm": 0.2796701862031352, | |
| "learning_rate": 1.7967298436343962e-05, | |
| "loss": 0.476, | |
| "step": 695 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 0.3220797111739836, | |
| "learning_rate": 1.7909430734646936e-05, | |
| "loss": 0.4811, | |
| "step": 696 | |
| }, | |
| { | |
| "epoch": 2.904166666666667, | |
| "grad_norm": 0.31274151995402216, | |
| "learning_rate": 1.785158072248786e-05, | |
| "loss": 0.4785, | |
| "step": 697 | |
| }, | |
| { | |
| "epoch": 2.908333333333333, | |
| "grad_norm": 0.29229999279295854, | |
| "learning_rate": 1.7793748889369765e-05, | |
| "loss": 0.48, | |
| "step": 698 | |
| }, | |
| { | |
| "epoch": 2.9125, | |
| "grad_norm": 0.26620249138371865, | |
| "learning_rate": 1.773593572464187e-05, | |
| "loss": 0.4748, | |
| "step": 699 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 0.30555341782514805, | |
| "learning_rate": 1.7678141717495394e-05, | |
| "loss": 0.4818, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 2.9208333333333334, | |
| "grad_norm": 0.27904991140839297, | |
| "learning_rate": 1.7620367356959496e-05, | |
| "loss": 0.4799, | |
| "step": 701 | |
| }, | |
| { | |
| "epoch": 2.925, | |
| "grad_norm": 0.2589424115631256, | |
| "learning_rate": 1.7562613131897056e-05, | |
| "loss": 0.4911, | |
| "step": 702 | |
| }, | |
| { | |
| "epoch": 2.9291666666666667, | |
| "grad_norm": 0.28711426353147407, | |
| "learning_rate": 1.7504879531000586e-05, | |
| "loss": 0.4773, | |
| "step": 703 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 0.2797634301160334, | |
| "learning_rate": 1.7447167042788108e-05, | |
| "loss": 0.4742, | |
| "step": 704 | |
| }, | |
| { | |
| "epoch": 2.9375, | |
| "grad_norm": 0.2789026208242064, | |
| "learning_rate": 1.7389476155598974e-05, | |
| "loss": 0.4785, | |
| "step": 705 | |
| }, | |
| { | |
| "epoch": 2.9416666666666664, | |
| "grad_norm": 0.27941490608839914, | |
| "learning_rate": 1.7331807357589746e-05, | |
| "loss": 0.484, | |
| "step": 706 | |
| }, | |
| { | |
| "epoch": 2.9458333333333333, | |
| "grad_norm": 0.24980148239002167, | |
| "learning_rate": 1.7274161136730113e-05, | |
| "loss": 0.4859, | |
| "step": 707 | |
| }, | |
| { | |
| "epoch": 2.95, | |
| "grad_norm": 0.29075679978363583, | |
| "learning_rate": 1.72165379807987e-05, | |
| "loss": 0.4841, | |
| "step": 708 | |
| }, | |
| { | |
| "epoch": 2.9541666666666666, | |
| "grad_norm": 0.254138267404262, | |
| "learning_rate": 1.715893837737895e-05, | |
| "loss": 0.4693, | |
| "step": 709 | |
| }, | |
| { | |
| "epoch": 2.9583333333333335, | |
| "grad_norm": 0.2644078856477545, | |
| "learning_rate": 1.7101362813855068e-05, | |
| "loss": 0.4841, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 2.9625, | |
| "grad_norm": 0.2707508309415384, | |
| "learning_rate": 1.704381177740779e-05, | |
| "loss": 0.4746, | |
| "step": 711 | |
| }, | |
| { | |
| "epoch": 2.966666666666667, | |
| "grad_norm": 0.302779665861668, | |
| "learning_rate": 1.698628575501034e-05, | |
| "loss": 0.4927, | |
| "step": 712 | |
| }, | |
| { | |
| "epoch": 2.970833333333333, | |
| "grad_norm": 0.2818587997112645, | |
| "learning_rate": 1.692878523342428e-05, | |
| "loss": 0.49, | |
| "step": 713 | |
| }, | |
| { | |
| "epoch": 2.975, | |
| "grad_norm": 0.25255173004270365, | |
| "learning_rate": 1.687131069919538e-05, | |
| "loss": 0.4819, | |
| "step": 714 | |
| }, | |
| { | |
| "epoch": 2.9791666666666665, | |
| "grad_norm": 0.24769380833714336, | |
| "learning_rate": 1.6813862638649552e-05, | |
| "loss": 0.4665, | |
| "step": 715 | |
| }, | |
| { | |
| "epoch": 2.9833333333333334, | |
| "grad_norm": 0.8186960857739186, | |
| "learning_rate": 1.6756441537888656e-05, | |
| "loss": 0.4891, | |
| "step": 716 | |
| }, | |
| { | |
| "epoch": 2.9875, | |
| "grad_norm": 0.23989546466267106, | |
| "learning_rate": 1.6699047882786448e-05, | |
| "loss": 0.4724, | |
| "step": 717 | |
| }, | |
| { | |
| "epoch": 2.9916666666666667, | |
| "grad_norm": 0.26822524599446873, | |
| "learning_rate": 1.664168215898446e-05, | |
| "loss": 0.4761, | |
| "step": 718 | |
| }, | |
| { | |
| "epoch": 2.9958333333333336, | |
| "grad_norm": 0.25864883818718637, | |
| "learning_rate": 1.658434485188787e-05, | |
| "loss": 0.4938, | |
| "step": 719 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.9863608439121576, | |
| "learning_rate": 1.6527036446661396e-05, | |
| "loss": 0.4882, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 3.004166666666667, | |
| "grad_norm": 0.4553215419190219, | |
| "learning_rate": 1.6469757428225223e-05, | |
| "loss": 0.442, | |
| "step": 721 | |
| }, | |
| { | |
| "epoch": 3.0083333333333333, | |
| "grad_norm": 0.3346547609393649, | |
| "learning_rate": 1.641250828125085e-05, | |
| "loss": 0.4253, | |
| "step": 722 | |
| }, | |
| { | |
| "epoch": 3.0125, | |
| "grad_norm": 0.7617402105553378, | |
| "learning_rate": 1.635528949015705e-05, | |
| "loss": 0.4277, | |
| "step": 723 | |
| }, | |
| { | |
| "epoch": 3.0166666666666666, | |
| "grad_norm": 0.44764472631015995, | |
| "learning_rate": 1.6298101539105712e-05, | |
| "loss": 0.43, | |
| "step": 724 | |
| }, | |
| { | |
| "epoch": 3.0208333333333335, | |
| "grad_norm": 0.39211024119181387, | |
| "learning_rate": 1.6240944911997765e-05, | |
| "loss": 0.4256, | |
| "step": 725 | |
| }, | |
| { | |
| "epoch": 3.025, | |
| "grad_norm": 0.5406087803487221, | |
| "learning_rate": 1.6183820092469103e-05, | |
| "loss": 0.4304, | |
| "step": 726 | |
| }, | |
| { | |
| "epoch": 3.029166666666667, | |
| "grad_norm": 0.334633304360574, | |
| "learning_rate": 1.6126727563886485e-05, | |
| "loss": 0.437, | |
| "step": 727 | |
| }, | |
| { | |
| "epoch": 3.033333333333333, | |
| "grad_norm": 0.41880295084448826, | |
| "learning_rate": 1.6069667809343396e-05, | |
| "loss": 0.4282, | |
| "step": 728 | |
| }, | |
| { | |
| "epoch": 3.0375, | |
| "grad_norm": 0.34875255135420846, | |
| "learning_rate": 1.601264131165606e-05, | |
| "loss": 0.44, | |
| "step": 729 | |
| }, | |
| { | |
| "epoch": 3.0416666666666665, | |
| "grad_norm": 0.4073496235886376, | |
| "learning_rate": 1.5955648553359247e-05, | |
| "loss": 0.4316, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 3.0458333333333334, | |
| "grad_norm": 0.34421342187075615, | |
| "learning_rate": 1.5898690016702253e-05, | |
| "loss": 0.4341, | |
| "step": 731 | |
| }, | |
| { | |
| "epoch": 3.05, | |
| "grad_norm": 0.38375536775928965, | |
| "learning_rate": 1.584176618364482e-05, | |
| "loss": 0.4333, | |
| "step": 732 | |
| }, | |
| { | |
| "epoch": 3.0541666666666667, | |
| "grad_norm": 0.3366285058229145, | |
| "learning_rate": 1.5784877535853014e-05, | |
| "loss": 0.4268, | |
| "step": 733 | |
| }, | |
| { | |
| "epoch": 3.058333333333333, | |
| "grad_norm": 0.3362729482038323, | |
| "learning_rate": 1.5728024554695204e-05, | |
| "loss": 0.4389, | |
| "step": 734 | |
| }, | |
| { | |
| "epoch": 3.0625, | |
| "grad_norm": 0.2998832004248903, | |
| "learning_rate": 1.5671207721237945e-05, | |
| "loss": 0.4442, | |
| "step": 735 | |
| }, | |
| { | |
| "epoch": 3.066666666666667, | |
| "grad_norm": 0.34966088213714075, | |
| "learning_rate": 1.561442751624193e-05, | |
| "loss": 0.4384, | |
| "step": 736 | |
| }, | |
| { | |
| "epoch": 3.0708333333333333, | |
| "grad_norm": 0.27872667923184025, | |
| "learning_rate": 1.555768442015794e-05, | |
| "loss": 0.4284, | |
| "step": 737 | |
| }, | |
| { | |
| "epoch": 3.075, | |
| "grad_norm": 0.3236550012052647, | |
| "learning_rate": 1.5500978913122702e-05, | |
| "loss": 0.422, | |
| "step": 738 | |
| }, | |
| { | |
| "epoch": 3.0791666666666666, | |
| "grad_norm": 0.3117885050543731, | |
| "learning_rate": 1.5444311474954932e-05, | |
| "loss": 0.4191, | |
| "step": 739 | |
| }, | |
| { | |
| "epoch": 3.0833333333333335, | |
| "grad_norm": 0.33789730280824243, | |
| "learning_rate": 1.53876825851512e-05, | |
| "loss": 0.4337, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 3.0875, | |
| "grad_norm": 0.285944847478769, | |
| "learning_rate": 1.53310927228819e-05, | |
| "loss": 0.4263, | |
| "step": 741 | |
| }, | |
| { | |
| "epoch": 3.091666666666667, | |
| "grad_norm": 0.3510496778017806, | |
| "learning_rate": 1.5274542366987174e-05, | |
| "loss": 0.417, | |
| "step": 742 | |
| }, | |
| { | |
| "epoch": 3.095833333333333, | |
| "grad_norm": 0.27600185930574017, | |
| "learning_rate": 1.5218031995972917e-05, | |
| "loss": 0.4251, | |
| "step": 743 | |
| }, | |
| { | |
| "epoch": 3.1, | |
| "grad_norm": 0.309855102830333, | |
| "learning_rate": 1.5161562088006649e-05, | |
| "loss": 0.4315, | |
| "step": 744 | |
| }, | |
| { | |
| "epoch": 3.1041666666666665, | |
| "grad_norm": 0.2835345622257406, | |
| "learning_rate": 1.5105133120913524e-05, | |
| "loss": 0.415, | |
| "step": 745 | |
| }, | |
| { | |
| "epoch": 3.1083333333333334, | |
| "grad_norm": 0.2904891286285475, | |
| "learning_rate": 1.5048745572172286e-05, | |
| "loss": 0.4263, | |
| "step": 746 | |
| }, | |
| { | |
| "epoch": 3.1125, | |
| "grad_norm": 0.3020768138294881, | |
| "learning_rate": 1.4992399918911168e-05, | |
| "loss": 0.4254, | |
| "step": 747 | |
| }, | |
| { | |
| "epoch": 3.1166666666666667, | |
| "grad_norm": 0.2567339425896942, | |
| "learning_rate": 1.4936096637903967e-05, | |
| "loss": 0.4177, | |
| "step": 748 | |
| }, | |
| { | |
| "epoch": 3.120833333333333, | |
| "grad_norm": 0.31943536839494713, | |
| "learning_rate": 1.4879836205565887e-05, | |
| "loss": 0.4216, | |
| "step": 749 | |
| }, | |
| { | |
| "epoch": 3.125, | |
| "grad_norm": 0.28340540020844907, | |
| "learning_rate": 1.4823619097949584e-05, | |
| "loss": 0.4281, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 3.129166666666667, | |
| "grad_norm": 0.3233306102663907, | |
| "learning_rate": 1.4767445790741133e-05, | |
| "loss": 0.4169, | |
| "step": 751 | |
| }, | |
| { | |
| "epoch": 3.1333333333333333, | |
| "grad_norm": 0.26943204536316995, | |
| "learning_rate": 1.4711316759255963e-05, | |
| "loss": 0.4394, | |
| "step": 752 | |
| }, | |
| { | |
| "epoch": 3.1375, | |
| "grad_norm": 0.30734781387088517, | |
| "learning_rate": 1.4655232478434864e-05, | |
| "loss": 0.4275, | |
| "step": 753 | |
| }, | |
| { | |
| "epoch": 3.1416666666666666, | |
| "grad_norm": 0.26633436967378, | |
| "learning_rate": 1.4599193422839987e-05, | |
| "loss": 0.4347, | |
| "step": 754 | |
| }, | |
| { | |
| "epoch": 3.1458333333333335, | |
| "grad_norm": 0.2795592273551353, | |
| "learning_rate": 1.4543200066650786e-05, | |
| "loss": 0.4293, | |
| "step": 755 | |
| }, | |
| { | |
| "epoch": 3.15, | |
| "grad_norm": 0.27470260185672285, | |
| "learning_rate": 1.4487252883660019e-05, | |
| "loss": 0.4202, | |
| "step": 756 | |
| }, | |
| { | |
| "epoch": 3.154166666666667, | |
| "grad_norm": 0.2685587568717203, | |
| "learning_rate": 1.4431352347269769e-05, | |
| "loss": 0.4327, | |
| "step": 757 | |
| }, | |
| { | |
| "epoch": 3.158333333333333, | |
| "grad_norm": 0.2681429889390549, | |
| "learning_rate": 1.4375498930487388e-05, | |
| "loss": 0.4311, | |
| "step": 758 | |
| }, | |
| { | |
| "epoch": 3.1625, | |
| "grad_norm": 0.2520461067626849, | |
| "learning_rate": 1.4319693105921548e-05, | |
| "loss": 0.4422, | |
| "step": 759 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 0.2863268941620605, | |
| "learning_rate": 1.4263935345778202e-05, | |
| "loss": 0.4241, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 3.1708333333333334, | |
| "grad_norm": 0.26592210134274163, | |
| "learning_rate": 1.4208226121856586e-05, | |
| "loss": 0.4322, | |
| "step": 761 | |
| }, | |
| { | |
| "epoch": 3.175, | |
| "grad_norm": 0.2553802812490062, | |
| "learning_rate": 1.4152565905545268e-05, | |
| "loss": 0.4213, | |
| "step": 762 | |
| }, | |
| { | |
| "epoch": 3.1791666666666667, | |
| "grad_norm": 0.29370502446501184, | |
| "learning_rate": 1.4096955167818128e-05, | |
| "loss": 0.431, | |
| "step": 763 | |
| }, | |
| { | |
| "epoch": 3.183333333333333, | |
| "grad_norm": 0.23575752597155059, | |
| "learning_rate": 1.404139437923036e-05, | |
| "loss": 0.422, | |
| "step": 764 | |
| }, | |
| { | |
| "epoch": 3.1875, | |
| "grad_norm": 0.2759050484039525, | |
| "learning_rate": 1.3985884009914542e-05, | |
| "loss": 0.4131, | |
| "step": 765 | |
| }, | |
| { | |
| "epoch": 3.191666666666667, | |
| "grad_norm": 0.23810740961350238, | |
| "learning_rate": 1.3930424529576593e-05, | |
| "loss": 0.4289, | |
| "step": 766 | |
| }, | |
| { | |
| "epoch": 3.1958333333333333, | |
| "grad_norm": 0.26673988400154236, | |
| "learning_rate": 1.387501640749184e-05, | |
| "loss": 0.4241, | |
| "step": 767 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 0.2536148256121875, | |
| "learning_rate": 1.3819660112501054e-05, | |
| "loss": 0.4338, | |
| "step": 768 | |
| }, | |
| { | |
| "epoch": 3.2041666666666666, | |
| "grad_norm": 0.2632214245807616, | |
| "learning_rate": 1.3764356113006441e-05, | |
| "loss": 0.4337, | |
| "step": 769 | |
| }, | |
| { | |
| "epoch": 3.2083333333333335, | |
| "grad_norm": 0.26270674933237137, | |
| "learning_rate": 1.3709104876967732e-05, | |
| "loss": 0.4209, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 3.2125, | |
| "grad_norm": 0.2831481416442291, | |
| "learning_rate": 1.3653906871898161e-05, | |
| "loss": 0.444, | |
| "step": 771 | |
| }, | |
| { | |
| "epoch": 3.216666666666667, | |
| "grad_norm": 0.24154882652104262, | |
| "learning_rate": 1.3598762564860569e-05, | |
| "loss": 0.4355, | |
| "step": 772 | |
| }, | |
| { | |
| "epoch": 3.220833333333333, | |
| "grad_norm": 0.2833447223640067, | |
| "learning_rate": 1.3543672422463426e-05, | |
| "loss": 0.4168, | |
| "step": 773 | |
| }, | |
| { | |
| "epoch": 3.225, | |
| "grad_norm": 0.2628323532399339, | |
| "learning_rate": 1.3488636910856871e-05, | |
| "loss": 0.4406, | |
| "step": 774 | |
| }, | |
| { | |
| "epoch": 3.2291666666666665, | |
| "grad_norm": 0.25655483692387615, | |
| "learning_rate": 1.3433656495728781e-05, | |
| "loss": 0.4341, | |
| "step": 775 | |
| }, | |
| { | |
| "epoch": 3.2333333333333334, | |
| "grad_norm": 2.2837855068570425, | |
| "learning_rate": 1.3378731642300841e-05, | |
| "loss": 0.4186, | |
| "step": 776 | |
| }, | |
| { | |
| "epoch": 3.2375, | |
| "grad_norm": 0.2920682106864273, | |
| "learning_rate": 1.3323862815324585e-05, | |
| "loss": 0.4331, | |
| "step": 777 | |
| }, | |
| { | |
| "epoch": 3.2416666666666667, | |
| "grad_norm": 0.23551369094510202, | |
| "learning_rate": 1.3269050479077472e-05, | |
| "loss": 0.4301, | |
| "step": 778 | |
| }, | |
| { | |
| "epoch": 3.245833333333333, | |
| "grad_norm": 0.2656958070325992, | |
| "learning_rate": 1.321429509735898e-05, | |
| "loss": 0.4279, | |
| "step": 779 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 0.2991749649137243, | |
| "learning_rate": 1.3159597133486628e-05, | |
| "loss": 0.4294, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 3.2541666666666664, | |
| "grad_norm": 0.2434578439510396, | |
| "learning_rate": 1.3104957050292117e-05, | |
| "loss": 0.4412, | |
| "step": 781 | |
| }, | |
| { | |
| "epoch": 3.2583333333333333, | |
| "grad_norm": 0.2535855586410148, | |
| "learning_rate": 1.3050375310117374e-05, | |
| "loss": 0.4332, | |
| "step": 782 | |
| }, | |
| { | |
| "epoch": 3.2625, | |
| "grad_norm": 0.23582886808116976, | |
| "learning_rate": 1.2995852374810652e-05, | |
| "loss": 0.4411, | |
| "step": 783 | |
| }, | |
| { | |
| "epoch": 3.2666666666666666, | |
| "grad_norm": 0.24057762054402668, | |
| "learning_rate": 1.2941388705722627e-05, | |
| "loss": 0.4269, | |
| "step": 784 | |
| }, | |
| { | |
| "epoch": 3.2708333333333335, | |
| "grad_norm": 0.2770818398433449, | |
| "learning_rate": 1.2886984763702474e-05, | |
| "loss": 0.4364, | |
| "step": 785 | |
| }, | |
| { | |
| "epoch": 3.275, | |
| "grad_norm": 0.24059727378628445, | |
| "learning_rate": 1.2832641009093995e-05, | |
| "loss": 0.427, | |
| "step": 786 | |
| }, | |
| { | |
| "epoch": 3.279166666666667, | |
| "grad_norm": 0.24592557304712342, | |
| "learning_rate": 1.2778357901731714e-05, | |
| "loss": 0.436, | |
| "step": 787 | |
| }, | |
| { | |
| "epoch": 3.283333333333333, | |
| "grad_norm": 0.28077647477255835, | |
| "learning_rate": 1.2724135900936979e-05, | |
| "loss": 0.4284, | |
| "step": 788 | |
| }, | |
| { | |
| "epoch": 3.2875, | |
| "grad_norm": 0.2729231049928039, | |
| "learning_rate": 1.2669975465514057e-05, | |
| "loss": 0.4289, | |
| "step": 789 | |
| }, | |
| { | |
| "epoch": 3.2916666666666665, | |
| "grad_norm": 0.25905198604864066, | |
| "learning_rate": 1.2615877053746315e-05, | |
| "loss": 0.432, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 3.2958333333333334, | |
| "grad_norm": 0.29199121007908796, | |
| "learning_rate": 1.2561841123392266e-05, | |
| "loss": 0.4295, | |
| "step": 791 | |
| }, | |
| { | |
| "epoch": 3.3, | |
| "grad_norm": 0.28210773206628265, | |
| "learning_rate": 1.250786813168176e-05, | |
| "loss": 0.4289, | |
| "step": 792 | |
| }, | |
| { | |
| "epoch": 3.3041666666666667, | |
| "grad_norm": 0.2850450125076269, | |
| "learning_rate": 1.2453958535312064e-05, | |
| "loss": 0.418, | |
| "step": 793 | |
| }, | |
| { | |
| "epoch": 3.3083333333333336, | |
| "grad_norm": 0.27146762199853464, | |
| "learning_rate": 1.2400112790444024e-05, | |
| "loss": 0.423, | |
| "step": 794 | |
| }, | |
| { | |
| "epoch": 3.3125, | |
| "grad_norm": 0.29140255218967065, | |
| "learning_rate": 1.2346331352698206e-05, | |
| "loss": 0.4415, | |
| "step": 795 | |
| }, | |
| { | |
| "epoch": 3.3166666666666664, | |
| "grad_norm": 0.2577245277320008, | |
| "learning_rate": 1.2292614677151038e-05, | |
| "loss": 0.44, | |
| "step": 796 | |
| }, | |
| { | |
| "epoch": 3.3208333333333333, | |
| "grad_norm": 0.2596945100873493, | |
| "learning_rate": 1.2238963218330944e-05, | |
| "loss": 0.4293, | |
| "step": 797 | |
| }, | |
| { | |
| "epoch": 3.325, | |
| "grad_norm": 0.27660509793874966, | |
| "learning_rate": 1.218537743021453e-05, | |
| "loss": 0.424, | |
| "step": 798 | |
| }, | |
| { | |
| "epoch": 3.3291666666666666, | |
| "grad_norm": 0.24668112612335116, | |
| "learning_rate": 1.2131857766222703e-05, | |
| "loss": 0.4257, | |
| "step": 799 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 0.2460564650786363, | |
| "learning_rate": 1.2078404679216864e-05, | |
| "loss": 0.4325, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 3.3375, | |
| "grad_norm": 0.2669782203339851, | |
| "learning_rate": 1.2025018621495077e-05, | |
| "loss": 0.4223, | |
| "step": 801 | |
| }, | |
| { | |
| "epoch": 3.341666666666667, | |
| "grad_norm": 0.2720653092416133, | |
| "learning_rate": 1.1971700044788213e-05, | |
| "loss": 0.4262, | |
| "step": 802 | |
| }, | |
| { | |
| "epoch": 3.345833333333333, | |
| "grad_norm": 0.23667898731846967, | |
| "learning_rate": 1.191844940025617e-05, | |
| "loss": 0.434, | |
| "step": 803 | |
| }, | |
| { | |
| "epoch": 3.35, | |
| "grad_norm": 0.26350049401274, | |
| "learning_rate": 1.1865267138484e-05, | |
| "loss": 0.4309, | |
| "step": 804 | |
| }, | |
| { | |
| "epoch": 3.3541666666666665, | |
| "grad_norm": 0.28265933764713735, | |
| "learning_rate": 1.1812153709478149e-05, | |
| "loss": 0.4369, | |
| "step": 805 | |
| }, | |
| { | |
| "epoch": 3.3583333333333334, | |
| "grad_norm": 0.2624729901644893, | |
| "learning_rate": 1.1759109562662633e-05, | |
| "loss": 0.4325, | |
| "step": 806 | |
| }, | |
| { | |
| "epoch": 3.3625, | |
| "grad_norm": 0.25993858855087854, | |
| "learning_rate": 1.1706135146875224e-05, | |
| "loss": 0.4351, | |
| "step": 807 | |
| }, | |
| { | |
| "epoch": 3.3666666666666667, | |
| "grad_norm": 0.2508735416582612, | |
| "learning_rate": 1.1653230910363645e-05, | |
| "loss": 0.4115, | |
| "step": 808 | |
| }, | |
| { | |
| "epoch": 3.3708333333333336, | |
| "grad_norm": 0.2791637047434572, | |
| "learning_rate": 1.1600397300781811e-05, | |
| "loss": 0.4041, | |
| "step": 809 | |
| }, | |
| { | |
| "epoch": 3.375, | |
| "grad_norm": 0.24766768453306345, | |
| "learning_rate": 1.1547634765186016e-05, | |
| "loss": 0.4322, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 3.3791666666666664, | |
| "grad_norm": 0.2648317054434943, | |
| "learning_rate": 1.1494943750031144e-05, | |
| "loss": 0.4313, | |
| "step": 811 | |
| }, | |
| { | |
| "epoch": 3.3833333333333333, | |
| "grad_norm": 0.2794648606575172, | |
| "learning_rate": 1.144232470116692e-05, | |
| "loss": 0.4216, | |
| "step": 812 | |
| }, | |
| { | |
| "epoch": 3.3875, | |
| "grad_norm": 0.2587543354259146, | |
| "learning_rate": 1.1389778063834094e-05, | |
| "loss": 0.431, | |
| "step": 813 | |
| }, | |
| { | |
| "epoch": 3.3916666666666666, | |
| "grad_norm": 0.26279148603900554, | |
| "learning_rate": 1.1337304282660746e-05, | |
| "loss": 0.4521, | |
| "step": 814 | |
| }, | |
| { | |
| "epoch": 3.3958333333333335, | |
| "grad_norm": 0.2758234109789757, | |
| "learning_rate": 1.1284903801658418e-05, | |
| "loss": 0.437, | |
| "step": 815 | |
| }, | |
| { | |
| "epoch": 3.4, | |
| "grad_norm": 0.4967781086358191, | |
| "learning_rate": 1.123257706421845e-05, | |
| "loss": 0.4372, | |
| "step": 816 | |
| }, | |
| { | |
| "epoch": 3.404166666666667, | |
| "grad_norm": 0.278277793413537, | |
| "learning_rate": 1.1180324513108203e-05, | |
| "loss": 0.448, | |
| "step": 817 | |
| }, | |
| { | |
| "epoch": 3.408333333333333, | |
| "grad_norm": 0.2730409852860853, | |
| "learning_rate": 1.112814659046729e-05, | |
| "loss": 0.4445, | |
| "step": 818 | |
| }, | |
| { | |
| "epoch": 3.4125, | |
| "grad_norm": 0.24090889416159056, | |
| "learning_rate": 1.1076043737803825e-05, | |
| "loss": 0.429, | |
| "step": 819 | |
| }, | |
| { | |
| "epoch": 3.4166666666666665, | |
| "grad_norm": 0.2613977673243055, | |
| "learning_rate": 1.1024016395990758e-05, | |
| "loss": 0.4517, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 3.4208333333333334, | |
| "grad_norm": 0.2723830432750871, | |
| "learning_rate": 1.0972065005262067e-05, | |
| "loss": 0.4271, | |
| "step": 821 | |
| }, | |
| { | |
| "epoch": 3.425, | |
| "grad_norm": 0.23431381796229808, | |
| "learning_rate": 1.0920190005209066e-05, | |
| "loss": 0.4173, | |
| "step": 822 | |
| }, | |
| { | |
| "epoch": 3.4291666666666667, | |
| "grad_norm": 0.25130503185627423, | |
| "learning_rate": 1.086839183477669e-05, | |
| "loss": 0.4364, | |
| "step": 823 | |
| }, | |
| { | |
| "epoch": 3.4333333333333336, | |
| "grad_norm": 0.24352887204404178, | |
| "learning_rate": 1.0816670932259763e-05, | |
| "loss": 0.432, | |
| "step": 824 | |
| }, | |
| { | |
| "epoch": 3.4375, | |
| "grad_norm": 0.24499362422587945, | |
| "learning_rate": 1.0765027735299327e-05, | |
| "loss": 0.4209, | |
| "step": 825 | |
| }, | |
| { | |
| "epoch": 3.4416666666666664, | |
| "grad_norm": 0.2597047330102018, | |
| "learning_rate": 1.0713462680878864e-05, | |
| "loss": 0.4218, | |
| "step": 826 | |
| }, | |
| { | |
| "epoch": 3.4458333333333333, | |
| "grad_norm": 0.2543222339251796, | |
| "learning_rate": 1.066197620532068e-05, | |
| "loss": 0.4343, | |
| "step": 827 | |
| }, | |
| { | |
| "epoch": 3.45, | |
| "grad_norm": 0.27914449181031836, | |
| "learning_rate": 1.061056874428219e-05, | |
| "loss": 0.4268, | |
| "step": 828 | |
| }, | |
| { | |
| "epoch": 3.4541666666666666, | |
| "grad_norm": 0.24727420683509194, | |
| "learning_rate": 1.055924073275218e-05, | |
| "loss": 0.4262, | |
| "step": 829 | |
| }, | |
| { | |
| "epoch": 3.4583333333333335, | |
| "grad_norm": 0.23817092527660053, | |
| "learning_rate": 1.0507992605047193e-05, | |
| "loss": 0.4351, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 3.4625, | |
| "grad_norm": 0.269226319761995, | |
| "learning_rate": 1.0456824794807832e-05, | |
| "loss": 0.4159, | |
| "step": 831 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 0.22706118135597111, | |
| "learning_rate": 1.0405737734995083e-05, | |
| "loss": 0.417, | |
| "step": 832 | |
| }, | |
| { | |
| "epoch": 3.470833333333333, | |
| "grad_norm": 0.248229884622277, | |
| "learning_rate": 1.0354731857886628e-05, | |
| "loss": 0.4268, | |
| "step": 833 | |
| }, | |
| { | |
| "epoch": 3.475, | |
| "grad_norm": 0.2579919126995357, | |
| "learning_rate": 1.0303807595073262e-05, | |
| "loss": 0.4295, | |
| "step": 834 | |
| }, | |
| { | |
| "epoch": 3.4791666666666665, | |
| "grad_norm": 0.24699636117410342, | |
| "learning_rate": 1.0252965377455155e-05, | |
| "loss": 0.4367, | |
| "step": 835 | |
| }, | |
| { | |
| "epoch": 3.4833333333333334, | |
| "grad_norm": 0.28296160575255175, | |
| "learning_rate": 1.0202205635238263e-05, | |
| "loss": 0.4212, | |
| "step": 836 | |
| }, | |
| { | |
| "epoch": 3.4875, | |
| "grad_norm": 0.253903070062746, | |
| "learning_rate": 1.0151528797930662e-05, | |
| "loss": 0.428, | |
| "step": 837 | |
| }, | |
| { | |
| "epoch": 3.4916666666666667, | |
| "grad_norm": 0.2678111364930371, | |
| "learning_rate": 1.010093529433892e-05, | |
| "loss": 0.4333, | |
| "step": 838 | |
| }, | |
| { | |
| "epoch": 3.4958333333333336, | |
| "grad_norm": 0.28569613441522584, | |
| "learning_rate": 1.0050425552564475e-05, | |
| "loss": 0.444, | |
| "step": 839 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 0.2616699443490625, | |
| "learning_rate": 1.0000000000000006e-05, | |
| "loss": 0.4275, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 3.5041666666666664, | |
| "grad_norm": 0.23991683310829567, | |
| "learning_rate": 9.949659063325801e-06, | |
| "loss": 0.4354, | |
| "step": 841 | |
| }, | |
| { | |
| "epoch": 3.5083333333333333, | |
| "grad_norm": 0.25333441281428676, | |
| "learning_rate": 9.899403168506206e-06, | |
| "loss": 0.425, | |
| "step": 842 | |
| }, | |
| { | |
| "epoch": 3.5125, | |
| "grad_norm": 0.2583901795256148, | |
| "learning_rate": 9.849232740785923e-06, | |
| "loss": 0.4165, | |
| "step": 843 | |
| }, | |
| { | |
| "epoch": 3.5166666666666666, | |
| "grad_norm": 0.258766827716537, | |
| "learning_rate": 9.799148204686495e-06, | |
| "loss": 0.4222, | |
| "step": 844 | |
| }, | |
| { | |
| "epoch": 3.5208333333333335, | |
| "grad_norm": 0.23361767765149088, | |
| "learning_rate": 9.749149984002697e-06, | |
| "loss": 0.4313, | |
| "step": 845 | |
| }, | |
| { | |
| "epoch": 3.525, | |
| "grad_norm": 0.24494316775289982, | |
| "learning_rate": 9.699238501798916e-06, | |
| "loss": 0.4349, | |
| "step": 846 | |
| }, | |
| { | |
| "epoch": 3.529166666666667, | |
| "grad_norm": 0.2277772919248126, | |
| "learning_rate": 9.649414180405605e-06, | |
| "loss": 0.4308, | |
| "step": 847 | |
| }, | |
| { | |
| "epoch": 3.533333333333333, | |
| "grad_norm": 0.23059503527650352, | |
| "learning_rate": 9.599677441415694e-06, | |
| "loss": 0.4305, | |
| "step": 848 | |
| }, | |
| { | |
| "epoch": 3.5375, | |
| "grad_norm": 0.2437852407069819, | |
| "learning_rate": 9.550028705681024e-06, | |
| "loss": 0.4181, | |
| "step": 849 | |
| }, | |
| { | |
| "epoch": 3.5416666666666665, | |
| "grad_norm": 0.21980744804832897, | |
| "learning_rate": 9.5004683933088e-06, | |
| "loss": 0.4336, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 3.5458333333333334, | |
| "grad_norm": 0.23586799114244095, | |
| "learning_rate": 9.450996923658011e-06, | |
| "loss": 0.424, | |
| "step": 851 | |
| }, | |
| { | |
| "epoch": 3.55, | |
| "grad_norm": 0.23101549640713356, | |
| "learning_rate": 9.401614715335905e-06, | |
| "loss": 0.4414, | |
| "step": 852 | |
| }, | |
| { | |
| "epoch": 3.5541666666666667, | |
| "grad_norm": 0.2543015217067435, | |
| "learning_rate": 9.352322186194434e-06, | |
| "loss": 0.4207, | |
| "step": 853 | |
| }, | |
| { | |
| "epoch": 3.5583333333333336, | |
| "grad_norm": 0.2474455410573432, | |
| "learning_rate": 9.30311975332672e-06, | |
| "loss": 0.4302, | |
| "step": 854 | |
| }, | |
| { | |
| "epoch": 3.5625, | |
| "grad_norm": 0.2467040597988035, | |
| "learning_rate": 9.254007833063521e-06, | |
| "loss": 0.4169, | |
| "step": 855 | |
| }, | |
| { | |
| "epoch": 3.5666666666666664, | |
| "grad_norm": 0.22445148715022797, | |
| "learning_rate": 9.204986840969749e-06, | |
| "loss": 0.4377, | |
| "step": 856 | |
| }, | |
| { | |
| "epoch": 3.5708333333333333, | |
| "grad_norm": 0.22532670015641615, | |
| "learning_rate": 9.15605719184086e-06, | |
| "loss": 0.4379, | |
| "step": 857 | |
| }, | |
| { | |
| "epoch": 3.575, | |
| "grad_norm": 0.22679892582526776, | |
| "learning_rate": 9.107219299699459e-06, | |
| "loss": 0.4266, | |
| "step": 858 | |
| }, | |
| { | |
| "epoch": 3.5791666666666666, | |
| "grad_norm": 0.23628320554221474, | |
| "learning_rate": 9.058473577791708e-06, | |
| "loss": 0.4213, | |
| "step": 859 | |
| }, | |
| { | |
| "epoch": 3.5833333333333335, | |
| "grad_norm": 0.2469267203793668, | |
| "learning_rate": 9.009820438583881e-06, | |
| "loss": 0.4235, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 3.5875, | |
| "grad_norm": 0.23285142636796569, | |
| "learning_rate": 8.961260293758838e-06, | |
| "loss": 0.4254, | |
| "step": 861 | |
| }, | |
| { | |
| "epoch": 3.591666666666667, | |
| "grad_norm": 0.2596335466780474, | |
| "learning_rate": 8.912793554212571e-06, | |
| "loss": 0.4277, | |
| "step": 862 | |
| }, | |
| { | |
| "epoch": 3.595833333333333, | |
| "grad_norm": 0.23540907434240832, | |
| "learning_rate": 8.864420630050713e-06, | |
| "loss": 0.4254, | |
| "step": 863 | |
| }, | |
| { | |
| "epoch": 3.6, | |
| "grad_norm": 0.24066382679579734, | |
| "learning_rate": 8.816141930585067e-06, | |
| "loss": 0.4348, | |
| "step": 864 | |
| }, | |
| { | |
| "epoch": 3.6041666666666665, | |
| "grad_norm": 0.24659185351071644, | |
| "learning_rate": 8.767957864330145e-06, | |
| "loss": 0.423, | |
| "step": 865 | |
| }, | |
| { | |
| "epoch": 3.6083333333333334, | |
| "grad_norm": 0.26254276874801447, | |
| "learning_rate": 8.719868838999717e-06, | |
| "loss": 0.4223, | |
| "step": 866 | |
| }, | |
| { | |
| "epoch": 3.6125, | |
| "grad_norm": 0.24175527998522886, | |
| "learning_rate": 8.67187526150335e-06, | |
| "loss": 0.4177, | |
| "step": 867 | |
| }, | |
| { | |
| "epoch": 3.6166666666666667, | |
| "grad_norm": 0.26234486140683905, | |
| "learning_rate": 8.623977537942969e-06, | |
| "loss": 0.432, | |
| "step": 868 | |
| }, | |
| { | |
| "epoch": 3.6208333333333336, | |
| "grad_norm": 0.25245766823427906, | |
| "learning_rate": 8.576176073609425e-06, | |
| "loss": 0.4222, | |
| "step": 869 | |
| }, | |
| { | |
| "epoch": 3.625, | |
| "grad_norm": 0.2452184009190872, | |
| "learning_rate": 8.528471272979083e-06, | |
| "loss": 0.4249, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 3.6291666666666664, | |
| "grad_norm": 0.239440094128956, | |
| "learning_rate": 8.480863539710333e-06, | |
| "loss": 0.4339, | |
| "step": 871 | |
| }, | |
| { | |
| "epoch": 3.6333333333333333, | |
| "grad_norm": 0.24943013686847895, | |
| "learning_rate": 8.43335327664027e-06, | |
| "loss": 0.4245, | |
| "step": 872 | |
| }, | |
| { | |
| "epoch": 3.6375, | |
| "grad_norm": 0.39400852388150026, | |
| "learning_rate": 8.385940885781205e-06, | |
| "loss": 0.4611, | |
| "step": 873 | |
| }, | |
| { | |
| "epoch": 3.6416666666666666, | |
| "grad_norm": 0.29124766926499246, | |
| "learning_rate": 8.338626768317306e-06, | |
| "loss": 0.4273, | |
| "step": 874 | |
| }, | |
| { | |
| "epoch": 3.6458333333333335, | |
| "grad_norm": 0.24491084112074304, | |
| "learning_rate": 8.291411324601191e-06, | |
| "loss": 0.4035, | |
| "step": 875 | |
| }, | |
| { | |
| "epoch": 3.65, | |
| "grad_norm": 0.2513834105330395, | |
| "learning_rate": 8.24429495415054e-06, | |
| "loss": 0.4294, | |
| "step": 876 | |
| }, | |
| { | |
| "epoch": 3.654166666666667, | |
| "grad_norm": 0.26844357127395707, | |
| "learning_rate": 8.197278055644715e-06, | |
| "loss": 0.4251, | |
| "step": 877 | |
| }, | |
| { | |
| "epoch": 3.658333333333333, | |
| "grad_norm": 0.2508877367249821, | |
| "learning_rate": 8.15036102692139e-06, | |
| "loss": 0.4321, | |
| "step": 878 | |
| }, | |
| { | |
| "epoch": 3.6625, | |
| "grad_norm": 0.24094131399966962, | |
| "learning_rate": 8.103544264973178e-06, | |
| "loss": 0.4295, | |
| "step": 879 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 0.2614406740434721, | |
| "learning_rate": 8.056828165944282e-06, | |
| "loss": 0.4304, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 3.6708333333333334, | |
| "grad_norm": 0.23834900075133839, | |
| "learning_rate": 8.010213125127128e-06, | |
| "loss": 0.4192, | |
| "step": 881 | |
| }, | |
| { | |
| "epoch": 3.675, | |
| "grad_norm": 0.22299294306987325, | |
| "learning_rate": 7.963699536959032e-06, | |
| "loss": 0.4334, | |
| "step": 882 | |
| }, | |
| { | |
| "epoch": 3.6791666666666667, | |
| "grad_norm": 0.2256000897526422, | |
| "learning_rate": 7.917287795018874e-06, | |
| "loss": 0.4464, | |
| "step": 883 | |
| }, | |
| { | |
| "epoch": 3.6833333333333336, | |
| "grad_norm": 0.22392205740979662, | |
| "learning_rate": 7.870978292023739e-06, | |
| "loss": 0.4391, | |
| "step": 884 | |
| }, | |
| { | |
| "epoch": 3.6875, | |
| "grad_norm": 0.23834812496767688, | |
| "learning_rate": 7.824771419825588e-06, | |
| "loss": 0.4327, | |
| "step": 885 | |
| }, | |
| { | |
| "epoch": 3.6916666666666664, | |
| "grad_norm": 0.2463708325287563, | |
| "learning_rate": 7.778667569408006e-06, | |
| "loss": 0.4364, | |
| "step": 886 | |
| }, | |
| { | |
| "epoch": 3.6958333333333333, | |
| "grad_norm": 0.21688651846886733, | |
| "learning_rate": 7.732667130882819e-06, | |
| "loss": 0.4414, | |
| "step": 887 | |
| }, | |
| { | |
| "epoch": 3.7, | |
| "grad_norm": 0.23064416958505793, | |
| "learning_rate": 7.686770493486835e-06, | |
| "loss": 0.4397, | |
| "step": 888 | |
| }, | |
| { | |
| "epoch": 3.7041666666666666, | |
| "grad_norm": 0.25497031875444703, | |
| "learning_rate": 7.640978045578538e-06, | |
| "loss": 0.4185, | |
| "step": 889 | |
| }, | |
| { | |
| "epoch": 3.7083333333333335, | |
| "grad_norm": 0.22100035998281425, | |
| "learning_rate": 7.595290174634802e-06, | |
| "loss": 0.4196, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 3.7125, | |
| "grad_norm": 0.22105067844828485, | |
| "learning_rate": 7.549707267247612e-06, | |
| "loss": 0.4223, | |
| "step": 891 | |
| }, | |
| { | |
| "epoch": 3.716666666666667, | |
| "grad_norm": 0.24503314108692023, | |
| "learning_rate": 7.504229709120801e-06, | |
| "loss": 0.4331, | |
| "step": 892 | |
| }, | |
| { | |
| "epoch": 3.720833333333333, | |
| "grad_norm": 0.22209625191416615, | |
| "learning_rate": 7.4588578850667634e-06, | |
| "loss": 0.4293, | |
| "step": 893 | |
| }, | |
| { | |
| "epoch": 3.725, | |
| "grad_norm": 0.24234070134789545, | |
| "learning_rate": 7.413592179003255e-06, | |
| "loss": 0.4328, | |
| "step": 894 | |
| }, | |
| { | |
| "epoch": 3.7291666666666665, | |
| "grad_norm": 0.2140413352351075, | |
| "learning_rate": 7.368432973950053e-06, | |
| "loss": 0.4374, | |
| "step": 895 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 0.23879336084801975, | |
| "learning_rate": 7.323380652025794e-06, | |
| "loss": 0.4214, | |
| "step": 896 | |
| }, | |
| { | |
| "epoch": 3.7375, | |
| "grad_norm": 0.23592626929402383, | |
| "learning_rate": 7.278435594444719e-06, | |
| "loss": 0.43, | |
| "step": 897 | |
| }, | |
| { | |
| "epoch": 3.7416666666666667, | |
| "grad_norm": 0.2345359756660939, | |
| "learning_rate": 7.2335981815134415e-06, | |
| "loss": 0.4115, | |
| "step": 898 | |
| }, | |
| { | |
| "epoch": 3.7458333333333336, | |
| "grad_norm": 0.24922576785520345, | |
| "learning_rate": 7.1888687926276965e-06, | |
| "loss": 0.4338, | |
| "step": 899 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 0.23563712437289872, | |
| "learning_rate": 7.1442478062692135e-06, | |
| "loss": 0.4365, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 3.7541666666666664, | |
| "grad_norm": 0.23204116311133044, | |
| "learning_rate": 7.09973560000244e-06, | |
| "loss": 0.4277, | |
| "step": 901 | |
| }, | |
| { | |
| "epoch": 3.7583333333333333, | |
| "grad_norm": 0.2500533119033598, | |
| "learning_rate": 7.055332550471354e-06, | |
| "loss": 0.4257, | |
| "step": 902 | |
| }, | |
| { | |
| "epoch": 3.7625, | |
| "grad_norm": 0.23811588657787597, | |
| "learning_rate": 7.01103903339633e-06, | |
| "loss": 0.4346, | |
| "step": 903 | |
| }, | |
| { | |
| "epoch": 3.7666666666666666, | |
| "grad_norm": 0.23319149311553752, | |
| "learning_rate": 6.966855423570898e-06, | |
| "loss": 0.4261, | |
| "step": 904 | |
| }, | |
| { | |
| "epoch": 3.7708333333333335, | |
| "grad_norm": 0.243303595800742, | |
| "learning_rate": 6.922782094858609e-06, | |
| "loss": 0.4227, | |
| "step": 905 | |
| }, | |
| { | |
| "epoch": 3.775, | |
| "grad_norm": 0.2293147079077228, | |
| "learning_rate": 6.878819420189857e-06, | |
| "loss": 0.4283, | |
| "step": 906 | |
| }, | |
| { | |
| "epoch": 3.779166666666667, | |
| "grad_norm": 0.24610219555593746, | |
| "learning_rate": 6.834967771558722e-06, | |
| "loss": 0.4268, | |
| "step": 907 | |
| }, | |
| { | |
| "epoch": 3.783333333333333, | |
| "grad_norm": 0.25544617866033675, | |
| "learning_rate": 6.7912275200198496e-06, | |
| "loss": 0.4179, | |
| "step": 908 | |
| }, | |
| { | |
| "epoch": 3.7875, | |
| "grad_norm": 0.21822949545272996, | |
| "learning_rate": 6.747599035685255e-06, | |
| "loss": 0.4276, | |
| "step": 909 | |
| }, | |
| { | |
| "epoch": 3.7916666666666665, | |
| "grad_norm": 0.2258871101267118, | |
| "learning_rate": 6.704082687721243e-06, | |
| "loss": 0.4103, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 3.7958333333333334, | |
| "grad_norm": 0.2298634023122789, | |
| "learning_rate": 6.660678844345276e-06, | |
| "loss": 0.4278, | |
| "step": 911 | |
| }, | |
| { | |
| "epoch": 3.8, | |
| "grad_norm": 0.22583037467377118, | |
| "learning_rate": 6.617387872822842e-06, | |
| "loss": 0.4394, | |
| "step": 912 | |
| }, | |
| { | |
| "epoch": 3.8041666666666667, | |
| "grad_norm": 0.231504314682934, | |
| "learning_rate": 6.57421013946433e-06, | |
| "loss": 0.4272, | |
| "step": 913 | |
| }, | |
| { | |
| "epoch": 3.8083333333333336, | |
| "grad_norm": 0.217721449055829, | |
| "learning_rate": 6.531146009621994e-06, | |
| "loss": 0.4245, | |
| "step": 914 | |
| }, | |
| { | |
| "epoch": 3.8125, | |
| "grad_norm": 0.24686896945491654, | |
| "learning_rate": 6.488195847686795e-06, | |
| "loss": 0.4293, | |
| "step": 915 | |
| }, | |
| { | |
| "epoch": 3.8166666666666664, | |
| "grad_norm": 0.24394910830023703, | |
| "learning_rate": 6.445360017085356e-06, | |
| "loss": 0.4271, | |
| "step": 916 | |
| }, | |
| { | |
| "epoch": 3.8208333333333333, | |
| "grad_norm": 0.22546110556129695, | |
| "learning_rate": 6.402638880276868e-06, | |
| "loss": 0.4181, | |
| "step": 917 | |
| }, | |
| { | |
| "epoch": 3.825, | |
| "grad_norm": 0.21360331942939714, | |
| "learning_rate": 6.360032798750033e-06, | |
| "loss": 0.4288, | |
| "step": 918 | |
| }, | |
| { | |
| "epoch": 3.8291666666666666, | |
| "grad_norm": 0.23044679859994988, | |
| "learning_rate": 6.317542133020005e-06, | |
| "loss": 0.4369, | |
| "step": 919 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 0.2142549292405246, | |
| "learning_rate": 6.275167242625331e-06, | |
| "loss": 0.4305, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 3.8375, | |
| "grad_norm": 0.23085656291488818, | |
| "learning_rate": 6.232908486124918e-06, | |
| "loss": 0.4298, | |
| "step": 921 | |
| }, | |
| { | |
| "epoch": 3.841666666666667, | |
| "grad_norm": 0.21895688860005502, | |
| "learning_rate": 6.190766221095013e-06, | |
| "loss": 0.4209, | |
| "step": 922 | |
| }, | |
| { | |
| "epoch": 3.845833333333333, | |
| "grad_norm": 0.21366531215478982, | |
| "learning_rate": 6.148740804126121e-06, | |
| "loss": 0.4318, | |
| "step": 923 | |
| }, | |
| { | |
| "epoch": 3.85, | |
| "grad_norm": 0.22258877815977224, | |
| "learning_rate": 6.106832590820053e-06, | |
| "loss": 0.4278, | |
| "step": 924 | |
| }, | |
| { | |
| "epoch": 3.8541666666666665, | |
| "grad_norm": 0.22089277710807653, | |
| "learning_rate": 6.065041935786906e-06, | |
| "loss": 0.4278, | |
| "step": 925 | |
| }, | |
| { | |
| "epoch": 3.8583333333333334, | |
| "grad_norm": 0.22319456528557838, | |
| "learning_rate": 6.023369192641999e-06, | |
| "loss": 0.4248, | |
| "step": 926 | |
| }, | |
| { | |
| "epoch": 3.8625, | |
| "grad_norm": 0.21897558941519973, | |
| "learning_rate": 5.981814714002982e-06, | |
| "loss": 0.43, | |
| "step": 927 | |
| }, | |
| { | |
| "epoch": 3.8666666666666667, | |
| "grad_norm": 0.21422416122397145, | |
| "learning_rate": 5.940378851486766e-06, | |
| "loss": 0.4237, | |
| "step": 928 | |
| }, | |
| { | |
| "epoch": 3.8708333333333336, | |
| "grad_norm": 0.21900360541063163, | |
| "learning_rate": 5.899061955706593e-06, | |
| "loss": 0.4277, | |
| "step": 929 | |
| }, | |
| { | |
| "epoch": 3.875, | |
| "grad_norm": 0.210003067591564, | |
| "learning_rate": 5.857864376269051e-06, | |
| "loss": 0.4254, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 3.8791666666666664, | |
| "grad_norm": 0.22066947148305144, | |
| "learning_rate": 5.816786461771129e-06, | |
| "loss": 0.4413, | |
| "step": 931 | |
| }, | |
| { | |
| "epoch": 3.8833333333333333, | |
| "grad_norm": 0.21685958637696298, | |
| "learning_rate": 5.7758285597972585e-06, | |
| "loss": 0.419, | |
| "step": 932 | |
| }, | |
| { | |
| "epoch": 3.8875, | |
| "grad_norm": 0.2060613916060785, | |
| "learning_rate": 5.734991016916372e-06, | |
| "loss": 0.4263, | |
| "step": 933 | |
| }, | |
| { | |
| "epoch": 3.8916666666666666, | |
| "grad_norm": 0.2162918716912764, | |
| "learning_rate": 5.694274178678973e-06, | |
| "loss": 0.428, | |
| "step": 934 | |
| }, | |
| { | |
| "epoch": 3.8958333333333335, | |
| "grad_norm": 0.21558418484475533, | |
| "learning_rate": 5.65367838961421e-06, | |
| "loss": 0.4297, | |
| "step": 935 | |
| }, | |
| { | |
| "epoch": 3.9, | |
| "grad_norm": 0.21814958677433785, | |
| "learning_rate": 5.613203993226981e-06, | |
| "loss": 0.4234, | |
| "step": 936 | |
| }, | |
| { | |
| "epoch": 3.904166666666667, | |
| "grad_norm": 0.21859762848857897, | |
| "learning_rate": 5.5728513319949725e-06, | |
| "loss": 0.427, | |
| "step": 937 | |
| }, | |
| { | |
| "epoch": 3.908333333333333, | |
| "grad_norm": 0.22930949993022515, | |
| "learning_rate": 5.53262074736584e-06, | |
| "loss": 0.4224, | |
| "step": 938 | |
| }, | |
| { | |
| "epoch": 3.9125, | |
| "grad_norm": 0.22615742593623198, | |
| "learning_rate": 5.492512579754252e-06, | |
| "loss": 0.4247, | |
| "step": 939 | |
| }, | |
| { | |
| "epoch": 3.9166666666666665, | |
| "grad_norm": 0.22731711264029844, | |
| "learning_rate": 5.452527168539026e-06, | |
| "loss": 0.4276, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 3.9208333333333334, | |
| "grad_norm": 0.22227411839471797, | |
| "learning_rate": 5.412664852060294e-06, | |
| "loss": 0.4276, | |
| "step": 941 | |
| }, | |
| { | |
| "epoch": 3.925, | |
| "grad_norm": 0.220050201248189, | |
| "learning_rate": 5.372925967616591e-06, | |
| "loss": 0.4306, | |
| "step": 942 | |
| }, | |
| { | |
| "epoch": 3.9291666666666667, | |
| "grad_norm": 0.23910550940898795, | |
| "learning_rate": 5.333310851462026e-06, | |
| "loss": 0.4333, | |
| "step": 943 | |
| }, | |
| { | |
| "epoch": 3.9333333333333336, | |
| "grad_norm": 0.22964992393684255, | |
| "learning_rate": 5.293819838803429e-06, | |
| "loss": 0.435, | |
| "step": 944 | |
| }, | |
| { | |
| "epoch": 3.9375, | |
| "grad_norm": 0.2175795175465382, | |
| "learning_rate": 5.254453263797521e-06, | |
| "loss": 0.4233, | |
| "step": 945 | |
| }, | |
| { | |
| "epoch": 3.9416666666666664, | |
| "grad_norm": 0.22660951988566233, | |
| "learning_rate": 5.215211459548082e-06, | |
| "loss": 0.4266, | |
| "step": 946 | |
| }, | |
| { | |
| "epoch": 3.9458333333333333, | |
| "grad_norm": 0.21564446999892425, | |
| "learning_rate": 5.17609475810313e-06, | |
| "loss": 0.4168, | |
| "step": 947 | |
| }, | |
| { | |
| "epoch": 3.95, | |
| "grad_norm": 0.21169356207180387, | |
| "learning_rate": 5.137103490452113e-06, | |
| "loss": 0.4417, | |
| "step": 948 | |
| }, | |
| { | |
| "epoch": 3.9541666666666666, | |
| "grad_norm": 0.21719735857467676, | |
| "learning_rate": 5.098237986523129e-06, | |
| "loss": 0.4159, | |
| "step": 949 | |
| }, | |
| { | |
| "epoch": 3.9583333333333335, | |
| "grad_norm": 0.21160534846897155, | |
| "learning_rate": 5.059498575180084e-06, | |
| "loss": 0.4222, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 3.9625, | |
| "grad_norm": 0.2197272683782191, | |
| "learning_rate": 5.0208855842199565e-06, | |
| "loss": 0.4249, | |
| "step": 951 | |
| }, | |
| { | |
| "epoch": 3.966666666666667, | |
| "grad_norm": 0.223363088864906, | |
| "learning_rate": 4.982399340370017e-06, | |
| "loss": 0.402, | |
| "step": 952 | |
| }, | |
| { | |
| "epoch": 3.970833333333333, | |
| "grad_norm": 0.21486379212960513, | |
| "learning_rate": 4.944040169285043e-06, | |
| "loss": 0.4386, | |
| "step": 953 | |
| }, | |
| { | |
| "epoch": 3.975, | |
| "grad_norm": 0.2272666417317846, | |
| "learning_rate": 4.90580839554456e-06, | |
| "loss": 0.4287, | |
| "step": 954 | |
| }, | |
| { | |
| "epoch": 3.9791666666666665, | |
| "grad_norm": 0.22903404440686784, | |
| "learning_rate": 4.867704342650143e-06, | |
| "loss": 0.4003, | |
| "step": 955 | |
| }, | |
| { | |
| "epoch": 3.9833333333333334, | |
| "grad_norm": 0.23496766221544205, | |
| "learning_rate": 4.829728333022623e-06, | |
| "loss": 0.4319, | |
| "step": 956 | |
| }, | |
| { | |
| "epoch": 3.9875, | |
| "grad_norm": 0.21677980128239738, | |
| "learning_rate": 4.791880687999382e-06, | |
| "loss": 0.4149, | |
| "step": 957 | |
| }, | |
| { | |
| "epoch": 3.9916666666666667, | |
| "grad_norm": 0.21845329270600405, | |
| "learning_rate": 4.754161727831643e-06, | |
| "loss": 0.4033, | |
| "step": 958 | |
| }, | |
| { | |
| "epoch": 3.9958333333333336, | |
| "grad_norm": 0.23104346223691857, | |
| "learning_rate": 4.716571771681737e-06, | |
| "loss": 0.4175, | |
| "step": 959 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 0.22342631089160764, | |
| "learning_rate": 4.679111137620442e-06, | |
| "loss": 0.4229, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 4.004166666666666, | |
| "grad_norm": 0.32099563972920414, | |
| "learning_rate": 4.641780142624231e-06, | |
| "loss": 0.3881, | |
| "step": 961 | |
| }, | |
| { | |
| "epoch": 4.008333333333334, | |
| "grad_norm": 0.25218535881654675, | |
| "learning_rate": 4.604579102572641e-06, | |
| "loss": 0.4078, | |
| "step": 962 | |
| }, | |
| { | |
| "epoch": 4.0125, | |
| "grad_norm": 0.2382490612282618, | |
| "learning_rate": 4.567508332245605e-06, | |
| "loss": 0.4066, | |
| "step": 963 | |
| }, | |
| { | |
| "epoch": 4.016666666666667, | |
| "grad_norm": 0.28796604902334555, | |
| "learning_rate": 4.530568145320724e-06, | |
| "loss": 0.3988, | |
| "step": 964 | |
| }, | |
| { | |
| "epoch": 4.020833333333333, | |
| "grad_norm": 0.3224951699224033, | |
| "learning_rate": 4.493758854370682e-06, | |
| "loss": 0.3932, | |
| "step": 965 | |
| }, | |
| { | |
| "epoch": 4.025, | |
| "grad_norm": 0.2627925858138936, | |
| "learning_rate": 4.4570807708605825e-06, | |
| "loss": 0.3679, | |
| "step": 966 | |
| }, | |
| { | |
| "epoch": 4.029166666666667, | |
| "grad_norm": 0.28483312358473356, | |
| "learning_rate": 4.420534205145293e-06, | |
| "loss": 0.3851, | |
| "step": 967 | |
| }, | |
| { | |
| "epoch": 4.033333333333333, | |
| "grad_norm": 0.2806262720150311, | |
| "learning_rate": 4.384119466466816e-06, | |
| "loss": 0.3817, | |
| "step": 968 | |
| }, | |
| { | |
| "epoch": 4.0375, | |
| "grad_norm": 0.24015412530818528, | |
| "learning_rate": 4.347836862951722e-06, | |
| "loss": 0.3786, | |
| "step": 969 | |
| }, | |
| { | |
| "epoch": 4.041666666666667, | |
| "grad_norm": 0.23997908525085326, | |
| "learning_rate": 4.311686701608486e-06, | |
| "loss": 0.4043, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 4.045833333333333, | |
| "grad_norm": 0.2621190604739965, | |
| "learning_rate": 4.2756692883249176e-06, | |
| "loss": 0.3808, | |
| "step": 971 | |
| }, | |
| { | |
| "epoch": 4.05, | |
| "grad_norm": 0.27077743658389225, | |
| "learning_rate": 4.239784927865562e-06, | |
| "loss": 0.3893, | |
| "step": 972 | |
| }, | |
| { | |
| "epoch": 4.054166666666666, | |
| "grad_norm": 0.226478557440062, | |
| "learning_rate": 4.204033923869135e-06, | |
| "loss": 0.3974, | |
| "step": 973 | |
| }, | |
| { | |
| "epoch": 4.058333333333334, | |
| "grad_norm": 0.23644580918175637, | |
| "learning_rate": 4.168416578845936e-06, | |
| "loss": 0.3689, | |
| "step": 974 | |
| }, | |
| { | |
| "epoch": 4.0625, | |
| "grad_norm": 0.2517699959074949, | |
| "learning_rate": 4.132933194175299e-06, | |
| "loss": 0.3874, | |
| "step": 975 | |
| }, | |
| { | |
| "epoch": 4.066666666666666, | |
| "grad_norm": 0.22938905026855594, | |
| "learning_rate": 4.097584070103042e-06, | |
| "loss": 0.4063, | |
| "step": 976 | |
| }, | |
| { | |
| "epoch": 4.070833333333334, | |
| "grad_norm": 0.23204661332089185, | |
| "learning_rate": 4.0623695057389415e-06, | |
| "loss": 0.3971, | |
| "step": 977 | |
| }, | |
| { | |
| "epoch": 4.075, | |
| "grad_norm": 0.23415795910429496, | |
| "learning_rate": 4.027289799054148e-06, | |
| "loss": 0.3813, | |
| "step": 978 | |
| }, | |
| { | |
| "epoch": 4.079166666666667, | |
| "grad_norm": 0.23826924959135237, | |
| "learning_rate": 3.992345246878726e-06, | |
| "loss": 0.39, | |
| "step": 979 | |
| }, | |
| { | |
| "epoch": 4.083333333333333, | |
| "grad_norm": 0.24314389100797407, | |
| "learning_rate": 3.957536144899123e-06, | |
| "loss": 0.4023, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 4.0875, | |
| "grad_norm": 0.2358395776669894, | |
| "learning_rate": 3.922862787655654e-06, | |
| "loss": 0.3952, | |
| "step": 981 | |
| }, | |
| { | |
| "epoch": 4.091666666666667, | |
| "grad_norm": 0.23699744528215083, | |
| "learning_rate": 3.888325468540013e-06, | |
| "loss": 0.3868, | |
| "step": 982 | |
| }, | |
| { | |
| "epoch": 4.095833333333333, | |
| "grad_norm": 0.22707008440356913, | |
| "learning_rate": 3.853924479792803e-06, | |
| "loss": 0.393, | |
| "step": 983 | |
| }, | |
| { | |
| "epoch": 4.1, | |
| "grad_norm": 0.23544858725647322, | |
| "learning_rate": 3.819660112501053e-06, | |
| "loss": 0.3889, | |
| "step": 984 | |
| }, | |
| { | |
| "epoch": 4.104166666666667, | |
| "grad_norm": 0.22519226316896881, | |
| "learning_rate": 3.7855326565957563e-06, | |
| "loss": 0.3945, | |
| "step": 985 | |
| }, | |
| { | |
| "epoch": 4.108333333333333, | |
| "grad_norm": 0.2331815938886045, | |
| "learning_rate": 3.7515424008494195e-06, | |
| "loss": 0.3921, | |
| "step": 986 | |
| }, | |
| { | |
| "epoch": 4.1125, | |
| "grad_norm": 0.2343405014370539, | |
| "learning_rate": 3.717689632873618e-06, | |
| "loss": 0.383, | |
| "step": 987 | |
| }, | |
| { | |
| "epoch": 4.116666666666666, | |
| "grad_norm": 0.22236066121031534, | |
| "learning_rate": 3.683974639116563e-06, | |
| "loss": 0.4101, | |
| "step": 988 | |
| }, | |
| { | |
| "epoch": 4.120833333333334, | |
| "grad_norm": 0.21787732312760535, | |
| "learning_rate": 3.650397704860673e-06, | |
| "loss": 0.4102, | |
| "step": 989 | |
| }, | |
| { | |
| "epoch": 4.125, | |
| "grad_norm": 0.22034450231640743, | |
| "learning_rate": 3.616959114220162e-06, | |
| "loss": 0.385, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 4.129166666666666, | |
| "grad_norm": 0.21643950582225363, | |
| "learning_rate": 3.583659150138661e-06, | |
| "loss": 0.381, | |
| "step": 991 | |
| }, | |
| { | |
| "epoch": 4.133333333333334, | |
| "grad_norm": 0.21379399368418622, | |
| "learning_rate": 3.5504980943867538e-06, | |
| "loss": 0.3873, | |
| "step": 992 | |
| }, | |
| { | |
| "epoch": 4.1375, | |
| "grad_norm": 0.2257712470531673, | |
| "learning_rate": 3.5174762275596864e-06, | |
| "loss": 0.3894, | |
| "step": 993 | |
| }, | |
| { | |
| "epoch": 4.141666666666667, | |
| "grad_norm": 0.22737390834729226, | |
| "learning_rate": 3.484593829074918e-06, | |
| "loss": 0.3906, | |
| "step": 994 | |
| }, | |
| { | |
| "epoch": 4.145833333333333, | |
| "grad_norm": 0.22149731221362098, | |
| "learning_rate": 3.451851177169789e-06, | |
| "loss": 0.4021, | |
| "step": 995 | |
| }, | |
| { | |
| "epoch": 4.15, | |
| "grad_norm": 0.22723836033248954, | |
| "learning_rate": 3.419248548899168e-06, | |
| "loss": 0.3866, | |
| "step": 996 | |
| }, | |
| { | |
| "epoch": 4.154166666666667, | |
| "grad_norm": 0.23247761417468857, | |
| "learning_rate": 3.3867862201330916e-06, | |
| "loss": 0.3692, | |
| "step": 997 | |
| }, | |
| { | |
| "epoch": 4.158333333333333, | |
| "grad_norm": 0.20971614067207828, | |
| "learning_rate": 3.354464465554448e-06, | |
| "loss": 0.3906, | |
| "step": 998 | |
| }, | |
| { | |
| "epoch": 4.1625, | |
| "grad_norm": 0.22235442240009948, | |
| "learning_rate": 3.3222835586566384e-06, | |
| "loss": 0.3938, | |
| "step": 999 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 0.21787528828369473, | |
| "learning_rate": 3.290243771741275e-06, | |
| "loss": 0.3988, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 4.170833333333333, | |
| "grad_norm": 0.2267628934757855, | |
| "learning_rate": 3.2583453759158634e-06, | |
| "loss": 0.3951, | |
| "step": 1001 | |
| }, | |
| { | |
| "epoch": 4.175, | |
| "grad_norm": 0.20988780404069562, | |
| "learning_rate": 3.2265886410915214e-06, | |
| "loss": 0.3935, | |
| "step": 1002 | |
| }, | |
| { | |
| "epoch": 4.179166666666666, | |
| "grad_norm": 0.2272042353627666, | |
| "learning_rate": 3.1949738359806905e-06, | |
| "loss": 0.3829, | |
| "step": 1003 | |
| }, | |
| { | |
| "epoch": 4.183333333333334, | |
| "grad_norm": 0.21976659742361207, | |
| "learning_rate": 3.1635012280948496e-06, | |
| "loss": 0.3947, | |
| "step": 1004 | |
| }, | |
| { | |
| "epoch": 4.1875, | |
| "grad_norm": 0.21095624430703588, | |
| "learning_rate": 3.13217108374229e-06, | |
| "loss": 0.4171, | |
| "step": 1005 | |
| }, | |
| { | |
| "epoch": 4.191666666666666, | |
| "grad_norm": 0.21399379180371467, | |
| "learning_rate": 3.1009836680257965e-06, | |
| "loss": 0.3934, | |
| "step": 1006 | |
| }, | |
| { | |
| "epoch": 4.195833333333334, | |
| "grad_norm": 0.21481261956534103, | |
| "learning_rate": 3.0699392448404787e-06, | |
| "loss": 0.3857, | |
| "step": 1007 | |
| }, | |
| { | |
| "epoch": 4.2, | |
| "grad_norm": 0.22887690984784917, | |
| "learning_rate": 3.039038076871481e-06, | |
| "loss": 0.3959, | |
| "step": 1008 | |
| }, | |
| { | |
| "epoch": 4.204166666666667, | |
| "grad_norm": 0.21527551915593382, | |
| "learning_rate": 3.00828042559179e-06, | |
| "loss": 0.3966, | |
| "step": 1009 | |
| }, | |
| { | |
| "epoch": 4.208333333333333, | |
| "grad_norm": 0.2154608675883479, | |
| "learning_rate": 2.9776665512600054e-06, | |
| "loss": 0.397, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 4.2125, | |
| "grad_norm": 0.21165402376707582, | |
| "learning_rate": 2.947196712918157e-06, | |
| "loss": 0.397, | |
| "step": 1011 | |
| }, | |
| { | |
| "epoch": 4.216666666666667, | |
| "grad_norm": 0.22067807108484216, | |
| "learning_rate": 2.9168711683894903e-06, | |
| "loss": 0.3964, | |
| "step": 1012 | |
| }, | |
| { | |
| "epoch": 4.220833333333333, | |
| "grad_norm": 0.2358786614780987, | |
| "learning_rate": 2.886690174276301e-06, | |
| "loss": 0.3973, | |
| "step": 1013 | |
| }, | |
| { | |
| "epoch": 4.225, | |
| "grad_norm": 0.2173598996607937, | |
| "learning_rate": 2.8566539859577558e-06, | |
| "loss": 0.3999, | |
| "step": 1014 | |
| }, | |
| { | |
| "epoch": 4.229166666666667, | |
| "grad_norm": 0.21150679969144226, | |
| "learning_rate": 2.8267628575877414e-06, | |
| "loss": 0.3836, | |
| "step": 1015 | |
| }, | |
| { | |
| "epoch": 4.233333333333333, | |
| "grad_norm": 0.22343466713449373, | |
| "learning_rate": 2.7970170420926957e-06, | |
| "loss": 0.3838, | |
| "step": 1016 | |
| }, | |
| { | |
| "epoch": 4.2375, | |
| "grad_norm": 0.22243030164068567, | |
| "learning_rate": 2.7674167911694837e-06, | |
| "loss": 0.3882, | |
| "step": 1017 | |
| }, | |
| { | |
| "epoch": 4.241666666666666, | |
| "grad_norm": 0.2312325216447369, | |
| "learning_rate": 2.737962355283272e-06, | |
| "loss": 0.3927, | |
| "step": 1018 | |
| }, | |
| { | |
| "epoch": 4.245833333333334, | |
| "grad_norm": 0.21670440623185597, | |
| "learning_rate": 2.7086539836653923e-06, | |
| "loss": 0.398, | |
| "step": 1019 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 0.21710913582363692, | |
| "learning_rate": 2.679491924311226e-06, | |
| "loss": 0.3984, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 4.254166666666666, | |
| "grad_norm": 0.22568166353478622, | |
| "learning_rate": 2.65047642397815e-06, | |
| "loss": 0.3887, | |
| "step": 1021 | |
| }, | |
| { | |
| "epoch": 4.258333333333334, | |
| "grad_norm": 0.2139020280225805, | |
| "learning_rate": 2.6216077281833976e-06, | |
| "loss": 0.3893, | |
| "step": 1022 | |
| }, | |
| { | |
| "epoch": 4.2625, | |
| "grad_norm": 0.21261695437241654, | |
| "learning_rate": 2.5928860812020063e-06, | |
| "loss": 0.3929, | |
| "step": 1023 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 0.2052973230937153, | |
| "learning_rate": 2.564311726064754e-06, | |
| "loss": 0.3846, | |
| "step": 1024 | |
| }, | |
| { | |
| "epoch": 4.270833333333333, | |
| "grad_norm": 0.21592919820852863, | |
| "learning_rate": 2.535884904556085e-06, | |
| "loss": 0.3758, | |
| "step": 1025 | |
| }, | |
| { | |
| "epoch": 4.275, | |
| "grad_norm": 0.22277092529351133, | |
| "learning_rate": 2.5076058572120855e-06, | |
| "loss": 0.3927, | |
| "step": 1026 | |
| }, | |
| { | |
| "epoch": 4.279166666666667, | |
| "grad_norm": 0.21609789902866755, | |
| "learning_rate": 2.4794748233184285e-06, | |
| "loss": 0.3877, | |
| "step": 1027 | |
| }, | |
| { | |
| "epoch": 4.283333333333333, | |
| "grad_norm": 0.2241692121126774, | |
| "learning_rate": 2.4514920409083586e-06, | |
| "loss": 0.3892, | |
| "step": 1028 | |
| }, | |
| { | |
| "epoch": 4.2875, | |
| "grad_norm": 0.21983550359330953, | |
| "learning_rate": 2.423657746760695e-06, | |
| "loss": 0.3848, | |
| "step": 1029 | |
| }, | |
| { | |
| "epoch": 4.291666666666667, | |
| "grad_norm": 0.2084715463094627, | |
| "learning_rate": 2.3959721763977805e-06, | |
| "loss": 0.4155, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 4.295833333333333, | |
| "grad_norm": 0.21810353545912545, | |
| "learning_rate": 2.3684355640835334e-06, | |
| "loss": 0.3843, | |
| "step": 1031 | |
| }, | |
| { | |
| "epoch": 4.3, | |
| "grad_norm": 0.21909939505718, | |
| "learning_rate": 2.3410481428214602e-06, | |
| "loss": 0.3884, | |
| "step": 1032 | |
| }, | |
| { | |
| "epoch": 4.304166666666666, | |
| "grad_norm": 0.22305255373823385, | |
| "learning_rate": 2.313810144352664e-06, | |
| "loss": 0.3806, | |
| "step": 1033 | |
| }, | |
| { | |
| "epoch": 4.308333333333334, | |
| "grad_norm": 0.21399493848562365, | |
| "learning_rate": 2.2867217991538793e-06, | |
| "loss": 0.3886, | |
| "step": 1034 | |
| }, | |
| { | |
| "epoch": 4.3125, | |
| "grad_norm": 0.22139692881508155, | |
| "learning_rate": 2.259783336435566e-06, | |
| "loss": 0.3943, | |
| "step": 1035 | |
| }, | |
| { | |
| "epoch": 4.316666666666666, | |
| "grad_norm": 0.22110568056896807, | |
| "learning_rate": 2.2329949841399223e-06, | |
| "loss": 0.3876, | |
| "step": 1036 | |
| }, | |
| { | |
| "epoch": 4.320833333333334, | |
| "grad_norm": 0.2192791391563689, | |
| "learning_rate": 2.206356968938965e-06, | |
| "loss": 0.3901, | |
| "step": 1037 | |
| }, | |
| { | |
| "epoch": 4.325, | |
| "grad_norm": 0.22086408115831563, | |
| "learning_rate": 2.1798695162326444e-06, | |
| "loss": 0.3963, | |
| "step": 1038 | |
| }, | |
| { | |
| "epoch": 4.329166666666667, | |
| "grad_norm": 0.21376558371836413, | |
| "learning_rate": 2.1535328501468935e-06, | |
| "loss": 0.3935, | |
| "step": 1039 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 0.20388552790911735, | |
| "learning_rate": 2.127347193531757e-06, | |
| "loss": 0.4077, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 4.3375, | |
| "grad_norm": 0.21740059155182548, | |
| "learning_rate": 2.1013127679595002e-06, | |
| "loss": 0.395, | |
| "step": 1041 | |
| }, | |
| { | |
| "epoch": 4.341666666666667, | |
| "grad_norm": 0.212638977373075, | |
| "learning_rate": 2.0754297937227317e-06, | |
| "loss": 0.3948, | |
| "step": 1042 | |
| }, | |
| { | |
| "epoch": 4.345833333333333, | |
| "grad_norm": 0.20432801583148202, | |
| "learning_rate": 2.04969848983255e-06, | |
| "loss": 0.4002, | |
| "step": 1043 | |
| }, | |
| { | |
| "epoch": 4.35, | |
| "grad_norm": 0.20105838367708312, | |
| "learning_rate": 2.024119074016664e-06, | |
| "loss": 0.3981, | |
| "step": 1044 | |
| }, | |
| { | |
| "epoch": 4.354166666666667, | |
| "grad_norm": 0.20591122191976494, | |
| "learning_rate": 1.998691762717577e-06, | |
| "loss": 0.3999, | |
| "step": 1045 | |
| }, | |
| { | |
| "epoch": 4.358333333333333, | |
| "grad_norm": 0.21007702037482343, | |
| "learning_rate": 1.973416771090755e-06, | |
| "loss": 0.3878, | |
| "step": 1046 | |
| }, | |
| { | |
| "epoch": 4.3625, | |
| "grad_norm": 0.21965241039293862, | |
| "learning_rate": 1.948294313002792e-06, | |
| "loss": 0.3888, | |
| "step": 1047 | |
| }, | |
| { | |
| "epoch": 4.366666666666666, | |
| "grad_norm": 0.20871328585848617, | |
| "learning_rate": 1.9233246010295903e-06, | |
| "loss": 0.3849, | |
| "step": 1048 | |
| }, | |
| { | |
| "epoch": 4.370833333333334, | |
| "grad_norm": 0.22344246010872826, | |
| "learning_rate": 1.8985078464546002e-06, | |
| "loss": 0.3745, | |
| "step": 1049 | |
| }, | |
| { | |
| "epoch": 4.375, | |
| "grad_norm": 0.21888618878255753, | |
| "learning_rate": 1.8738442592670014e-06, | |
| "loss": 0.3843, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 4.379166666666666, | |
| "grad_norm": 0.20645694980867452, | |
| "learning_rate": 1.8493340481599275e-06, | |
| "loss": 0.3816, | |
| "step": 1051 | |
| }, | |
| { | |
| "epoch": 4.383333333333334, | |
| "grad_norm": 0.20886523332501278, | |
| "learning_rate": 1.8249774205287151e-06, | |
| "loss": 0.3805, | |
| "step": 1052 | |
| }, | |
| { | |
| "epoch": 4.3875, | |
| "grad_norm": 0.21299747624517915, | |
| "learning_rate": 1.800774582469138e-06, | |
| "loss": 0.3851, | |
| "step": 1053 | |
| }, | |
| { | |
| "epoch": 4.391666666666667, | |
| "grad_norm": 0.2101030130754341, | |
| "learning_rate": 1.7767257387756599e-06, | |
| "loss": 0.4012, | |
| "step": 1054 | |
| }, | |
| { | |
| "epoch": 4.395833333333333, | |
| "grad_norm": 0.2084000285475629, | |
| "learning_rate": 1.7528310929397196e-06, | |
| "loss": 0.3834, | |
| "step": 1055 | |
| }, | |
| { | |
| "epoch": 4.4, | |
| "grad_norm": 0.20310838723566754, | |
| "learning_rate": 1.7290908471479805e-06, | |
| "loss": 0.3883, | |
| "step": 1056 | |
| }, | |
| { | |
| "epoch": 4.404166666666667, | |
| "grad_norm": 0.20641426226550538, | |
| "learning_rate": 1.7055052022806595e-06, | |
| "loss": 0.3889, | |
| "step": 1057 | |
| }, | |
| { | |
| "epoch": 4.408333333333333, | |
| "grad_norm": 0.20716143550372132, | |
| "learning_rate": 1.682074357909782e-06, | |
| "loss": 0.3762, | |
| "step": 1058 | |
| }, | |
| { | |
| "epoch": 4.4125, | |
| "grad_norm": 0.20650503280054486, | |
| "learning_rate": 1.6587985122975193e-06, | |
| "loss": 0.3817, | |
| "step": 1059 | |
| }, | |
| { | |
| "epoch": 4.416666666666667, | |
| "grad_norm": 0.2061135382309316, | |
| "learning_rate": 1.6356778623945223e-06, | |
| "loss": 0.384, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 4.420833333333333, | |
| "grad_norm": 0.19625695351801264, | |
| "learning_rate": 1.612712603838218e-06, | |
| "loss": 0.3908, | |
| "step": 1061 | |
| }, | |
| { | |
| "epoch": 4.425, | |
| "grad_norm": 0.22603414259689372, | |
| "learning_rate": 1.5899029309511926e-06, | |
| "loss": 0.3861, | |
| "step": 1062 | |
| }, | |
| { | |
| "epoch": 4.429166666666666, | |
| "grad_norm": 0.20502145009105738, | |
| "learning_rate": 1.5672490367395244e-06, | |
| "loss": 0.3828, | |
| "step": 1063 | |
| }, | |
| { | |
| "epoch": 4.433333333333334, | |
| "grad_norm": 0.20667781053884668, | |
| "learning_rate": 1.5447511128911542e-06, | |
| "loss": 0.4043, | |
| "step": 1064 | |
| }, | |
| { | |
| "epoch": 4.4375, | |
| "grad_norm": 0.21931277278673314, | |
| "learning_rate": 1.5224093497742654e-06, | |
| "loss": 0.3782, | |
| "step": 1065 | |
| }, | |
| { | |
| "epoch": 4.441666666666666, | |
| "grad_norm": 0.20661232798322296, | |
| "learning_rate": 1.5002239364356784e-06, | |
| "loss": 0.3973, | |
| "step": 1066 | |
| }, | |
| { | |
| "epoch": 4.445833333333334, | |
| "grad_norm": 0.20561646814251938, | |
| "learning_rate": 1.4781950605992434e-06, | |
| "loss": 0.3862, | |
| "step": 1067 | |
| }, | |
| { | |
| "epoch": 4.45, | |
| "grad_norm": 0.20709387122468778, | |
| "learning_rate": 1.4563229086642538e-06, | |
| "loss": 0.3909, | |
| "step": 1068 | |
| }, | |
| { | |
| "epoch": 4.454166666666667, | |
| "grad_norm": 0.20894230163276878, | |
| "learning_rate": 1.4346076657038689e-06, | |
| "loss": 0.3883, | |
| "step": 1069 | |
| }, | |
| { | |
| "epoch": 4.458333333333333, | |
| "grad_norm": 0.2138093730895906, | |
| "learning_rate": 1.4130495154635494e-06, | |
| "loss": 0.3832, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 4.4625, | |
| "grad_norm": 0.21495693996906673, | |
| "learning_rate": 1.3916486403595108e-06, | |
| "loss": 0.3681, | |
| "step": 1071 | |
| }, | |
| { | |
| "epoch": 4.466666666666667, | |
| "grad_norm": 0.20257256679051186, | |
| "learning_rate": 1.3704052214771513e-06, | |
| "loss": 0.3782, | |
| "step": 1072 | |
| }, | |
| { | |
| "epoch": 4.470833333333333, | |
| "grad_norm": 0.20124849268912157, | |
| "learning_rate": 1.3493194385695608e-06, | |
| "loss": 0.3876, | |
| "step": 1073 | |
| }, | |
| { | |
| "epoch": 4.475, | |
| "grad_norm": 0.212851429442179, | |
| "learning_rate": 1.3283914700559675e-06, | |
| "loss": 0.3909, | |
| "step": 1074 | |
| }, | |
| { | |
| "epoch": 4.479166666666667, | |
| "grad_norm": 0.21873572396661103, | |
| "learning_rate": 1.3076214930202324e-06, | |
| "loss": 0.3777, | |
| "step": 1075 | |
| }, | |
| { | |
| "epoch": 4.483333333333333, | |
| "grad_norm": 0.2041131837033637, | |
| "learning_rate": 1.2870096832093726e-06, | |
| "loss": 0.3833, | |
| "step": 1076 | |
| }, | |
| { | |
| "epoch": 4.4875, | |
| "grad_norm": 0.2088455027749406, | |
| "learning_rate": 1.2665562150320487e-06, | |
| "loss": 0.3909, | |
| "step": 1077 | |
| }, | |
| { | |
| "epoch": 4.491666666666666, | |
| "grad_norm": 0.20515071811952848, | |
| "learning_rate": 1.2462612615571046e-06, | |
| "loss": 0.4034, | |
| "step": 1078 | |
| }, | |
| { | |
| "epoch": 4.495833333333334, | |
| "grad_norm": 0.20549966734220215, | |
| "learning_rate": 1.2261249945120922e-06, | |
| "loss": 0.3979, | |
| "step": 1079 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 0.25504437848899186, | |
| "learning_rate": 1.2061475842818337e-06, | |
| "loss": 0.4179, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 4.504166666666666, | |
| "grad_norm": 0.21497318054578451, | |
| "learning_rate": 1.1863291999069592e-06, | |
| "loss": 0.3716, | |
| "step": 1081 | |
| }, | |
| { | |
| "epoch": 4.508333333333333, | |
| "grad_norm": 0.20380853760441292, | |
| "learning_rate": 1.1666700090824956e-06, | |
| "loss": 0.388, | |
| "step": 1082 | |
| }, | |
| { | |
| "epoch": 4.5125, | |
| "grad_norm": 0.19834027441431143, | |
| "learning_rate": 1.1471701781564316e-06, | |
| "loss": 0.3931, | |
| "step": 1083 | |
| }, | |
| { | |
| "epoch": 4.516666666666667, | |
| "grad_norm": 0.20911548672338867, | |
| "learning_rate": 1.12782987212833e-06, | |
| "loss": 0.3958, | |
| "step": 1084 | |
| }, | |
| { | |
| "epoch": 4.520833333333333, | |
| "grad_norm": 0.2012388741839505, | |
| "learning_rate": 1.1086492546479065e-06, | |
| "loss": 0.3921, | |
| "step": 1085 | |
| }, | |
| { | |
| "epoch": 4.525, | |
| "grad_norm": 0.2079229548369675, | |
| "learning_rate": 1.0896284880136632e-06, | |
| "loss": 0.3716, | |
| "step": 1086 | |
| }, | |
| { | |
| "epoch": 4.529166666666667, | |
| "grad_norm": 0.20424381766082045, | |
| "learning_rate": 1.070767733171514e-06, | |
| "loss": 0.3964, | |
| "step": 1087 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 0.21255632877710418, | |
| "learning_rate": 1.052067149713416e-06, | |
| "loss": 0.3982, | |
| "step": 1088 | |
| }, | |
| { | |
| "epoch": 4.5375, | |
| "grad_norm": 0.20434569177173742, | |
| "learning_rate": 1.0335268958760135e-06, | |
| "loss": 0.3895, | |
| "step": 1089 | |
| }, | |
| { | |
| "epoch": 4.541666666666667, | |
| "grad_norm": 0.18798901633494672, | |
| "learning_rate": 1.0151471285393223e-06, | |
| "loss": 0.3962, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 4.545833333333333, | |
| "grad_norm": 0.1936049963564169, | |
| "learning_rate": 9.96928003225377e-07, | |
| "loss": 0.4045, | |
| "step": 1091 | |
| }, | |
| { | |
| "epoch": 4.55, | |
| "grad_norm": 0.20203295728983378, | |
| "learning_rate": 9.788696740969295e-07, | |
| "loss": 0.3936, | |
| "step": 1092 | |
| }, | |
| { | |
| "epoch": 4.554166666666667, | |
| "grad_norm": 0.21075047963997542, | |
| "learning_rate": 9.609722939561373e-07, | |
| "loss": 0.4077, | |
| "step": 1093 | |
| }, | |
| { | |
| "epoch": 4.558333333333334, | |
| "grad_norm": 0.20025213485931265, | |
| "learning_rate": 9.432360142432761e-07, | |
| "loss": 0.3984, | |
| "step": 1094 | |
| }, | |
| { | |
| "epoch": 4.5625, | |
| "grad_norm": 0.20861624138450827, | |
| "learning_rate": 9.256609850354636e-07, | |
| "loss": 0.385, | |
| "step": 1095 | |
| }, | |
| { | |
| "epoch": 4.566666666666666, | |
| "grad_norm": 0.1986348913181751, | |
| "learning_rate": 9.082473550453619e-07, | |
| "loss": 0.3945, | |
| "step": 1096 | |
| }, | |
| { | |
| "epoch": 4.570833333333333, | |
| "grad_norm": 0.2040299883665947, | |
| "learning_rate": 8.909952716199566e-07, | |
| "loss": 0.3908, | |
| "step": 1097 | |
| }, | |
| { | |
| "epoch": 4.575, | |
| "grad_norm": 0.20925989787685903, | |
| "learning_rate": 8.739048807392913e-07, | |
| "loss": 0.3889, | |
| "step": 1098 | |
| }, | |
| { | |
| "epoch": 4.579166666666667, | |
| "grad_norm": 0.21260259806578902, | |
| "learning_rate": 8.569763270152265e-07, | |
| "loss": 0.3844, | |
| "step": 1099 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 0.1999448636556535, | |
| "learning_rate": 8.402097536902221e-07, | |
| "loss": 0.3863, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 4.5875, | |
| "grad_norm": 0.21406689943428772, | |
| "learning_rate": 8.23605302636139e-07, | |
| "loss": 0.382, | |
| "step": 1101 | |
| }, | |
| { | |
| "epoch": 4.591666666666667, | |
| "grad_norm": 0.20643842033200374, | |
| "learning_rate": 8.071631143530178e-07, | |
| "loss": 0.3861, | |
| "step": 1102 | |
| }, | |
| { | |
| "epoch": 4.595833333333333, | |
| "grad_norm": 0.21371253059525183, | |
| "learning_rate": 7.908833279678885e-07, | |
| "loss": 0.3838, | |
| "step": 1103 | |
| }, | |
| { | |
| "epoch": 4.6, | |
| "grad_norm": 0.19898835007608578, | |
| "learning_rate": 7.747660812336221e-07, | |
| "loss": 0.4004, | |
| "step": 1104 | |
| }, | |
| { | |
| "epoch": 4.604166666666667, | |
| "grad_norm": 0.2178163266712195, | |
| "learning_rate": 7.588115105277372e-07, | |
| "loss": 0.3785, | |
| "step": 1105 | |
| }, | |
| { | |
| "epoch": 4.608333333333333, | |
| "grad_norm": 0.2071669502158122, | |
| "learning_rate": 7.430197508512482e-07, | |
| "loss": 0.384, | |
| "step": 1106 | |
| }, | |
| { | |
| "epoch": 4.6125, | |
| "grad_norm": 0.21176605958557895, | |
| "learning_rate": 7.273909358275411e-07, | |
| "loss": 0.381, | |
| "step": 1107 | |
| }, | |
| { | |
| "epoch": 4.616666666666667, | |
| "grad_norm": 0.2095391326166993, | |
| "learning_rate": 7.11925197701222e-07, | |
| "loss": 0.3796, | |
| "step": 1108 | |
| }, | |
| { | |
| "epoch": 4.620833333333334, | |
| "grad_norm": 0.20430319127354743, | |
| "learning_rate": 6.966226673370125e-07, | |
| "loss": 0.3811, | |
| "step": 1109 | |
| }, | |
| { | |
| "epoch": 4.625, | |
| "grad_norm": 0.1993122226870442, | |
| "learning_rate": 6.814834742186361e-07, | |
| "loss": 0.3971, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 4.629166666666666, | |
| "grad_norm": 0.21274137971906087, | |
| "learning_rate": 6.665077464477198e-07, | |
| "loss": 0.381, | |
| "step": 1111 | |
| }, | |
| { | |
| "epoch": 4.633333333333333, | |
| "grad_norm": 0.2045319580112074, | |
| "learning_rate": 6.516956107427241e-07, | |
| "loss": 0.4016, | |
| "step": 1112 | |
| }, | |
| { | |
| "epoch": 4.6375, | |
| "grad_norm": 0.209883369872557, | |
| "learning_rate": 6.370471924378474e-07, | |
| "loss": 0.3776, | |
| "step": 1113 | |
| }, | |
| { | |
| "epoch": 4.641666666666667, | |
| "grad_norm": 0.1974962395249034, | |
| "learning_rate": 6.225626154819852e-07, | |
| "loss": 0.3808, | |
| "step": 1114 | |
| }, | |
| { | |
| "epoch": 4.645833333333333, | |
| "grad_norm": 0.1953773456186481, | |
| "learning_rate": 6.082420024376801e-07, | |
| "loss": 0.397, | |
| "step": 1115 | |
| }, | |
| { | |
| "epoch": 4.65, | |
| "grad_norm": 0.1989701101330788, | |
| "learning_rate": 5.940854744800706e-07, | |
| "loss": 0.3919, | |
| "step": 1116 | |
| }, | |
| { | |
| "epoch": 4.654166666666667, | |
| "grad_norm": 0.1847503976930448, | |
| "learning_rate": 5.800931513958796e-07, | |
| "loss": 0.4142, | |
| "step": 1117 | |
| }, | |
| { | |
| "epoch": 4.658333333333333, | |
| "grad_norm": 0.22025459641944659, | |
| "learning_rate": 5.66265151582397e-07, | |
| "loss": 0.3872, | |
| "step": 1118 | |
| }, | |
| { | |
| "epoch": 4.6625, | |
| "grad_norm": 0.19558599631116597, | |
| "learning_rate": 5.526015920464689e-07, | |
| "loss": 0.4013, | |
| "step": 1119 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 0.2117082081755805, | |
| "learning_rate": 5.391025884035239e-07, | |
| "loss": 0.3826, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 4.670833333333333, | |
| "grad_norm": 0.19995363575332048, | |
| "learning_rate": 5.257682548765841e-07, | |
| "loss": 0.3813, | |
| "step": 1121 | |
| }, | |
| { | |
| "epoch": 4.675, | |
| "grad_norm": 0.20626949875404163, | |
| "learning_rate": 5.125987042952973e-07, | |
| "loss": 0.3879, | |
| "step": 1122 | |
| }, | |
| { | |
| "epoch": 4.679166666666667, | |
| "grad_norm": 0.2119702885500929, | |
| "learning_rate": 4.99594048094989e-07, | |
| "loss": 0.3768, | |
| "step": 1123 | |
| }, | |
| { | |
| "epoch": 4.683333333333334, | |
| "grad_norm": 0.1917072830112516, | |
| "learning_rate": 4.867543963157162e-07, | |
| "loss": 0.4001, | |
| "step": 1124 | |
| }, | |
| { | |
| "epoch": 4.6875, | |
| "grad_norm": 0.26874753769966464, | |
| "learning_rate": 4.740798576013328e-07, | |
| "loss": 0.398, | |
| "step": 1125 | |
| }, | |
| { | |
| "epoch": 4.691666666666666, | |
| "grad_norm": 0.20128968969089236, | |
| "learning_rate": 4.615705391985814e-07, | |
| "loss": 0.3934, | |
| "step": 1126 | |
| }, | |
| { | |
| "epoch": 4.695833333333333, | |
| "grad_norm": 0.19269748187606345, | |
| "learning_rate": 4.492265469561696e-07, | |
| "loss": 0.3996, | |
| "step": 1127 | |
| }, | |
| { | |
| "epoch": 4.7, | |
| "grad_norm": 0.2064375540922556, | |
| "learning_rate": 4.3704798532388624e-07, | |
| "loss": 0.3907, | |
| "step": 1128 | |
| }, | |
| { | |
| "epoch": 4.704166666666667, | |
| "grad_norm": 0.20691554687976574, | |
| "learning_rate": 4.2503495735171987e-07, | |
| "loss": 0.4026, | |
| "step": 1129 | |
| }, | |
| { | |
| "epoch": 4.708333333333333, | |
| "grad_norm": 0.20822981358466697, | |
| "learning_rate": 4.1318756468897047e-07, | |
| "loss": 0.3891, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 4.7125, | |
| "grad_norm": 0.20897013043342189, | |
| "learning_rate": 4.0150590758340826e-07, | |
| "loss": 0.3795, | |
| "step": 1131 | |
| }, | |
| { | |
| "epoch": 4.716666666666667, | |
| "grad_norm": 0.1968064393363428, | |
| "learning_rate": 3.899900848804139e-07, | |
| "loss": 0.383, | |
| "step": 1132 | |
| }, | |
| { | |
| "epoch": 4.720833333333333, | |
| "grad_norm": 0.20907077481732236, | |
| "learning_rate": 3.7864019402214845e-07, | |
| "loss": 0.3852, | |
| "step": 1133 | |
| }, | |
| { | |
| "epoch": 4.725, | |
| "grad_norm": 0.20181098073312845, | |
| "learning_rate": 3.674563310467205e-07, | |
| "loss": 0.3958, | |
| "step": 1134 | |
| }, | |
| { | |
| "epoch": 4.729166666666667, | |
| "grad_norm": 0.19666844511533138, | |
| "learning_rate": 3.5643859058738686e-07, | |
| "loss": 0.4072, | |
| "step": 1135 | |
| }, | |
| { | |
| "epoch": 4.733333333333333, | |
| "grad_norm": 0.21497564996763077, | |
| "learning_rate": 3.455870658717353e-07, | |
| "loss": 0.3698, | |
| "step": 1136 | |
| }, | |
| { | |
| "epoch": 4.7375, | |
| "grad_norm": 0.20684729753862982, | |
| "learning_rate": 3.349018487209099e-07, | |
| "loss": 0.3898, | |
| "step": 1137 | |
| }, | |
| { | |
| "epoch": 4.741666666666667, | |
| "grad_norm": 0.20865385580669296, | |
| "learning_rate": 3.2438302954882486e-07, | |
| "loss": 0.3901, | |
| "step": 1138 | |
| }, | |
| { | |
| "epoch": 4.745833333333334, | |
| "grad_norm": 0.19782644507072714, | |
| "learning_rate": 3.1403069736140715e-07, | |
| "loss": 0.3812, | |
| "step": 1139 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 0.19833433006240347, | |
| "learning_rate": 3.038449397558396e-07, | |
| "loss": 0.3938, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 4.754166666666666, | |
| "grad_norm": 0.20925531033059472, | |
| "learning_rate": 2.9382584291981265e-07, | |
| "loss": 0.4035, | |
| "step": 1141 | |
| }, | |
| { | |
| "epoch": 4.758333333333333, | |
| "grad_norm": 0.19412494052968784, | |
| "learning_rate": 2.839734916308068e-07, | |
| "loss": 0.3984, | |
| "step": 1142 | |
| }, | |
| { | |
| "epoch": 4.7625, | |
| "grad_norm": 0.20482762766790866, | |
| "learning_rate": 2.7428796925537127e-07, | |
| "loss": 0.3836, | |
| "step": 1143 | |
| }, | |
| { | |
| "epoch": 4.766666666666667, | |
| "grad_norm": 0.21061627000621963, | |
| "learning_rate": 2.647693577484156e-07, | |
| "loss": 0.3972, | |
| "step": 1144 | |
| }, | |
| { | |
| "epoch": 4.770833333333333, | |
| "grad_norm": 0.19599019840579426, | |
| "learning_rate": 2.554177376525191e-07, | |
| "loss": 0.3904, | |
| "step": 1145 | |
| }, | |
| { | |
| "epoch": 4.775, | |
| "grad_norm": 0.19316239172992322, | |
| "learning_rate": 2.462331880972468e-07, | |
| "loss": 0.3911, | |
| "step": 1146 | |
| }, | |
| { | |
| "epoch": 4.779166666666667, | |
| "grad_norm": 0.19835247649994242, | |
| "learning_rate": 2.3721578679848146e-07, | |
| "loss": 0.3998, | |
| "step": 1147 | |
| }, | |
| { | |
| "epoch": 4.783333333333333, | |
| "grad_norm": 0.20298068455378282, | |
| "learning_rate": 2.2836561005776803e-07, | |
| "loss": 0.3965, | |
| "step": 1148 | |
| }, | |
| { | |
| "epoch": 4.7875, | |
| "grad_norm": 0.20252255197368563, | |
| "learning_rate": 2.1968273276166352e-07, | |
| "loss": 0.3813, | |
| "step": 1149 | |
| }, | |
| { | |
| "epoch": 4.791666666666667, | |
| "grad_norm": 0.19602812185693308, | |
| "learning_rate": 2.111672283811106e-07, | |
| "loss": 0.4015, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 4.795833333333333, | |
| "grad_norm": 0.19757644835561847, | |
| "learning_rate": 2.0281916897080477e-07, | |
| "loss": 0.3849, | |
| "step": 1151 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 0.20288132300797618, | |
| "learning_rate": 1.9463862516859277e-07, | |
| "loss": 0.399, | |
| "step": 1152 | |
| }, | |
| { | |
| "epoch": 4.804166666666667, | |
| "grad_norm": 0.19453468645995778, | |
| "learning_rate": 1.8662566619487954e-07, | |
| "loss": 0.4107, | |
| "step": 1153 | |
| }, | |
| { | |
| "epoch": 4.808333333333334, | |
| "grad_norm": 0.21201523746540965, | |
| "learning_rate": 1.7878035985202657e-07, | |
| "loss": 0.39, | |
| "step": 1154 | |
| }, | |
| { | |
| "epoch": 4.8125, | |
| "grad_norm": 0.19081726845878005, | |
| "learning_rate": 1.7110277252379238e-07, | |
| "loss": 0.4039, | |
| "step": 1155 | |
| }, | |
| { | |
| "epoch": 4.816666666666666, | |
| "grad_norm": 0.20237658844604547, | |
| "learning_rate": 1.6359296917476619e-07, | |
| "loss": 0.3935, | |
| "step": 1156 | |
| }, | |
| { | |
| "epoch": 4.820833333333333, | |
| "grad_norm": 0.2184959014302634, | |
| "learning_rate": 1.5625101334981742e-07, | |
| "loss": 0.3855, | |
| "step": 1157 | |
| }, | |
| { | |
| "epoch": 4.825, | |
| "grad_norm": 0.20778549428603435, | |
| "learning_rate": 1.4907696717356035e-07, | |
| "loss": 0.3853, | |
| "step": 1158 | |
| }, | |
| { | |
| "epoch": 4.829166666666667, | |
| "grad_norm": 0.19149205793816979, | |
| "learning_rate": 1.4207089134982143e-07, | |
| "loss": 0.3882, | |
| "step": 1159 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 0.20518165977415728, | |
| "learning_rate": 1.3523284516113955e-07, | |
| "loss": 0.384, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 4.8375, | |
| "grad_norm": 0.19504892497211884, | |
| "learning_rate": 1.2856288646825087e-07, | |
| "loss": 0.3811, | |
| "step": 1161 | |
| }, | |
| { | |
| "epoch": 4.841666666666667, | |
| "grad_norm": 0.203712165452829, | |
| "learning_rate": 1.2206107170960046e-07, | |
| "loss": 0.3898, | |
| "step": 1162 | |
| }, | |
| { | |
| "epoch": 4.845833333333333, | |
| "grad_norm": 0.1959107836796987, | |
| "learning_rate": 1.1572745590087586e-07, | |
| "loss": 0.3892, | |
| "step": 1163 | |
| }, | |
| { | |
| "epoch": 4.85, | |
| "grad_norm": 0.1932746680712934, | |
| "learning_rate": 1.0956209263453421e-07, | |
| "loss": 0.3982, | |
| "step": 1164 | |
| }, | |
| { | |
| "epoch": 4.854166666666667, | |
| "grad_norm": 0.1942598007482467, | |
| "learning_rate": 1.0356503407934038e-07, | |
| "loss": 0.3941, | |
| "step": 1165 | |
| }, | |
| { | |
| "epoch": 4.858333333333333, | |
| "grad_norm": 0.19547774310726718, | |
| "learning_rate": 9.77363309799384e-08, | |
| "loss": 0.3991, | |
| "step": 1166 | |
| }, | |
| { | |
| "epoch": 4.8625, | |
| "grad_norm": 0.2069145818345087, | |
| "learning_rate": 9.207603265642296e-08, | |
| "loss": 0.3826, | |
| "step": 1167 | |
| }, | |
| { | |
| "epoch": 4.866666666666667, | |
| "grad_norm": 0.19859952239582304, | |
| "learning_rate": 8.658418700391302e-08, | |
| "loss": 0.3966, | |
| "step": 1168 | |
| }, | |
| { | |
| "epoch": 4.870833333333334, | |
| "grad_norm": 0.2002877890108048, | |
| "learning_rate": 8.126084049214334e-08, | |
| "loss": 0.3961, | |
| "step": 1169 | |
| }, | |
| { | |
| "epoch": 4.875, | |
| "grad_norm": 0.1994720798464499, | |
| "learning_rate": 7.61060381650891e-08, | |
| "loss": 0.3845, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 4.879166666666666, | |
| "grad_norm": 0.2021687724899969, | |
| "learning_rate": 7.111982364056857e-08, | |
| "loss": 0.3805, | |
| "step": 1171 | |
| }, | |
| { | |
| "epoch": 4.883333333333333, | |
| "grad_norm": 0.19145575266553533, | |
| "learning_rate": 6.630223910987887e-08, | |
| "loss": 0.3994, | |
| "step": 1172 | |
| }, | |
| { | |
| "epoch": 4.8875, | |
| "grad_norm": 0.2062532325132557, | |
| "learning_rate": 6.165332533744072e-08, | |
| "loss": 0.3735, | |
| "step": 1173 | |
| }, | |
| { | |
| "epoch": 4.891666666666667, | |
| "grad_norm": 0.19814071565964073, | |
| "learning_rate": 5.717312166045208e-08, | |
| "loss": 0.4078, | |
| "step": 1174 | |
| }, | |
| { | |
| "epoch": 4.895833333333333, | |
| "grad_norm": 0.19071689046769358, | |
| "learning_rate": 5.286166598855502e-08, | |
| "loss": 0.4021, | |
| "step": 1175 | |
| }, | |
| { | |
| "epoch": 4.9, | |
| "grad_norm": 0.19930971556082247, | |
| "learning_rate": 4.871899480351605e-08, | |
| "loss": 0.3907, | |
| "step": 1176 | |
| }, | |
| { | |
| "epoch": 4.904166666666667, | |
| "grad_norm": 0.19832556680555688, | |
| "learning_rate": 4.474514315891299e-08, | |
| "loss": 0.4049, | |
| "step": 1177 | |
| }, | |
| { | |
| "epoch": 4.908333333333333, | |
| "grad_norm": 0.1901957292417606, | |
| "learning_rate": 4.0940144679852963e-08, | |
| "loss": 0.3998, | |
| "step": 1178 | |
| }, | |
| { | |
| "epoch": 4.9125, | |
| "grad_norm": 0.2064164716597623, | |
| "learning_rate": 3.73040315626616e-08, | |
| "loss": 0.3884, | |
| "step": 1179 | |
| }, | |
| { | |
| "epoch": 4.916666666666667, | |
| "grad_norm": 0.1931001665012475, | |
| "learning_rate": 3.383683457463649e-08, | |
| "loss": 0.4044, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 4.920833333333333, | |
| "grad_norm": 0.1903418187956716, | |
| "learning_rate": 3.053858305377411e-08, | |
| "loss": 0.3987, | |
| "step": 1181 | |
| }, | |
| { | |
| "epoch": 4.925, | |
| "grad_norm": 0.1939799623343075, | |
| "learning_rate": 2.740930490852334e-08, | |
| "loss": 0.3925, | |
| "step": 1182 | |
| }, | |
| { | |
| "epoch": 4.929166666666667, | |
| "grad_norm": 0.19189458642729995, | |
| "learning_rate": 2.4449026617547887e-08, | |
| "loss": 0.4001, | |
| "step": 1183 | |
| }, | |
| { | |
| "epoch": 4.933333333333334, | |
| "grad_norm": 0.20218100414574042, | |
| "learning_rate": 2.1657773229508684e-08, | |
| "loss": 0.3888, | |
| "step": 1184 | |
| }, | |
| { | |
| "epoch": 4.9375, | |
| "grad_norm": 0.20461781766636453, | |
| "learning_rate": 1.9035568362844037e-08, | |
| "loss": 0.3909, | |
| "step": 1185 | |
| }, | |
| { | |
| "epoch": 4.941666666666666, | |
| "grad_norm": 0.18999406466543975, | |
| "learning_rate": 1.658243420557426e-08, | |
| "loss": 0.4057, | |
| "step": 1186 | |
| }, | |
| { | |
| "epoch": 4.945833333333333, | |
| "grad_norm": 0.20130098863174897, | |
| "learning_rate": 1.42983915151107e-08, | |
| "loss": 0.3865, | |
| "step": 1187 | |
| }, | |
| { | |
| "epoch": 4.95, | |
| "grad_norm": 0.198222739286373, | |
| "learning_rate": 1.2183459618084759e-08, | |
| "loss": 0.3896, | |
| "step": 1188 | |
| }, | |
| { | |
| "epoch": 4.954166666666667, | |
| "grad_norm": 0.20258128719704255, | |
| "learning_rate": 1.0237656410181374e-08, | |
| "loss": 0.3893, | |
| "step": 1189 | |
| }, | |
| { | |
| "epoch": 4.958333333333333, | |
| "grad_norm": 0.18787114374679498, | |
| "learning_rate": 8.460998355988014e-09, | |
| "loss": 0.4016, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 4.9625, | |
| "grad_norm": 0.19551146693242125, | |
| "learning_rate": 6.853500488854803e-09, | |
| "loss": 0.3937, | |
| "step": 1191 | |
| }, | |
| { | |
| "epoch": 4.966666666666667, | |
| "grad_norm": 0.19986871599429382, | |
| "learning_rate": 5.415176410765721e-09, | |
| "loss": 0.3893, | |
| "step": 1192 | |
| }, | |
| { | |
| "epoch": 4.970833333333333, | |
| "grad_norm": 0.1938529642818471, | |
| "learning_rate": 4.1460382922320355e-09, | |
| "loss": 0.3935, | |
| "step": 1193 | |
| }, | |
| { | |
| "epoch": 4.975, | |
| "grad_norm": 0.1968794371510558, | |
| "learning_rate": 3.0460968721746086e-09, | |
| "loss": 0.386, | |
| "step": 1194 | |
| }, | |
| { | |
| "epoch": 4.979166666666667, | |
| "grad_norm": 0.19892683279876672, | |
| "learning_rate": 2.1153614578506286e-09, | |
| "loss": 0.3837, | |
| "step": 1195 | |
| }, | |
| { | |
| "epoch": 4.983333333333333, | |
| "grad_norm": 0.19296848309206177, | |
| "learning_rate": 1.3538399247559064e-09, | |
| "loss": 0.4026, | |
| "step": 1196 | |
| }, | |
| { | |
| "epoch": 4.9875, | |
| "grad_norm": 0.20733749638655838, | |
| "learning_rate": 7.615387165738065e-10, | |
| "loss": 0.3893, | |
| "step": 1197 | |
| }, | |
| { | |
| "epoch": 4.991666666666667, | |
| "grad_norm": 0.20107927929139305, | |
| "learning_rate": 3.384628451152949e-10, | |
| "loss": 0.3933, | |
| "step": 1198 | |
| }, | |
| { | |
| "epoch": 4.995833333333334, | |
| "grad_norm": 0.19991479070961304, | |
| "learning_rate": 8.461589027453087e-11, | |
| "loss": 0.3833, | |
| "step": 1199 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 0.2048210414699777, | |
| "learning_rate": 0.0, | |
| "loss": 0.3754, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "step": 1200, | |
| "total_flos": 4.616590531240133e+18, | |
| "train_loss": 0.5000174347062906, | |
| "train_runtime": 28765.5268, | |
| "train_samples_per_second": 5.337, | |
| "train_steps_per_second": 0.042 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 1200, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.616590531240133e+18, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |