| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.9946666666666668, |
| "eval_steps": 500, |
| "global_step": 374, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 2.9413187503814697, |
| "learning_rate": 0.0, |
| "loss": 0.4429, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 2.446303129196167, |
| "learning_rate": 7.525749891599529e-06, |
| "loss": 0.3432, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 2.5631747245788574, |
| "learning_rate": 1.192803136799156e-05, |
| "loss": 0.2816, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 1.3190467357635498, |
| "learning_rate": 1.5051499783199057e-05, |
| "loss": 0.1846, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 1.2335262298583984, |
| "learning_rate": 1.7474250108400467e-05, |
| "loss": 0.0968, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 0.7208054065704346, |
| "learning_rate": 1.945378125959109e-05, |
| "loss": 0.0681, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 0.690483033657074, |
| "learning_rate": 2.1127451000356418e-05, |
| "loss": 0.0648, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 0.4134688377380371, |
| "learning_rate": 2.2577249674798584e-05, |
| "loss": 0.0361, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 0.4609494209289551, |
| "learning_rate": 2.385606273598312e-05, |
| "loss": 0.0328, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.2978796362876892, |
| "learning_rate": 2.4999999999999998e-05, |
| "loss": 0.0208, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.324186772108078, |
| "learning_rate": 2.6034817128955623e-05, |
| "loss": 0.0182, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.23935289680957794, |
| "learning_rate": 2.6979531151190617e-05, |
| "loss": 0.0131, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 0.2540365755558014, |
| "learning_rate": 2.7848583807670913e-05, |
| "loss": 0.0125, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 0.24316681921482086, |
| "learning_rate": 2.8653200891955945e-05, |
| "loss": 0.012, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.26236456632614136, |
| "learning_rate": 2.940228147639203e-05, |
| "loss": 0.0102, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 0.3058443069458008, |
| "learning_rate": 3.0102999566398115e-05, |
| "loss": 0.0086, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 0.3217167854309082, |
| "learning_rate": 3.076122303445685e-05, |
| "loss": 0.0093, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 0.2659943997859955, |
| "learning_rate": 3.1381812627582646e-05, |
| "loss": 0.009, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 0.6819332838058472, |
| "learning_rate": 3.1968840023820715e-05, |
| "loss": 0.0154, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 1.1675225496292114, |
| "learning_rate": 3.2525749891599525e-05, |
| "loss": 0.0103, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 0.4382905066013336, |
| "learning_rate": 3.305548236834798e-05, |
| "loss": 0.0106, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 0.7392712235450745, |
| "learning_rate": 3.3560567020555153e-05, |
| "loss": 0.0102, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 0.38396182656288147, |
| "learning_rate": 3.404319590043982e-05, |
| "loss": 0.0107, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.6184232234954834, |
| "learning_rate": 3.450528104279015e-05, |
| "loss": 0.0138, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.7903351783752441, |
| "learning_rate": 3.4948500216800935e-05, |
| "loss": 0.0114, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 0.34555312991142273, |
| "learning_rate": 3.537433369927044e-05, |
| "loss": 0.0153, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 0.3668071925640106, |
| "learning_rate": 3.578409410397468e-05, |
| "loss": 0.0134, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.36643746495246887, |
| "learning_rate": 3.6178950783555475e-05, |
| "loss": 0.0094, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 0.28532880544662476, |
| "learning_rate": 3.65599499474739e-05, |
| "loss": 0.0069, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.6890357732772827, |
| "learning_rate": 3.6928031367991554e-05, |
| "loss": 0.0098, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 0.14323797821998596, |
| "learning_rate": 3.728404234585681e-05, |
| "loss": 0.0043, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.20452919602394104, |
| "learning_rate": 3.762874945799765e-05, |
| "loss": 0.0042, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 0.42185941338539124, |
| "learning_rate": 3.796284849694718e-05, |
| "loss": 0.0074, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 0.19324161112308502, |
| "learning_rate": 3.8286972926056376e-05, |
| "loss": 0.0047, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.243539959192276, |
| "learning_rate": 3.8601701108756885e-05, |
| "loss": 0.0061, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.2372148483991623, |
| "learning_rate": 3.890756251918218e-05, |
| "loss": 0.0076, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 0.216740682721138, |
| "learning_rate": 3.920504310167487e-05, |
| "loss": 0.0059, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 0.688544750213623, |
| "learning_rate": 3.949458991542025e-05, |
| "loss": 0.004, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 0.9698823094367981, |
| "learning_rate": 3.977661517566247e-05, |
| "loss": 0.01, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.2954489290714264, |
| "learning_rate": 4.005149978319905e-05, |
| "loss": 0.0049, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 0.22238951921463013, |
| "learning_rate": 4.031959641799338e-05, |
| "loss": 0.0075, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 0.7678313255310059, |
| "learning_rate": 4.058123225994751e-05, |
| "loss": 0.0088, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 2.2891924381256104, |
| "learning_rate": 4.0836711389489654e-05, |
| "loss": 0.0187, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.1324312686920166, |
| "learning_rate": 4.108631691215468e-05, |
| "loss": 0.0016, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.32060351967811584, |
| "learning_rate": 4.133031284438358e-05, |
| "loss": 0.0041, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.6070859432220459, |
| "learning_rate": 4.156894579203935e-05, |
| "loss": 0.0081, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 0.16598281264305115, |
| "learning_rate": 4.180244644839293e-05, |
| "loss": 0.0044, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.7388269901275635, |
| "learning_rate": 4.203103093438968e-05, |
| "loss": 0.0109, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 0.1603352576494217, |
| "learning_rate": 4.2254902000712836e-05, |
| "loss": 0.0041, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.29616779088974, |
| "learning_rate": 4.247425010840046e-05, |
| "loss": 0.0037, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 0.7053483724594116, |
| "learning_rate": 4.2689254402448405e-05, |
| "loss": 0.0047, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.1470181792974472, |
| "learning_rate": 4.290008359086998e-05, |
| "loss": 0.0032, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 0.18102477490901947, |
| "learning_rate": 4.310689674001973e-05, |
| "loss": 0.0037, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.2504118084907532, |
| "learning_rate": 4.330984399557421e-05, |
| "loss": 0.0077, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.29302382469177246, |
| "learning_rate": 4.350906723735609e-05, |
| "loss": 0.0034, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.24058617651462555, |
| "learning_rate": 4.370470067515501e-05, |
| "loss": 0.006, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 0.3615986406803131, |
| "learning_rate": 4.3896871391812285e-05, |
| "loss": 0.0058, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 0.2254834622144699, |
| "learning_rate": 4.408569983907343e-05, |
| "loss": 0.0038, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 0.22524742782115936, |
| "learning_rate": 4.42713002910536e-05, |
| "loss": 0.004, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.19852247834205627, |
| "learning_rate": 4.445378125959108e-05, |
| "loss": 0.0062, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 0.06762774288654327, |
| "learning_rate": 4.463324587526917e-05, |
| "loss": 0.0019, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.18688730895519257, |
| "learning_rate": 4.4809792237456346e-05, |
| "loss": 0.0054, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 0.243905171751976, |
| "learning_rate": 4.498351373633954e-05, |
| "loss": 0.0046, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.2549966871738434, |
| "learning_rate": 4.515449934959717e-05, |
| "loss": 0.0067, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 0.18205155432224274, |
| "learning_rate": 4.532283391607138e-05, |
| "loss": 0.005, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.1726597249507904, |
| "learning_rate": 4.548859838854671e-05, |
| "loss": 0.0013, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 0.14692839980125427, |
| "learning_rate": 4.565187006752065e-05, |
| "loss": 0.0037, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.10036856681108475, |
| "learning_rate": 4.581272281765591e-05, |
| "loss": 0.0012, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 0.24854883551597595, |
| "learning_rate": 4.597122726843138e-05, |
| "loss": 0.0034, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 0.6048113107681274, |
| "learning_rate": 4.612745100035642e-05, |
| "loss": 0.0072, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 0.0997704416513443, |
| "learning_rate": 4.628145871797688e-05, |
| "loss": 0.0025, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.4034624695777893, |
| "learning_rate": 4.643331241078171e-05, |
| "loss": 0.0018, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 0.21421776711940765, |
| "learning_rate": 4.658307150301139e-05, |
| "loss": 0.0061, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 0.4393751919269562, |
| "learning_rate": 4.67307929932744e-05, |
| "loss": 0.0048, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.0990038812160492, |
| "learning_rate": 4.687653158479249e-05, |
| "loss": 0.0037, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.31288838386535645, |
| "learning_rate": 4.702033980701978e-05, |
| "loss": 0.0024, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 0.17511579394340515, |
| "learning_rate": 4.716226812931204e-05, |
| "loss": 0.0027, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 0.4094139635562897, |
| "learning_rate": 4.7302365067262006e-05, |
| "loss": 0.0053, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 0.2607367932796478, |
| "learning_rate": 4.744067728226103e-05, |
| "loss": 0.006, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.04099046811461449, |
| "learning_rate": 4.757724967479858e-05, |
| "loss": 0.0005, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 0.06899389624595642, |
| "learning_rate": 4.771212547196624e-05, |
| "loss": 0.001, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.23175401985645294, |
| "learning_rate": 4.7845346309592914e-05, |
| "loss": 0.004, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 0.14652466773986816, |
| "learning_rate": 4.7976952309401844e-05, |
| "loss": 0.003, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.22168171405792236, |
| "learning_rate": 4.810698215154703e-05, |
| "loss": 0.0018, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 0.1058434471487999, |
| "learning_rate": 4.823547314285732e-05, |
| "loss": 0.0013, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 0.0505114309489727, |
| "learning_rate": 4.836246128108918e-05, |
| "loss": 0.0006, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 0.08828063309192657, |
| "learning_rate": 4.8487981315465456e-05, |
| "loss": 0.0005, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.03805112466216087, |
| "learning_rate": 4.8612066803754214e-05, |
| "loss": 0.0005, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 0.23209308087825775, |
| "learning_rate": 4.873475016612281e-05, |
| "loss": 0.0019, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.09479185938835144, |
| "learning_rate": 4.885606273598312e-05, |
| "loss": 0.0014, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 0.23439030349254608, |
| "learning_rate": 4.897603480802733e-05, |
| "loss": 0.0043, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.06992974132299423, |
| "learning_rate": 4.909469568363888e-05, |
| "loss": 0.0005, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 0.2401672601699829, |
| "learning_rate": 4.9212073713848375e-05, |
| "loss": 0.002, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.023669244721531868, |
| "learning_rate": 4.932819633999246e-05, |
| "loss": 0.0002, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 0.16149063408374786, |
| "learning_rate": 4.9443090132221186e-05, |
| "loss": 0.0007, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.13521939516067505, |
| "learning_rate": 4.9556780825989205e-05, |
| "loss": 0.0015, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 0.16658346354961395, |
| "learning_rate": 4.9669293356656114e-05, |
| "loss": 0.0023, |
| "step": 97 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.20741115510463715, |
| "learning_rate": 4.978065189231237e-05, |
| "loss": 0.0023, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 0.5959545969963074, |
| "learning_rate": 4.989087986493874e-05, |
| "loss": 0.0026, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 1.0525498390197754, |
| "learning_rate": 4.9999999999999996e-05, |
| "loss": 0.0024, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 0.49121907353401184, |
| "learning_rate": 5e-05, |
| "loss": 0.0068, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 0.1075739711523056, |
| "learning_rate": 4.981751824817518e-05, |
| "loss": 0.0032, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 0.47708404064178467, |
| "learning_rate": 4.963503649635037e-05, |
| "loss": 0.0063, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.8345000743865967, |
| "learning_rate": 4.945255474452555e-05, |
| "loss": 0.0108, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.5016416311264038, |
| "learning_rate": 4.927007299270073e-05, |
| "loss": 0.0106, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 0.2646836042404175, |
| "learning_rate": 4.908759124087591e-05, |
| "loss": 0.0031, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 0.2920669913291931, |
| "learning_rate": 4.89051094890511e-05, |
| "loss": 0.005, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.29464277625083923, |
| "learning_rate": 4.872262773722628e-05, |
| "loss": 0.0031, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 0.1755901575088501, |
| "learning_rate": 4.854014598540147e-05, |
| "loss": 0.0026, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.16949675977230072, |
| "learning_rate": 4.835766423357664e-05, |
| "loss": 0.0022, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 0.11515118926763535, |
| "learning_rate": 4.817518248175183e-05, |
| "loss": 0.0018, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.15377497673034668, |
| "learning_rate": 4.799270072992701e-05, |
| "loss": 0.0015, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 0.13871601223945618, |
| "learning_rate": 4.7810218978102196e-05, |
| "loss": 0.0025, |
| "step": 113 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 0.1464899629354477, |
| "learning_rate": 4.762773722627738e-05, |
| "loss": 0.0026, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.2561844289302826, |
| "learning_rate": 4.744525547445256e-05, |
| "loss": 0.003, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.060167670249938965, |
| "learning_rate": 4.726277372262774e-05, |
| "loss": 0.0008, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 0.24895896017551422, |
| "learning_rate": 4.708029197080292e-05, |
| "loss": 0.0054, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 0.25536859035491943, |
| "learning_rate": 4.6897810218978106e-05, |
| "loss": 0.0041, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 0.11634501814842224, |
| "learning_rate": 4.6715328467153287e-05, |
| "loss": 0.0017, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.0891045480966568, |
| "learning_rate": 4.6532846715328474e-05, |
| "loss": 0.0027, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 0.22870613634586334, |
| "learning_rate": 4.635036496350365e-05, |
| "loss": 0.0025, |
| "step": 121 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 0.16444182395935059, |
| "learning_rate": 4.6167883211678835e-05, |
| "loss": 0.0018, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 0.736554741859436, |
| "learning_rate": 4.5985401459854016e-05, |
| "loss": 0.0035, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 0.07803163677453995, |
| "learning_rate": 4.58029197080292e-05, |
| "loss": 0.0011, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.23748189210891724, |
| "learning_rate": 4.5620437956204383e-05, |
| "loss": 0.0028, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 0.21093794703483582, |
| "learning_rate": 4.5437956204379564e-05, |
| "loss": 0.0072, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 0.15632648766040802, |
| "learning_rate": 4.5255474452554745e-05, |
| "loss": 0.0034, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.16710951924324036, |
| "learning_rate": 4.5072992700729925e-05, |
| "loss": 0.0034, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 0.42606690526008606, |
| "learning_rate": 4.489051094890511e-05, |
| "loss": 0.0057, |
| "step": 129 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.2917795777320862, |
| "learning_rate": 4.470802919708029e-05, |
| "loss": 0.004, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 0.20603737235069275, |
| "learning_rate": 4.452554744525548e-05, |
| "loss": 0.0038, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.13243572413921356, |
| "learning_rate": 4.434306569343066e-05, |
| "loss": 0.0016, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 0.09980319440364838, |
| "learning_rate": 4.416058394160584e-05, |
| "loss": 0.002, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 0.030429158359766006, |
| "learning_rate": 4.397810218978102e-05, |
| "loss": 0.0006, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.14878709614276886, |
| "learning_rate": 4.379562043795621e-05, |
| "loss": 0.0009, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.06722039729356766, |
| "learning_rate": 4.361313868613139e-05, |
| "loss": 0.0014, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 0.15758465230464935, |
| "learning_rate": 4.343065693430657e-05, |
| "loss": 0.0016, |
| "step": 137 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 0.09762876480817795, |
| "learning_rate": 4.324817518248175e-05, |
| "loss": 0.0007, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 0.07396102696657181, |
| "learning_rate": 4.306569343065693e-05, |
| "loss": 0.001, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.07269494980573654, |
| "learning_rate": 4.288321167883212e-05, |
| "loss": 0.0008, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 0.026683906093239784, |
| "learning_rate": 4.27007299270073e-05, |
| "loss": 0.0003, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 0.08903524279594421, |
| "learning_rate": 4.251824817518249e-05, |
| "loss": 0.0017, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 0.11091341078281403, |
| "learning_rate": 4.233576642335767e-05, |
| "loss": 0.0031, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 0.05621659755706787, |
| "learning_rate": 4.215328467153285e-05, |
| "loss": 0.0004, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.04461882263422012, |
| "learning_rate": 4.197080291970803e-05, |
| "loss": 0.0004, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 0.035506390035152435, |
| "learning_rate": 4.1788321167883216e-05, |
| "loss": 0.0003, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 0.11772796511650085, |
| "learning_rate": 4.16058394160584e-05, |
| "loss": 0.0018, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 0.024260057136416435, |
| "learning_rate": 4.1423357664233584e-05, |
| "loss": 0.0005, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 0.07729806751012802, |
| "learning_rate": 4.124087591240876e-05, |
| "loss": 0.0026, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.1422155350446701, |
| "learning_rate": 4.1058394160583945e-05, |
| "loss": 0.0005, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 0.23396533727645874, |
| "learning_rate": 4.0875912408759126e-05, |
| "loss": 0.0016, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.05502787232398987, |
| "learning_rate": 4.0693430656934306e-05, |
| "loss": 0.0004, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 0.07522756606340408, |
| "learning_rate": 4.0510948905109494e-05, |
| "loss": 0.0008, |
| "step": 153 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 0.060790009796619415, |
| "learning_rate": 4.0328467153284674e-05, |
| "loss": 0.0003, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.06975127011537552, |
| "learning_rate": 4.0145985401459855e-05, |
| "loss": 0.0002, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 0.040823861956596375, |
| "learning_rate": 3.9963503649635035e-05, |
| "loss": 0.0002, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 0.0562555305659771, |
| "learning_rate": 3.978102189781022e-05, |
| "loss": 0.0003, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 0.009089924395084381, |
| "learning_rate": 3.95985401459854e-05, |
| "loss": 0.0001, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 0.13992078602313995, |
| "learning_rate": 3.941605839416059e-05, |
| "loss": 0.0005, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.050887301564216614, |
| "learning_rate": 3.9233576642335764e-05, |
| "loss": 0.0002, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 0.12812073528766632, |
| "learning_rate": 3.905109489051095e-05, |
| "loss": 0.0014, |
| "step": 161 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 0.07695231586694717, |
| "learning_rate": 3.886861313868613e-05, |
| "loss": 0.0003, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 0.012387621216475964, |
| "learning_rate": 3.868613138686132e-05, |
| "loss": 0.0, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.04443414509296417, |
| "learning_rate": 3.85036496350365e-05, |
| "loss": 0.0002, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.025295278057456017, |
| "learning_rate": 3.832116788321168e-05, |
| "loss": 0.0001, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 0.0721285492181778, |
| "learning_rate": 3.813868613138686e-05, |
| "loss": 0.0002, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 0.24604493379592896, |
| "learning_rate": 3.795620437956204e-05, |
| "loss": 0.0003, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.07480332255363464, |
| "learning_rate": 3.777372262773723e-05, |
| "loss": 0.0006, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 0.06691287457942963, |
| "learning_rate": 3.759124087591241e-05, |
| "loss": 0.0004, |
| "step": 169 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.006208790000528097, |
| "learning_rate": 3.74087591240876e-05, |
| "loss": 0.0, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 0.22023215889930725, |
| "learning_rate": 3.722627737226278e-05, |
| "loss": 0.0019, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.01856170780956745, |
| "learning_rate": 3.704379562043796e-05, |
| "loss": 0.0, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 0.13964107632637024, |
| "learning_rate": 3.686131386861314e-05, |
| "loss": 0.0007, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 0.14954520761966705, |
| "learning_rate": 3.6678832116788326e-05, |
| "loss": 0.0027, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.15485315024852753, |
| "learning_rate": 3.649635036496351e-05, |
| "loss": 0.0015, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.07000021636486053, |
| "learning_rate": 3.631386861313869e-05, |
| "loss": 0.0005, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 0.02640976756811142, |
| "learning_rate": 3.613138686131387e-05, |
| "loss": 0.0007, |
| "step": 177 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 0.03009864129126072, |
| "learning_rate": 3.594890510948905e-05, |
| "loss": 0.0002, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 0.009256584569811821, |
| "learning_rate": 3.5766423357664236e-05, |
| "loss": 0.0, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.004564735107123852, |
| "learning_rate": 3.5583941605839416e-05, |
| "loss": 0.0, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 0.02988441474735737, |
| "learning_rate": 3.5401459854014604e-05, |
| "loss": 0.0002, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 0.07743508368730545, |
| "learning_rate": 3.5218978102189784e-05, |
| "loss": 0.0019, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 0.3144683241844177, |
| "learning_rate": 3.5036496350364965e-05, |
| "loss": 0.0012, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.033418331295251846, |
| "learning_rate": 3.4854014598540145e-05, |
| "loss": 0.0003, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.08263418823480606, |
| "learning_rate": 3.467153284671533e-05, |
| "loss": 0.0004, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 0.0285032968968153, |
| "learning_rate": 3.448905109489051e-05, |
| "loss": 0.0001, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 0.04995943233370781, |
| "learning_rate": 3.43065693430657e-05, |
| "loss": 0.0014, |
| "step": 187 |
| }, |
| { |
| "epoch": 1.0026666666666666, |
| "grad_norm": 0.4158555567264557, |
| "learning_rate": 3.4124087591240875e-05, |
| "loss": 0.0069, |
| "step": 188 |
| }, |
| { |
| "epoch": 1.008, |
| "grad_norm": 0.005976259242743254, |
| "learning_rate": 3.3941605839416055e-05, |
| "loss": 0.0, |
| "step": 189 |
| }, |
| { |
| "epoch": 1.0133333333333334, |
| "grad_norm": 1.0074442625045776, |
| "learning_rate": 3.375912408759124e-05, |
| "loss": 0.003, |
| "step": 190 |
| }, |
| { |
| "epoch": 1.0186666666666666, |
| "grad_norm": 0.07213623821735382, |
| "learning_rate": 3.357664233576642e-05, |
| "loss": 0.0013, |
| "step": 191 |
| }, |
| { |
| "epoch": 1.024, |
| "grad_norm": 0.25851497054100037, |
| "learning_rate": 3.339416058394161e-05, |
| "loss": 0.0085, |
| "step": 192 |
| }, |
| { |
| "epoch": 1.0293333333333334, |
| "grad_norm": 0.2206096351146698, |
| "learning_rate": 3.321167883211679e-05, |
| "loss": 0.0062, |
| "step": 193 |
| }, |
| { |
| "epoch": 1.0346666666666666, |
| "grad_norm": 0.15963461995124817, |
| "learning_rate": 3.302919708029197e-05, |
| "loss": 0.0027, |
| "step": 194 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 0.0987771525979042, |
| "learning_rate": 3.284671532846715e-05, |
| "loss": 0.0025, |
| "step": 195 |
| }, |
| { |
| "epoch": 1.0453333333333332, |
| "grad_norm": 0.22656488418579102, |
| "learning_rate": 3.266423357664234e-05, |
| "loss": 0.0041, |
| "step": 196 |
| }, |
| { |
| "epoch": 1.0506666666666666, |
| "grad_norm": 0.09620988368988037, |
| "learning_rate": 3.248175182481752e-05, |
| "loss": 0.002, |
| "step": 197 |
| }, |
| { |
| "epoch": 1.056, |
| "grad_norm": 0.1066923439502716, |
| "learning_rate": 3.229927007299271e-05, |
| "loss": 0.0014, |
| "step": 198 |
| }, |
| { |
| "epoch": 1.0613333333333332, |
| "grad_norm": 0.11614212393760681, |
| "learning_rate": 3.211678832116788e-05, |
| "loss": 0.0033, |
| "step": 199 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 0.08868183195590973, |
| "learning_rate": 3.193430656934307e-05, |
| "loss": 0.0021, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.072, |
| "grad_norm": 0.1411479264497757, |
| "learning_rate": 3.175182481751825e-05, |
| "loss": 0.0028, |
| "step": 201 |
| }, |
| { |
| "epoch": 1.0773333333333333, |
| "grad_norm": 0.09516854584217072, |
| "learning_rate": 3.156934306569343e-05, |
| "loss": 0.0018, |
| "step": 202 |
| }, |
| { |
| "epoch": 1.0826666666666667, |
| "grad_norm": 0.13133355975151062, |
| "learning_rate": 3.138686131386862e-05, |
| "loss": 0.0023, |
| "step": 203 |
| }, |
| { |
| "epoch": 1.088, |
| "grad_norm": 0.07525645196437836, |
| "learning_rate": 3.12043795620438e-05, |
| "loss": 0.0006, |
| "step": 204 |
| }, |
| { |
| "epoch": 1.0933333333333333, |
| "grad_norm": 0.01906648278236389, |
| "learning_rate": 3.102189781021898e-05, |
| "loss": 0.0004, |
| "step": 205 |
| }, |
| { |
| "epoch": 1.0986666666666667, |
| "grad_norm": 0.039688821882009506, |
| "learning_rate": 3.083941605839416e-05, |
| "loss": 0.0015, |
| "step": 206 |
| }, |
| { |
| "epoch": 1.104, |
| "grad_norm": 0.16845063865184784, |
| "learning_rate": 3.0656934306569346e-05, |
| "loss": 0.0009, |
| "step": 207 |
| }, |
| { |
| "epoch": 1.1093333333333333, |
| "grad_norm": 0.09683395177125931, |
| "learning_rate": 3.0474452554744527e-05, |
| "loss": 0.0006, |
| "step": 208 |
| }, |
| { |
| "epoch": 1.1146666666666667, |
| "grad_norm": 0.10101410746574402, |
| "learning_rate": 3.029197080291971e-05, |
| "loss": 0.0012, |
| "step": 209 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 0.023283949121832848, |
| "learning_rate": 3.010948905109489e-05, |
| "loss": 0.0004, |
| "step": 210 |
| }, |
| { |
| "epoch": 1.1253333333333333, |
| "grad_norm": 0.0136113241314888, |
| "learning_rate": 2.992700729927008e-05, |
| "loss": 0.0002, |
| "step": 211 |
| }, |
| { |
| "epoch": 1.1306666666666667, |
| "grad_norm": 0.01744314469397068, |
| "learning_rate": 2.9744525547445256e-05, |
| "loss": 0.0002, |
| "step": 212 |
| }, |
| { |
| "epoch": 1.1360000000000001, |
| "grad_norm": 0.11486854404211044, |
| "learning_rate": 2.9562043795620443e-05, |
| "loss": 0.0005, |
| "step": 213 |
| }, |
| { |
| "epoch": 1.1413333333333333, |
| "grad_norm": 0.014912755228579044, |
| "learning_rate": 2.9379562043795624e-05, |
| "loss": 0.0001, |
| "step": 214 |
| }, |
| { |
| "epoch": 1.1466666666666667, |
| "grad_norm": 0.06912944465875626, |
| "learning_rate": 2.91970802919708e-05, |
| "loss": 0.0009, |
| "step": 215 |
| }, |
| { |
| "epoch": 1.152, |
| "grad_norm": 0.016298551112413406, |
| "learning_rate": 2.9014598540145988e-05, |
| "loss": 0.0001, |
| "step": 216 |
| }, |
| { |
| "epoch": 1.1573333333333333, |
| "grad_norm": 0.05211088806390762, |
| "learning_rate": 2.883211678832117e-05, |
| "loss": 0.0005, |
| "step": 217 |
| }, |
| { |
| "epoch": 1.1626666666666667, |
| "grad_norm": 0.11012383550405502, |
| "learning_rate": 2.8649635036496353e-05, |
| "loss": 0.0006, |
| "step": 218 |
| }, |
| { |
| "epoch": 1.168, |
| "grad_norm": 0.04871580749750137, |
| "learning_rate": 2.8467153284671533e-05, |
| "loss": 0.0003, |
| "step": 219 |
| }, |
| { |
| "epoch": 1.1733333333333333, |
| "grad_norm": 0.021775316447019577, |
| "learning_rate": 2.8284671532846717e-05, |
| "loss": 0.0002, |
| "step": 220 |
| }, |
| { |
| "epoch": 1.1786666666666668, |
| "grad_norm": 0.07081250846385956, |
| "learning_rate": 2.8102189781021898e-05, |
| "loss": 0.001, |
| "step": 221 |
| }, |
| { |
| "epoch": 1.184, |
| "grad_norm": 0.025569811463356018, |
| "learning_rate": 2.7919708029197085e-05, |
| "loss": 0.0011, |
| "step": 222 |
| }, |
| { |
| "epoch": 1.1893333333333334, |
| "grad_norm": 0.00547533156350255, |
| "learning_rate": 2.7737226277372262e-05, |
| "loss": 0.0001, |
| "step": 223 |
| }, |
| { |
| "epoch": 1.1946666666666665, |
| "grad_norm": 0.013466394506394863, |
| "learning_rate": 2.755474452554745e-05, |
| "loss": 0.0001, |
| "step": 224 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.10368271917104721, |
| "learning_rate": 2.737226277372263e-05, |
| "loss": 0.0003, |
| "step": 225 |
| }, |
| { |
| "epoch": 1.2053333333333334, |
| "grad_norm": 0.021985536441206932, |
| "learning_rate": 2.7189781021897807e-05, |
| "loss": 0.0001, |
| "step": 226 |
| }, |
| { |
| "epoch": 1.2106666666666666, |
| "grad_norm": 0.05518456548452377, |
| "learning_rate": 2.7007299270072995e-05, |
| "loss": 0.0006, |
| "step": 227 |
| }, |
| { |
| "epoch": 1.216, |
| "grad_norm": 0.06858678162097931, |
| "learning_rate": 2.6824817518248175e-05, |
| "loss": 0.0005, |
| "step": 228 |
| }, |
| { |
| "epoch": 1.2213333333333334, |
| "grad_norm": 0.0051900409162044525, |
| "learning_rate": 2.664233576642336e-05, |
| "loss": 0.0, |
| "step": 229 |
| }, |
| { |
| "epoch": 1.2266666666666666, |
| "grad_norm": 0.006526219192892313, |
| "learning_rate": 2.645985401459854e-05, |
| "loss": 0.0, |
| "step": 230 |
| }, |
| { |
| "epoch": 1.232, |
| "grad_norm": 0.03130416199564934, |
| "learning_rate": 2.6277372262773724e-05, |
| "loss": 0.0008, |
| "step": 231 |
| }, |
| { |
| "epoch": 1.2373333333333334, |
| "grad_norm": 0.10826513916254044, |
| "learning_rate": 2.6094890510948904e-05, |
| "loss": 0.0007, |
| "step": 232 |
| }, |
| { |
| "epoch": 1.2426666666666666, |
| "grad_norm": 0.04443765804171562, |
| "learning_rate": 2.591240875912409e-05, |
| "loss": 0.0001, |
| "step": 233 |
| }, |
| { |
| "epoch": 1.248, |
| "grad_norm": 0.15472383797168732, |
| "learning_rate": 2.572992700729927e-05, |
| "loss": 0.0003, |
| "step": 234 |
| }, |
| { |
| "epoch": 1.2533333333333334, |
| "grad_norm": 0.02203129604458809, |
| "learning_rate": 2.5547445255474456e-05, |
| "loss": 0.0001, |
| "step": 235 |
| }, |
| { |
| "epoch": 1.2586666666666666, |
| "grad_norm": 0.06961119920015335, |
| "learning_rate": 2.5364963503649637e-05, |
| "loss": 0.0003, |
| "step": 236 |
| }, |
| { |
| "epoch": 1.264, |
| "grad_norm": 0.002264423994347453, |
| "learning_rate": 2.518248175182482e-05, |
| "loss": 0.0, |
| "step": 237 |
| }, |
| { |
| "epoch": 1.2693333333333334, |
| "grad_norm": 0.04599235579371452, |
| "learning_rate": 2.5e-05, |
| "loss": 0.0013, |
| "step": 238 |
| }, |
| { |
| "epoch": 1.2746666666666666, |
| "grad_norm": 0.019364362582564354, |
| "learning_rate": 2.4817518248175185e-05, |
| "loss": 0.001, |
| "step": 239 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.01742694340646267, |
| "learning_rate": 2.4635036496350366e-05, |
| "loss": 0.0001, |
| "step": 240 |
| }, |
| { |
| "epoch": 1.2853333333333334, |
| "grad_norm": 0.001203986699692905, |
| "learning_rate": 2.445255474452555e-05, |
| "loss": 0.0, |
| "step": 241 |
| }, |
| { |
| "epoch": 1.2906666666666666, |
| "grad_norm": 0.040978461503982544, |
| "learning_rate": 2.4270072992700734e-05, |
| "loss": 0.0003, |
| "step": 242 |
| }, |
| { |
| "epoch": 1.296, |
| "grad_norm": 0.07201758772134781, |
| "learning_rate": 2.4087591240875914e-05, |
| "loss": 0.0005, |
| "step": 243 |
| }, |
| { |
| "epoch": 1.3013333333333335, |
| "grad_norm": 0.0022849412634968758, |
| "learning_rate": 2.3905109489051098e-05, |
| "loss": 0.0, |
| "step": 244 |
| }, |
| { |
| "epoch": 1.3066666666666666, |
| "grad_norm": 0.13902343809604645, |
| "learning_rate": 2.372262773722628e-05, |
| "loss": 0.0015, |
| "step": 245 |
| }, |
| { |
| "epoch": 1.312, |
| "grad_norm": 0.1383124440908432, |
| "learning_rate": 2.354014598540146e-05, |
| "loss": 0.0005, |
| "step": 246 |
| }, |
| { |
| "epoch": 1.3173333333333335, |
| "grad_norm": 0.041491296142339706, |
| "learning_rate": 2.3357664233576643e-05, |
| "loss": 0.0001, |
| "step": 247 |
| }, |
| { |
| "epoch": 1.3226666666666667, |
| "grad_norm": 0.001538380398415029, |
| "learning_rate": 2.3175182481751824e-05, |
| "loss": 0.0, |
| "step": 248 |
| }, |
| { |
| "epoch": 1.328, |
| "grad_norm": 0.0005762208602391183, |
| "learning_rate": 2.2992700729927008e-05, |
| "loss": 0.0, |
| "step": 249 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.02000562660396099, |
| "learning_rate": 2.2810218978102192e-05, |
| "loss": 0.0012, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.3386666666666667, |
| "grad_norm": 0.0015275335172191262, |
| "learning_rate": 2.2627737226277372e-05, |
| "loss": 0.0, |
| "step": 251 |
| }, |
| { |
| "epoch": 1.3439999999999999, |
| "grad_norm": 0.024008644744753838, |
| "learning_rate": 2.2445255474452556e-05, |
| "loss": 0.0012, |
| "step": 252 |
| }, |
| { |
| "epoch": 1.3493333333333333, |
| "grad_norm": 0.009711493737995625, |
| "learning_rate": 2.226277372262774e-05, |
| "loss": 0.0001, |
| "step": 253 |
| }, |
| { |
| "epoch": 1.3546666666666667, |
| "grad_norm": 0.14969904720783234, |
| "learning_rate": 2.208029197080292e-05, |
| "loss": 0.0013, |
| "step": 254 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 0.0006140850600786507, |
| "learning_rate": 2.1897810218978105e-05, |
| "loss": 0.0, |
| "step": 255 |
| }, |
| { |
| "epoch": 1.3653333333333333, |
| "grad_norm": 0.07702767103910446, |
| "learning_rate": 2.1715328467153285e-05, |
| "loss": 0.0011, |
| "step": 256 |
| }, |
| { |
| "epoch": 1.3706666666666667, |
| "grad_norm": 0.02910340391099453, |
| "learning_rate": 2.1532846715328466e-05, |
| "loss": 0.001, |
| "step": 257 |
| }, |
| { |
| "epoch": 1.376, |
| "grad_norm": 0.024688445031642914, |
| "learning_rate": 2.135036496350365e-05, |
| "loss": 0.0001, |
| "step": 258 |
| }, |
| { |
| "epoch": 1.3813333333333333, |
| "grad_norm": 0.002812020480632782, |
| "learning_rate": 2.1167883211678834e-05, |
| "loss": 0.0, |
| "step": 259 |
| }, |
| { |
| "epoch": 1.3866666666666667, |
| "grad_norm": 0.004634685814380646, |
| "learning_rate": 2.0985401459854014e-05, |
| "loss": 0.0, |
| "step": 260 |
| }, |
| { |
| "epoch": 1.392, |
| "grad_norm": 0.03992787003517151, |
| "learning_rate": 2.08029197080292e-05, |
| "loss": 0.0002, |
| "step": 261 |
| }, |
| { |
| "epoch": 1.3973333333333333, |
| "grad_norm": 0.15847791731357574, |
| "learning_rate": 2.062043795620438e-05, |
| "loss": 0.0015, |
| "step": 262 |
| }, |
| { |
| "epoch": 1.4026666666666667, |
| "grad_norm": 0.12543199956417084, |
| "learning_rate": 2.0437956204379563e-05, |
| "loss": 0.0002, |
| "step": 263 |
| }, |
| { |
| "epoch": 1.408, |
| "grad_norm": 0.26353874802589417, |
| "learning_rate": 2.0255474452554747e-05, |
| "loss": 0.0021, |
| "step": 264 |
| }, |
| { |
| "epoch": 1.4133333333333333, |
| "grad_norm": 0.022708145901560783, |
| "learning_rate": 2.0072992700729927e-05, |
| "loss": 0.0001, |
| "step": 265 |
| }, |
| { |
| "epoch": 1.4186666666666667, |
| "grad_norm": 0.0019064097432419658, |
| "learning_rate": 1.989051094890511e-05, |
| "loss": 0.0, |
| "step": 266 |
| }, |
| { |
| "epoch": 1.424, |
| "grad_norm": 0.001142073655501008, |
| "learning_rate": 1.9708029197080295e-05, |
| "loss": 0.0, |
| "step": 267 |
| }, |
| { |
| "epoch": 1.4293333333333333, |
| "grad_norm": 0.010808148421347141, |
| "learning_rate": 1.9525547445255476e-05, |
| "loss": 0.0, |
| "step": 268 |
| }, |
| { |
| "epoch": 1.4346666666666668, |
| "grad_norm": 0.02784203737974167, |
| "learning_rate": 1.934306569343066e-05, |
| "loss": 0.0018, |
| "step": 269 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.0008549782214686275, |
| "learning_rate": 1.916058394160584e-05, |
| "loss": 0.0, |
| "step": 270 |
| }, |
| { |
| "epoch": 1.4453333333333334, |
| "grad_norm": 0.0007196843507699668, |
| "learning_rate": 1.897810218978102e-05, |
| "loss": 0.0, |
| "step": 271 |
| }, |
| { |
| "epoch": 1.4506666666666668, |
| "grad_norm": 0.00560079887509346, |
| "learning_rate": 1.8795620437956205e-05, |
| "loss": 0.0, |
| "step": 272 |
| }, |
| { |
| "epoch": 1.456, |
| "grad_norm": 0.0021808978635817766, |
| "learning_rate": 1.861313868613139e-05, |
| "loss": 0.0, |
| "step": 273 |
| }, |
| { |
| "epoch": 1.4613333333333334, |
| "grad_norm": 0.01360512338578701, |
| "learning_rate": 1.843065693430657e-05, |
| "loss": 0.0004, |
| "step": 274 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.0007049081032164395, |
| "learning_rate": 1.8248175182481753e-05, |
| "loss": 0.0, |
| "step": 275 |
| }, |
| { |
| "epoch": 1.472, |
| "grad_norm": 0.01267162710428238, |
| "learning_rate": 1.8065693430656934e-05, |
| "loss": 0.0, |
| "step": 276 |
| }, |
| { |
| "epoch": 1.4773333333333334, |
| "grad_norm": 0.014657084830105305, |
| "learning_rate": 1.7883211678832118e-05, |
| "loss": 0.0001, |
| "step": 277 |
| }, |
| { |
| "epoch": 1.4826666666666668, |
| "grad_norm": 0.04004383459687233, |
| "learning_rate": 1.7700729927007302e-05, |
| "loss": 0.0001, |
| "step": 278 |
| }, |
| { |
| "epoch": 1.488, |
| "grad_norm": 0.017648771405220032, |
| "learning_rate": 1.7518248175182482e-05, |
| "loss": 0.0001, |
| "step": 279 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 0.01729322038590908, |
| "learning_rate": 1.7335766423357666e-05, |
| "loss": 0.0005, |
| "step": 280 |
| }, |
| { |
| "epoch": 1.4986666666666666, |
| "grad_norm": 0.004418115131556988, |
| "learning_rate": 1.715328467153285e-05, |
| "loss": 0.0, |
| "step": 281 |
| }, |
| { |
| "epoch": 1.504, |
| "grad_norm": 0.00042153280810453, |
| "learning_rate": 1.6970802919708028e-05, |
| "loss": 0.0, |
| "step": 282 |
| }, |
| { |
| "epoch": 1.5093333333333332, |
| "grad_norm": 0.0053863199427723885, |
| "learning_rate": 1.678832116788321e-05, |
| "loss": 0.0, |
| "step": 283 |
| }, |
| { |
| "epoch": 1.5146666666666668, |
| "grad_norm": 0.14487409591674805, |
| "learning_rate": 1.6605839416058395e-05, |
| "loss": 0.0002, |
| "step": 284 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 0.04025112837553024, |
| "learning_rate": 1.6423357664233576e-05, |
| "loss": 0.0002, |
| "step": 285 |
| }, |
| { |
| "epoch": 1.5253333333333332, |
| "grad_norm": 0.018686264753341675, |
| "learning_rate": 1.624087591240876e-05, |
| "loss": 0.0, |
| "step": 286 |
| }, |
| { |
| "epoch": 1.5306666666666666, |
| "grad_norm": 0.01479147095233202, |
| "learning_rate": 1.605839416058394e-05, |
| "loss": 0.0007, |
| "step": 287 |
| }, |
| { |
| "epoch": 1.536, |
| "grad_norm": 0.06299349665641785, |
| "learning_rate": 1.5875912408759125e-05, |
| "loss": 0.0007, |
| "step": 288 |
| }, |
| { |
| "epoch": 1.5413333333333332, |
| "grad_norm": 0.009090033359825611, |
| "learning_rate": 1.569343065693431e-05, |
| "loss": 0.0, |
| "step": 289 |
| }, |
| { |
| "epoch": 1.5466666666666666, |
| "grad_norm": 0.0031799913849681616, |
| "learning_rate": 1.551094890510949e-05, |
| "loss": 0.0, |
| "step": 290 |
| }, |
| { |
| "epoch": 1.552, |
| "grad_norm": 0.016930807381868362, |
| "learning_rate": 1.5328467153284673e-05, |
| "loss": 0.0004, |
| "step": 291 |
| }, |
| { |
| "epoch": 1.5573333333333332, |
| "grad_norm": 0.0020872405730187893, |
| "learning_rate": 1.5145985401459855e-05, |
| "loss": 0.0, |
| "step": 292 |
| }, |
| { |
| "epoch": 1.5626666666666666, |
| "grad_norm": 0.02441079169511795, |
| "learning_rate": 1.496350364963504e-05, |
| "loss": 0.0, |
| "step": 293 |
| }, |
| { |
| "epoch": 1.568, |
| "grad_norm": 0.009169725701212883, |
| "learning_rate": 1.4781021897810221e-05, |
| "loss": 0.0, |
| "step": 294 |
| }, |
| { |
| "epoch": 1.5733333333333333, |
| "grad_norm": 0.002519815694540739, |
| "learning_rate": 1.45985401459854e-05, |
| "loss": 0.0, |
| "step": 295 |
| }, |
| { |
| "epoch": 1.5786666666666667, |
| "grad_norm": 0.01676744595170021, |
| "learning_rate": 1.4416058394160584e-05, |
| "loss": 0.0, |
| "step": 296 |
| }, |
| { |
| "epoch": 1.584, |
| "grad_norm": 0.0009162573842331767, |
| "learning_rate": 1.4233576642335767e-05, |
| "loss": 0.0, |
| "step": 297 |
| }, |
| { |
| "epoch": 1.5893333333333333, |
| "grad_norm": 0.2286107838153839, |
| "learning_rate": 1.4051094890510949e-05, |
| "loss": 0.0007, |
| "step": 298 |
| }, |
| { |
| "epoch": 1.5946666666666667, |
| "grad_norm": 0.017723295837640762, |
| "learning_rate": 1.3868613138686131e-05, |
| "loss": 0.0005, |
| "step": 299 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.0007409326499328017, |
| "learning_rate": 1.3686131386861315e-05, |
| "loss": 0.0, |
| "step": 300 |
| }, |
| { |
| "epoch": 1.6053333333333333, |
| "grad_norm": 0.09116298705339432, |
| "learning_rate": 1.3503649635036497e-05, |
| "loss": 0.0006, |
| "step": 301 |
| }, |
| { |
| "epoch": 1.6106666666666667, |
| "grad_norm": 0.010178130120038986, |
| "learning_rate": 1.332116788321168e-05, |
| "loss": 0.0001, |
| "step": 302 |
| }, |
| { |
| "epoch": 1.616, |
| "grad_norm": 0.01456406433135271, |
| "learning_rate": 1.3138686131386862e-05, |
| "loss": 0.0, |
| "step": 303 |
| }, |
| { |
| "epoch": 1.6213333333333333, |
| "grad_norm": 0.0030016032978892326, |
| "learning_rate": 1.2956204379562046e-05, |
| "loss": 0.0, |
| "step": 304 |
| }, |
| { |
| "epoch": 1.6266666666666667, |
| "grad_norm": 0.15502622723579407, |
| "learning_rate": 1.2773722627737228e-05, |
| "loss": 0.0009, |
| "step": 305 |
| }, |
| { |
| "epoch": 1.6320000000000001, |
| "grad_norm": 0.004204445984214544, |
| "learning_rate": 1.259124087591241e-05, |
| "loss": 0.0, |
| "step": 306 |
| }, |
| { |
| "epoch": 1.6373333333333333, |
| "grad_norm": 0.0014404612593352795, |
| "learning_rate": 1.2408759124087593e-05, |
| "loss": 0.0, |
| "step": 307 |
| }, |
| { |
| "epoch": 1.6426666666666667, |
| "grad_norm": 0.0011513563804328442, |
| "learning_rate": 1.2226277372262775e-05, |
| "loss": 0.0, |
| "step": 308 |
| }, |
| { |
| "epoch": 1.6480000000000001, |
| "grad_norm": 0.027202218770980835, |
| "learning_rate": 1.2043795620437957e-05, |
| "loss": 0.0015, |
| "step": 309 |
| }, |
| { |
| "epoch": 1.6533333333333333, |
| "grad_norm": 0.01641668751835823, |
| "learning_rate": 1.186131386861314e-05, |
| "loss": 0.0, |
| "step": 310 |
| }, |
| { |
| "epoch": 1.6586666666666665, |
| "grad_norm": 0.02343578264117241, |
| "learning_rate": 1.1678832116788322e-05, |
| "loss": 0.0, |
| "step": 311 |
| }, |
| { |
| "epoch": 1.6640000000000001, |
| "grad_norm": 0.01905711553990841, |
| "learning_rate": 1.1496350364963504e-05, |
| "loss": 0.0006, |
| "step": 312 |
| }, |
| { |
| "epoch": 1.6693333333333333, |
| "grad_norm": 0.010036816820502281, |
| "learning_rate": 1.1313868613138686e-05, |
| "loss": 0.0, |
| "step": 313 |
| }, |
| { |
| "epoch": 1.6746666666666665, |
| "grad_norm": 0.0003811994392890483, |
| "learning_rate": 1.113138686131387e-05, |
| "loss": 0.0, |
| "step": 314 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 0.005581065081059933, |
| "learning_rate": 1.0948905109489052e-05, |
| "loss": 0.0, |
| "step": 315 |
| }, |
| { |
| "epoch": 1.6853333333333333, |
| "grad_norm": 0.00306635070592165, |
| "learning_rate": 1.0766423357664233e-05, |
| "loss": 0.0, |
| "step": 316 |
| }, |
| { |
| "epoch": 1.6906666666666665, |
| "grad_norm": 0.00040708977030590177, |
| "learning_rate": 1.0583941605839417e-05, |
| "loss": 0.0, |
| "step": 317 |
| }, |
| { |
| "epoch": 1.696, |
| "grad_norm": 0.01735386997461319, |
| "learning_rate": 1.04014598540146e-05, |
| "loss": 0.0001, |
| "step": 318 |
| }, |
| { |
| "epoch": 1.7013333333333334, |
| "grad_norm": 0.01934914104640484, |
| "learning_rate": 1.0218978102189781e-05, |
| "loss": 0.0, |
| "step": 319 |
| }, |
| { |
| "epoch": 1.7066666666666666, |
| "grad_norm": 0.0042274221777915955, |
| "learning_rate": 1.0036496350364964e-05, |
| "loss": 0.0, |
| "step": 320 |
| }, |
| { |
| "epoch": 1.712, |
| "grad_norm": 0.025710001587867737, |
| "learning_rate": 9.854014598540148e-06, |
| "loss": 0.0004, |
| "step": 321 |
| }, |
| { |
| "epoch": 1.7173333333333334, |
| "grad_norm": 0.0074539752677083015, |
| "learning_rate": 9.67153284671533e-06, |
| "loss": 0.0, |
| "step": 322 |
| }, |
| { |
| "epoch": 1.7226666666666666, |
| "grad_norm": 0.03569052368402481, |
| "learning_rate": 9.48905109489051e-06, |
| "loss": 0.0002, |
| "step": 323 |
| }, |
| { |
| "epoch": 1.728, |
| "grad_norm": 0.028168275952339172, |
| "learning_rate": 9.306569343065694e-06, |
| "loss": 0.001, |
| "step": 324 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.04901032894849777, |
| "learning_rate": 9.124087591240877e-06, |
| "loss": 0.0003, |
| "step": 325 |
| }, |
| { |
| "epoch": 1.7386666666666666, |
| "grad_norm": 0.027970319613814354, |
| "learning_rate": 8.941605839416059e-06, |
| "loss": 0.0, |
| "step": 326 |
| }, |
| { |
| "epoch": 1.744, |
| "grad_norm": 0.0004777342837769538, |
| "learning_rate": 8.759124087591241e-06, |
| "loss": 0.0, |
| "step": 327 |
| }, |
| { |
| "epoch": 1.7493333333333334, |
| "grad_norm": 0.0010001097107306123, |
| "learning_rate": 8.576642335766425e-06, |
| "loss": 0.0, |
| "step": 328 |
| }, |
| { |
| "epoch": 1.7546666666666666, |
| "grad_norm": 0.01761973462998867, |
| "learning_rate": 8.394160583941606e-06, |
| "loss": 0.0, |
| "step": 329 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.0010678698308765888, |
| "learning_rate": 8.211678832116788e-06, |
| "loss": 0.0, |
| "step": 330 |
| }, |
| { |
| "epoch": 1.7653333333333334, |
| "grad_norm": 0.0009921437595039606, |
| "learning_rate": 8.02919708029197e-06, |
| "loss": 0.0, |
| "step": 331 |
| }, |
| { |
| "epoch": 1.7706666666666666, |
| "grad_norm": 0.05064305290579796, |
| "learning_rate": 7.846715328467154e-06, |
| "loss": 0.0005, |
| "step": 332 |
| }, |
| { |
| "epoch": 1.776, |
| "grad_norm": 0.006894893478602171, |
| "learning_rate": 7.664233576642336e-06, |
| "loss": 0.0, |
| "step": 333 |
| }, |
| { |
| "epoch": 1.7813333333333334, |
| "grad_norm": 0.016337955370545387, |
| "learning_rate": 7.48175182481752e-06, |
| "loss": 0.0001, |
| "step": 334 |
| }, |
| { |
| "epoch": 1.7866666666666666, |
| "grad_norm": 0.010748608037829399, |
| "learning_rate": 7.2992700729927e-06, |
| "loss": 0.0, |
| "step": 335 |
| }, |
| { |
| "epoch": 1.792, |
| "grad_norm": 0.0008429877343587577, |
| "learning_rate": 7.116788321167883e-06, |
| "loss": 0.0, |
| "step": 336 |
| }, |
| { |
| "epoch": 1.7973333333333334, |
| "grad_norm": 0.0003417197149246931, |
| "learning_rate": 6.9343065693430655e-06, |
| "loss": 0.0, |
| "step": 337 |
| }, |
| { |
| "epoch": 1.8026666666666666, |
| "grad_norm": 0.00042090704664587975, |
| "learning_rate": 6.751824817518249e-06, |
| "loss": 0.0, |
| "step": 338 |
| }, |
| { |
| "epoch": 1.808, |
| "grad_norm": 0.0006689835572615266, |
| "learning_rate": 6.569343065693431e-06, |
| "loss": 0.0, |
| "step": 339 |
| }, |
| { |
| "epoch": 1.8133333333333335, |
| "grad_norm": 0.006064795423299074, |
| "learning_rate": 6.386861313868614e-06, |
| "loss": 0.0, |
| "step": 340 |
| }, |
| { |
| "epoch": 1.8186666666666667, |
| "grad_norm": 0.00045723479706794024, |
| "learning_rate": 6.204379562043796e-06, |
| "loss": 0.0, |
| "step": 341 |
| }, |
| { |
| "epoch": 1.8239999999999998, |
| "grad_norm": 0.02724609151482582, |
| "learning_rate": 6.0218978102189786e-06, |
| "loss": 0.0003, |
| "step": 342 |
| }, |
| { |
| "epoch": 1.8293333333333335, |
| "grad_norm": 0.0006413186783902347, |
| "learning_rate": 5.839416058394161e-06, |
| "loss": 0.0, |
| "step": 343 |
| }, |
| { |
| "epoch": 1.8346666666666667, |
| "grad_norm": 0.07486186176538467, |
| "learning_rate": 5.656934306569343e-06, |
| "loss": 0.0002, |
| "step": 344 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 0.00033135409466922283, |
| "learning_rate": 5.474452554744526e-06, |
| "loss": 0.0, |
| "step": 345 |
| }, |
| { |
| "epoch": 1.8453333333333335, |
| "grad_norm": 0.1818641573190689, |
| "learning_rate": 5.2919708029197084e-06, |
| "loss": 0.0018, |
| "step": 346 |
| }, |
| { |
| "epoch": 1.8506666666666667, |
| "grad_norm": 0.00031088246032595634, |
| "learning_rate": 5.109489051094891e-06, |
| "loss": 0.0, |
| "step": 347 |
| }, |
| { |
| "epoch": 1.8559999999999999, |
| "grad_norm": 0.0008156157564371824, |
| "learning_rate": 4.927007299270074e-06, |
| "loss": 0.0, |
| "step": 348 |
| }, |
| { |
| "epoch": 1.8613333333333333, |
| "grad_norm": 0.02040432207286358, |
| "learning_rate": 4.744525547445255e-06, |
| "loss": 0.0001, |
| "step": 349 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.01873834989964962, |
| "learning_rate": 4.562043795620438e-06, |
| "loss": 0.0, |
| "step": 350 |
| }, |
| { |
| "epoch": 1.8719999999999999, |
| "grad_norm": 0.06707525253295898, |
| "learning_rate": 4.379562043795621e-06, |
| "loss": 0.0011, |
| "step": 351 |
| }, |
| { |
| "epoch": 1.8773333333333333, |
| "grad_norm": 0.0007396309520117939, |
| "learning_rate": 4.197080291970803e-06, |
| "loss": 0.0, |
| "step": 352 |
| }, |
| { |
| "epoch": 1.8826666666666667, |
| "grad_norm": 0.0020301148761063814, |
| "learning_rate": 4.014598540145985e-06, |
| "loss": 0.0, |
| "step": 353 |
| }, |
| { |
| "epoch": 1.888, |
| "grad_norm": 0.0011450459714978933, |
| "learning_rate": 3.832116788321168e-06, |
| "loss": 0.0, |
| "step": 354 |
| }, |
| { |
| "epoch": 1.8933333333333333, |
| "grad_norm": 0.0017821722431108356, |
| "learning_rate": 3.64963503649635e-06, |
| "loss": 0.0, |
| "step": 355 |
| }, |
| { |
| "epoch": 1.8986666666666667, |
| "grad_norm": 0.00048125500325113535, |
| "learning_rate": 3.4671532846715328e-06, |
| "loss": 0.0, |
| "step": 356 |
| }, |
| { |
| "epoch": 1.904, |
| "grad_norm": 0.002369426190853119, |
| "learning_rate": 3.2846715328467155e-06, |
| "loss": 0.0, |
| "step": 357 |
| }, |
| { |
| "epoch": 1.9093333333333333, |
| "grad_norm": 0.0031667123548686504, |
| "learning_rate": 3.102189781021898e-06, |
| "loss": 0.0, |
| "step": 358 |
| }, |
| { |
| "epoch": 1.9146666666666667, |
| "grad_norm": 0.001041563693434, |
| "learning_rate": 2.9197080291970804e-06, |
| "loss": 0.0, |
| "step": 359 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.008618980646133423, |
| "learning_rate": 2.737226277372263e-06, |
| "loss": 0.0, |
| "step": 360 |
| }, |
| { |
| "epoch": 1.9253333333333333, |
| "grad_norm": 0.01731414534151554, |
| "learning_rate": 2.5547445255474454e-06, |
| "loss": 0.0, |
| "step": 361 |
| }, |
| { |
| "epoch": 1.9306666666666668, |
| "grad_norm": 0.0012004224117845297, |
| "learning_rate": 2.3722627737226276e-06, |
| "loss": 0.0, |
| "step": 362 |
| }, |
| { |
| "epoch": 1.936, |
| "grad_norm": 0.0008345829555764794, |
| "learning_rate": 2.1897810218978103e-06, |
| "loss": 0.0, |
| "step": 363 |
| }, |
| { |
| "epoch": 1.9413333333333334, |
| "grad_norm": 0.02537546120584011, |
| "learning_rate": 2.0072992700729926e-06, |
| "loss": 0.0001, |
| "step": 364 |
| }, |
| { |
| "epoch": 1.9466666666666668, |
| "grad_norm": 0.001495170989073813, |
| "learning_rate": 1.824817518248175e-06, |
| "loss": 0.0, |
| "step": 365 |
| }, |
| { |
| "epoch": 1.952, |
| "grad_norm": 0.00026738637825474143, |
| "learning_rate": 1.6423357664233577e-06, |
| "loss": 0.0, |
| "step": 366 |
| }, |
| { |
| "epoch": 1.9573333333333334, |
| "grad_norm": 0.0014998159604147077, |
| "learning_rate": 1.4598540145985402e-06, |
| "loss": 0.0, |
| "step": 367 |
| }, |
| { |
| "epoch": 1.9626666666666668, |
| "grad_norm": 0.03254641965031624, |
| "learning_rate": 1.2773722627737227e-06, |
| "loss": 0.0009, |
| "step": 368 |
| }, |
| { |
| "epoch": 1.968, |
| "grad_norm": 0.028693141415715218, |
| "learning_rate": 1.0948905109489052e-06, |
| "loss": 0.0017, |
| "step": 369 |
| }, |
| { |
| "epoch": 1.9733333333333334, |
| "grad_norm": 0.008891824632883072, |
| "learning_rate": 9.124087591240875e-07, |
| "loss": 0.0001, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.9786666666666668, |
| "grad_norm": 0.00040042444015853107, |
| "learning_rate": 7.299270072992701e-07, |
| "loss": 0.0, |
| "step": 371 |
| }, |
| { |
| "epoch": 1.984, |
| "grad_norm": 0.0017654062248766422, |
| "learning_rate": 5.474452554744526e-07, |
| "loss": 0.0, |
| "step": 372 |
| }, |
| { |
| "epoch": 1.9893333333333332, |
| "grad_norm": 0.04212335869669914, |
| "learning_rate": 3.6496350364963505e-07, |
| "loss": 0.0001, |
| "step": 373 |
| }, |
| { |
| "epoch": 1.9946666666666668, |
| "grad_norm": 0.009376861155033112, |
| "learning_rate": 1.8248175182481753e-07, |
| "loss": 0.0, |
| "step": 374 |
| }, |
| { |
| "epoch": 1.9946666666666668, |
| "step": 374, |
| "total_flos": 22488518631424.0, |
| "train_loss": 0.006301866256624265, |
| "train_runtime": 57978.5955, |
| "train_samples_per_second": 0.207, |
| "train_steps_per_second": 0.006 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 374, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 2, |
| "save_steps": 100, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 22488518631424.0, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
