| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 2.104, | |
| "eval_steps": 500, | |
| "global_step": 1500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 17.179410934448242, | |
| "learning_rate": 6.000000000000001e-07, | |
| "loss": 0.7318, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 3.135037660598755, | |
| "learning_rate": 1.2666666666666669e-06, | |
| "loss": 0.5035, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 1.0028103590011597, | |
| "learning_rate": 1.9333333333333336e-06, | |
| "loss": 0.347, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.9301308393478394, | |
| "learning_rate": 2.6e-06, | |
| "loss": 0.3206, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 13.198473930358887, | |
| "learning_rate": 3.266666666666667e-06, | |
| "loss": 0.3132, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 2.502417802810669, | |
| "learning_rate": 3.9333333333333335e-06, | |
| "loss": 0.3102, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 1.962709665298462, | |
| "learning_rate": 4.600000000000001e-06, | |
| "loss": 0.3072, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.9486454129219055, | |
| "learning_rate": 5.2666666666666665e-06, | |
| "loss": 0.3054, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 1.4147624969482422, | |
| "learning_rate": 5.933333333333335e-06, | |
| "loss": 0.3028, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 1.3703656196594238, | |
| "learning_rate": 6.600000000000001e-06, | |
| "loss": 0.3019, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 1.1991888284683228, | |
| "learning_rate": 7.266666666666668e-06, | |
| "loss": 0.3037, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 1.392200231552124, | |
| "learning_rate": 7.933333333333334e-06, | |
| "loss": 0.3026, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 0.984872043132782, | |
| "learning_rate": 8.6e-06, | |
| "loss": 0.3025, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 0.9026976823806763, | |
| "learning_rate": 9.266666666666667e-06, | |
| "loss": 0.3026, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.8897069692611694, | |
| "learning_rate": 9.933333333333334e-06, | |
| "loss": 0.3019, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.9619942307472229, | |
| "learning_rate": 9.998903417374228e-06, | |
| "loss": 0.3016, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 1.430272102355957, | |
| "learning_rate": 9.995113378907791e-06, | |
| "loss": 0.2995, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 1.0930227041244507, | |
| "learning_rate": 9.988618398427495e-06, | |
| "loss": 0.2987, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 0.8541769981384277, | |
| "learning_rate": 9.979421993079853e-06, | |
| "loss": 0.2988, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 1.0007736682891846, | |
| "learning_rate": 9.967529142880592e-06, | |
| "loss": 0.2978, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.9553325176239014, | |
| "learning_rate": 9.952946288017899e-06, | |
| "loss": 0.2975, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 0.9452527165412903, | |
| "learning_rate": 9.93568132536494e-06, | |
| "loss": 0.2959, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 0.9005290865898132, | |
| "learning_rate": 9.915743604203563e-06, | |
| "loss": 0.2974, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.8893721699714661, | |
| "learning_rate": 9.893143921161501e-06, | |
| "loss": 0.2959, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.8175977468490601, | |
| "learning_rate": 9.867894514365802e-06, | |
| "loss": 0.2967, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 1.0447587966918945, | |
| "learning_rate": 9.840009056815674e-06, | |
| "loss": 0.2977, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.8433653116226196, | |
| "learning_rate": 9.809502648978311e-06, | |
| "loss": 0.2949, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.899699330329895, | |
| "learning_rate": 9.776391810611719e-06, | |
| "loss": 0.2928, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 0.9095135927200317, | |
| "learning_rate": 9.740694471818988e-06, | |
| "loss": 0.2959, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 17.036102294921875, | |
| "learning_rate": 9.702429963338812e-06, | |
| "loss": 0.3187, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 1.3837735652923584, | |
| "learning_rate": 9.661619006077562e-06, | |
| "loss": 0.338, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.8101090788841248, | |
| "learning_rate": 9.618283699888543e-06, | |
| "loss": 0.2939, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.7796570062637329, | |
| "learning_rate": 9.572447511604536e-06, | |
| "loss": 0.2937, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 0.9723106622695923, | |
| "learning_rate": 9.524135262330098e-06, | |
| "loss": 0.2938, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 0.7630950808525085, | |
| "learning_rate": 9.473373114000493e-06, | |
| "loss": 0.2963, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.6715610027313232, | |
| "learning_rate": 9.420188555214537e-06, | |
| "loss": 0.2929, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 1.1709316968917847, | |
| "learning_rate": 9.364610386349048e-06, | |
| "loss": 0.2925, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 0.9209672808647156, | |
| "learning_rate": 9.306668703962927e-06, | |
| "loss": 0.2941, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.9940042495727539, | |
| "learning_rate": 9.246394884499334e-06, | |
| "loss": 0.2933, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.8881985545158386, | |
| "learning_rate": 9.18382156729481e-06, | |
| "loss": 0.2936, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 0.871043860912323, | |
| "learning_rate": 9.118982636904476e-06, | |
| "loss": 0.2942, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 1.2014673948287964, | |
| "learning_rate": 9.051913204752972e-06, | |
| "loss": 0.2915, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 1.1756418943405151, | |
| "learning_rate": 8.982649590120982e-06, | |
| "loss": 0.2925, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.949000358581543, | |
| "learning_rate": 8.911229300477716e-06, | |
| "loss": 0.2934, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.9523175954818726, | |
| "learning_rate": 8.837691011169944e-06, | |
| "loss": 0.2923, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 0.8335953950881958, | |
| "learning_rate": 8.762074544478622e-06, | |
| "loss": 0.2928, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 0.9363358020782471, | |
| "learning_rate": 8.68442084805442e-06, | |
| "loss": 0.2927, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.9223266839981079, | |
| "learning_rate": 8.604771972743848e-06, | |
| "loss": 0.2917, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 0.8521516919136047, | |
| "learning_rate": 8.523171049817974e-06, | |
| "loss": 0.2913, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 1.0892271995544434, | |
| "learning_rate": 8.439662267616093e-06, | |
| "loss": 0.2907, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 1.3269575834274292, | |
| "learning_rate": 8.354290847616954e-06, | |
| "loss": 0.2906, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.7763073444366455, | |
| "learning_rate": 8.267103019950529e-06, | |
| "loss": 0.2898, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 0.8938851356506348, | |
| "learning_rate": 8.178145998363585e-06, | |
| "loss": 0.2916, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 1.5600512027740479, | |
| "learning_rate": 8.087467954652608e-06, | |
| "loss": 0.2907, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 0.7190754413604736, | |
| "learning_rate": 7.99511799257793e-06, | |
| "loss": 0.2898, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.9390725493431091, | |
| "learning_rate": 7.901146121273165e-06, | |
| "loss": 0.2879, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.9324615597724915, | |
| "learning_rate": 7.80560322816439e-06, | |
| "loss": 0.2885, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 1.603588581085205, | |
| "learning_rate": 7.7085410514137e-06, | |
| "loss": 0.29, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 0.9243031740188599, | |
| "learning_rate": 7.610012151902091e-06, | |
| "loss": 0.289, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.8938408493995667, | |
| "learning_rate": 7.510069884766802e-06, | |
| "loss": 0.2894, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.4066666666666667, | |
| "grad_norm": 0.8788526058197021, | |
| "learning_rate": 7.408768370508577e-06, | |
| "loss": 0.289, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 1.0575368404388428, | |
| "learning_rate": 7.3061624656844544e-06, | |
| "loss": 0.2888, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.8783132433891296, | |
| "learning_rate": 7.2023077332019755e-06, | |
| "loss": 0.2889, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.7886477112770081, | |
| "learning_rate": 7.0972604122308865e-06, | |
| "loss": 0.288, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 0.9342199563980103, | |
| "learning_rate": 6.991077387748643e-06, | |
| "loss": 0.2882, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.927667498588562, | |
| "learning_rate": 6.883816159736187e-06, | |
| "loss": 0.2891, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.44666666666666666, | |
| "grad_norm": 0.7458853721618652, | |
| "learning_rate": 6.775534812040686e-06, | |
| "loss": 0.2878, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 1.0053333333333334, | |
| "grad_norm": 0.9560510516166687, | |
| "learning_rate": 6.666291980922122e-06, | |
| "loss": 0.2879, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 1.012, | |
| "grad_norm": 0.8636048436164856, | |
| "learning_rate": 6.556146823300701e-06, | |
| "loss": 0.2886, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 1.0186666666666666, | |
| "grad_norm": 0.9005559682846069, | |
| "learning_rate": 6.445158984722358e-06, | |
| "loss": 0.2881, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 1.0253333333333334, | |
| "grad_norm": 2.7765614986419678, | |
| "learning_rate": 6.3333885670596285e-06, | |
| "loss": 0.2873, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 1.032, | |
| "grad_norm": 0.9043927192687988, | |
| "learning_rate": 6.220896095965428e-06, | |
| "loss": 0.2894, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 1.0386666666666666, | |
| "grad_norm": 0.9013159275054932, | |
| "learning_rate": 6.107742488097338e-06, | |
| "loss": 0.2878, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 1.0453333333333332, | |
| "grad_norm": 1.1176661252975464, | |
| "learning_rate": 5.993989018130173e-06, | |
| "loss": 0.286, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 1.052, | |
| "grad_norm": 0.9050567746162415, | |
| "learning_rate": 5.879697285574655e-06, | |
| "loss": 0.2844, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 1.0586666666666666, | |
| "grad_norm": 0.9422501921653748, | |
| "learning_rate": 5.764929181420191e-06, | |
| "loss": 0.2873, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 1.0653333333333332, | |
| "grad_norm": 0.9040423631668091, | |
| "learning_rate": 5.649746854619814e-06, | |
| "loss": 0.2854, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 1.179377555847168, | |
| "learning_rate": 5.5342126784354265e-06, | |
| "loss": 0.2837, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 1.0786666666666667, | |
| "grad_norm": 0.886728048324585, | |
| "learning_rate": 5.41838921666158e-06, | |
| "loss": 0.2826, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 1.0853333333333333, | |
| "grad_norm": 0.8838808536529541, | |
| "learning_rate": 5.3023391897460715e-06, | |
| "loss": 0.2841, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.092, | |
| "grad_norm": 1.1746634244918823, | |
| "learning_rate": 5.18612544082573e-06, | |
| "loss": 0.2843, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 1.0986666666666667, | |
| "grad_norm": 0.9780789017677307, | |
| "learning_rate": 5.069810901695727e-06, | |
| "loss": 0.2838, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 1.1053333333333333, | |
| "grad_norm": 1.8729772567749023, | |
| "learning_rate": 4.953458558730917e-06, | |
| "loss": 0.2827, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 1.112, | |
| "grad_norm": 0.9038311243057251, | |
| "learning_rate": 4.837131418777595e-06, | |
| "loss": 0.2813, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 1.1186666666666667, | |
| "grad_norm": 1.2726099491119385, | |
| "learning_rate": 4.720892475034181e-06, | |
| "loss": 0.2816, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 1.1253333333333333, | |
| "grad_norm": 0.9130957722663879, | |
| "learning_rate": 4.604804672939295e-06, | |
| "loss": 0.2821, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 1.1320000000000001, | |
| "grad_norm": 1.3209630250930786, | |
| "learning_rate": 4.4889308760856826e-06, | |
| "loss": 0.2833, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 1.1386666666666667, | |
| "grad_norm": 1.8481944799423218, | |
| "learning_rate": 4.373333832178478e-06, | |
| "loss": 0.2834, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 1.1453333333333333, | |
| "grad_norm": 0.7885728478431702, | |
| "learning_rate": 4.258076139056217e-06, | |
| "loss": 0.2818, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.9263648390769958, | |
| "learning_rate": 4.143220210792993e-06, | |
| "loss": 0.2807, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.1586666666666667, | |
| "grad_norm": 0.846098005771637, | |
| "learning_rate": 4.028828243900141e-06, | |
| "loss": 0.2796, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 1.1653333333333333, | |
| "grad_norm": 1.2958885431289673, | |
| "learning_rate": 3.914962183645733e-06, | |
| "loss": 0.2797, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 1.172, | |
| "grad_norm": 0.7466662526130676, | |
| "learning_rate": 3.8016836905101157e-06, | |
| "loss": 0.2795, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 1.1786666666666668, | |
| "grad_norm": 0.9258480072021484, | |
| "learning_rate": 3.6890541067956775e-06, | |
| "loss": 0.278, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 1.1853333333333333, | |
| "grad_norm": 0.7277618646621704, | |
| "learning_rate": 3.577134423408906e-06, | |
| "loss": 0.2786, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 1.192, | |
| "grad_norm": 2.6303648948669434, | |
| "learning_rate": 3.465985246832739e-06, | |
| "loss": 0.2794, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 1.1986666666666665, | |
| "grad_norm": 1.109855055809021, | |
| "learning_rate": 3.355666766307084e-06, | |
| "loss": 0.279, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 1.2053333333333334, | |
| "grad_norm": 1.018596887588501, | |
| "learning_rate": 3.246238721235283e-06, | |
| "loss": 0.2797, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 1.212, | |
| "grad_norm": 0.7051777243614197, | |
| "learning_rate": 3.137760368834169e-06, | |
| "loss": 0.2804, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 1.2186666666666666, | |
| "grad_norm": 0.9288476705551147, | |
| "learning_rate": 3.030290452045245e-06, | |
| "loss": 0.2777, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.2253333333333334, | |
| "grad_norm": 1.1656556129455566, | |
| "learning_rate": 2.9238871677243354e-06, | |
| "loss": 0.2784, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.8173216581344604, | |
| "learning_rate": 2.818608135126967e-06, | |
| "loss": 0.2774, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 1.2386666666666666, | |
| "grad_norm": 1.0525356531143188, | |
| "learning_rate": 2.714510364706531e-06, | |
| "loss": 0.2762, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 1.2453333333333334, | |
| "grad_norm": 1.065725326538086, | |
| "learning_rate": 2.611650227242102e-06, | |
| "loss": 0.2761, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 1.252, | |
| "grad_norm": 1.0570695400238037, | |
| "learning_rate": 2.5100834233126827e-06, | |
| "loss": 0.2755, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 1.2586666666666666, | |
| "grad_norm": 0.9656396508216858, | |
| "learning_rate": 2.40986495313435e-06, | |
| "loss": 0.2767, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 1.2653333333333334, | |
| "grad_norm": 0.8878446221351624, | |
| "learning_rate": 2.3110490867766644e-06, | |
| "loss": 0.2768, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 1.272, | |
| "grad_norm": 0.9621784687042236, | |
| "learning_rate": 2.213689334774479e-06, | |
| "loss": 0.2764, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 1.2786666666666666, | |
| "grad_norm": 1.7135512828826904, | |
| "learning_rate": 2.1178384191510344e-06, | |
| "loss": 0.278, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 1.2853333333333334, | |
| "grad_norm": 0.7171072363853455, | |
| "learning_rate": 2.023548244868051e-06, | |
| "loss": 0.2783, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 1.292, | |
| "grad_norm": 1.1100950241088867, | |
| "learning_rate": 1.9308698717182874e-06, | |
| "loss": 0.2751, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 1.2986666666666666, | |
| "grad_norm": 1.0502686500549316, | |
| "learning_rate": 1.8398534866757455e-06, | |
| "loss": 0.2756, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 1.3053333333333335, | |
| "grad_norm": 1.0502331256866455, | |
| "learning_rate": 1.7505483767185583e-06, | |
| "loss": 0.2751, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 0.8936400413513184, | |
| "learning_rate": 1.6630029021392007e-06, | |
| "loss": 0.2757, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 1.3186666666666667, | |
| "grad_norm": 0.9794175028800964, | |
| "learning_rate": 1.5772644703565564e-06, | |
| "loss": 0.2752, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 1.3253333333333333, | |
| "grad_norm": 0.7495421171188354, | |
| "learning_rate": 1.4933795102439558e-06, | |
| "loss": 0.2763, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 1.332, | |
| "grad_norm": 1.200521469116211, | |
| "learning_rate": 1.4113934469871166e-06, | |
| "loss": 0.2734, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 1.3386666666666667, | |
| "grad_norm": 1.303836703300476, | |
| "learning_rate": 1.3313506774856177e-06, | |
| "loss": 0.2741, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 1.3453333333333333, | |
| "grad_norm": 0.8371695876121521, | |
| "learning_rate": 1.2532945463111856e-06, | |
| "loss": 0.2735, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 1.3519999999999999, | |
| "grad_norm": 0.9150954484939575, | |
| "learning_rate": 1.1772673222358421e-06, | |
| "loss": 0.2742, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 1.3586666666666667, | |
| "grad_norm": 0.8890231847763062, | |
| "learning_rate": 1.1033101753426285e-06, | |
| "loss": 0.273, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 1.3653333333333333, | |
| "grad_norm": 0.994347870349884, | |
| "learning_rate": 1.0314631547312738e-06, | |
| "loss": 0.2741, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 1.3719999999999999, | |
| "grad_norm": 1.2332909107208252, | |
| "learning_rate": 9.617651668308914e-07, | |
| "loss": 0.273, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 1.3786666666666667, | |
| "grad_norm": 1.254149079322815, | |
| "learning_rate": 8.942539543314799e-07, | |
| "loss": 0.2722, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 1.3853333333333333, | |
| "grad_norm": 1.4629772901535034, | |
| "learning_rate": 8.289660757455803e-07, | |
| "loss": 0.2741, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.9300149083137512, | |
| "learning_rate": 7.659368856111926e-07, | |
| "loss": 0.2721, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 1.3986666666666667, | |
| "grad_norm": 0.8379223942756653, | |
| "learning_rate": 7.052005153466779e-07, | |
| "loss": 0.2713, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 1.4053333333333333, | |
| "grad_norm": 1.0981905460357666, | |
| "learning_rate": 6.467898547679913e-07, | |
| "loss": 0.2713, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 1.412, | |
| "grad_norm": 1.0436373949050903, | |
| "learning_rate": 5.9073653427826e-07, | |
| "loss": 0.2719, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 1.4186666666666667, | |
| "grad_norm": 1.0875204801559448, | |
| "learning_rate": 5.370709077393721e-07, | |
| "loss": 0.2726, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 1.4253333333333333, | |
| "grad_norm": 0.8588967323303223, | |
| "learning_rate": 4.858220360348187e-07, | |
| "loss": 0.2716, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 1.432, | |
| "grad_norm": 0.9247114062309265, | |
| "learning_rate": 4.370176713327118e-07, | |
| "loss": 0.2732, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 1.4386666666666668, | |
| "grad_norm": 0.950705885887146, | |
| "learning_rate": 3.90684242057498e-07, | |
| "loss": 0.2726, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 1.4453333333333334, | |
| "grad_norm": 1.1385959386825562, | |
| "learning_rate": 3.468468385785023e-07, | |
| "loss": 0.2704, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 2.004, | |
| "grad_norm": 0.8614100217819214, | |
| "learning_rate": 3.055291996230492e-07, | |
| "loss": 0.2717, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 2.010666666666667, | |
| "grad_norm": 1.0673099756240845, | |
| "learning_rate": 2.6675369942151864e-07, | |
| "loss": 0.272, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 2.017333333333333, | |
| "grad_norm": 0.8404608368873596, | |
| "learning_rate": 2.3054133559131163e-07, | |
| "loss": 0.2728, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 2.024, | |
| "grad_norm": 1.1001969575881958, | |
| "learning_rate": 1.9691171776626882e-07, | |
| "loss": 0.2729, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 2.030666666666667, | |
| "grad_norm": 1.0574861764907837, | |
| "learning_rate": 1.6588305697770313e-07, | |
| "loss": 0.2722, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 2.037333333333333, | |
| "grad_norm": 0.7837361693382263, | |
| "learning_rate": 1.374721557928116e-07, | |
| "loss": 0.2721, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 2.044, | |
| "grad_norm": 0.937188446521759, | |
| "learning_rate": 1.1169439921578485e-07, | |
| "loss": 0.2709, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 2.050666666666667, | |
| "grad_norm": 0.8120216727256775, | |
| "learning_rate": 8.856374635655696e-08, | |
| "loss": 0.2699, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 2.0573333333333332, | |
| "grad_norm": 0.9232758283615112, | |
| "learning_rate": 6.809272287169988e-08, | |
| "loss": 0.2712, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 2.064, | |
| "grad_norm": 0.6734821796417236, | |
| "learning_rate": 5.029241418156139e-08, | |
| "loss": 0.2709, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 2.070666666666667, | |
| "grad_norm": 0.8397889137268066, | |
| "learning_rate": 3.517245946731529e-08, | |
| "loss": 0.2696, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 2.0773333333333333, | |
| "grad_norm": 0.9425774216651917, | |
| "learning_rate": 2.27410464511707e-08, | |
| "loss": 0.2683, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 2.084, | |
| "grad_norm": 2.522279739379883, | |
| "learning_rate": 1.3004906962578723e-08, | |
| "loss": 0.269, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 2.0906666666666665, | |
| "grad_norm": 1.0002614259719849, | |
| "learning_rate": 5.969313292830126e-09, | |
| "loss": 0.2683, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 2.0973333333333333, | |
| "grad_norm": 0.664967954158783, | |
| "learning_rate": 1.638075340010814e-09, | |
| "loss": 0.2698, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 2.104, | |
| "grad_norm": 0.9386897087097168, | |
| "learning_rate": 1.3538545881042198e-11, | |
| "loss": 0.2688, | |
| "step": 1500 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 1500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 9223372036854775807, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3.8376648965860884e+18, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |