| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 2.6, | |
| "eval_steps": 500, | |
| "global_step": 6500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.004, | |
| "grad_norm": 0.8473833203315735, | |
| "learning_rate": 1.9976000000000003e-05, | |
| "loss": 0.3554, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 0.7512041330337524, | |
| "learning_rate": 1.9949333333333332e-05, | |
| "loss": 0.3244, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.012, | |
| "grad_norm": 0.5380983948707581, | |
| "learning_rate": 1.9922666666666668e-05, | |
| "loss": 0.3499, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 0.844835638999939, | |
| "learning_rate": 1.9896e-05, | |
| "loss": 0.3691, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 0.5741446614265442, | |
| "learning_rate": 1.9869333333333336e-05, | |
| "loss": 0.3393, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 0.5424033403396606, | |
| "learning_rate": 1.984266666666667e-05, | |
| "loss": 0.301, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.028, | |
| "grad_norm": 0.5613783597946167, | |
| "learning_rate": 1.9816e-05, | |
| "loss": 0.3385, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 0.6068338751792908, | |
| "learning_rate": 1.9789333333333337e-05, | |
| "loss": 0.2925, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.036, | |
| "grad_norm": 0.5099148750305176, | |
| "learning_rate": 1.9762666666666666e-05, | |
| "loss": 0.3729, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 0.7521042823791504, | |
| "learning_rate": 1.9736000000000002e-05, | |
| "loss": 0.3292, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.044, | |
| "grad_norm": 2.8476057052612305, | |
| "learning_rate": 1.9709333333333335e-05, | |
| "loss": 0.2903, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 0.6086683869361877, | |
| "learning_rate": 1.9682666666666667e-05, | |
| "loss": 0.3025, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.052, | |
| "grad_norm": 0.4599870443344116, | |
| "learning_rate": 1.9656000000000003e-05, | |
| "loss": 0.3247, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 0.543210506439209, | |
| "learning_rate": 1.9629333333333335e-05, | |
| "loss": 0.3389, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 0.5246361494064331, | |
| "learning_rate": 1.9602666666666668e-05, | |
| "loss": 0.3312, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 0.5620948076248169, | |
| "learning_rate": 1.9576e-05, | |
| "loss": 0.3549, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.068, | |
| "grad_norm": 0.5205038189888, | |
| "learning_rate": 1.9549333333333336e-05, | |
| "loss": 0.3115, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 0.48861584067344666, | |
| "learning_rate": 1.952266666666667e-05, | |
| "loss": 0.3049, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.076, | |
| "grad_norm": 0.6099581718444824, | |
| "learning_rate": 1.9496e-05, | |
| "loss": 0.2789, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.42091602087020874, | |
| "learning_rate": 1.9469333333333337e-05, | |
| "loss": 0.3071, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.084, | |
| "grad_norm": 0.5491640567779541, | |
| "learning_rate": 1.9442666666666666e-05, | |
| "loss": 0.2626, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 0.5918490886688232, | |
| "learning_rate": 1.9416000000000002e-05, | |
| "loss": 0.2717, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.092, | |
| "grad_norm": 0.657937228679657, | |
| "learning_rate": 1.9389333333333334e-05, | |
| "loss": 0.2793, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 0.521407425403595, | |
| "learning_rate": 1.9362666666666667e-05, | |
| "loss": 0.315, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 0.39812424778938293, | |
| "learning_rate": 1.9336000000000003e-05, | |
| "loss": 0.2634, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 0.4045741558074951, | |
| "learning_rate": 1.9309333333333335e-05, | |
| "loss": 0.3122, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.108, | |
| "grad_norm": 0.46365252137184143, | |
| "learning_rate": 1.9282666666666667e-05, | |
| "loss": 0.2629, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 0.5988256931304932, | |
| "learning_rate": 1.9256e-05, | |
| "loss": 0.2931, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.116, | |
| "grad_norm": 0.4610181152820587, | |
| "learning_rate": 1.9229333333333336e-05, | |
| "loss": 0.3301, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 0.573409378528595, | |
| "learning_rate": 1.9202666666666668e-05, | |
| "loss": 0.3175, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.124, | |
| "grad_norm": 0.45221200585365295, | |
| "learning_rate": 1.9176e-05, | |
| "loss": 0.2764, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 0.5272834897041321, | |
| "learning_rate": 1.9149333333333337e-05, | |
| "loss": 0.2865, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.132, | |
| "grad_norm": 0.6001108288764954, | |
| "learning_rate": 1.9122666666666666e-05, | |
| "loss": 0.3033, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 0.399921178817749, | |
| "learning_rate": 1.9096e-05, | |
| "loss": 0.3229, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.40731269121170044, | |
| "learning_rate": 1.9069333333333334e-05, | |
| "loss": 0.2664, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 0.6090437173843384, | |
| "learning_rate": 1.904266666666667e-05, | |
| "loss": 0.2714, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.148, | |
| "grad_norm": 0.685806155204773, | |
| "learning_rate": 1.9016000000000002e-05, | |
| "loss": 0.2782, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 0.5020912289619446, | |
| "learning_rate": 1.8989333333333335e-05, | |
| "loss": 0.314, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.156, | |
| "grad_norm": 0.6335378885269165, | |
| "learning_rate": 1.896266666666667e-05, | |
| "loss": 0.2955, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.5144450664520264, | |
| "learning_rate": 1.8936e-05, | |
| "loss": 0.2768, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.164, | |
| "grad_norm": 0.49727848172187805, | |
| "learning_rate": 1.8909333333333335e-05, | |
| "loss": 0.313, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 0.5295145511627197, | |
| "learning_rate": 1.8882666666666668e-05, | |
| "loss": 0.3049, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.172, | |
| "grad_norm": 0.6311231851577759, | |
| "learning_rate": 1.8856e-05, | |
| "loss": 0.29, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 0.45227429270744324, | |
| "learning_rate": 1.8829333333333336e-05, | |
| "loss": 0.269, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.5193242430686951, | |
| "learning_rate": 1.880266666666667e-05, | |
| "loss": 0.3072, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 0.47954046726226807, | |
| "learning_rate": 1.8776e-05, | |
| "loss": 0.2861, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.188, | |
| "grad_norm": 0.6135125160217285, | |
| "learning_rate": 1.8749333333333334e-05, | |
| "loss": 0.3284, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 0.536312997341156, | |
| "learning_rate": 1.872266666666667e-05, | |
| "loss": 0.2969, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.196, | |
| "grad_norm": 0.4945087134838104, | |
| "learning_rate": 1.8696000000000002e-05, | |
| "loss": 0.3069, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.6842024922370911, | |
| "learning_rate": 1.8669333333333334e-05, | |
| "loss": 0.3028, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.204, | |
| "grad_norm": 0.7187235951423645, | |
| "learning_rate": 1.864266666666667e-05, | |
| "loss": 0.3122, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 0.5195918679237366, | |
| "learning_rate": 1.8616e-05, | |
| "loss": 0.2993, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.212, | |
| "grad_norm": 0.5979396104812622, | |
| "learning_rate": 1.8589333333333335e-05, | |
| "loss": 0.2888, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 0.5541350245475769, | |
| "learning_rate": 1.8562666666666668e-05, | |
| "loss": 0.2859, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 0.5115520358085632, | |
| "learning_rate": 1.8536e-05, | |
| "loss": 0.3048, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 0.5147453546524048, | |
| "learning_rate": 1.8509333333333336e-05, | |
| "loss": 0.2963, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.228, | |
| "grad_norm": 0.5118573307991028, | |
| "learning_rate": 1.848266666666667e-05, | |
| "loss": 0.2796, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 0.6429368853569031, | |
| "learning_rate": 1.8456e-05, | |
| "loss": 0.2688, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.236, | |
| "grad_norm": 0.5160877704620361, | |
| "learning_rate": 1.8429333333333333e-05, | |
| "loss": 0.2859, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.5840730667114258, | |
| "learning_rate": 1.840266666666667e-05, | |
| "loss": 0.2849, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.244, | |
| "grad_norm": 0.46956923604011536, | |
| "learning_rate": 1.8376e-05, | |
| "loss": 0.3116, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 0.6283913850784302, | |
| "learning_rate": 1.8349333333333334e-05, | |
| "loss": 0.2785, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.252, | |
| "grad_norm": 0.4232288897037506, | |
| "learning_rate": 1.832266666666667e-05, | |
| "loss": 0.2743, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 0.43742942810058594, | |
| "learning_rate": 1.8296e-05, | |
| "loss": 0.2973, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 0.7058847546577454, | |
| "learning_rate": 1.8269333333333335e-05, | |
| "loss": 0.2837, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 0.4320523738861084, | |
| "learning_rate": 1.8242666666666667e-05, | |
| "loss": 0.3077, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.268, | |
| "grad_norm": 0.6206269860267639, | |
| "learning_rate": 1.8216000000000003e-05, | |
| "loss": 0.3008, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 0.46970808506011963, | |
| "learning_rate": 1.8189333333333336e-05, | |
| "loss": 0.3144, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.276, | |
| "grad_norm": 0.6160300374031067, | |
| "learning_rate": 1.8162666666666668e-05, | |
| "loss": 0.2613, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 0.5398305654525757, | |
| "learning_rate": 1.8136000000000004e-05, | |
| "loss": 0.2869, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.284, | |
| "grad_norm": 0.5407466888427734, | |
| "learning_rate": 1.8109333333333333e-05, | |
| "loss": 0.2886, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 0.6329662203788757, | |
| "learning_rate": 1.808266666666667e-05, | |
| "loss": 0.2872, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.292, | |
| "grad_norm": 0.3745378255844116, | |
| "learning_rate": 1.8056e-05, | |
| "loss": 0.2544, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 0.5615914463996887, | |
| "learning_rate": 1.8029333333333334e-05, | |
| "loss": 0.2925, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 0.4892834424972534, | |
| "learning_rate": 1.800266666666667e-05, | |
| "loss": 0.318, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 0.5953959822654724, | |
| "learning_rate": 1.7976000000000002e-05, | |
| "loss": 0.2697, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.308, | |
| "grad_norm": 0.6115617752075195, | |
| "learning_rate": 1.7949333333333335e-05, | |
| "loss": 0.2881, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 0.6317617893218994, | |
| "learning_rate": 1.7922666666666667e-05, | |
| "loss": 0.2877, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.316, | |
| "grad_norm": 0.48265883326530457, | |
| "learning_rate": 1.7896000000000003e-05, | |
| "loss": 0.2831, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.4877345561981201, | |
| "learning_rate": 1.7869333333333335e-05, | |
| "loss": 0.2666, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.324, | |
| "grad_norm": 0.49793872237205505, | |
| "learning_rate": 1.7842666666666668e-05, | |
| "loss": 0.3024, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 0.36371779441833496, | |
| "learning_rate": 1.7816000000000004e-05, | |
| "loss": 0.2864, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.332, | |
| "grad_norm": 0.49649468064308167, | |
| "learning_rate": 1.7789333333333333e-05, | |
| "loss": 0.2919, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 0.6420473456382751, | |
| "learning_rate": 1.776266666666667e-05, | |
| "loss": 0.2717, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 0.4898557960987091, | |
| "learning_rate": 1.7736e-05, | |
| "loss": 0.2683, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 0.5515689849853516, | |
| "learning_rate": 1.7709333333333333e-05, | |
| "loss": 0.2805, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.348, | |
| "grad_norm": 0.6740190982818604, | |
| "learning_rate": 1.768266666666667e-05, | |
| "loss": 0.291, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 0.6003084778785706, | |
| "learning_rate": 1.7656000000000002e-05, | |
| "loss": 0.3087, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.356, | |
| "grad_norm": 0.4445655047893524, | |
| "learning_rate": 1.7629333333333334e-05, | |
| "loss": 0.2989, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 0.5432217717170715, | |
| "learning_rate": 1.7602666666666667e-05, | |
| "loss": 0.3014, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.364, | |
| "grad_norm": 0.5030611157417297, | |
| "learning_rate": 1.7576000000000002e-05, | |
| "loss": 0.2718, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 0.5643089413642883, | |
| "learning_rate": 1.7549333333333335e-05, | |
| "loss": 0.264, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.372, | |
| "grad_norm": 0.489113450050354, | |
| "learning_rate": 1.7522666666666667e-05, | |
| "loss": 0.2626, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 0.5584943294525146, | |
| "learning_rate": 1.7496000000000003e-05, | |
| "loss": 0.2759, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 0.623701810836792, | |
| "learning_rate": 1.7469333333333332e-05, | |
| "loss": 0.289, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 0.523327112197876, | |
| "learning_rate": 1.7442666666666668e-05, | |
| "loss": 0.2649, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.388, | |
| "grad_norm": 0.5976533889770508, | |
| "learning_rate": 1.7416e-05, | |
| "loss": 0.2846, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 0.47169724106788635, | |
| "learning_rate": 1.7389333333333336e-05, | |
| "loss": 0.2344, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.396, | |
| "grad_norm": 0.7074177265167236, | |
| "learning_rate": 1.736266666666667e-05, | |
| "loss": 0.3157, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.5581418871879578, | |
| "learning_rate": 1.7336e-05, | |
| "loss": 0.279, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.404, | |
| "grad_norm": 0.3938142955303192, | |
| "learning_rate": 1.7309333333333337e-05, | |
| "loss": 0.2774, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 0.5060317516326904, | |
| "learning_rate": 1.7282666666666666e-05, | |
| "loss": 0.2568, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.412, | |
| "grad_norm": 0.6323426961898804, | |
| "learning_rate": 1.7256000000000002e-05, | |
| "loss": 0.246, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 0.5746142268180847, | |
| "learning_rate": 1.7229333333333335e-05, | |
| "loss": 0.2852, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 0.5410155653953552, | |
| "learning_rate": 1.7202666666666667e-05, | |
| "loss": 0.2988, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 0.5489639639854431, | |
| "learning_rate": 1.7176000000000003e-05, | |
| "loss": 0.2753, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.428, | |
| "grad_norm": 0.5158263444900513, | |
| "learning_rate": 1.7149333333333335e-05, | |
| "loss": 0.2823, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 0.6039857864379883, | |
| "learning_rate": 1.7122666666666668e-05, | |
| "loss": 0.2677, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.436, | |
| "grad_norm": 0.6908004283905029, | |
| "learning_rate": 1.7096e-05, | |
| "loss": 0.2995, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.5616562366485596, | |
| "learning_rate": 1.7069333333333336e-05, | |
| "loss": 0.271, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.444, | |
| "grad_norm": 0.3506322503089905, | |
| "learning_rate": 1.704266666666667e-05, | |
| "loss": 0.2922, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 0.6114059686660767, | |
| "learning_rate": 1.7016e-05, | |
| "loss": 0.2914, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.452, | |
| "grad_norm": 0.523310661315918, | |
| "learning_rate": 1.6989333333333337e-05, | |
| "loss": 0.278, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 0.5851305723190308, | |
| "learning_rate": 1.6962666666666666e-05, | |
| "loss": 0.2626, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.41113048791885376, | |
| "learning_rate": 1.6936000000000002e-05, | |
| "loss": 0.2512, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 0.5494383573532104, | |
| "learning_rate": 1.6909333333333334e-05, | |
| "loss": 0.2602, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.468, | |
| "grad_norm": 0.5504459738731384, | |
| "learning_rate": 1.6882666666666667e-05, | |
| "loss": 0.274, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 0.7087628245353699, | |
| "learning_rate": 1.6856000000000003e-05, | |
| "loss": 0.3032, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.476, | |
| "grad_norm": 0.7926768064498901, | |
| "learning_rate": 1.6829333333333335e-05, | |
| "loss": 0.2831, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.5241713523864746, | |
| "learning_rate": 1.6802666666666668e-05, | |
| "loss": 0.2963, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.484, | |
| "grad_norm": 0.7130752801895142, | |
| "learning_rate": 1.6776e-05, | |
| "loss": 0.325, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 0.4624483287334442, | |
| "learning_rate": 1.6749333333333336e-05, | |
| "loss": 0.2612, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.492, | |
| "grad_norm": 0.4353604018688202, | |
| "learning_rate": 1.6722666666666668e-05, | |
| "loss": 0.2982, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 0.4569162130355835, | |
| "learning_rate": 1.6696e-05, | |
| "loss": 0.2922, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.3759833872318268, | |
| "learning_rate": 1.6669333333333337e-05, | |
| "loss": 0.2944, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 0.5347470641136169, | |
| "learning_rate": 1.6642666666666666e-05, | |
| "loss": 0.2628, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.508, | |
| "grad_norm": 0.8877920508384705, | |
| "learning_rate": 1.6616e-05, | |
| "loss": 0.2819, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 0.5930324196815491, | |
| "learning_rate": 1.6589333333333334e-05, | |
| "loss": 0.2625, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.516, | |
| "grad_norm": 0.6475802659988403, | |
| "learning_rate": 1.656266666666667e-05, | |
| "loss": 0.2569, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 0.4573434889316559, | |
| "learning_rate": 1.6536000000000002e-05, | |
| "loss": 0.2595, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.524, | |
| "grad_norm": 0.5713324546813965, | |
| "learning_rate": 1.6509333333333335e-05, | |
| "loss": 0.3008, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 0.44202759861946106, | |
| "learning_rate": 1.648266666666667e-05, | |
| "loss": 0.2803, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.532, | |
| "grad_norm": 0.667516827583313, | |
| "learning_rate": 1.6456e-05, | |
| "loss": 0.2459, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 0.5680468082427979, | |
| "learning_rate": 1.6429333333333336e-05, | |
| "loss": 0.2647, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 0.7717429399490356, | |
| "learning_rate": 1.6402666666666668e-05, | |
| "loss": 0.3178, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 0.5189536213874817, | |
| "learning_rate": 1.6376e-05, | |
| "loss": 0.2351, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.548, | |
| "grad_norm": 0.5681992769241333, | |
| "learning_rate": 1.6349333333333336e-05, | |
| "loss": 0.2848, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 1.381010890007019, | |
| "learning_rate": 1.632266666666667e-05, | |
| "loss": 0.2658, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.556, | |
| "grad_norm": 0.6194233298301697, | |
| "learning_rate": 1.6296e-05, | |
| "loss": 0.2564, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.5062676668167114, | |
| "learning_rate": 1.6269333333333334e-05, | |
| "loss": 0.2422, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.564, | |
| "grad_norm": 0.44975098967552185, | |
| "learning_rate": 1.624266666666667e-05, | |
| "loss": 0.2941, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 0.5614117383956909, | |
| "learning_rate": 1.6216000000000002e-05, | |
| "loss": 0.2642, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 0.572, | |
| "grad_norm": 0.5972306728363037, | |
| "learning_rate": 1.6189333333333334e-05, | |
| "loss": 0.2739, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 0.5405119061470032, | |
| "learning_rate": 1.616266666666667e-05, | |
| "loss": 0.2685, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 0.5660503506660461, | |
| "learning_rate": 1.6136e-05, | |
| "loss": 0.2442, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 0.6975134015083313, | |
| "learning_rate": 1.6109333333333335e-05, | |
| "loss": 0.2522, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 0.588, | |
| "grad_norm": 0.42499786615371704, | |
| "learning_rate": 1.6082666666666668e-05, | |
| "loss": 0.2831, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 0.5292617082595825, | |
| "learning_rate": 1.6056e-05, | |
| "loss": 0.2512, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 0.596, | |
| "grad_norm": 0.420676589012146, | |
| "learning_rate": 1.6029333333333336e-05, | |
| "loss": 0.2935, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.6596647500991821, | |
| "learning_rate": 1.600266666666667e-05, | |
| "loss": 0.234, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.604, | |
| "grad_norm": 0.618060827255249, | |
| "learning_rate": 1.5976e-05, | |
| "loss": 0.2425, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 0.5462709069252014, | |
| "learning_rate": 1.5949333333333333e-05, | |
| "loss": 0.2557, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 0.612, | |
| "grad_norm": 0.5389092564582825, | |
| "learning_rate": 1.592266666666667e-05, | |
| "loss": 0.2618, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 0.5169006586074829, | |
| "learning_rate": 1.5896e-05, | |
| "loss": 0.2742, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 0.42635688185691833, | |
| "learning_rate": 1.5869333333333334e-05, | |
| "loss": 0.2562, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 0.6297948956489563, | |
| "learning_rate": 1.584266666666667e-05, | |
| "loss": 0.2703, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 0.628, | |
| "grad_norm": 0.5986749529838562, | |
| "learning_rate": 1.5816e-05, | |
| "loss": 0.2147, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 0.5798759460449219, | |
| "learning_rate": 1.5789333333333335e-05, | |
| "loss": 0.2995, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 0.636, | |
| "grad_norm": 0.8032208681106567, | |
| "learning_rate": 1.5762666666666667e-05, | |
| "loss": 0.2875, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.47312766313552856, | |
| "learning_rate": 1.5736000000000003e-05, | |
| "loss": 0.2565, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.644, | |
| "grad_norm": 0.546535849571228, | |
| "learning_rate": 1.5709333333333336e-05, | |
| "loss": 0.2729, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 0.5217946171760559, | |
| "learning_rate": 1.5682666666666668e-05, | |
| "loss": 0.2741, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 0.652, | |
| "grad_norm": 0.7835327982902527, | |
| "learning_rate": 1.5656000000000004e-05, | |
| "loss": 0.2646, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 0.5184281468391418, | |
| "learning_rate": 1.5629333333333333e-05, | |
| "loss": 0.2494, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 0.6676139831542969, | |
| "learning_rate": 1.560266666666667e-05, | |
| "loss": 0.2951, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 0.5541509985923767, | |
| "learning_rate": 1.5576e-05, | |
| "loss": 0.2637, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 0.668, | |
| "grad_norm": 0.6553218960762024, | |
| "learning_rate": 1.5549333333333334e-05, | |
| "loss": 0.2399, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 0.531726062297821, | |
| "learning_rate": 1.552266666666667e-05, | |
| "loss": 0.2785, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 0.676, | |
| "grad_norm": 0.4863644242286682, | |
| "learning_rate": 1.5496000000000002e-05, | |
| "loss": 0.2613, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 0.5352335572242737, | |
| "learning_rate": 1.5469333333333335e-05, | |
| "loss": 0.269, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.684, | |
| "grad_norm": 0.4803614914417267, | |
| "learning_rate": 1.5442666666666667e-05, | |
| "loss": 0.2465, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 0.4625021815299988, | |
| "learning_rate": 1.5416000000000003e-05, | |
| "loss": 0.2759, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 0.692, | |
| "grad_norm": 0.6792253255844116, | |
| "learning_rate": 1.5389333333333335e-05, | |
| "loss": 0.2512, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 0.4432201385498047, | |
| "learning_rate": 1.5362666666666668e-05, | |
| "loss": 0.2532, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 0.47341418266296387, | |
| "learning_rate": 1.5336000000000004e-05, | |
| "loss": 0.2748, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 0.41642722487449646, | |
| "learning_rate": 1.5309333333333333e-05, | |
| "loss": 0.2371, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 0.708, | |
| "grad_norm": 0.6202064752578735, | |
| "learning_rate": 1.528266666666667e-05, | |
| "loss": 0.2754, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 0.7768007516860962, | |
| "learning_rate": 1.5256000000000003e-05, | |
| "loss": 0.2882, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 0.716, | |
| "grad_norm": 0.5949944853782654, | |
| "learning_rate": 1.5229333333333333e-05, | |
| "loss": 0.2653, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.5162950158119202, | |
| "learning_rate": 1.5202666666666668e-05, | |
| "loss": 0.2735, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.724, | |
| "grad_norm": 0.5857785940170288, | |
| "learning_rate": 1.5176000000000002e-05, | |
| "loss": 0.2709, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 0.599884033203125, | |
| "learning_rate": 1.5149333333333334e-05, | |
| "loss": 0.232, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 0.732, | |
| "grad_norm": 0.4153684973716736, | |
| "learning_rate": 1.5122666666666668e-05, | |
| "loss": 0.2293, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 0.5028241872787476, | |
| "learning_rate": 1.5096000000000003e-05, | |
| "loss": 0.2729, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 0.46475455164909363, | |
| "learning_rate": 1.5069333333333333e-05, | |
| "loss": 0.2395, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 0.5993717908859253, | |
| "learning_rate": 1.5042666666666667e-05, | |
| "loss": 0.2466, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 0.748, | |
| "grad_norm": 0.587100088596344, | |
| "learning_rate": 1.5016000000000002e-05, | |
| "loss": 0.2706, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 0.47256389260292053, | |
| "learning_rate": 1.4989333333333334e-05, | |
| "loss": 0.281, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 0.756, | |
| "grad_norm": 0.552420973777771, | |
| "learning_rate": 1.4962666666666668e-05, | |
| "loss": 0.2627, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 0.3735855221748352, | |
| "learning_rate": 1.4936000000000002e-05, | |
| "loss": 0.269, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.764, | |
| "grad_norm": 0.5500410199165344, | |
| "learning_rate": 1.4909333333333337e-05, | |
| "loss": 0.2499, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 0.7947753667831421, | |
| "learning_rate": 1.4882666666666667e-05, | |
| "loss": 0.273, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 0.772, | |
| "grad_norm": 0.5935826301574707, | |
| "learning_rate": 1.4856000000000001e-05, | |
| "loss": 0.2357, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 0.6703799962997437, | |
| "learning_rate": 1.4829333333333336e-05, | |
| "loss": 0.2735, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 0.5224609971046448, | |
| "learning_rate": 1.4802666666666668e-05, | |
| "loss": 0.2603, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 0.5011535882949829, | |
| "learning_rate": 1.4776000000000002e-05, | |
| "loss": 0.2821, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 0.788, | |
| "grad_norm": 0.6582901477813721, | |
| "learning_rate": 1.4749333333333336e-05, | |
| "loss": 0.2819, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 0.5402234792709351, | |
| "learning_rate": 1.4722666666666667e-05, | |
| "loss": 0.2693, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 0.796, | |
| "grad_norm": 0.4789445400238037, | |
| "learning_rate": 1.4696000000000001e-05, | |
| "loss": 0.2967, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.5468807220458984, | |
| "learning_rate": 1.4669333333333335e-05, | |
| "loss": 0.2687, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.804, | |
| "grad_norm": 0.5717412233352661, | |
| "learning_rate": 1.4642666666666668e-05, | |
| "loss": 0.2988, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 0.44991669058799744, | |
| "learning_rate": 1.4616000000000002e-05, | |
| "loss": 0.265, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 0.812, | |
| "grad_norm": 0.5266374349594116, | |
| "learning_rate": 1.4589333333333336e-05, | |
| "loss": 0.267, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 0.5778567790985107, | |
| "learning_rate": 1.4562666666666667e-05, | |
| "loss": 0.2545, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 0.5154116153717041, | |
| "learning_rate": 1.4536000000000001e-05, | |
| "loss": 0.2829, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 0.5062645077705383, | |
| "learning_rate": 1.4509333333333335e-05, | |
| "loss": 0.2577, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 0.828, | |
| "grad_norm": 0.46385982632637024, | |
| "learning_rate": 1.4482666666666668e-05, | |
| "loss": 0.2747, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 0.521915853023529, | |
| "learning_rate": 1.4456000000000002e-05, | |
| "loss": 0.3023, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 0.836, | |
| "grad_norm": 0.5672949552536011, | |
| "learning_rate": 1.4429333333333336e-05, | |
| "loss": 0.2295, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 0.5135796666145325, | |
| "learning_rate": 1.4402666666666667e-05, | |
| "loss": 0.2421, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.844, | |
| "grad_norm": 0.6728639602661133, | |
| "learning_rate": 1.4376000000000001e-05, | |
| "loss": 0.2732, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 0.612729012966156, | |
| "learning_rate": 1.4349333333333335e-05, | |
| "loss": 0.2656, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 0.852, | |
| "grad_norm": 0.6089796423912048, | |
| "learning_rate": 1.4322666666666668e-05, | |
| "loss": 0.2624, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 0.46623918414115906, | |
| "learning_rate": 1.4296000000000002e-05, | |
| "loss": 0.2488, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 0.5238510370254517, | |
| "learning_rate": 1.4269333333333336e-05, | |
| "loss": 0.2646, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 0.5426185727119446, | |
| "learning_rate": 1.4242666666666667e-05, | |
| "loss": 0.2715, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 0.868, | |
| "grad_norm": 0.5073487162590027, | |
| "learning_rate": 1.4216e-05, | |
| "loss": 0.2996, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 0.4633030295372009, | |
| "learning_rate": 1.4189333333333335e-05, | |
| "loss": 0.2775, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 0.876, | |
| "grad_norm": 0.5035530924797058, | |
| "learning_rate": 1.4162666666666667e-05, | |
| "loss": 0.2726, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.5053151845932007, | |
| "learning_rate": 1.4136000000000002e-05, | |
| "loss": 0.2445, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.884, | |
| "grad_norm": 0.5091527104377747, | |
| "learning_rate": 1.4109333333333336e-05, | |
| "loss": 0.2995, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 0.4989984929561615, | |
| "learning_rate": 1.4082666666666668e-05, | |
| "loss": 0.2638, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 0.892, | |
| "grad_norm": 0.6716981530189514, | |
| "learning_rate": 1.4056e-05, | |
| "loss": 0.2681, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 0.5532763004302979, | |
| "learning_rate": 1.4029333333333335e-05, | |
| "loss": 0.2427, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 0.5461203455924988, | |
| "learning_rate": 1.4002666666666669e-05, | |
| "loss": 0.2705, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 0.5246407985687256, | |
| "learning_rate": 1.3976000000000001e-05, | |
| "loss": 0.2695, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 0.908, | |
| "grad_norm": 0.5500401854515076, | |
| "learning_rate": 1.3949333333333336e-05, | |
| "loss": 0.2646, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 0.4590257704257965, | |
| "learning_rate": 1.3922666666666668e-05, | |
| "loss": 0.2639, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 0.916, | |
| "grad_norm": 0.5423840880393982, | |
| "learning_rate": 1.3896e-05, | |
| "loss": 0.2708, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 0.6925740838050842, | |
| "learning_rate": 1.3869333333333335e-05, | |
| "loss": 0.2635, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.924, | |
| "grad_norm": 0.6464081406593323, | |
| "learning_rate": 1.3842666666666669e-05, | |
| "loss": 0.296, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 0.562350332736969, | |
| "learning_rate": 1.3816000000000001e-05, | |
| "loss": 0.2832, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 0.932, | |
| "grad_norm": 0.4514358639717102, | |
| "learning_rate": 1.3789333333333335e-05, | |
| "loss": 0.2968, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 0.4843865633010864, | |
| "learning_rate": 1.3762666666666668e-05, | |
| "loss": 0.2442, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 0.4798470735549927, | |
| "learning_rate": 1.3736e-05, | |
| "loss": 0.2688, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 0.6145500540733337, | |
| "learning_rate": 1.3709333333333334e-05, | |
| "loss": 0.2813, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 0.948, | |
| "grad_norm": 0.49830809235572815, | |
| "learning_rate": 1.3682666666666669e-05, | |
| "loss": 0.2441, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 0.4692573845386505, | |
| "learning_rate": 1.3656000000000001e-05, | |
| "loss": 0.2456, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 0.956, | |
| "grad_norm": 0.45862796902656555, | |
| "learning_rate": 1.3629333333333335e-05, | |
| "loss": 0.2123, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.5366600155830383, | |
| "learning_rate": 1.3602666666666668e-05, | |
| "loss": 0.2554, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.964, | |
| "grad_norm": 0.4478113055229187, | |
| "learning_rate": 1.3576e-05, | |
| "loss": 0.2674, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 0.5738199353218079, | |
| "learning_rate": 1.3549333333333334e-05, | |
| "loss": 0.2765, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 0.972, | |
| "grad_norm": 0.48701366782188416, | |
| "learning_rate": 1.3522666666666668e-05, | |
| "loss": 0.2641, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 0.5024267435073853, | |
| "learning_rate": 1.3496000000000001e-05, | |
| "loss": 0.2785, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 0.6500915884971619, | |
| "learning_rate": 1.3469333333333335e-05, | |
| "loss": 0.279, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 0.5706177949905396, | |
| "learning_rate": 1.3442666666666668e-05, | |
| "loss": 0.2396, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 0.988, | |
| "grad_norm": 0.4520220160484314, | |
| "learning_rate": 1.3416e-05, | |
| "loss": 0.2788, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 0.4557345509529114, | |
| "learning_rate": 1.3389333333333334e-05, | |
| "loss": 0.2653, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 0.996, | |
| "grad_norm": 0.4460965692996979, | |
| "learning_rate": 1.3362666666666668e-05, | |
| "loss": 0.2495, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.6260488033294678, | |
| "learning_rate": 1.3336e-05, | |
| "loss": 0.2974, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.23673544824123383, | |
| "eval_runtime": 65.6396, | |
| "eval_samples_per_second": 38.087, | |
| "eval_steps_per_second": 4.768, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 1.004, | |
| "grad_norm": 0.5440991520881653, | |
| "learning_rate": 1.3309333333333335e-05, | |
| "loss": 0.2546, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 1.008, | |
| "grad_norm": 0.4972204566001892, | |
| "learning_rate": 1.3282666666666667e-05, | |
| "loss": 0.2739, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 1.012, | |
| "grad_norm": 0.4154798686504364, | |
| "learning_rate": 1.3256e-05, | |
| "loss": 0.2714, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 1.016, | |
| "grad_norm": 0.47667840123176575, | |
| "learning_rate": 1.3229333333333334e-05, | |
| "loss": 0.2494, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 0.6118319034576416, | |
| "learning_rate": 1.3202666666666668e-05, | |
| "loss": 0.2648, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 1.024, | |
| "grad_norm": 0.5006189942359924, | |
| "learning_rate": 1.3176000000000002e-05, | |
| "loss": 0.2462, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 1.028, | |
| "grad_norm": 0.552798330783844, | |
| "learning_rate": 1.3149333333333335e-05, | |
| "loss": 0.2349, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 1.032, | |
| "grad_norm": 0.5331425070762634, | |
| "learning_rate": 1.3122666666666667e-05, | |
| "loss": 0.2438, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 1.036, | |
| "grad_norm": 0.47227418422698975, | |
| "learning_rate": 1.3096000000000001e-05, | |
| "loss": 0.2591, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 0.626652717590332, | |
| "learning_rate": 1.3069333333333334e-05, | |
| "loss": 0.2355, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 1.044, | |
| "grad_norm": 0.39577364921569824, | |
| "learning_rate": 1.3042666666666668e-05, | |
| "loss": 0.2554, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 1.048, | |
| "grad_norm": 0.4653715491294861, | |
| "learning_rate": 1.3016000000000002e-05, | |
| "loss": 0.233, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 1.052, | |
| "grad_norm": 0.4667207896709442, | |
| "learning_rate": 1.2989333333333335e-05, | |
| "loss": 0.2395, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 1.056, | |
| "grad_norm": 0.4924478232860565, | |
| "learning_rate": 1.2962666666666667e-05, | |
| "loss": 0.258, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 0.5513306260108948, | |
| "learning_rate": 1.2936000000000001e-05, | |
| "loss": 0.2404, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 1.064, | |
| "grad_norm": 0.46071794629096985, | |
| "learning_rate": 1.2909333333333334e-05, | |
| "loss": 0.2613, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 1.068, | |
| "grad_norm": 0.4515053629875183, | |
| "learning_rate": 1.2882666666666668e-05, | |
| "loss": 0.2554, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 1.072, | |
| "grad_norm": 0.5845895409584045, | |
| "learning_rate": 1.2856000000000002e-05, | |
| "loss": 0.2234, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 1.076, | |
| "grad_norm": 0.6109786033630371, | |
| "learning_rate": 1.2829333333333334e-05, | |
| "loss": 0.2574, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 0.416643887758255, | |
| "learning_rate": 1.2802666666666667e-05, | |
| "loss": 0.2434, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 1.084, | |
| "grad_norm": 0.8896753787994385, | |
| "learning_rate": 1.2776000000000001e-05, | |
| "loss": 0.2273, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 1.088, | |
| "grad_norm": 0.6689579486846924, | |
| "learning_rate": 1.2749333333333333e-05, | |
| "loss": 0.2431, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 1.092, | |
| "grad_norm": 0.5625743269920349, | |
| "learning_rate": 1.2722666666666668e-05, | |
| "loss": 0.2277, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 1.096, | |
| "grad_norm": 0.523047924041748, | |
| "learning_rate": 1.2696000000000002e-05, | |
| "loss": 0.2504, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 0.5277451276779175, | |
| "learning_rate": 1.2669333333333334e-05, | |
| "loss": 0.2518, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 1.104, | |
| "grad_norm": 0.515948474407196, | |
| "learning_rate": 1.2642666666666667e-05, | |
| "loss": 0.2805, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 1.108, | |
| "grad_norm": 0.5372030138969421, | |
| "learning_rate": 1.2616e-05, | |
| "loss": 0.252, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 1.112, | |
| "grad_norm": 0.43156781792640686, | |
| "learning_rate": 1.2589333333333333e-05, | |
| "loss": 0.249, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 1.116, | |
| "grad_norm": 0.5149580240249634, | |
| "learning_rate": 1.2562666666666667e-05, | |
| "loss": 0.2305, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 0.5531086325645447, | |
| "learning_rate": 1.2536000000000002e-05, | |
| "loss": 0.2534, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 1.124, | |
| "grad_norm": 0.4568405747413635, | |
| "learning_rate": 1.2509333333333334e-05, | |
| "loss": 0.2763, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 1.1280000000000001, | |
| "grad_norm": 0.47550639510154724, | |
| "learning_rate": 1.2482666666666668e-05, | |
| "loss": 0.2443, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 1.1320000000000001, | |
| "grad_norm": 0.5201884508132935, | |
| "learning_rate": 1.2456e-05, | |
| "loss": 0.2768, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 1.1360000000000001, | |
| "grad_norm": 0.652765691280365, | |
| "learning_rate": 1.2429333333333333e-05, | |
| "loss": 0.2497, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 1.1400000000000001, | |
| "grad_norm": 0.5712699294090271, | |
| "learning_rate": 1.2402666666666667e-05, | |
| "loss": 0.2902, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 1.144, | |
| "grad_norm": 0.5406668186187744, | |
| "learning_rate": 1.2376000000000001e-05, | |
| "loss": 0.2738, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 1.148, | |
| "grad_norm": 0.6524983644485474, | |
| "learning_rate": 1.2349333333333336e-05, | |
| "loss": 0.2611, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 1.152, | |
| "grad_norm": 0.5555579662322998, | |
| "learning_rate": 1.2322666666666668e-05, | |
| "loss": 0.2515, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 1.156, | |
| "grad_norm": 0.5171626210212708, | |
| "learning_rate": 1.2296e-05, | |
| "loss": 0.2307, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.6006278991699219, | |
| "learning_rate": 1.2269333333333335e-05, | |
| "loss": 0.222, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 1.164, | |
| "grad_norm": 0.4333373010158539, | |
| "learning_rate": 1.2242666666666667e-05, | |
| "loss": 0.2391, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 1.168, | |
| "grad_norm": 0.4602346122264862, | |
| "learning_rate": 1.2216000000000001e-05, | |
| "loss": 0.2341, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 1.172, | |
| "grad_norm": 0.510161817073822, | |
| "learning_rate": 1.2189333333333335e-05, | |
| "loss": 0.2465, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 1.176, | |
| "grad_norm": 0.47351083159446716, | |
| "learning_rate": 1.2162666666666668e-05, | |
| "loss": 0.2684, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 0.640324056148529, | |
| "learning_rate": 1.2136e-05, | |
| "loss": 0.2674, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 1.184, | |
| "grad_norm": 0.557917594909668, | |
| "learning_rate": 1.2109333333333335e-05, | |
| "loss": 0.2307, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 1.188, | |
| "grad_norm": 0.5333521366119385, | |
| "learning_rate": 1.2082666666666667e-05, | |
| "loss": 0.264, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 1.192, | |
| "grad_norm": 0.5270512700080872, | |
| "learning_rate": 1.2056000000000001e-05, | |
| "loss": 0.2622, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 1.196, | |
| "grad_norm": 0.6571713089942932, | |
| "learning_rate": 1.2029333333333335e-05, | |
| "loss": 0.2508, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.4805188775062561, | |
| "learning_rate": 1.2002666666666668e-05, | |
| "loss": 0.2374, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 1.204, | |
| "grad_norm": 0.390994131565094, | |
| "learning_rate": 1.1976e-05, | |
| "loss": 0.2474, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 1.208, | |
| "grad_norm": 0.5322064757347107, | |
| "learning_rate": 1.1949333333333334e-05, | |
| "loss": 0.2494, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 1.212, | |
| "grad_norm": 0.45446017384529114, | |
| "learning_rate": 1.1922666666666667e-05, | |
| "loss": 0.21, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 1.216, | |
| "grad_norm": 0.47018682956695557, | |
| "learning_rate": 1.1896000000000001e-05, | |
| "loss": 0.234, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 0.5002714395523071, | |
| "learning_rate": 1.1869333333333335e-05, | |
| "loss": 0.2558, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 1.224, | |
| "grad_norm": 0.5081589221954346, | |
| "learning_rate": 1.1842666666666668e-05, | |
| "loss": 0.2573, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 1.228, | |
| "grad_norm": 0.2851148843765259, | |
| "learning_rate": 1.1816e-05, | |
| "loss": 0.2689, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 1.232, | |
| "grad_norm": 0.4786511957645416, | |
| "learning_rate": 1.1789333333333334e-05, | |
| "loss": 0.2395, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 1.236, | |
| "grad_norm": 0.4615110754966736, | |
| "learning_rate": 1.1762666666666667e-05, | |
| "loss": 0.2268, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 0.4482421278953552, | |
| "learning_rate": 1.1736e-05, | |
| "loss": 0.241, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 1.244, | |
| "grad_norm": 0.6766530871391296, | |
| "learning_rate": 1.1709333333333335e-05, | |
| "loss": 0.2286, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 1.248, | |
| "grad_norm": 0.44992247223854065, | |
| "learning_rate": 1.1682666666666667e-05, | |
| "loss": 0.2614, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 1.252, | |
| "grad_norm": 0.5725236535072327, | |
| "learning_rate": 1.1656e-05, | |
| "loss": 0.2614, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 1.256, | |
| "grad_norm": 0.4952967166900635, | |
| "learning_rate": 1.1629333333333334e-05, | |
| "loss": 0.2802, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": NaN, | |
| "learning_rate": 1.1602666666666666e-05, | |
| "loss": 0.2726, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 1.264, | |
| "grad_norm": 2.127305030822754, | |
| "learning_rate": 1.1576e-05, | |
| "loss": 0.2705, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 1.268, | |
| "grad_norm": 0.6616774201393127, | |
| "learning_rate": 1.1549333333333335e-05, | |
| "loss": 0.3065, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 1.272, | |
| "grad_norm": 0.6205490827560425, | |
| "learning_rate": 1.1522666666666669e-05, | |
| "loss": 0.2473, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 1.276, | |
| "grad_norm": 0.556382417678833, | |
| "learning_rate": 1.1496e-05, | |
| "loss": 0.2687, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 0.5469709038734436, | |
| "learning_rate": 1.1469333333333334e-05, | |
| "loss": 0.2665, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 1.284, | |
| "grad_norm": 0.6290965676307678, | |
| "learning_rate": 1.1442666666666668e-05, | |
| "loss": 0.2392, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 1.288, | |
| "grad_norm": 0.5531810522079468, | |
| "learning_rate": 1.1416e-05, | |
| "loss": 0.2568, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 1.292, | |
| "grad_norm": 0.5033235549926758, | |
| "learning_rate": 1.1389333333333335e-05, | |
| "loss": 0.2552, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 1.296, | |
| "grad_norm": 0.6121941804885864, | |
| "learning_rate": 1.1362666666666669e-05, | |
| "loss": 0.2449, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 0.5877725481987, | |
| "learning_rate": 1.1336e-05, | |
| "loss": 0.2452, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 1.304, | |
| "grad_norm": 0.4163094162940979, | |
| "learning_rate": 1.1309333333333334e-05, | |
| "loss": 0.2535, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 1.308, | |
| "grad_norm": 0.5468899607658386, | |
| "learning_rate": 1.1282666666666668e-05, | |
| "loss": 0.2587, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 1.312, | |
| "grad_norm": 0.6804016828536987, | |
| "learning_rate": 1.1256e-05, | |
| "loss": 0.2714, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 1.316, | |
| "grad_norm": 0.5056036710739136, | |
| "learning_rate": 1.1229333333333334e-05, | |
| "loss": 0.2432, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.4640405476093292, | |
| "learning_rate": 1.1202666666666669e-05, | |
| "loss": 0.2486, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 1.324, | |
| "grad_norm": 0.5249980092048645, | |
| "learning_rate": 1.1176e-05, | |
| "loss": 0.2305, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 1.328, | |
| "grad_norm": 0.5795167684555054, | |
| "learning_rate": 1.1149333333333334e-05, | |
| "loss": 0.2426, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 1.332, | |
| "grad_norm": 0.49364906549453735, | |
| "learning_rate": 1.1122666666666668e-05, | |
| "loss": 0.2198, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 1.336, | |
| "grad_norm": 0.45856717228889465, | |
| "learning_rate": 1.1096e-05, | |
| "loss": 0.2541, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 0.5339840054512024, | |
| "learning_rate": 1.1069333333333334e-05, | |
| "loss": 0.268, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 1.3439999999999999, | |
| "grad_norm": 0.5169997811317444, | |
| "learning_rate": 1.1042666666666668e-05, | |
| "loss": 0.2667, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 1.3479999999999999, | |
| "grad_norm": 0.48912790417671204, | |
| "learning_rate": 1.1016e-05, | |
| "loss": 0.2153, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 1.3519999999999999, | |
| "grad_norm": 0.5832170844078064, | |
| "learning_rate": 1.0989333333333333e-05, | |
| "loss": 0.2598, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 1.3559999999999999, | |
| "grad_norm": 0.6225261688232422, | |
| "learning_rate": 1.0962666666666668e-05, | |
| "loss": 0.2723, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 0.47685354948043823, | |
| "learning_rate": 1.0936e-05, | |
| "loss": 0.2429, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 1.3639999999999999, | |
| "grad_norm": 0.4994128942489624, | |
| "learning_rate": 1.0909333333333334e-05, | |
| "loss": 0.2309, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 1.3679999999999999, | |
| "grad_norm": 0.6265987753868103, | |
| "learning_rate": 1.0882666666666668e-05, | |
| "loss": 0.2678, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 1.3719999999999999, | |
| "grad_norm": 0.47481802105903625, | |
| "learning_rate": 1.0855999999999999e-05, | |
| "loss": 0.2402, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 1.376, | |
| "grad_norm": 0.6272761821746826, | |
| "learning_rate": 1.0829333333333333e-05, | |
| "loss": 0.287, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 0.6699458360671997, | |
| "learning_rate": 1.0802666666666667e-05, | |
| "loss": 0.2632, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 1.384, | |
| "grad_norm": 0.5304442644119263, | |
| "learning_rate": 1.0776e-05, | |
| "loss": 0.2642, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 1.388, | |
| "grad_norm": 0.5047972798347473, | |
| "learning_rate": 1.0749333333333334e-05, | |
| "loss": 0.2793, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 1.392, | |
| "grad_norm": 0.5379613041877747, | |
| "learning_rate": 1.0722666666666668e-05, | |
| "loss": 0.2346, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 1.396, | |
| "grad_norm": 0.41858911514282227, | |
| "learning_rate": 1.0696000000000002e-05, | |
| "loss": 0.2145, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.6453313827514648, | |
| "learning_rate": 1.0669333333333333e-05, | |
| "loss": 0.2543, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 1.404, | |
| "grad_norm": 0.5400089025497437, | |
| "learning_rate": 1.0642666666666667e-05, | |
| "loss": 0.2509, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 1.408, | |
| "grad_norm": 1.208162546157837, | |
| "learning_rate": 1.0616000000000001e-05, | |
| "loss": 0.2492, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 1.412, | |
| "grad_norm": 0.6718884706497192, | |
| "learning_rate": 1.0589333333333334e-05, | |
| "loss": 0.2673, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 1.416, | |
| "grad_norm": 0.643903911113739, | |
| "learning_rate": 1.0562666666666668e-05, | |
| "loss": 0.2752, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 0.532416045665741, | |
| "learning_rate": 1.0536000000000002e-05, | |
| "loss": 0.2865, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 1.424, | |
| "grad_norm": 0.43716755509376526, | |
| "learning_rate": 1.0509333333333333e-05, | |
| "loss": 0.2443, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 1.428, | |
| "grad_norm": 0.5723093748092651, | |
| "learning_rate": 1.0482666666666667e-05, | |
| "loss": 0.2502, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 1.432, | |
| "grad_norm": 0.5914117693901062, | |
| "learning_rate": 1.0456000000000001e-05, | |
| "loss": 0.2529, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 1.436, | |
| "grad_norm": 23.44118881225586, | |
| "learning_rate": 1.0429333333333334e-05, | |
| "loss": 0.2359, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 0.5822557210922241, | |
| "learning_rate": 1.0402666666666668e-05, | |
| "loss": 0.2524, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 1.444, | |
| "grad_norm": 0.39575064182281494, | |
| "learning_rate": 1.0376000000000002e-05, | |
| "loss": 0.2265, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 1.448, | |
| "grad_norm": 0.4728231430053711, | |
| "learning_rate": 1.0349333333333333e-05, | |
| "loss": 0.2475, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 1.452, | |
| "grad_norm": 0.6290364265441895, | |
| "learning_rate": 1.0322666666666667e-05, | |
| "loss": 0.2442, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 1.456, | |
| "grad_norm": 0.7481719851493835, | |
| "learning_rate": 1.0296000000000001e-05, | |
| "loss": 0.2588, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 5.937191963195801, | |
| "learning_rate": 1.0269333333333333e-05, | |
| "loss": 0.269, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 1.464, | |
| "grad_norm": 0.5029851794242859, | |
| "learning_rate": 1.0242666666666668e-05, | |
| "loss": 0.2333, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 1.468, | |
| "grad_norm": 0.5323166847229004, | |
| "learning_rate": 1.0216000000000002e-05, | |
| "loss": 0.2306, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 1.472, | |
| "grad_norm": 0.5790389180183411, | |
| "learning_rate": 1.0189333333333333e-05, | |
| "loss": 0.2846, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 1.476, | |
| "grad_norm": 0.42738649249076843, | |
| "learning_rate": 1.0162666666666667e-05, | |
| "loss": 0.2425, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.44407227635383606, | |
| "learning_rate": 1.0136000000000001e-05, | |
| "loss": 0.2366, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 1.484, | |
| "grad_norm": 0.5864424705505371, | |
| "learning_rate": 1.0109333333333333e-05, | |
| "loss": 0.2859, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 1.488, | |
| "grad_norm": 0.5136529803276062, | |
| "learning_rate": 1.0082666666666667e-05, | |
| "loss": 0.2373, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 1.492, | |
| "grad_norm": 0.53251051902771, | |
| "learning_rate": 1.0056000000000002e-05, | |
| "loss": 0.2436, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 1.496, | |
| "grad_norm": 0.45315873622894287, | |
| "learning_rate": 1.0029333333333332e-05, | |
| "loss": 0.2085, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 0.6431245803833008, | |
| "learning_rate": 1.0002666666666667e-05, | |
| "loss": 0.2582, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 1.504, | |
| "grad_norm": 0.5814210176467896, | |
| "learning_rate": 9.976e-06, | |
| "loss": 0.2347, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 1.508, | |
| "grad_norm": 0.4896796941757202, | |
| "learning_rate": 9.949333333333335e-06, | |
| "loss": 0.238, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 1.512, | |
| "grad_norm": 0.44410496950149536, | |
| "learning_rate": 9.922666666666667e-06, | |
| "loss": 0.2569, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 1.516, | |
| "grad_norm": 0.5051149725914001, | |
| "learning_rate": 9.896000000000001e-06, | |
| "loss": 0.2457, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 0.5698389410972595, | |
| "learning_rate": 9.869333333333334e-06, | |
| "loss": 0.2428, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 1.524, | |
| "grad_norm": 0.4035334587097168, | |
| "learning_rate": 9.842666666666666e-06, | |
| "loss": 0.26, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 1.528, | |
| "grad_norm": 0.506327748298645, | |
| "learning_rate": 9.816e-06, | |
| "loss": 0.2655, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 1.532, | |
| "grad_norm": 0.48491552472114563, | |
| "learning_rate": 9.789333333333335e-06, | |
| "loss": 0.2368, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 1.536, | |
| "grad_norm": 0.38744503259658813, | |
| "learning_rate": 9.762666666666667e-06, | |
| "loss": 0.2567, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 1.54, | |
| "grad_norm": 0.5672836303710938, | |
| "learning_rate": 9.736000000000001e-06, | |
| "loss": 0.2559, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 1.544, | |
| "grad_norm": 0.42085444927215576, | |
| "learning_rate": 9.709333333333334e-06, | |
| "loss": 0.2449, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 1.548, | |
| "grad_norm": 0.3606667220592499, | |
| "learning_rate": 9.682666666666668e-06, | |
| "loss": 0.2252, | |
| "step": 3870 | |
| }, | |
| { | |
| "epoch": 1.552, | |
| "grad_norm": 0.36842432618141174, | |
| "learning_rate": 9.656e-06, | |
| "loss": 0.2244, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 1.556, | |
| "grad_norm": 0.3918519914150238, | |
| "learning_rate": 9.629333333333335e-06, | |
| "loss": 0.2538, | |
| "step": 3890 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.6120832562446594, | |
| "learning_rate": 9.602666666666669e-06, | |
| "loss": 0.2642, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 1.564, | |
| "grad_norm": 0.3940815031528473, | |
| "learning_rate": 9.576000000000001e-06, | |
| "loss": 0.2366, | |
| "step": 3910 | |
| }, | |
| { | |
| "epoch": 1.568, | |
| "grad_norm": 0.4944745898246765, | |
| "learning_rate": 9.549333333333334e-06, | |
| "loss": 0.2552, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 1.572, | |
| "grad_norm": 0.5122197270393372, | |
| "learning_rate": 9.522666666666668e-06, | |
| "loss": 0.2139, | |
| "step": 3930 | |
| }, | |
| { | |
| "epoch": 1.576, | |
| "grad_norm": 0.3861853778362274, | |
| "learning_rate": 9.496e-06, | |
| "loss": 0.2409, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 0.41660165786743164, | |
| "learning_rate": 9.469333333333334e-06, | |
| "loss": 0.2738, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 1.584, | |
| "grad_norm": 0.3429621756076813, | |
| "learning_rate": 9.442666666666669e-06, | |
| "loss": 0.2428, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 1.588, | |
| "grad_norm": 0.4336087703704834, | |
| "learning_rate": 9.416000000000001e-06, | |
| "loss": 0.2737, | |
| "step": 3970 | |
| }, | |
| { | |
| "epoch": 1.592, | |
| "grad_norm": 0.5038446187973022, | |
| "learning_rate": 9.389333333333333e-06, | |
| "loss": 0.2523, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 1.596, | |
| "grad_norm": 0.41091305017471313, | |
| "learning_rate": 9.362666666666668e-06, | |
| "loss": 0.2701, | |
| "step": 3990 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.3381136655807495, | |
| "learning_rate": 9.336e-06, | |
| "loss": 0.2394, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 1.604, | |
| "grad_norm": 0.40173450112342834, | |
| "learning_rate": 9.309333333333334e-06, | |
| "loss": 0.2515, | |
| "step": 4010 | |
| }, | |
| { | |
| "epoch": 1.608, | |
| "grad_norm": 0.4156287908554077, | |
| "learning_rate": 9.282666666666668e-06, | |
| "loss": 0.2117, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 1.612, | |
| "grad_norm": 0.4534705877304077, | |
| "learning_rate": 9.256e-06, | |
| "loss": 0.2549, | |
| "step": 4030 | |
| }, | |
| { | |
| "epoch": 1.616, | |
| "grad_norm": 0.5014417767524719, | |
| "learning_rate": 9.229333333333335e-06, | |
| "loss": 0.2578, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 1.62, | |
| "grad_norm": 0.4683777391910553, | |
| "learning_rate": 9.202666666666667e-06, | |
| "loss": 0.2744, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 1.624, | |
| "grad_norm": 0.48263463377952576, | |
| "learning_rate": 9.176e-06, | |
| "loss": 0.2673, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 1.6280000000000001, | |
| "grad_norm": 0.334062397480011, | |
| "learning_rate": 9.149333333333334e-06, | |
| "loss": 0.2586, | |
| "step": 4070 | |
| }, | |
| { | |
| "epoch": 1.6320000000000001, | |
| "grad_norm": 0.4674277901649475, | |
| "learning_rate": 9.122666666666668e-06, | |
| "loss": 0.2515, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 1.6360000000000001, | |
| "grad_norm": 0.4756511449813843, | |
| "learning_rate": 9.096e-06, | |
| "loss": 0.2545, | |
| "step": 4090 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 0.32446733117103577, | |
| "learning_rate": 9.069333333333335e-06, | |
| "loss": 0.2405, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 1.6440000000000001, | |
| "grad_norm": 0.48470672965049744, | |
| "learning_rate": 9.042666666666667e-06, | |
| "loss": 0.2495, | |
| "step": 4110 | |
| }, | |
| { | |
| "epoch": 1.6480000000000001, | |
| "grad_norm": 0.4887638986110687, | |
| "learning_rate": 9.016e-06, | |
| "loss": 0.2562, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 1.6520000000000001, | |
| "grad_norm": 0.45506277680397034, | |
| "learning_rate": 8.989333333333334e-06, | |
| "loss": 0.2559, | |
| "step": 4130 | |
| }, | |
| { | |
| "epoch": 1.6560000000000001, | |
| "grad_norm": 0.40097734332084656, | |
| "learning_rate": 8.962666666666668e-06, | |
| "loss": 0.2784, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 1.6600000000000001, | |
| "grad_norm": 0.44180023670196533, | |
| "learning_rate": 8.936e-06, | |
| "loss": 0.2542, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 1.6640000000000001, | |
| "grad_norm": 0.4007416069507599, | |
| "learning_rate": 8.909333333333335e-06, | |
| "loss": 0.2397, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 1.6680000000000001, | |
| "grad_norm": 0.503251314163208, | |
| "learning_rate": 8.882666666666667e-06, | |
| "loss": 0.2749, | |
| "step": 4170 | |
| }, | |
| { | |
| "epoch": 1.6720000000000002, | |
| "grad_norm": 0.43198898434638977, | |
| "learning_rate": 8.856000000000001e-06, | |
| "loss": 0.2636, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 1.6760000000000002, | |
| "grad_norm": 0.32004514336586, | |
| "learning_rate": 8.829333333333334e-06, | |
| "loss": 0.2297, | |
| "step": 4190 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 0.32270774245262146, | |
| "learning_rate": 8.802666666666668e-06, | |
| "loss": 0.2369, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 1.6840000000000002, | |
| "grad_norm": 0.40397176146507263, | |
| "learning_rate": 8.776e-06, | |
| "loss": 0.2433, | |
| "step": 4210 | |
| }, | |
| { | |
| "epoch": 1.688, | |
| "grad_norm": 0.3751389980316162, | |
| "learning_rate": 8.749333333333334e-06, | |
| "loss": 0.2443, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 1.692, | |
| "grad_norm": 0.46310901641845703, | |
| "learning_rate": 8.722666666666667e-06, | |
| "loss": 0.2645, | |
| "step": 4230 | |
| }, | |
| { | |
| "epoch": 1.696, | |
| "grad_norm": 0.4188234508037567, | |
| "learning_rate": 8.696000000000001e-06, | |
| "loss": 0.2488, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 0.3317827582359314, | |
| "learning_rate": 8.669333333333334e-06, | |
| "loss": 0.2519, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 1.704, | |
| "grad_norm": 0.36928510665893555, | |
| "learning_rate": 8.642666666666668e-06, | |
| "loss": 0.2457, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 1.708, | |
| "grad_norm": 0.3782973289489746, | |
| "learning_rate": 8.616000000000002e-06, | |
| "loss": 0.2753, | |
| "step": 4270 | |
| }, | |
| { | |
| "epoch": 1.712, | |
| "grad_norm": 0.29384884238243103, | |
| "learning_rate": 8.589333333333334e-06, | |
| "loss": 0.2498, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 1.716, | |
| "grad_norm": 0.42660385370254517, | |
| "learning_rate": 8.562666666666667e-06, | |
| "loss": 0.2364, | |
| "step": 4290 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.3873524069786072, | |
| "learning_rate": 8.536000000000001e-06, | |
| "loss": 0.2485, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 1.724, | |
| "grad_norm": 0.3234214186668396, | |
| "learning_rate": 8.509333333333333e-06, | |
| "loss": 0.257, | |
| "step": 4310 | |
| }, | |
| { | |
| "epoch": 1.728, | |
| "grad_norm": 0.3366452753543854, | |
| "learning_rate": 8.482666666666668e-06, | |
| "loss": 0.2233, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 1.732, | |
| "grad_norm": 0.35467636585235596, | |
| "learning_rate": 8.456000000000002e-06, | |
| "loss": 0.2442, | |
| "step": 4330 | |
| }, | |
| { | |
| "epoch": 1.736, | |
| "grad_norm": 0.26119524240493774, | |
| "learning_rate": 8.429333333333334e-06, | |
| "loss": 0.2498, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "grad_norm": 0.3373224437236786, | |
| "learning_rate": 8.402666666666668e-06, | |
| "loss": 0.2059, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 1.744, | |
| "grad_norm": 0.292337566614151, | |
| "learning_rate": 8.376e-06, | |
| "loss": 0.2363, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 1.748, | |
| "grad_norm": 0.2813045084476471, | |
| "learning_rate": 8.349333333333333e-06, | |
| "loss": 0.2372, | |
| "step": 4370 | |
| }, | |
| { | |
| "epoch": 1.752, | |
| "grad_norm": 0.2749570906162262, | |
| "learning_rate": 8.322666666666667e-06, | |
| "loss": 0.2747, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 1.756, | |
| "grad_norm": 0.2731185257434845, | |
| "learning_rate": 8.296000000000002e-06, | |
| "loss": 0.259, | |
| "step": 4390 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 0.30308401584625244, | |
| "learning_rate": 8.269333333333334e-06, | |
| "loss": 0.2719, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 1.764, | |
| "grad_norm": 0.4045141935348511, | |
| "learning_rate": 8.242666666666668e-06, | |
| "loss": 0.277, | |
| "step": 4410 | |
| }, | |
| { | |
| "epoch": 1.768, | |
| "grad_norm": 0.2454979419708252, | |
| "learning_rate": 8.216e-06, | |
| "loss": 0.2486, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 1.772, | |
| "grad_norm": 0.36703935265541077, | |
| "learning_rate": 8.189333333333333e-06, | |
| "loss": 0.2776, | |
| "step": 4430 | |
| }, | |
| { | |
| "epoch": 1.776, | |
| "grad_norm": 0.22125069797039032, | |
| "learning_rate": 8.162666666666667e-06, | |
| "loss": 0.2363, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 1.78, | |
| "grad_norm": 0.3106949031352997, | |
| "learning_rate": 8.136000000000001e-06, | |
| "loss": 0.2417, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 1.784, | |
| "grad_norm": 0.2498166561126709, | |
| "learning_rate": 8.109333333333334e-06, | |
| "loss": 0.2532, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 1.788, | |
| "grad_norm": 0.2341402769088745, | |
| "learning_rate": 8.082666666666668e-06, | |
| "loss": 0.252, | |
| "step": 4470 | |
| }, | |
| { | |
| "epoch": 1.792, | |
| "grad_norm": 0.3064709007740021, | |
| "learning_rate": 8.056e-06, | |
| "loss": 0.2538, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 1.796, | |
| "grad_norm": 0.45715293288230896, | |
| "learning_rate": 8.029333333333335e-06, | |
| "loss": 0.2748, | |
| "step": 4490 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.27951565384864807, | |
| "learning_rate": 8.002666666666667e-06, | |
| "loss": 0.2688, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 1.804, | |
| "grad_norm": 0.3826848268508911, | |
| "learning_rate": 7.976000000000001e-06, | |
| "loss": 0.277, | |
| "step": 4510 | |
| }, | |
| { | |
| "epoch": 1.808, | |
| "grad_norm": 0.44055384397506714, | |
| "learning_rate": 7.949333333333334e-06, | |
| "loss": 0.266, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 1.812, | |
| "grad_norm": 0.27713876962661743, | |
| "learning_rate": 7.922666666666668e-06, | |
| "loss": 0.2169, | |
| "step": 4530 | |
| }, | |
| { | |
| "epoch": 1.8159999999999998, | |
| "grad_norm": 0.35574108362197876, | |
| "learning_rate": 7.896e-06, | |
| "loss": 0.2806, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 1.8199999999999998, | |
| "grad_norm": 0.3369232416152954, | |
| "learning_rate": 7.869333333333334e-06, | |
| "loss": 0.2649, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 1.8239999999999998, | |
| "grad_norm": 0.42911919951438904, | |
| "learning_rate": 7.842666666666667e-06, | |
| "loss": 0.2468, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 1.8279999999999998, | |
| "grad_norm": 0.3616214990615845, | |
| "learning_rate": 7.816000000000001e-06, | |
| "loss": 0.2403, | |
| "step": 4570 | |
| }, | |
| { | |
| "epoch": 1.8319999999999999, | |
| "grad_norm": 0.3658316731452942, | |
| "learning_rate": 7.789333333333334e-06, | |
| "loss": 0.2751, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 1.8359999999999999, | |
| "grad_norm": 0.23591068387031555, | |
| "learning_rate": 7.762666666666668e-06, | |
| "loss": 0.2529, | |
| "step": 4590 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 0.29503270983695984, | |
| "learning_rate": 7.736e-06, | |
| "loss": 0.2843, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 1.8439999999999999, | |
| "grad_norm": 0.3724270164966583, | |
| "learning_rate": 7.709333333333334e-06, | |
| "loss": 0.2776, | |
| "step": 4610 | |
| }, | |
| { | |
| "epoch": 1.8479999999999999, | |
| "grad_norm": 0.3584628403186798, | |
| "learning_rate": 7.682666666666667e-06, | |
| "loss": 0.2896, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 1.8519999999999999, | |
| "grad_norm": 0.3826291859149933, | |
| "learning_rate": 7.656000000000001e-06, | |
| "loss": 0.273, | |
| "step": 4630 | |
| }, | |
| { | |
| "epoch": 1.8559999999999999, | |
| "grad_norm": 0.30887797474861145, | |
| "learning_rate": 7.629333333333334e-06, | |
| "loss": 0.2397, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 1.8599999999999999, | |
| "grad_norm": 0.24024438858032227, | |
| "learning_rate": 7.602666666666667e-06, | |
| "loss": 0.2219, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 1.8639999999999999, | |
| "grad_norm": 0.3022843897342682, | |
| "learning_rate": 7.576000000000001e-06, | |
| "loss": 0.2658, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 1.8679999999999999, | |
| "grad_norm": 0.32519158720970154, | |
| "learning_rate": 7.549333333333334e-06, | |
| "loss": 0.2681, | |
| "step": 4670 | |
| }, | |
| { | |
| "epoch": 1.8719999999999999, | |
| "grad_norm": 0.35749658942222595, | |
| "learning_rate": 7.522666666666667e-06, | |
| "loss": 0.2656, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 1.876, | |
| "grad_norm": 0.2936573624610901, | |
| "learning_rate": 7.496000000000001e-06, | |
| "loss": 0.2884, | |
| "step": 4690 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.28760528564453125, | |
| "learning_rate": 7.469333333333334e-06, | |
| "loss": 0.261, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 1.884, | |
| "grad_norm": 0.3032340705394745, | |
| "learning_rate": 7.442666666666667e-06, | |
| "loss": 0.2496, | |
| "step": 4710 | |
| }, | |
| { | |
| "epoch": 1.888, | |
| "grad_norm": 0.3310381770133972, | |
| "learning_rate": 7.416000000000001e-06, | |
| "loss": 0.2681, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 1.892, | |
| "grad_norm": 0.260921448469162, | |
| "learning_rate": 7.389333333333334e-06, | |
| "loss": 0.2606, | |
| "step": 4730 | |
| }, | |
| { | |
| "epoch": 1.896, | |
| "grad_norm": 0.3983185291290283, | |
| "learning_rate": 7.362666666666667e-06, | |
| "loss": 0.2529, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 0.2649815082550049, | |
| "learning_rate": 7.3360000000000006e-06, | |
| "loss": 0.2672, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 1.904, | |
| "grad_norm": 0.17475271224975586, | |
| "learning_rate": 7.309333333333334e-06, | |
| "loss": 0.2487, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 1.908, | |
| "grad_norm": 0.1849173754453659, | |
| "learning_rate": 7.282666666666667e-06, | |
| "loss": 0.2589, | |
| "step": 4770 | |
| }, | |
| { | |
| "epoch": 1.912, | |
| "grad_norm": 0.10120582580566406, | |
| "learning_rate": 7.2560000000000005e-06, | |
| "loss": 0.2323, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 1.916, | |
| "grad_norm": 0.11119116097688675, | |
| "learning_rate": 7.229333333333334e-06, | |
| "loss": 0.2792, | |
| "step": 4790 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 0.17446480691432953, | |
| "learning_rate": 7.202666666666668e-06, | |
| "loss": 0.276, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 1.924, | |
| "grad_norm": 0.14958135783672333, | |
| "learning_rate": 7.176e-06, | |
| "loss": 0.2797, | |
| "step": 4810 | |
| }, | |
| { | |
| "epoch": 1.928, | |
| "grad_norm": 0.16634155809879303, | |
| "learning_rate": 7.149333333333334e-06, | |
| "loss": 0.2883, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 1.932, | |
| "grad_norm": 0.12265870720148087, | |
| "learning_rate": 7.122666666666668e-06, | |
| "loss": 0.2679, | |
| "step": 4830 | |
| }, | |
| { | |
| "epoch": 1.936, | |
| "grad_norm": 0.1468086540699005, | |
| "learning_rate": 7.096e-06, | |
| "loss": 0.2629, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 1.94, | |
| "grad_norm": 0.13143840432167053, | |
| "learning_rate": 7.069333333333334e-06, | |
| "loss": 0.2582, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 1.944, | |
| "grad_norm": 0.0972132757306099, | |
| "learning_rate": 7.042666666666668e-06, | |
| "loss": 0.2775, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 1.948, | |
| "grad_norm": 0.10757272690534592, | |
| "learning_rate": 7.016e-06, | |
| "loss": 0.2762, | |
| "step": 4870 | |
| }, | |
| { | |
| "epoch": 1.952, | |
| "grad_norm": 0.0815700814127922, | |
| "learning_rate": 6.9893333333333336e-06, | |
| "loss": 0.2342, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 1.956, | |
| "grad_norm": 0.0996004045009613, | |
| "learning_rate": 6.962666666666668e-06, | |
| "loss": 0.2591, | |
| "step": 4890 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.0900239422917366, | |
| "learning_rate": 6.936e-06, | |
| "loss": 0.2564, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 1.964, | |
| "grad_norm": 0.1269359141588211, | |
| "learning_rate": 6.9093333333333335e-06, | |
| "loss": 0.2895, | |
| "step": 4910 | |
| }, | |
| { | |
| "epoch": 1.968, | |
| "grad_norm": 0.10901577025651932, | |
| "learning_rate": 6.882666666666668e-06, | |
| "loss": 0.2536, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 1.972, | |
| "grad_norm": 0.09355379641056061, | |
| "learning_rate": 6.856e-06, | |
| "loss": 0.2712, | |
| "step": 4930 | |
| }, | |
| { | |
| "epoch": 1.976, | |
| "grad_norm": 0.07490667700767517, | |
| "learning_rate": 6.829333333333333e-06, | |
| "loss": 0.261, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 1.98, | |
| "grad_norm": 0.07861382514238358, | |
| "learning_rate": 6.8026666666666675e-06, | |
| "loss": 0.2491, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 1.984, | |
| "grad_norm": 0.07900423556566238, | |
| "learning_rate": 6.776e-06, | |
| "loss": 0.3126, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 1.988, | |
| "grad_norm": 0.098032645881176, | |
| "learning_rate": 6.749333333333334e-06, | |
| "loss": 0.2186, | |
| "step": 4970 | |
| }, | |
| { | |
| "epoch": 1.992, | |
| "grad_norm": 0.09369993209838867, | |
| "learning_rate": 6.7226666666666675e-06, | |
| "loss": 0.2478, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 1.996, | |
| "grad_norm": 0.09760956466197968, | |
| "learning_rate": 6.696e-06, | |
| "loss": 0.2556, | |
| "step": 4990 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.1648833155632019, | |
| "learning_rate": 6.669333333333334e-06, | |
| "loss": 0.2727, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.24119731783866882, | |
| "eval_runtime": 65.6092, | |
| "eval_samples_per_second": 38.104, | |
| "eval_steps_per_second": 4.771, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 2.004, | |
| "grad_norm": 0.0808454379439354, | |
| "learning_rate": 6.642666666666667e-06, | |
| "loss": 0.2608, | |
| "step": 5010 | |
| }, | |
| { | |
| "epoch": 2.008, | |
| "grad_norm": 0.0906185582280159, | |
| "learning_rate": 6.616e-06, | |
| "loss": 0.2731, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 2.012, | |
| "grad_norm": 0.08718050271272659, | |
| "learning_rate": 6.589333333333334e-06, | |
| "loss": 0.2627, | |
| "step": 5030 | |
| }, | |
| { | |
| "epoch": 2.016, | |
| "grad_norm": 0.11350775510072708, | |
| "learning_rate": 6.562666666666667e-06, | |
| "loss": 0.273, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 2.02, | |
| "grad_norm": 0.11799473315477371, | |
| "learning_rate": 6.536e-06, | |
| "loss": 0.2612, | |
| "step": 5050 | |
| }, | |
| { | |
| "epoch": 2.024, | |
| "grad_norm": 0.13507218658924103, | |
| "learning_rate": 6.509333333333334e-06, | |
| "loss": 0.2199, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 2.028, | |
| "grad_norm": 0.08445365726947784, | |
| "learning_rate": 6.482666666666667e-06, | |
| "loss": 0.2732, | |
| "step": 5070 | |
| }, | |
| { | |
| "epoch": 2.032, | |
| "grad_norm": 0.09065169841051102, | |
| "learning_rate": 6.456e-06, | |
| "loss": 0.2512, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 2.036, | |
| "grad_norm": 0.10282640904188156, | |
| "learning_rate": 6.429333333333334e-06, | |
| "loss": 0.2917, | |
| "step": 5090 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 0.07192720472812653, | |
| "learning_rate": 6.402666666666667e-06, | |
| "loss": 0.2706, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 2.044, | |
| "grad_norm": 0.11664930731058121, | |
| "learning_rate": 6.376e-06, | |
| "loss": 0.2478, | |
| "step": 5110 | |
| }, | |
| { | |
| "epoch": 2.048, | |
| "grad_norm": 0.11517810076475143, | |
| "learning_rate": 6.349333333333334e-06, | |
| "loss": 0.2692, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 2.052, | |
| "grad_norm": 0.13063500821590424, | |
| "learning_rate": 6.322666666666667e-06, | |
| "loss": 0.2578, | |
| "step": 5130 | |
| }, | |
| { | |
| "epoch": 2.056, | |
| "grad_norm": 0.11885740607976913, | |
| "learning_rate": 6.296000000000001e-06, | |
| "loss": 0.267, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 2.06, | |
| "grad_norm": 0.08815253525972366, | |
| "learning_rate": 6.269333333333334e-06, | |
| "loss": 0.2752, | |
| "step": 5150 | |
| }, | |
| { | |
| "epoch": 2.064, | |
| "grad_norm": 0.14298759400844574, | |
| "learning_rate": 6.242666666666667e-06, | |
| "loss": 0.2663, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 2.068, | |
| "grad_norm": 0.10055135190486908, | |
| "learning_rate": 6.216000000000001e-06, | |
| "loss": 0.2505, | |
| "step": 5170 | |
| }, | |
| { | |
| "epoch": 2.072, | |
| "grad_norm": 0.13054154813289642, | |
| "learning_rate": 6.189333333333334e-06, | |
| "loss": 0.2817, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 2.076, | |
| "grad_norm": 0.12630607187747955, | |
| "learning_rate": 6.162666666666667e-06, | |
| "loss": 0.2701, | |
| "step": 5190 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 0.14159268140792847, | |
| "learning_rate": 6.136000000000001e-06, | |
| "loss": 0.2702, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 2.084, | |
| "grad_norm": 0.13409964740276337, | |
| "learning_rate": 6.1093333333333335e-06, | |
| "loss": 0.2544, | |
| "step": 5210 | |
| }, | |
| { | |
| "epoch": 2.088, | |
| "grad_norm": 0.12335699796676636, | |
| "learning_rate": 6.082666666666667e-06, | |
| "loss": 0.2504, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 2.092, | |
| "grad_norm": 0.10816927254199982, | |
| "learning_rate": 6.056000000000001e-06, | |
| "loss": 0.2488, | |
| "step": 5230 | |
| }, | |
| { | |
| "epoch": 2.096, | |
| "grad_norm": 0.1388978362083435, | |
| "learning_rate": 6.0293333333333334e-06, | |
| "loss": 0.2282, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 0.10510966181755066, | |
| "learning_rate": 6.002666666666667e-06, | |
| "loss": 0.2485, | |
| "step": 5250 | |
| }, | |
| { | |
| "epoch": 2.104, | |
| "grad_norm": 0.2210332155227661, | |
| "learning_rate": 5.976000000000001e-06, | |
| "loss": 0.2409, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 2.108, | |
| "grad_norm": 0.11423420161008835, | |
| "learning_rate": 5.949333333333333e-06, | |
| "loss": 0.2822, | |
| "step": 5270 | |
| }, | |
| { | |
| "epoch": 2.112, | |
| "grad_norm": 0.08762288093566895, | |
| "learning_rate": 5.9226666666666675e-06, | |
| "loss": 0.2477, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 2.116, | |
| "grad_norm": 0.09192516654729843, | |
| "learning_rate": 5.896000000000001e-06, | |
| "loss": 0.2619, | |
| "step": 5290 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 0.1299988478422165, | |
| "learning_rate": 5.869333333333333e-06, | |
| "loss": 0.2548, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 2.124, | |
| "grad_norm": 0.11268695443868637, | |
| "learning_rate": 5.842666666666667e-06, | |
| "loss": 0.2472, | |
| "step": 5310 | |
| }, | |
| { | |
| "epoch": 2.128, | |
| "grad_norm": 0.10344608873128891, | |
| "learning_rate": 5.816000000000001e-06, | |
| "loss": 0.2498, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 2.132, | |
| "grad_norm": 0.09666316956281662, | |
| "learning_rate": 5.789333333333333e-06, | |
| "loss": 0.2547, | |
| "step": 5330 | |
| }, | |
| { | |
| "epoch": 2.136, | |
| "grad_norm": 0.10370825231075287, | |
| "learning_rate": 5.762666666666667e-06, | |
| "loss": 0.2634, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 2.14, | |
| "grad_norm": NaN, | |
| "learning_rate": 5.736000000000001e-06, | |
| "loss": 0.2519, | |
| "step": 5350 | |
| }, | |
| { | |
| "epoch": 2.144, | |
| "grad_norm": 0.14553070068359375, | |
| "learning_rate": 5.709333333333333e-06, | |
| "loss": 0.2566, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 2.148, | |
| "grad_norm": 0.11000310629606247, | |
| "learning_rate": 5.682666666666667e-06, | |
| "loss": 0.2979, | |
| "step": 5370 | |
| }, | |
| { | |
| "epoch": 2.152, | |
| "grad_norm": 0.1058771163225174, | |
| "learning_rate": 5.6560000000000006e-06, | |
| "loss": 0.282, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 2.156, | |
| "grad_norm": 0.12154778838157654, | |
| "learning_rate": 5.629333333333333e-06, | |
| "loss": 0.242, | |
| "step": 5390 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 0.1614154428243637, | |
| "learning_rate": 5.602666666666667e-06, | |
| "loss": 0.2521, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 2.164, | |
| "grad_norm": 0.15051324665546417, | |
| "learning_rate": 5.5760000000000005e-06, | |
| "loss": 0.2639, | |
| "step": 5410 | |
| }, | |
| { | |
| "epoch": 2.168, | |
| "grad_norm": 0.13113752007484436, | |
| "learning_rate": 5.549333333333333e-06, | |
| "loss": 0.2627, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 2.172, | |
| "grad_norm": 0.15376834571361542, | |
| "learning_rate": 5.522666666666667e-06, | |
| "loss": 0.2645, | |
| "step": 5430 | |
| }, | |
| { | |
| "epoch": 2.176, | |
| "grad_norm": NaN, | |
| "learning_rate": 5.496e-06, | |
| "loss": 0.251, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 2.18, | |
| "grad_norm": 0.23466192185878754, | |
| "learning_rate": 5.4693333333333346e-06, | |
| "loss": 0.2716, | |
| "step": 5450 | |
| }, | |
| { | |
| "epoch": 2.184, | |
| "grad_norm": 0.17084863781929016, | |
| "learning_rate": 5.442666666666667e-06, | |
| "loss": 0.2655, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 2.188, | |
| "grad_norm": 0.15090127289295197, | |
| "learning_rate": 5.416e-06, | |
| "loss": 0.2984, | |
| "step": 5470 | |
| }, | |
| { | |
| "epoch": 2.192, | |
| "grad_norm": 0.1479702740907669, | |
| "learning_rate": 5.3893333333333345e-06, | |
| "loss": 0.2412, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 2.196, | |
| "grad_norm": 0.18114417791366577, | |
| "learning_rate": 5.362666666666667e-06, | |
| "loss": 0.283, | |
| "step": 5490 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 0.19299641251564026, | |
| "learning_rate": 5.336e-06, | |
| "loss": 0.2609, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 2.204, | |
| "grad_norm": 0.16892081499099731, | |
| "learning_rate": 5.309333333333334e-06, | |
| "loss": 0.2685, | |
| "step": 5510 | |
| }, | |
| { | |
| "epoch": 2.208, | |
| "grad_norm": 0.14242294430732727, | |
| "learning_rate": 5.282666666666667e-06, | |
| "loss": 0.2722, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 2.212, | |
| "grad_norm": 0.26127591729164124, | |
| "learning_rate": 5.256e-06, | |
| "loss": 0.2979, | |
| "step": 5530 | |
| }, | |
| { | |
| "epoch": 2.216, | |
| "grad_norm": 0.15883752703666687, | |
| "learning_rate": 5.229333333333334e-06, | |
| "loss": 0.2488, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 2.22, | |
| "grad_norm": 0.22178013622760773, | |
| "learning_rate": 5.202666666666667e-06, | |
| "loss": 0.2862, | |
| "step": 5550 | |
| }, | |
| { | |
| "epoch": 2.224, | |
| "grad_norm": 0.16950379312038422, | |
| "learning_rate": 5.176e-06, | |
| "loss": 0.2559, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 2.228, | |
| "grad_norm": 0.08508289605379105, | |
| "learning_rate": 5.149333333333334e-06, | |
| "loss": 0.2358, | |
| "step": 5570 | |
| }, | |
| { | |
| "epoch": 2.232, | |
| "grad_norm": 0.17523686587810516, | |
| "learning_rate": 5.122666666666667e-06, | |
| "loss": 0.2802, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 2.2359999999999998, | |
| "grad_norm": 0.14943397045135498, | |
| "learning_rate": 5.096000000000001e-06, | |
| "loss": 0.2547, | |
| "step": 5590 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.20480185747146606, | |
| "learning_rate": 5.069333333333334e-06, | |
| "loss": 0.2484, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 2.2439999999999998, | |
| "grad_norm": 0.1461692899465561, | |
| "learning_rate": 5.042666666666667e-06, | |
| "loss": 0.2597, | |
| "step": 5610 | |
| }, | |
| { | |
| "epoch": 2.248, | |
| "grad_norm": 0.1326453983783722, | |
| "learning_rate": 5.016000000000001e-06, | |
| "loss": 0.2571, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 2.252, | |
| "grad_norm": 0.16321216523647308, | |
| "learning_rate": 4.989333333333334e-06, | |
| "loss": 0.2401, | |
| "step": 5630 | |
| }, | |
| { | |
| "epoch": 2.2560000000000002, | |
| "grad_norm": 0.1340763121843338, | |
| "learning_rate": 4.962666666666667e-06, | |
| "loss": 0.2669, | |
| "step": 5640 | |
| }, | |
| { | |
| "epoch": 2.26, | |
| "grad_norm": 0.22969891130924225, | |
| "learning_rate": 4.936e-06, | |
| "loss": 0.2374, | |
| "step": 5650 | |
| }, | |
| { | |
| "epoch": 2.2640000000000002, | |
| "grad_norm": 0.227335125207901, | |
| "learning_rate": 4.909333333333334e-06, | |
| "loss": 0.2625, | |
| "step": 5660 | |
| }, | |
| { | |
| "epoch": 2.268, | |
| "grad_norm": 0.23074021935462952, | |
| "learning_rate": 4.882666666666667e-06, | |
| "loss": 0.2602, | |
| "step": 5670 | |
| }, | |
| { | |
| "epoch": 2.2720000000000002, | |
| "grad_norm": 0.2321901023387909, | |
| "learning_rate": 4.856e-06, | |
| "loss": 0.2738, | |
| "step": 5680 | |
| }, | |
| { | |
| "epoch": 2.276, | |
| "grad_norm": 0.1699729710817337, | |
| "learning_rate": 4.829333333333334e-06, | |
| "loss": 0.2714, | |
| "step": 5690 | |
| }, | |
| { | |
| "epoch": 2.2800000000000002, | |
| "grad_norm": 0.25175052881240845, | |
| "learning_rate": 4.802666666666667e-06, | |
| "loss": 0.2708, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 2.284, | |
| "grad_norm": 0.24156895279884338, | |
| "learning_rate": 4.7760000000000005e-06, | |
| "loss": 0.2519, | |
| "step": 5710 | |
| }, | |
| { | |
| "epoch": 2.288, | |
| "grad_norm": 0.2111712396144867, | |
| "learning_rate": 4.749333333333334e-06, | |
| "loss": 0.245, | |
| "step": 5720 | |
| }, | |
| { | |
| "epoch": 2.292, | |
| "grad_norm": 0.16868716478347778, | |
| "learning_rate": 4.722666666666667e-06, | |
| "loss": 0.2524, | |
| "step": 5730 | |
| }, | |
| { | |
| "epoch": 2.296, | |
| "grad_norm": 0.16468843817710876, | |
| "learning_rate": 4.6960000000000004e-06, | |
| "loss": 0.252, | |
| "step": 5740 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 0.15060193836688995, | |
| "learning_rate": 4.669333333333334e-06, | |
| "loss": 0.2609, | |
| "step": 5750 | |
| }, | |
| { | |
| "epoch": 2.304, | |
| "grad_norm": 0.18585968017578125, | |
| "learning_rate": 4.642666666666667e-06, | |
| "loss": 0.2538, | |
| "step": 5760 | |
| }, | |
| { | |
| "epoch": 2.308, | |
| "grad_norm": 0.2244134396314621, | |
| "learning_rate": 4.616e-06, | |
| "loss": 0.2715, | |
| "step": 5770 | |
| }, | |
| { | |
| "epoch": 2.312, | |
| "grad_norm": 0.16831956803798676, | |
| "learning_rate": 4.589333333333334e-06, | |
| "loss": 0.2899, | |
| "step": 5780 | |
| }, | |
| { | |
| "epoch": 2.316, | |
| "grad_norm": 0.17418567836284637, | |
| "learning_rate": 4.562666666666667e-06, | |
| "loss": 0.2632, | |
| "step": 5790 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 0.23205284774303436, | |
| "learning_rate": 4.536e-06, | |
| "loss": 0.2637, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 2.324, | |
| "grad_norm": 0.17156484723091125, | |
| "learning_rate": 4.509333333333334e-06, | |
| "loss": 0.2592, | |
| "step": 5810 | |
| }, | |
| { | |
| "epoch": 2.328, | |
| "grad_norm": 0.18730148673057556, | |
| "learning_rate": 4.482666666666667e-06, | |
| "loss": 0.2501, | |
| "step": 5820 | |
| }, | |
| { | |
| "epoch": 2.332, | |
| "grad_norm": 0.18825125694274902, | |
| "learning_rate": 4.456e-06, | |
| "loss": 0.2208, | |
| "step": 5830 | |
| }, | |
| { | |
| "epoch": 2.336, | |
| "grad_norm": 0.1911272555589676, | |
| "learning_rate": 4.4293333333333335e-06, | |
| "loss": 0.2601, | |
| "step": 5840 | |
| }, | |
| { | |
| "epoch": 2.34, | |
| "grad_norm": 0.30404987931251526, | |
| "learning_rate": 4.402666666666667e-06, | |
| "loss": 0.2765, | |
| "step": 5850 | |
| }, | |
| { | |
| "epoch": 2.344, | |
| "grad_norm": 0.18253399431705475, | |
| "learning_rate": 4.376e-06, | |
| "loss": 0.2314, | |
| "step": 5860 | |
| }, | |
| { | |
| "epoch": 2.348, | |
| "grad_norm": 0.14542120695114136, | |
| "learning_rate": 4.349333333333333e-06, | |
| "loss": 0.2576, | |
| "step": 5870 | |
| }, | |
| { | |
| "epoch": 2.352, | |
| "grad_norm": 0.26051434874534607, | |
| "learning_rate": 4.3226666666666676e-06, | |
| "loss": 0.2925, | |
| "step": 5880 | |
| }, | |
| { | |
| "epoch": 2.356, | |
| "grad_norm": 0.22268620133399963, | |
| "learning_rate": 4.296e-06, | |
| "loss": 0.2505, | |
| "step": 5890 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 0.23523187637329102, | |
| "learning_rate": 4.269333333333333e-06, | |
| "loss": 0.2653, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 2.364, | |
| "grad_norm": 0.2189938873052597, | |
| "learning_rate": 4.2426666666666675e-06, | |
| "loss": 0.2488, | |
| "step": 5910 | |
| }, | |
| { | |
| "epoch": 2.368, | |
| "grad_norm": 0.2289077341556549, | |
| "learning_rate": 4.216e-06, | |
| "loss": 0.2503, | |
| "step": 5920 | |
| }, | |
| { | |
| "epoch": 2.372, | |
| "grad_norm": 0.21585491299629211, | |
| "learning_rate": 4.189333333333333e-06, | |
| "loss": 0.2806, | |
| "step": 5930 | |
| }, | |
| { | |
| "epoch": 2.376, | |
| "grad_norm": 0.3019189238548279, | |
| "learning_rate": 4.162666666666667e-06, | |
| "loss": 0.2648, | |
| "step": 5940 | |
| }, | |
| { | |
| "epoch": 2.38, | |
| "grad_norm": 0.27860188484191895, | |
| "learning_rate": 4.136000000000001e-06, | |
| "loss": 0.2718, | |
| "step": 5950 | |
| }, | |
| { | |
| "epoch": 2.384, | |
| "grad_norm": 0.27165427803993225, | |
| "learning_rate": 4.109333333333333e-06, | |
| "loss": 0.2523, | |
| "step": 5960 | |
| }, | |
| { | |
| "epoch": 2.388, | |
| "grad_norm": 0.20062775909900665, | |
| "learning_rate": 4.082666666666667e-06, | |
| "loss": 0.26, | |
| "step": 5970 | |
| }, | |
| { | |
| "epoch": 2.392, | |
| "grad_norm": 0.20866365730762482, | |
| "learning_rate": 4.056000000000001e-06, | |
| "loss": 0.2597, | |
| "step": 5980 | |
| }, | |
| { | |
| "epoch": 2.396, | |
| "grad_norm": 0.15841415524482727, | |
| "learning_rate": 4.029333333333333e-06, | |
| "loss": 0.2594, | |
| "step": 5990 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 0.20054064691066742, | |
| "learning_rate": 4.002666666666667e-06, | |
| "loss": 0.2491, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 2.404, | |
| "grad_norm": 0.24332402646541595, | |
| "learning_rate": 3.9760000000000006e-06, | |
| "loss": 0.2603, | |
| "step": 6010 | |
| }, | |
| { | |
| "epoch": 2.408, | |
| "grad_norm": 0.22125115990638733, | |
| "learning_rate": 3.949333333333334e-06, | |
| "loss": 0.253, | |
| "step": 6020 | |
| }, | |
| { | |
| "epoch": 2.412, | |
| "grad_norm": 0.23397159576416016, | |
| "learning_rate": 3.922666666666667e-06, | |
| "loss": 0.2833, | |
| "step": 6030 | |
| }, | |
| { | |
| "epoch": 2.416, | |
| "grad_norm": 0.17838267982006073, | |
| "learning_rate": 3.8960000000000005e-06, | |
| "loss": 0.2494, | |
| "step": 6040 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 0.27850839495658875, | |
| "learning_rate": 3.869333333333334e-06, | |
| "loss": 0.2385, | |
| "step": 6050 | |
| }, | |
| { | |
| "epoch": 2.424, | |
| "grad_norm": 0.31709569692611694, | |
| "learning_rate": 3.842666666666667e-06, | |
| "loss": 0.3055, | |
| "step": 6060 | |
| }, | |
| { | |
| "epoch": 2.428, | |
| "grad_norm": 0.33418047428131104, | |
| "learning_rate": 3.816e-06, | |
| "loss": 0.261, | |
| "step": 6070 | |
| }, | |
| { | |
| "epoch": 2.432, | |
| "grad_norm": 0.2386629432439804, | |
| "learning_rate": 3.7893333333333337e-06, | |
| "loss": 0.2693, | |
| "step": 6080 | |
| }, | |
| { | |
| "epoch": 2.436, | |
| "grad_norm": 0.25883948802948, | |
| "learning_rate": 3.7626666666666674e-06, | |
| "loss": 0.2596, | |
| "step": 6090 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 0.3060862421989441, | |
| "learning_rate": 3.7360000000000003e-06, | |
| "loss": 0.2348, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 2.444, | |
| "grad_norm": 0.2934260070323944, | |
| "learning_rate": 3.7093333333333336e-06, | |
| "loss": 0.2594, | |
| "step": 6110 | |
| }, | |
| { | |
| "epoch": 2.448, | |
| "grad_norm": 0.24371583759784698, | |
| "learning_rate": 3.6826666666666673e-06, | |
| "loss": 0.2534, | |
| "step": 6120 | |
| }, | |
| { | |
| "epoch": 2.452, | |
| "grad_norm": 0.25196611881256104, | |
| "learning_rate": 3.6560000000000002e-06, | |
| "loss": 0.231, | |
| "step": 6130 | |
| }, | |
| { | |
| "epoch": 2.456, | |
| "grad_norm": 0.34707802534103394, | |
| "learning_rate": 3.6293333333333335e-06, | |
| "loss": 0.2799, | |
| "step": 6140 | |
| }, | |
| { | |
| "epoch": 2.46, | |
| "grad_norm": 0.28383809328079224, | |
| "learning_rate": 3.6026666666666673e-06, | |
| "loss": 0.2785, | |
| "step": 6150 | |
| }, | |
| { | |
| "epoch": 2.464, | |
| "grad_norm": 0.32474640011787415, | |
| "learning_rate": 3.576e-06, | |
| "loss": 0.2591, | |
| "step": 6160 | |
| }, | |
| { | |
| "epoch": 2.468, | |
| "grad_norm": 0.3230029344558716, | |
| "learning_rate": 3.5493333333333335e-06, | |
| "loss": 0.2525, | |
| "step": 6170 | |
| }, | |
| { | |
| "epoch": 2.472, | |
| "grad_norm": 0.2746059000492096, | |
| "learning_rate": 3.522666666666667e-06, | |
| "loss": 0.2664, | |
| "step": 6180 | |
| }, | |
| { | |
| "epoch": 2.476, | |
| "grad_norm": 0.3114841878414154, | |
| "learning_rate": 3.4960000000000005e-06, | |
| "loss": 0.2363, | |
| "step": 6190 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 0.29724350571632385, | |
| "learning_rate": 3.4693333333333334e-06, | |
| "loss": 0.2701, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 2.484, | |
| "grad_norm": 0.38215216994285583, | |
| "learning_rate": 3.442666666666667e-06, | |
| "loss": 0.2467, | |
| "step": 6210 | |
| }, | |
| { | |
| "epoch": 2.488, | |
| "grad_norm": 0.45951414108276367, | |
| "learning_rate": 3.4160000000000004e-06, | |
| "loss": 0.2627, | |
| "step": 6220 | |
| }, | |
| { | |
| "epoch": 2.492, | |
| "grad_norm": 0.4669560492038727, | |
| "learning_rate": 3.3893333333333333e-06, | |
| "loss": 0.2706, | |
| "step": 6230 | |
| }, | |
| { | |
| "epoch": 2.496, | |
| "grad_norm": 0.35591474175453186, | |
| "learning_rate": 3.362666666666667e-06, | |
| "loss": 0.2656, | |
| "step": 6240 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 0.3012729287147522, | |
| "learning_rate": 3.3360000000000003e-06, | |
| "loss": 0.2569, | |
| "step": 6250 | |
| }, | |
| { | |
| "epoch": 2.504, | |
| "grad_norm": 0.41401100158691406, | |
| "learning_rate": 3.3093333333333336e-06, | |
| "loss": 0.258, | |
| "step": 6260 | |
| }, | |
| { | |
| "epoch": 2.508, | |
| "grad_norm": 0.3326101303100586, | |
| "learning_rate": 3.282666666666667e-06, | |
| "loss": 0.2464, | |
| "step": 6270 | |
| }, | |
| { | |
| "epoch": 2.512, | |
| "grad_norm": 0.40910303592681885, | |
| "learning_rate": 3.2560000000000003e-06, | |
| "loss": 0.2638, | |
| "step": 6280 | |
| }, | |
| { | |
| "epoch": 2.516, | |
| "grad_norm": 0.31520652770996094, | |
| "learning_rate": 3.2293333333333336e-06, | |
| "loss": 0.2396, | |
| "step": 6290 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 0.22357305884361267, | |
| "learning_rate": 3.202666666666667e-06, | |
| "loss": 0.2404, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 2.524, | |
| "grad_norm": 0.37271714210510254, | |
| "learning_rate": 3.176e-06, | |
| "loss": 0.2699, | |
| "step": 6310 | |
| }, | |
| { | |
| "epoch": 2.528, | |
| "grad_norm": 0.4670230448246002, | |
| "learning_rate": 3.1493333333333335e-06, | |
| "loss": 0.2917, | |
| "step": 6320 | |
| }, | |
| { | |
| "epoch": 2.532, | |
| "grad_norm": 0.2631402015686035, | |
| "learning_rate": 3.122666666666667e-06, | |
| "loss": 0.2332, | |
| "step": 6330 | |
| }, | |
| { | |
| "epoch": 2.536, | |
| "grad_norm": 0.3713894188404083, | |
| "learning_rate": 3.096e-06, | |
| "loss": 0.2639, | |
| "step": 6340 | |
| }, | |
| { | |
| "epoch": 2.54, | |
| "grad_norm": 0.3112774193286896, | |
| "learning_rate": 3.069333333333334e-06, | |
| "loss": 0.2441, | |
| "step": 6350 | |
| }, | |
| { | |
| "epoch": 2.544, | |
| "grad_norm": 0.3473227620124817, | |
| "learning_rate": 3.042666666666667e-06, | |
| "loss": 0.2648, | |
| "step": 6360 | |
| }, | |
| { | |
| "epoch": 2.548, | |
| "grad_norm": 0.33424028754234314, | |
| "learning_rate": 3.016e-06, | |
| "loss": 0.2648, | |
| "step": 6370 | |
| }, | |
| { | |
| "epoch": 2.552, | |
| "grad_norm": 0.51408451795578, | |
| "learning_rate": 2.9893333333333337e-06, | |
| "loss": 0.2711, | |
| "step": 6380 | |
| }, | |
| { | |
| "epoch": 2.556, | |
| "grad_norm": 0.4163203239440918, | |
| "learning_rate": 2.962666666666667e-06, | |
| "loss": 0.2743, | |
| "step": 6390 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 0.3894965946674347, | |
| "learning_rate": 2.9360000000000003e-06, | |
| "loss": 0.2359, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 2.564, | |
| "grad_norm": 0.3148307800292969, | |
| "learning_rate": 2.9093333333333337e-06, | |
| "loss": 0.2469, | |
| "step": 6410 | |
| }, | |
| { | |
| "epoch": 2.568, | |
| "grad_norm": 0.4248031675815582, | |
| "learning_rate": 2.882666666666667e-06, | |
| "loss": 0.2511, | |
| "step": 6420 | |
| }, | |
| { | |
| "epoch": 2.572, | |
| "grad_norm": 0.31970927119255066, | |
| "learning_rate": 2.8560000000000003e-06, | |
| "loss": 0.279, | |
| "step": 6430 | |
| }, | |
| { | |
| "epoch": 2.576, | |
| "grad_norm": 0.31513524055480957, | |
| "learning_rate": 2.8293333333333336e-06, | |
| "loss": 0.2619, | |
| "step": 6440 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 0.3363206386566162, | |
| "learning_rate": 2.802666666666667e-06, | |
| "loss": 0.288, | |
| "step": 6450 | |
| }, | |
| { | |
| "epoch": 2.584, | |
| "grad_norm": 0.2524028718471527, | |
| "learning_rate": 2.776e-06, | |
| "loss": 0.2519, | |
| "step": 6460 | |
| }, | |
| { | |
| "epoch": 2.588, | |
| "grad_norm": 0.3439158499240875, | |
| "learning_rate": 2.7493333333333335e-06, | |
| "loss": 0.2371, | |
| "step": 6470 | |
| }, | |
| { | |
| "epoch": 2.592, | |
| "grad_norm": 0.29221490025520325, | |
| "learning_rate": 2.722666666666667e-06, | |
| "loss": 0.2696, | |
| "step": 6480 | |
| }, | |
| { | |
| "epoch": 2.596, | |
| "grad_norm": 0.34799039363861084, | |
| "learning_rate": 2.696e-06, | |
| "loss": 0.2666, | |
| "step": 6490 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 0.4551205635070801, | |
| "learning_rate": 2.669333333333334e-06, | |
| "loss": 0.2648, | |
| "step": 6500 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 7500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.583290515456e+16, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |