| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 500, | |
| "global_step": 7500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0013333333333333333, | |
| "grad_norm": 8.54599380493164, | |
| "learning_rate": 1.8e-05, | |
| "loss": 5.4609, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.0026666666666666666, | |
| "grad_norm": 4.442131519317627, | |
| "learning_rate": 3.8e-05, | |
| "loss": 4.4953, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.004, | |
| "grad_norm": 2.5090410709381104, | |
| "learning_rate": 5.8e-05, | |
| "loss": 3.6086, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.005333333333333333, | |
| "grad_norm": 2.2689425945281982, | |
| "learning_rate": 7.800000000000001e-05, | |
| "loss": 3.2301, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 2.368473768234253, | |
| "learning_rate": 9.8e-05, | |
| "loss": 3.1415, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.008, | |
| "grad_norm": 2.5440406799316406, | |
| "learning_rate": 0.000118, | |
| "loss": 2.812, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.009333333333333334, | |
| "grad_norm": 3.2771072387695312, | |
| "learning_rate": 0.000138, | |
| "loss": 2.7536, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.010666666666666666, | |
| "grad_norm": 3.1553053855895996, | |
| "learning_rate": 0.00015800000000000002, | |
| "loss": 3.0832, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.012, | |
| "grad_norm": 2.804758310317993, | |
| "learning_rate": 0.00017800000000000002, | |
| "loss": 2.5819, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 3.1417534351348877, | |
| "learning_rate": 0.00019800000000000002, | |
| "loss": 2.5907, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.014666666666666666, | |
| "grad_norm": 4.256618022918701, | |
| "learning_rate": 0.00019975675675675675, | |
| "loss": 2.6703, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.016, | |
| "grad_norm": 3.272716760635376, | |
| "learning_rate": 0.00019948648648648648, | |
| "loss": 2.6242, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.017333333333333333, | |
| "grad_norm": 2.649427652359009, | |
| "learning_rate": 0.00019921621621621623, | |
| "loss": 2.522, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.018666666666666668, | |
| "grad_norm": 3.259302854537964, | |
| "learning_rate": 0.00019894594594594596, | |
| "loss": 2.5605, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 3.081885814666748, | |
| "learning_rate": 0.0001986756756756757, | |
| "loss": 2.4966, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.021333333333333333, | |
| "grad_norm": 3.1175105571746826, | |
| "learning_rate": 0.00019840540540540542, | |
| "loss": 2.5449, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.02266666666666667, | |
| "grad_norm": 2.9999260902404785, | |
| "learning_rate": 0.00019813513513513515, | |
| "loss": 2.444, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.024, | |
| "grad_norm": 2.9630610942840576, | |
| "learning_rate": 0.00019786486486486488, | |
| "loss": 2.3259, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.025333333333333333, | |
| "grad_norm": 2.424903392791748, | |
| "learning_rate": 0.0001975945945945946, | |
| "loss": 2.4376, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 2.5037362575531006, | |
| "learning_rate": 0.00019732432432432434, | |
| "loss": 2.4054, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.028, | |
| "grad_norm": 2.698734998703003, | |
| "learning_rate": 0.00019705405405405407, | |
| "loss": 2.4893, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.029333333333333333, | |
| "grad_norm": 2.93727445602417, | |
| "learning_rate": 0.0001967837837837838, | |
| "loss": 2.4322, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.030666666666666665, | |
| "grad_norm": 2.732948064804077, | |
| "learning_rate": 0.00019651351351351352, | |
| "loss": 2.4059, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.032, | |
| "grad_norm": 2.547001838684082, | |
| "learning_rate": 0.00019624324324324325, | |
| "loss": 2.3939, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 3.1220786571502686, | |
| "learning_rate": 0.00019597297297297298, | |
| "loss": 2.4073, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.034666666666666665, | |
| "grad_norm": 2.666619300842285, | |
| "learning_rate": 0.0001957027027027027, | |
| "loss": 2.4248, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.036, | |
| "grad_norm": 2.6100213527679443, | |
| "learning_rate": 0.00019543243243243244, | |
| "loss": 2.4226, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.037333333333333336, | |
| "grad_norm": 2.719904661178589, | |
| "learning_rate": 0.00019516216216216217, | |
| "loss": 2.3225, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.03866666666666667, | |
| "grad_norm": 2.7894270420074463, | |
| "learning_rate": 0.0001948918918918919, | |
| "loss": 2.4674, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 2.681861400604248, | |
| "learning_rate": 0.00019462162162162163, | |
| "loss": 2.3162, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.04133333333333333, | |
| "grad_norm": 2.6987245082855225, | |
| "learning_rate": 0.00019435135135135136, | |
| "loss": 2.3305, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.042666666666666665, | |
| "grad_norm": 3.070972442626953, | |
| "learning_rate": 0.00019408108108108109, | |
| "loss": 2.4287, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.044, | |
| "grad_norm": 3.182809591293335, | |
| "learning_rate": 0.00019381081081081082, | |
| "loss": 2.3388, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.04533333333333334, | |
| "grad_norm": 2.537672281265259, | |
| "learning_rate": 0.00019354054054054057, | |
| "loss": 2.4681, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 3.020998239517212, | |
| "learning_rate": 0.00019327027027027027, | |
| "loss": 2.2711, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.048, | |
| "grad_norm": 2.513453245162964, | |
| "learning_rate": 0.000193, | |
| "loss": 2.2022, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.04933333333333333, | |
| "grad_norm": 2.6128101348876953, | |
| "learning_rate": 0.00019272972972972973, | |
| "loss": 2.1995, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.050666666666666665, | |
| "grad_norm": 2.2417399883270264, | |
| "learning_rate": 0.00019245945945945946, | |
| "loss": 2.4493, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.052, | |
| "grad_norm": 2.059178590774536, | |
| "learning_rate": 0.0001921891891891892, | |
| "loss": 2.2551, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 2.5995736122131348, | |
| "learning_rate": 0.00019191891891891895, | |
| "loss": 2.2236, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.05466666666666667, | |
| "grad_norm": 2.6002516746520996, | |
| "learning_rate": 0.00019164864864864867, | |
| "loss": 2.3687, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.056, | |
| "grad_norm": 2.8979287147521973, | |
| "learning_rate": 0.0001913783783783784, | |
| "loss": 2.2049, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.05733333333333333, | |
| "grad_norm": 2.6748251914978027, | |
| "learning_rate": 0.0001911081081081081, | |
| "loss": 2.1391, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.058666666666666666, | |
| "grad_norm": 2.5248448848724365, | |
| "learning_rate": 0.00019083783783783783, | |
| "loss": 2.2802, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 3.0248875617980957, | |
| "learning_rate": 0.00019056756756756756, | |
| "loss": 2.3581, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.06133333333333333, | |
| "grad_norm": 2.5311789512634277, | |
| "learning_rate": 0.0001902972972972973, | |
| "loss": 2.2591, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.06266666666666666, | |
| "grad_norm": 2.5081493854522705, | |
| "learning_rate": 0.00019002702702702705, | |
| "loss": 2.1174, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.064, | |
| "grad_norm": 2.6198976039886475, | |
| "learning_rate": 0.00018975675675675678, | |
| "loss": 2.0521, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.06533333333333333, | |
| "grad_norm": 2.45538330078125, | |
| "learning_rate": 0.0001894864864864865, | |
| "loss": 2.2505, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 2.385469675064087, | |
| "learning_rate": 0.00018921621621621624, | |
| "loss": 2.2058, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.068, | |
| "grad_norm": 2.725461483001709, | |
| "learning_rate": 0.00018894594594594594, | |
| "loss": 2.204, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.06933333333333333, | |
| "grad_norm": 2.841071128845215, | |
| "learning_rate": 0.00018867567567567567, | |
| "loss": 2.2056, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.07066666666666667, | |
| "grad_norm": 2.7167351245880127, | |
| "learning_rate": 0.00018840540540540542, | |
| "loss": 2.3119, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.072, | |
| "grad_norm": 2.4602131843566895, | |
| "learning_rate": 0.00018813513513513515, | |
| "loss": 2.1392, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 2.702946186065674, | |
| "learning_rate": 0.00018786486486486488, | |
| "loss": 2.134, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.07466666666666667, | |
| "grad_norm": 2.299375057220459, | |
| "learning_rate": 0.0001875945945945946, | |
| "loss": 2.1797, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.076, | |
| "grad_norm": 2.5447652339935303, | |
| "learning_rate": 0.00018732432432432434, | |
| "loss": 2.3235, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.07733333333333334, | |
| "grad_norm": 2.616107702255249, | |
| "learning_rate": 0.00018705405405405407, | |
| "loss": 2.2475, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.07866666666666666, | |
| "grad_norm": 3.0087509155273438, | |
| "learning_rate": 0.0001867837837837838, | |
| "loss": 2.2688, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 2.919137716293335, | |
| "learning_rate": 0.00018651351351351353, | |
| "loss": 2.2384, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.08133333333333333, | |
| "grad_norm": 2.334582805633545, | |
| "learning_rate": 0.00018624324324324325, | |
| "loss": 2.1417, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.08266666666666667, | |
| "grad_norm": 2.6818926334381104, | |
| "learning_rate": 0.00018597297297297298, | |
| "loss": 2.2346, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.084, | |
| "grad_norm": 3.2101333141326904, | |
| "learning_rate": 0.0001857027027027027, | |
| "loss": 2.1733, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.08533333333333333, | |
| "grad_norm": 2.108243703842163, | |
| "learning_rate": 0.00018543243243243244, | |
| "loss": 2.2037, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 2.615994691848755, | |
| "learning_rate": 0.00018516216216216217, | |
| "loss": 2.1014, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.088, | |
| "grad_norm": 2.4982452392578125, | |
| "learning_rate": 0.0001848918918918919, | |
| "loss": 2.1369, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.08933333333333333, | |
| "grad_norm": 2.39957332611084, | |
| "learning_rate": 0.00018462162162162163, | |
| "loss": 2.1687, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 0.09066666666666667, | |
| "grad_norm": 2.402393102645874, | |
| "learning_rate": 0.00018435135135135136, | |
| "loss": 2.0967, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.092, | |
| "grad_norm": 2.9548466205596924, | |
| "learning_rate": 0.0001840810810810811, | |
| "loss": 2.0859, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 2.752746105194092, | |
| "learning_rate": 0.00018381081081081082, | |
| "loss": 2.2127, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.09466666666666666, | |
| "grad_norm": 2.451632022857666, | |
| "learning_rate": 0.00018354054054054054, | |
| "loss": 2.1961, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 0.096, | |
| "grad_norm": 2.4328248500823975, | |
| "learning_rate": 0.00018327027027027027, | |
| "loss": 2.1844, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.09733333333333333, | |
| "grad_norm": 2.9737393856048584, | |
| "learning_rate": 0.000183, | |
| "loss": 2.152, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 0.09866666666666667, | |
| "grad_norm": 2.3271377086639404, | |
| "learning_rate": 0.00018272972972972976, | |
| "loss": 2.0511, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 2.575824022293091, | |
| "learning_rate": 0.00018245945945945946, | |
| "loss": 2.2377, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 0.10133333333333333, | |
| "grad_norm": 2.394209146499634, | |
| "learning_rate": 0.0001821891891891892, | |
| "loss": 2.1904, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.10266666666666667, | |
| "grad_norm": 2.2639620304107666, | |
| "learning_rate": 0.00018191891891891892, | |
| "loss": 2.2071, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 0.104, | |
| "grad_norm": 2.454848051071167, | |
| "learning_rate": 0.00018164864864864865, | |
| "loss": 2.1308, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.10533333333333333, | |
| "grad_norm": 2.4239871501922607, | |
| "learning_rate": 0.00018137837837837838, | |
| "loss": 2.3019, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 2.4817445278167725, | |
| "learning_rate": 0.00018110810810810813, | |
| "loss": 2.128, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.108, | |
| "grad_norm": 2.6659679412841797, | |
| "learning_rate": 0.00018083783783783786, | |
| "loss": 1.9202, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 0.10933333333333334, | |
| "grad_norm": 2.231278419494629, | |
| "learning_rate": 0.0001805675675675676, | |
| "loss": 2.1227, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.11066666666666666, | |
| "grad_norm": 2.6334681510925293, | |
| "learning_rate": 0.0001802972972972973, | |
| "loss": 2.0482, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 0.112, | |
| "grad_norm": 2.4232165813446045, | |
| "learning_rate": 0.00018002702702702702, | |
| "loss": 2.0708, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 2.354008674621582, | |
| "learning_rate": 0.00017975675675675675, | |
| "loss": 2.0493, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 0.11466666666666667, | |
| "grad_norm": 2.582345724105835, | |
| "learning_rate": 0.00017948648648648648, | |
| "loss": 2.221, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.116, | |
| "grad_norm": 2.4354162216186523, | |
| "learning_rate": 0.00017921621621621624, | |
| "loss": 2.0123, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 0.11733333333333333, | |
| "grad_norm": 3.0853333473205566, | |
| "learning_rate": 0.00017894594594594597, | |
| "loss": 2.024, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.11866666666666667, | |
| "grad_norm": 2.249725818634033, | |
| "learning_rate": 0.0001786756756756757, | |
| "loss": 2.1998, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 2.403038740158081, | |
| "learning_rate": 0.00017840540540540542, | |
| "loss": 2.1166, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.12133333333333333, | |
| "grad_norm": 2.416254997253418, | |
| "learning_rate": 0.00017813513513513513, | |
| "loss": 2.1032, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 0.12266666666666666, | |
| "grad_norm": 2.6445345878601074, | |
| "learning_rate": 0.00017786486486486485, | |
| "loss": 2.0197, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.124, | |
| "grad_norm": 2.84909987449646, | |
| "learning_rate": 0.0001775945945945946, | |
| "loss": 2.0796, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 0.12533333333333332, | |
| "grad_norm": 2.1707866191864014, | |
| "learning_rate": 0.00017732432432432434, | |
| "loss": 2.1496, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 2.600884437561035, | |
| "learning_rate": 0.00017705405405405407, | |
| "loss": 1.9924, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 0.128, | |
| "grad_norm": 2.818328857421875, | |
| "learning_rate": 0.0001767837837837838, | |
| "loss": 1.9545, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.12933333333333333, | |
| "grad_norm": 2.4547555446624756, | |
| "learning_rate": 0.00017651351351351353, | |
| "loss": 2.089, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 0.13066666666666665, | |
| "grad_norm": 2.362712860107422, | |
| "learning_rate": 0.00017624324324324326, | |
| "loss": 2.0058, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.132, | |
| "grad_norm": 2.355741262435913, | |
| "learning_rate": 0.00017597297297297298, | |
| "loss": 2.028, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 2.233793258666992, | |
| "learning_rate": 0.00017570270270270271, | |
| "loss": 2.2153, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.13466666666666666, | |
| "grad_norm": 2.3833236694335938, | |
| "learning_rate": 0.00017543243243243244, | |
| "loss": 2.0436, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 0.136, | |
| "grad_norm": 2.710584878921509, | |
| "learning_rate": 0.00017516216216216217, | |
| "loss": 2.0223, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.13733333333333334, | |
| "grad_norm": 2.614525556564331, | |
| "learning_rate": 0.0001748918918918919, | |
| "loss": 2.0186, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 0.13866666666666666, | |
| "grad_norm": 2.5518527030944824, | |
| "learning_rate": 0.00017462162162162163, | |
| "loss": 2.1302, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 2.047034502029419, | |
| "learning_rate": 0.00017435135135135136, | |
| "loss": 1.9576, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 0.14133333333333334, | |
| "grad_norm": 2.1909399032592773, | |
| "learning_rate": 0.0001740810810810811, | |
| "loss": 1.9832, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.14266666666666666, | |
| "grad_norm": 2.759376049041748, | |
| "learning_rate": 0.00017381081081081082, | |
| "loss": 1.9669, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 0.144, | |
| "grad_norm": 2.1014363765716553, | |
| "learning_rate": 0.00017354054054054055, | |
| "loss": 1.9592, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.14533333333333334, | |
| "grad_norm": 2.471461296081543, | |
| "learning_rate": 0.00017327027027027027, | |
| "loss": 2.0039, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 2.4198598861694336, | |
| "learning_rate": 0.000173, | |
| "loss": 2.2345, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.148, | |
| "grad_norm": 2.2740516662597656, | |
| "learning_rate": 0.00017272972972972973, | |
| "loss": 1.9767, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 0.14933333333333335, | |
| "grad_norm": 2.3317854404449463, | |
| "learning_rate": 0.00017245945945945946, | |
| "loss": 1.8423, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.15066666666666667, | |
| "grad_norm": 2.584611177444458, | |
| "learning_rate": 0.0001721891891891892, | |
| "loss": 2.0966, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 0.152, | |
| "grad_norm": 2.548743486404419, | |
| "learning_rate": 0.00017191891891891895, | |
| "loss": 2.1091, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 2.825737476348877, | |
| "learning_rate": 0.00017164864864864865, | |
| "loss": 2.0788, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 0.15466666666666667, | |
| "grad_norm": 2.088826894760132, | |
| "learning_rate": 0.00017137837837837838, | |
| "loss": 2.1464, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.156, | |
| "grad_norm": 2.2038209438323975, | |
| "learning_rate": 0.0001711081081081081, | |
| "loss": 2.0624, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 0.15733333333333333, | |
| "grad_norm": 2.4896717071533203, | |
| "learning_rate": 0.00017083783783783784, | |
| "loss": 1.967, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.15866666666666668, | |
| "grad_norm": 2.3541336059570312, | |
| "learning_rate": 0.00017056756756756757, | |
| "loss": 2.0084, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 2.453277349472046, | |
| "learning_rate": 0.00017029729729729732, | |
| "loss": 2.0833, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.16133333333333333, | |
| "grad_norm": 2.260068655014038, | |
| "learning_rate": 0.00017002702702702705, | |
| "loss": 2.1794, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 0.16266666666666665, | |
| "grad_norm": 2.3417861461639404, | |
| "learning_rate": 0.00016975675675675678, | |
| "loss": 2.041, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.164, | |
| "grad_norm": 2.2368979454040527, | |
| "learning_rate": 0.00016948648648648648, | |
| "loss": 1.948, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 0.16533333333333333, | |
| "grad_norm": 2.455191135406494, | |
| "learning_rate": 0.0001692162162162162, | |
| "loss": 2.097, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 2.4021196365356445, | |
| "learning_rate": 0.00016894594594594594, | |
| "loss": 2.2503, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 0.168, | |
| "grad_norm": 2.4756224155426025, | |
| "learning_rate": 0.0001686756756756757, | |
| "loss": 2.1246, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.16933333333333334, | |
| "grad_norm": 2.039151668548584, | |
| "learning_rate": 0.00016840540540540542, | |
| "loss": 2.0853, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 0.17066666666666666, | |
| "grad_norm": 2.3654773235321045, | |
| "learning_rate": 0.00016813513513513515, | |
| "loss": 1.8093, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.172, | |
| "grad_norm": 2.2299022674560547, | |
| "learning_rate": 0.00016786486486486488, | |
| "loss": 2.1571, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 2.2870802879333496, | |
| "learning_rate": 0.0001675945945945946, | |
| "loss": 2.0854, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.17466666666666666, | |
| "grad_norm": 2.5499372482299805, | |
| "learning_rate": 0.0001673243243243243, | |
| "loss": 1.9018, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 0.176, | |
| "grad_norm": 2.303187608718872, | |
| "learning_rate": 0.00016705405405405404, | |
| "loss": 1.8708, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.17733333333333334, | |
| "grad_norm": 2.691697359085083, | |
| "learning_rate": 0.0001667837837837838, | |
| "loss": 2.0391, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 0.17866666666666667, | |
| "grad_norm": 2.1159846782684326, | |
| "learning_rate": 0.00016651351351351353, | |
| "loss": 2.0662, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 2.203563928604126, | |
| "learning_rate": 0.00016624324324324326, | |
| "loss": 2.1151, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 0.18133333333333335, | |
| "grad_norm": 2.6186702251434326, | |
| "learning_rate": 0.00016597297297297299, | |
| "loss": 2.0718, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.18266666666666667, | |
| "grad_norm": 2.2199795246124268, | |
| "learning_rate": 0.00016570270270270271, | |
| "loss": 2.0022, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 0.184, | |
| "grad_norm": 2.2812774181365967, | |
| "learning_rate": 0.00016543243243243244, | |
| "loss": 2.0641, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.18533333333333332, | |
| "grad_norm": 2.3244810104370117, | |
| "learning_rate": 0.00016516216216216217, | |
| "loss": 1.9985, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 2.5323832035064697, | |
| "learning_rate": 0.0001648918918918919, | |
| "loss": 2.1556, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 0.188, | |
| "grad_norm": 2.3235483169555664, | |
| "learning_rate": 0.00016462162162162163, | |
| "loss": 2.0925, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 0.18933333333333333, | |
| "grad_norm": 2.1113898754119873, | |
| "learning_rate": 0.00016435135135135136, | |
| "loss": 1.9516, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 0.19066666666666668, | |
| "grad_norm": 2.413828134536743, | |
| "learning_rate": 0.0001640810810810811, | |
| "loss": 1.967, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 0.192, | |
| "grad_norm": 2.5828988552093506, | |
| "learning_rate": 0.00016381081081081082, | |
| "loss": 1.9044, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 2.4083187580108643, | |
| "learning_rate": 0.00016354054054054055, | |
| "loss": 2.0735, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 0.19466666666666665, | |
| "grad_norm": 2.087176561355591, | |
| "learning_rate": 0.00016327027027027028, | |
| "loss": 2.1443, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 0.196, | |
| "grad_norm": 2.379067897796631, | |
| "learning_rate": 0.000163, | |
| "loss": 1.9315, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 0.19733333333333333, | |
| "grad_norm": 2.18395733833313, | |
| "learning_rate": 0.00016272972972972973, | |
| "loss": 1.9611, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 0.19866666666666666, | |
| "grad_norm": 2.779679298400879, | |
| "learning_rate": 0.00016245945945945946, | |
| "loss": 1.9477, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 2.5839364528656006, | |
| "learning_rate": 0.0001621891891891892, | |
| "loss": 2.0883, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.20133333333333334, | |
| "grad_norm": 2.2403440475463867, | |
| "learning_rate": 0.00016191891891891892, | |
| "loss": 1.9674, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 0.20266666666666666, | |
| "grad_norm": 2.212310552597046, | |
| "learning_rate": 0.00016164864864864865, | |
| "loss": 1.9615, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 0.204, | |
| "grad_norm": 2.061232089996338, | |
| "learning_rate": 0.00016137837837837838, | |
| "loss": 1.8414, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 0.20533333333333334, | |
| "grad_norm": 2.308788299560547, | |
| "learning_rate": 0.00016110810810810813, | |
| "loss": 2.1248, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 2.8568644523620605, | |
| "learning_rate": 0.00016083783783783784, | |
| "loss": 2.0214, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 0.208, | |
| "grad_norm": 2.2601778507232666, | |
| "learning_rate": 0.00016056756756756757, | |
| "loss": 2.0157, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 0.20933333333333334, | |
| "grad_norm": 2.2495760917663574, | |
| "learning_rate": 0.0001602972972972973, | |
| "loss": 1.8412, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 0.21066666666666667, | |
| "grad_norm": 2.428441047668457, | |
| "learning_rate": 0.00016002702702702702, | |
| "loss": 1.9386, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 0.212, | |
| "grad_norm": 2.09167742729187, | |
| "learning_rate": 0.00015975675675675675, | |
| "loss": 1.973, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 2.3817343711853027, | |
| "learning_rate": 0.0001594864864864865, | |
| "loss": 1.8546, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 0.21466666666666667, | |
| "grad_norm": 2.8860208988189697, | |
| "learning_rate": 0.00015921621621621624, | |
| "loss": 2.012, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 0.216, | |
| "grad_norm": 2.051791191101074, | |
| "learning_rate": 0.00015894594594594597, | |
| "loss": 2.0164, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 0.21733333333333332, | |
| "grad_norm": 2.287928819656372, | |
| "learning_rate": 0.00015867567567567567, | |
| "loss": 2.0204, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 0.21866666666666668, | |
| "grad_norm": 2.236645221710205, | |
| "learning_rate": 0.0001584054054054054, | |
| "loss": 1.9511, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 2.5095677375793457, | |
| "learning_rate": 0.00015813513513513513, | |
| "loss": 1.8854, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 0.22133333333333333, | |
| "grad_norm": 2.1247832775115967, | |
| "learning_rate": 0.00015786486486486488, | |
| "loss": 1.9322, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 0.22266666666666668, | |
| "grad_norm": 2.481032371520996, | |
| "learning_rate": 0.0001575945945945946, | |
| "loss": 2.0147, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 0.224, | |
| "grad_norm": 2.2294256687164307, | |
| "learning_rate": 0.00015732432432432434, | |
| "loss": 1.9696, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 0.22533333333333333, | |
| "grad_norm": 2.1882622241973877, | |
| "learning_rate": 0.00015705405405405407, | |
| "loss": 1.9985, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 2.462214946746826, | |
| "learning_rate": 0.0001567837837837838, | |
| "loss": 1.9962, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 0.228, | |
| "grad_norm": 2.432840585708618, | |
| "learning_rate": 0.0001565135135135135, | |
| "loss": 1.9907, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 0.22933333333333333, | |
| "grad_norm": 2.3330256938934326, | |
| "learning_rate": 0.00015624324324324323, | |
| "loss": 2.0143, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 0.23066666666666666, | |
| "grad_norm": 2.855696439743042, | |
| "learning_rate": 0.00015597297297297299, | |
| "loss": 1.9473, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 0.232, | |
| "grad_norm": 2.1184675693511963, | |
| "learning_rate": 0.00015570270270270272, | |
| "loss": 1.753, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 2.4657397270202637, | |
| "learning_rate": 0.00015543243243243244, | |
| "loss": 2.0217, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 0.23466666666666666, | |
| "grad_norm": 2.0865886211395264, | |
| "learning_rate": 0.00015516216216216217, | |
| "loss": 1.8535, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 0.236, | |
| "grad_norm": 2.6373355388641357, | |
| "learning_rate": 0.0001548918918918919, | |
| "loss": 2.0945, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 0.23733333333333334, | |
| "grad_norm": 2.4117348194122314, | |
| "learning_rate": 0.00015462162162162163, | |
| "loss": 1.8543, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 0.23866666666666667, | |
| "grad_norm": 2.3577213287353516, | |
| "learning_rate": 0.00015435135135135136, | |
| "loss": 1.7954, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 2.1598386764526367, | |
| "learning_rate": 0.0001540810810810811, | |
| "loss": 1.7916, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 0.24133333333333334, | |
| "grad_norm": 2.6178441047668457, | |
| "learning_rate": 0.00015381081081081082, | |
| "loss": 1.9397, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 0.24266666666666667, | |
| "grad_norm": 2.4125001430511475, | |
| "learning_rate": 0.00015354054054054055, | |
| "loss": 1.9107, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 0.244, | |
| "grad_norm": 2.800724744796753, | |
| "learning_rate": 0.00015327027027027028, | |
| "loss": 2.0856, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 0.24533333333333332, | |
| "grad_norm": 2.2823989391326904, | |
| "learning_rate": 0.000153, | |
| "loss": 2.0139, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 2.6119205951690674, | |
| "learning_rate": 0.00015272972972972973, | |
| "loss": 1.9756, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 0.248, | |
| "grad_norm": 2.471101999282837, | |
| "learning_rate": 0.00015245945945945946, | |
| "loss": 2.0031, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 0.24933333333333332, | |
| "grad_norm": 3.342244863510132, | |
| "learning_rate": 0.00015218918918918922, | |
| "loss": 1.961, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 0.25066666666666665, | |
| "grad_norm": 2.2568140029907227, | |
| "learning_rate": 0.00015191891891891892, | |
| "loss": 1.8824, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 0.252, | |
| "grad_norm": 2.2656123638153076, | |
| "learning_rate": 0.00015164864864864865, | |
| "loss": 1.9523, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 2.502617120742798, | |
| "learning_rate": 0.00015137837837837838, | |
| "loss": 1.9268, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 0.25466666666666665, | |
| "grad_norm": 1.9510729312896729, | |
| "learning_rate": 0.0001511081081081081, | |
| "loss": 2.0174, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 0.256, | |
| "grad_norm": 2.3908302783966064, | |
| "learning_rate": 0.00015083783783783784, | |
| "loss": 1.9687, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 0.25733333333333336, | |
| "grad_norm": 2.6163437366485596, | |
| "learning_rate": 0.00015056756756756757, | |
| "loss": 1.9372, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 0.25866666666666666, | |
| "grad_norm": 2.542884349822998, | |
| "learning_rate": 0.00015029729729729732, | |
| "loss": 1.8967, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 2.367628812789917, | |
| "learning_rate": 0.00015002702702702705, | |
| "loss": 2.0635, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 0.2613333333333333, | |
| "grad_norm": 2.3614468574523926, | |
| "learning_rate": 0.00014975675675675675, | |
| "loss": 1.8329, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 0.26266666666666666, | |
| "grad_norm": 2.4361073970794678, | |
| "learning_rate": 0.00014948648648648648, | |
| "loss": 1.883, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 0.264, | |
| "grad_norm": 2.4619548320770264, | |
| "learning_rate": 0.0001492162162162162, | |
| "loss": 1.8639, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 0.2653333333333333, | |
| "grad_norm": 2.17228364944458, | |
| "learning_rate": 0.00014894594594594594, | |
| "loss": 1.9439, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 2.700016975402832, | |
| "learning_rate": 0.0001486756756756757, | |
| "loss": 1.8936, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.268, | |
| "grad_norm": 2.6100916862487793, | |
| "learning_rate": 0.00014840540540540543, | |
| "loss": 1.8344, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 0.2693333333333333, | |
| "grad_norm": 2.815261125564575, | |
| "learning_rate": 0.00014813513513513516, | |
| "loss": 1.9495, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 0.27066666666666667, | |
| "grad_norm": 2.138500452041626, | |
| "learning_rate": 0.00014786486486486488, | |
| "loss": 1.8193, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 0.272, | |
| "grad_norm": 2.1488797664642334, | |
| "learning_rate": 0.00014759459459459459, | |
| "loss": 1.9433, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 2.1589486598968506, | |
| "learning_rate": 0.00014732432432432432, | |
| "loss": 1.6762, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 0.27466666666666667, | |
| "grad_norm": 2.2638726234436035, | |
| "learning_rate": 0.00014705405405405407, | |
| "loss": 1.9194, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 0.276, | |
| "grad_norm": 2.4697513580322266, | |
| "learning_rate": 0.0001467837837837838, | |
| "loss": 1.8012, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 0.2773333333333333, | |
| "grad_norm": 2.354917287826538, | |
| "learning_rate": 0.00014651351351351353, | |
| "loss": 1.9185, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 0.2786666666666667, | |
| "grad_norm": 2.6465835571289062, | |
| "learning_rate": 0.00014624324324324326, | |
| "loss": 1.8993, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 2.190953493118286, | |
| "learning_rate": 0.000145972972972973, | |
| "loss": 1.8787, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 0.2813333333333333, | |
| "grad_norm": 1.9679425954818726, | |
| "learning_rate": 0.00014570270270270272, | |
| "loss": 1.9927, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 0.2826666666666667, | |
| "grad_norm": 2.415135622024536, | |
| "learning_rate": 0.00014543243243243242, | |
| "loss": 1.9229, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 0.284, | |
| "grad_norm": 2.4086499214172363, | |
| "learning_rate": 0.00014516216216216217, | |
| "loss": 2.0727, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 0.2853333333333333, | |
| "grad_norm": 2.392893075942993, | |
| "learning_rate": 0.0001448918918918919, | |
| "loss": 1.7448, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 2.770169258117676, | |
| "learning_rate": 0.00014462162162162163, | |
| "loss": 1.9505, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 0.288, | |
| "grad_norm": 2.311103582382202, | |
| "learning_rate": 0.00014435135135135136, | |
| "loss": 1.6804, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 0.28933333333333333, | |
| "grad_norm": 2.165285587310791, | |
| "learning_rate": 0.0001440810810810811, | |
| "loss": 1.9187, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 0.2906666666666667, | |
| "grad_norm": 2.094935178756714, | |
| "learning_rate": 0.00014381081081081082, | |
| "loss": 1.8903, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 0.292, | |
| "grad_norm": 2.519655466079712, | |
| "learning_rate": 0.00014354054054054055, | |
| "loss": 1.8652, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 2.7851929664611816, | |
| "learning_rate": 0.00014327027027027028, | |
| "loss": 1.967, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 0.2946666666666667, | |
| "grad_norm": 2.0721092224121094, | |
| "learning_rate": 0.000143, | |
| "loss": 1.781, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 0.296, | |
| "grad_norm": 2.5341694355010986, | |
| "learning_rate": 0.00014272972972972974, | |
| "loss": 1.8954, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 0.29733333333333334, | |
| "grad_norm": 2.5309038162231445, | |
| "learning_rate": 0.00014245945945945946, | |
| "loss": 1.7745, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 0.2986666666666667, | |
| "grad_norm": 2.662684440612793, | |
| "learning_rate": 0.0001421891891891892, | |
| "loss": 1.9238, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 2.6758480072021484, | |
| "learning_rate": 0.00014191891891891892, | |
| "loss": 1.9235, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 0.30133333333333334, | |
| "grad_norm": 2.1309969425201416, | |
| "learning_rate": 0.00014164864864864865, | |
| "loss": 1.8598, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 0.30266666666666664, | |
| "grad_norm": 2.1839652061462402, | |
| "learning_rate": 0.0001413783783783784, | |
| "loss": 1.9754, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 0.304, | |
| "grad_norm": 2.4292712211608887, | |
| "learning_rate": 0.0001411081081081081, | |
| "loss": 1.8616, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 0.30533333333333335, | |
| "grad_norm": 2.4542698860168457, | |
| "learning_rate": 0.00014083783783783784, | |
| "loss": 1.8174, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 2.242682456970215, | |
| "learning_rate": 0.00014056756756756757, | |
| "loss": 1.9928, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 0.308, | |
| "grad_norm": 2.100231885910034, | |
| "learning_rate": 0.0001402972972972973, | |
| "loss": 1.7233, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 0.30933333333333335, | |
| "grad_norm": 2.2382125854492188, | |
| "learning_rate": 0.00014002702702702703, | |
| "loss": 1.7495, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 0.31066666666666665, | |
| "grad_norm": 2.4526655673980713, | |
| "learning_rate": 0.00013975675675675675, | |
| "loss": 1.8347, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 0.312, | |
| "grad_norm": 2.5950348377227783, | |
| "learning_rate": 0.0001394864864864865, | |
| "loss": 2.0072, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 2.5388689041137695, | |
| "learning_rate": 0.00013921621621621624, | |
| "loss": 1.797, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 0.31466666666666665, | |
| "grad_norm": 2.236910343170166, | |
| "learning_rate": 0.00013894594594594594, | |
| "loss": 1.9876, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 0.316, | |
| "grad_norm": 2.8742430210113525, | |
| "learning_rate": 0.00013867567567567567, | |
| "loss": 1.8521, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 0.31733333333333336, | |
| "grad_norm": 2.561190605163574, | |
| "learning_rate": 0.0001384054054054054, | |
| "loss": 2.0232, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 0.31866666666666665, | |
| "grad_norm": 2.38421893119812, | |
| "learning_rate": 0.00013813513513513513, | |
| "loss": 1.961, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 2.2902133464813232, | |
| "learning_rate": 0.00013786486486486488, | |
| "loss": 1.9902, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 0.32133333333333336, | |
| "grad_norm": 2.5904157161712646, | |
| "learning_rate": 0.00013759459459459461, | |
| "loss": 1.781, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 0.32266666666666666, | |
| "grad_norm": 2.5587573051452637, | |
| "learning_rate": 0.00013732432432432434, | |
| "loss": 1.9068, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 0.324, | |
| "grad_norm": 2.613391399383545, | |
| "learning_rate": 0.00013705405405405407, | |
| "loss": 2.0022, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 0.3253333333333333, | |
| "grad_norm": 2.584764003753662, | |
| "learning_rate": 0.00013678378378378377, | |
| "loss": 1.8805, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 2.3512659072875977, | |
| "learning_rate": 0.0001365135135135135, | |
| "loss": 1.9629, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 0.328, | |
| "grad_norm": 2.413891315460205, | |
| "learning_rate": 0.00013624324324324326, | |
| "loss": 1.8533, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 0.3293333333333333, | |
| "grad_norm": 2.387099504470825, | |
| "learning_rate": 0.000135972972972973, | |
| "loss": 1.8711, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 0.33066666666666666, | |
| "grad_norm": 2.6385467052459717, | |
| "learning_rate": 0.00013570270270270272, | |
| "loss": 1.9717, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 0.332, | |
| "grad_norm": 2.960862874984741, | |
| "learning_rate": 0.00013543243243243245, | |
| "loss": 1.8296, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 2.1800155639648438, | |
| "learning_rate": 0.00013516216216216218, | |
| "loss": 1.9322, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.33466666666666667, | |
| "grad_norm": 2.5185933113098145, | |
| "learning_rate": 0.0001348918918918919, | |
| "loss": 1.8675, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 0.336, | |
| "grad_norm": 2.2519352436065674, | |
| "learning_rate": 0.0001346216216216216, | |
| "loss": 1.7972, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 0.3373333333333333, | |
| "grad_norm": 2.6340436935424805, | |
| "learning_rate": 0.00013435135135135136, | |
| "loss": 1.9534, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 0.33866666666666667, | |
| "grad_norm": 2.165707588195801, | |
| "learning_rate": 0.0001340810810810811, | |
| "loss": 1.7994, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 2.348612070083618, | |
| "learning_rate": 0.00013381081081081082, | |
| "loss": 1.9858, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 0.3413333333333333, | |
| "grad_norm": 2.3681528568267822, | |
| "learning_rate": 0.00013354054054054055, | |
| "loss": 1.7415, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 0.3426666666666667, | |
| "grad_norm": 2.5608510971069336, | |
| "learning_rate": 0.00013327027027027028, | |
| "loss": 1.8823, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 0.344, | |
| "grad_norm": 2.6806623935699463, | |
| "learning_rate": 0.000133, | |
| "loss": 1.8476, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 0.3453333333333333, | |
| "grad_norm": 2.831604242324829, | |
| "learning_rate": 0.00013272972972972974, | |
| "loss": 1.9141, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 1.9012176990509033, | |
| "learning_rate": 0.00013245945945945947, | |
| "loss": 1.8499, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 0.348, | |
| "grad_norm": 2.3375415802001953, | |
| "learning_rate": 0.0001321891891891892, | |
| "loss": 1.7699, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 0.34933333333333333, | |
| "grad_norm": 2.512385368347168, | |
| "learning_rate": 0.00013191891891891892, | |
| "loss": 1.8884, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 0.3506666666666667, | |
| "grad_norm": 2.3544890880584717, | |
| "learning_rate": 0.00013164864864864865, | |
| "loss": 1.9272, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 0.352, | |
| "grad_norm": 2.4715840816497803, | |
| "learning_rate": 0.00013137837837837838, | |
| "loss": 1.7804, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 2.5176870822906494, | |
| "learning_rate": 0.0001311081081081081, | |
| "loss": 1.9021, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 0.3546666666666667, | |
| "grad_norm": 2.504687786102295, | |
| "learning_rate": 0.00013083783783783784, | |
| "loss": 1.8654, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 0.356, | |
| "grad_norm": 2.0953216552734375, | |
| "learning_rate": 0.0001305675675675676, | |
| "loss": 2.0281, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 0.35733333333333334, | |
| "grad_norm": 2.504034996032715, | |
| "learning_rate": 0.0001302972972972973, | |
| "loss": 1.8217, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 0.3586666666666667, | |
| "grad_norm": 2.6822965145111084, | |
| "learning_rate": 0.00013002702702702703, | |
| "loss": 1.8937, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 2.371816396713257, | |
| "learning_rate": 0.00012975675675675676, | |
| "loss": 2.0069, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 0.36133333333333334, | |
| "grad_norm": 2.483445167541504, | |
| "learning_rate": 0.00012948648648648648, | |
| "loss": 1.8049, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 0.3626666666666667, | |
| "grad_norm": 2.2719194889068604, | |
| "learning_rate": 0.00012921621621621621, | |
| "loss": 1.8349, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 0.364, | |
| "grad_norm": 3.004281759262085, | |
| "learning_rate": 0.00012894594594594597, | |
| "loss": 1.9028, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 0.36533333333333334, | |
| "grad_norm": 2.079331636428833, | |
| "learning_rate": 0.0001286756756756757, | |
| "loss": 1.9015, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 2.302001953125, | |
| "learning_rate": 0.00012840540540540543, | |
| "loss": 1.7912, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 0.368, | |
| "grad_norm": 2.505072593688965, | |
| "learning_rate": 0.00012813513513513513, | |
| "loss": 1.7402, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 0.36933333333333335, | |
| "grad_norm": 2.2121100425720215, | |
| "learning_rate": 0.00012786486486486486, | |
| "loss": 1.8438, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 0.37066666666666664, | |
| "grad_norm": 2.7014358043670654, | |
| "learning_rate": 0.0001275945945945946, | |
| "loss": 1.8281, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 0.372, | |
| "grad_norm": 2.3546624183654785, | |
| "learning_rate": 0.00012732432432432432, | |
| "loss": 1.7845, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 2.6270368099212646, | |
| "learning_rate": 0.00012705405405405407, | |
| "loss": 1.7712, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 0.37466666666666665, | |
| "grad_norm": 2.2024219036102295, | |
| "learning_rate": 0.0001267837837837838, | |
| "loss": 1.8937, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 0.376, | |
| "grad_norm": 2.725980281829834, | |
| "learning_rate": 0.00012651351351351353, | |
| "loss": 1.8, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 0.37733333333333335, | |
| "grad_norm": 2.736056327819824, | |
| "learning_rate": 0.00012624324324324326, | |
| "loss": 1.7882, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 0.37866666666666665, | |
| "grad_norm": 2.295846939086914, | |
| "learning_rate": 0.00012597297297297296, | |
| "loss": 1.8812, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 2.3466341495513916, | |
| "learning_rate": 0.0001257027027027027, | |
| "loss": 1.8526, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 0.38133333333333336, | |
| "grad_norm": 2.5064749717712402, | |
| "learning_rate": 0.00012543243243243245, | |
| "loss": 1.8277, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 0.38266666666666665, | |
| "grad_norm": 2.057648181915283, | |
| "learning_rate": 0.00012516216216216218, | |
| "loss": 1.8434, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 0.384, | |
| "grad_norm": 2.188091516494751, | |
| "learning_rate": 0.0001248918918918919, | |
| "loss": 1.7555, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 0.38533333333333336, | |
| "grad_norm": 2.241875410079956, | |
| "learning_rate": 0.00012462162162162163, | |
| "loss": 1.7676, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 2.3929405212402344, | |
| "learning_rate": 0.00012435135135135136, | |
| "loss": 1.8402, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 0.388, | |
| "grad_norm": 2.52616024017334, | |
| "learning_rate": 0.0001240810810810811, | |
| "loss": 1.7849, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 0.3893333333333333, | |
| "grad_norm": 2.8403215408325195, | |
| "learning_rate": 0.0001238108108108108, | |
| "loss": 1.9443, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 0.39066666666666666, | |
| "grad_norm": 2.620992422103882, | |
| "learning_rate": 0.00012354054054054055, | |
| "loss": 1.8759, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 0.392, | |
| "grad_norm": 2.383084535598755, | |
| "learning_rate": 0.00012327027027027028, | |
| "loss": 1.7983, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 2.5578014850616455, | |
| "learning_rate": 0.000123, | |
| "loss": 1.81, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 0.39466666666666667, | |
| "grad_norm": 2.495368003845215, | |
| "learning_rate": 0.00012272972972972974, | |
| "loss": 1.7728, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 0.396, | |
| "grad_norm": 2.232659101486206, | |
| "learning_rate": 0.00012245945945945947, | |
| "loss": 1.8377, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 0.3973333333333333, | |
| "grad_norm": 2.6198713779449463, | |
| "learning_rate": 0.0001221891891891892, | |
| "loss": 1.9587, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 0.39866666666666667, | |
| "grad_norm": 2.1526083946228027, | |
| "learning_rate": 0.00012191891891891894, | |
| "loss": 1.809, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 2.3453357219696045, | |
| "learning_rate": 0.00012164864864864864, | |
| "loss": 1.9066, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.4013333333333333, | |
| "grad_norm": 2.4124536514282227, | |
| "learning_rate": 0.00012137837837837838, | |
| "loss": 1.8622, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 0.4026666666666667, | |
| "grad_norm": 2.6172194480895996, | |
| "learning_rate": 0.00012110810810810811, | |
| "loss": 1.8597, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 0.404, | |
| "grad_norm": 2.4721031188964844, | |
| "learning_rate": 0.00012083783783783784, | |
| "loss": 1.8155, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 0.4053333333333333, | |
| "grad_norm": 2.181688070297241, | |
| "learning_rate": 0.00012056756756756757, | |
| "loss": 1.7773, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 0.4066666666666667, | |
| "grad_norm": 2.3668036460876465, | |
| "learning_rate": 0.00012029729729729731, | |
| "loss": 1.8723, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 0.408, | |
| "grad_norm": 2.3490967750549316, | |
| "learning_rate": 0.00012002702702702704, | |
| "loss": 1.9486, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 0.4093333333333333, | |
| "grad_norm": 2.873337984085083, | |
| "learning_rate": 0.00011975675675675677, | |
| "loss": 1.6982, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 0.4106666666666667, | |
| "grad_norm": 2.973256826400757, | |
| "learning_rate": 0.00011948648648648649, | |
| "loss": 1.8668, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 0.412, | |
| "grad_norm": 2.4113101959228516, | |
| "learning_rate": 0.00011921621621621621, | |
| "loss": 1.8744, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 2.451672077178955, | |
| "learning_rate": 0.00011894594594594594, | |
| "loss": 1.8917, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 0.4146666666666667, | |
| "grad_norm": 2.1510443687438965, | |
| "learning_rate": 0.00011867567567567569, | |
| "loss": 1.867, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 0.416, | |
| "grad_norm": 2.453091621398926, | |
| "learning_rate": 0.00011840540540540542, | |
| "loss": 1.8437, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 0.41733333333333333, | |
| "grad_norm": 2.2953782081604004, | |
| "learning_rate": 0.00011813513513513514, | |
| "loss": 1.8312, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 0.4186666666666667, | |
| "grad_norm": 2.1897218227386475, | |
| "learning_rate": 0.00011786486486486487, | |
| "loss": 1.7924, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 2.358774185180664, | |
| "learning_rate": 0.00011759459459459462, | |
| "loss": 1.8807, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 0.42133333333333334, | |
| "grad_norm": 2.3652596473693848, | |
| "learning_rate": 0.00011732432432432432, | |
| "loss": 1.7519, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 0.4226666666666667, | |
| "grad_norm": 2.2734439373016357, | |
| "learning_rate": 0.00011705405405405405, | |
| "loss": 1.9866, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 0.424, | |
| "grad_norm": 2.14550518989563, | |
| "learning_rate": 0.00011678378378378379, | |
| "loss": 1.7491, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 0.42533333333333334, | |
| "grad_norm": 2.2799768447875977, | |
| "learning_rate": 0.00011651351351351352, | |
| "loss": 1.8064, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 2.2822225093841553, | |
| "learning_rate": 0.00011624324324324325, | |
| "loss": 1.8875, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 0.428, | |
| "grad_norm": 2.3406484127044678, | |
| "learning_rate": 0.00011597297297297298, | |
| "loss": 1.7164, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 0.42933333333333334, | |
| "grad_norm": 2.42501163482666, | |
| "learning_rate": 0.00011570270270270272, | |
| "loss": 1.6375, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 0.43066666666666664, | |
| "grad_norm": 2.5525708198547363, | |
| "learning_rate": 0.00011543243243243245, | |
| "loss": 1.8152, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 0.432, | |
| "grad_norm": 2.5526885986328125, | |
| "learning_rate": 0.00011516216216216216, | |
| "loss": 1.8527, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 2.4633045196533203, | |
| "learning_rate": 0.00011489189189189189, | |
| "loss": 1.9891, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 0.43466666666666665, | |
| "grad_norm": 2.543779134750366, | |
| "learning_rate": 0.00011462162162162162, | |
| "loss": 1.657, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 0.436, | |
| "grad_norm": 2.3144562244415283, | |
| "learning_rate": 0.00011435135135135135, | |
| "loss": 1.7782, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 0.43733333333333335, | |
| "grad_norm": 2.4620347023010254, | |
| "learning_rate": 0.00011408108108108109, | |
| "loss": 1.671, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 0.43866666666666665, | |
| "grad_norm": 2.1379547119140625, | |
| "learning_rate": 0.00011381081081081082, | |
| "loss": 1.7785, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 2.7815945148468018, | |
| "learning_rate": 0.00011354054054054055, | |
| "loss": 1.8815, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 0.44133333333333336, | |
| "grad_norm": 2.363492012023926, | |
| "learning_rate": 0.00011327027027027028, | |
| "loss": 1.7913, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 0.44266666666666665, | |
| "grad_norm": 2.4313836097717285, | |
| "learning_rate": 0.000113, | |
| "loss": 1.6717, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 0.444, | |
| "grad_norm": 2.3215606212615967, | |
| "learning_rate": 0.00011272972972972972, | |
| "loss": 1.7141, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 0.44533333333333336, | |
| "grad_norm": 2.645784854888916, | |
| "learning_rate": 0.00011245945945945945, | |
| "loss": 1.7668, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 0.44666666666666666, | |
| "grad_norm": 2.1791491508483887, | |
| "learning_rate": 0.0001121891891891892, | |
| "loss": 1.6896, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 0.448, | |
| "grad_norm": 2.405156135559082, | |
| "learning_rate": 0.00011191891891891893, | |
| "loss": 1.7193, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 0.4493333333333333, | |
| "grad_norm": 2.422961473464966, | |
| "learning_rate": 0.00011164864864864865, | |
| "loss": 1.7974, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 0.45066666666666666, | |
| "grad_norm": 2.448552370071411, | |
| "learning_rate": 0.00011137837837837838, | |
| "loss": 1.7334, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 0.452, | |
| "grad_norm": 2.373347520828247, | |
| "learning_rate": 0.00011110810810810813, | |
| "loss": 1.8613, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 2.2626328468322754, | |
| "learning_rate": 0.00011083783783783783, | |
| "loss": 1.9542, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 0.45466666666666666, | |
| "grad_norm": 2.335479497909546, | |
| "learning_rate": 0.00011056756756756757, | |
| "loss": 1.7644, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 0.456, | |
| "grad_norm": 2.395338773727417, | |
| "learning_rate": 0.0001102972972972973, | |
| "loss": 1.8408, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 0.4573333333333333, | |
| "grad_norm": 2.3638622760772705, | |
| "learning_rate": 0.00011002702702702703, | |
| "loss": 1.7154, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 0.45866666666666667, | |
| "grad_norm": 2.7765445709228516, | |
| "learning_rate": 0.00010975675675675676, | |
| "loss": 1.9639, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 2.2215042114257812, | |
| "learning_rate": 0.0001094864864864865, | |
| "loss": 1.6793, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 0.4613333333333333, | |
| "grad_norm": 2.3340561389923096, | |
| "learning_rate": 0.00010921621621621623, | |
| "loss": 1.8801, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 0.46266666666666667, | |
| "grad_norm": 2.5933775901794434, | |
| "learning_rate": 0.00010894594594594596, | |
| "loss": 1.7788, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 0.464, | |
| "grad_norm": 2.8188467025756836, | |
| "learning_rate": 0.00010867567567567567, | |
| "loss": 1.7195, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 0.4653333333333333, | |
| "grad_norm": 2.4774179458618164, | |
| "learning_rate": 0.0001084054054054054, | |
| "loss": 1.8218, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 2.1092641353607178, | |
| "learning_rate": 0.00010813513513513513, | |
| "loss": 1.8152, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.468, | |
| "grad_norm": 2.6163859367370605, | |
| "learning_rate": 0.00010786486486486487, | |
| "loss": 1.8379, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 0.4693333333333333, | |
| "grad_norm": 2.596951484680176, | |
| "learning_rate": 0.0001075945945945946, | |
| "loss": 1.7957, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 0.4706666666666667, | |
| "grad_norm": 2.303182601928711, | |
| "learning_rate": 0.00010732432432432433, | |
| "loss": 1.8729, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 0.472, | |
| "grad_norm": 2.363114595413208, | |
| "learning_rate": 0.00010705405405405406, | |
| "loss": 1.963, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 0.47333333333333333, | |
| "grad_norm": 2.3271377086639404, | |
| "learning_rate": 0.0001067837837837838, | |
| "loss": 1.7534, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 0.4746666666666667, | |
| "grad_norm": 2.517594337463379, | |
| "learning_rate": 0.0001065135135135135, | |
| "loss": 1.737, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 0.476, | |
| "grad_norm": 2.4857470989227295, | |
| "learning_rate": 0.00010624324324324323, | |
| "loss": 1.7539, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 0.47733333333333333, | |
| "grad_norm": 2.998281478881836, | |
| "learning_rate": 0.00010597297297297298, | |
| "loss": 1.808, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 0.4786666666666667, | |
| "grad_norm": 2.3807339668273926, | |
| "learning_rate": 0.0001057027027027027, | |
| "loss": 1.8887, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 2.3057262897491455, | |
| "learning_rate": 0.00010543243243243244, | |
| "loss": 1.773, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 0.48133333333333334, | |
| "grad_norm": 2.498272657394409, | |
| "learning_rate": 0.00010516216216216216, | |
| "loss": 1.7171, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 0.4826666666666667, | |
| "grad_norm": 2.491147994995117, | |
| "learning_rate": 0.00010489189189189191, | |
| "loss": 1.8013, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 0.484, | |
| "grad_norm": 2.615712881088257, | |
| "learning_rate": 0.00010462162162162164, | |
| "loss": 1.9365, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 0.48533333333333334, | |
| "grad_norm": 2.81484055519104, | |
| "learning_rate": 0.00010435135135135136, | |
| "loss": 1.714, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 0.4866666666666667, | |
| "grad_norm": 2.371706247329712, | |
| "learning_rate": 0.00010408108108108108, | |
| "loss": 1.801, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 0.488, | |
| "grad_norm": 2.4274868965148926, | |
| "learning_rate": 0.00010381081081081081, | |
| "loss": 1.6728, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 0.48933333333333334, | |
| "grad_norm": 2.419053316116333, | |
| "learning_rate": 0.00010354054054054054, | |
| "loss": 1.7538, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 0.49066666666666664, | |
| "grad_norm": 2.3377275466918945, | |
| "learning_rate": 0.00010327027027027028, | |
| "loss": 1.6784, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 0.492, | |
| "grad_norm": 2.5018696784973145, | |
| "learning_rate": 0.00010300000000000001, | |
| "loss": 1.8772, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 0.49333333333333335, | |
| "grad_norm": 2.106964349746704, | |
| "learning_rate": 0.00010272972972972974, | |
| "loss": 1.7381, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 0.49466666666666664, | |
| "grad_norm": 2.7904281616210938, | |
| "learning_rate": 0.00010245945945945947, | |
| "loss": 1.7774, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 0.496, | |
| "grad_norm": 2.5653111934661865, | |
| "learning_rate": 0.00010218918918918921, | |
| "loss": 1.861, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 0.49733333333333335, | |
| "grad_norm": 2.198683261871338, | |
| "learning_rate": 0.00010191891891891891, | |
| "loss": 1.7723, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 0.49866666666666665, | |
| "grad_norm": 2.7365922927856445, | |
| "learning_rate": 0.00010164864864864864, | |
| "loss": 1.7066, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 2.3762874603271484, | |
| "learning_rate": 0.00010137837837837838, | |
| "loss": 1.8504, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 0.5013333333333333, | |
| "grad_norm": 2.620673179626465, | |
| "learning_rate": 0.00010110810810810811, | |
| "loss": 1.8199, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 0.5026666666666667, | |
| "grad_norm": 2.5394673347473145, | |
| "learning_rate": 0.00010083783783783784, | |
| "loss": 1.8501, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 0.504, | |
| "grad_norm": 2.297248125076294, | |
| "learning_rate": 0.00010056756756756757, | |
| "loss": 1.6851, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 0.5053333333333333, | |
| "grad_norm": 2.316267967224121, | |
| "learning_rate": 0.00010029729729729731, | |
| "loss": 1.7737, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 2.332772970199585, | |
| "learning_rate": 0.00010002702702702704, | |
| "loss": 1.7312, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 0.508, | |
| "grad_norm": 2.190260410308838, | |
| "learning_rate": 9.975675675675676e-05, | |
| "loss": 1.7734, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 0.5093333333333333, | |
| "grad_norm": 2.7426130771636963, | |
| "learning_rate": 9.94864864864865e-05, | |
| "loss": 1.7855, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 0.5106666666666667, | |
| "grad_norm": 2.242137908935547, | |
| "learning_rate": 9.921621621621622e-05, | |
| "loss": 1.7832, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 0.512, | |
| "grad_norm": 2.5682225227355957, | |
| "learning_rate": 9.894594594594595e-05, | |
| "loss": 1.6038, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 0.5133333333333333, | |
| "grad_norm": 2.2677552700042725, | |
| "learning_rate": 9.867567567567569e-05, | |
| "loss": 1.6608, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 0.5146666666666667, | |
| "grad_norm": 2.7266035079956055, | |
| "learning_rate": 9.840540540540542e-05, | |
| "loss": 1.82, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 0.516, | |
| "grad_norm": 2.479783058166504, | |
| "learning_rate": 9.813513513513513e-05, | |
| "loss": 1.7791, | |
| "step": 3870 | |
| }, | |
| { | |
| "epoch": 0.5173333333333333, | |
| "grad_norm": 2.4355106353759766, | |
| "learning_rate": 9.786486486486487e-05, | |
| "loss": 1.7157, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 0.5186666666666667, | |
| "grad_norm": 2.2603278160095215, | |
| "learning_rate": 9.75945945945946e-05, | |
| "loss": 1.8092, | |
| "step": 3890 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 2.4887278079986572, | |
| "learning_rate": 9.732432432432433e-05, | |
| "loss": 1.7094, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 0.5213333333333333, | |
| "grad_norm": 2.621600866317749, | |
| "learning_rate": 9.705405405405406e-05, | |
| "loss": 1.8193, | |
| "step": 3910 | |
| }, | |
| { | |
| "epoch": 0.5226666666666666, | |
| "grad_norm": 2.263338565826416, | |
| "learning_rate": 9.678378378378379e-05, | |
| "loss": 1.9238, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 0.524, | |
| "grad_norm": 2.3326528072357178, | |
| "learning_rate": 9.651351351351352e-05, | |
| "loss": 1.7959, | |
| "step": 3930 | |
| }, | |
| { | |
| "epoch": 0.5253333333333333, | |
| "grad_norm": 2.843334913253784, | |
| "learning_rate": 9.624324324324325e-05, | |
| "loss": 1.7858, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 0.5266666666666666, | |
| "grad_norm": 2.7273387908935547, | |
| "learning_rate": 9.597297297297298e-05, | |
| "loss": 1.6727, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 0.528, | |
| "grad_norm": 2.3087942600250244, | |
| "learning_rate": 9.570270270270271e-05, | |
| "loss": 1.7141, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 0.5293333333333333, | |
| "grad_norm": 2.8893113136291504, | |
| "learning_rate": 9.543243243243244e-05, | |
| "loss": 1.8398, | |
| "step": 3970 | |
| }, | |
| { | |
| "epoch": 0.5306666666666666, | |
| "grad_norm": 2.326162576675415, | |
| "learning_rate": 9.516216216216217e-05, | |
| "loss": 1.684, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 0.532, | |
| "grad_norm": 2.185478925704956, | |
| "learning_rate": 9.48918918918919e-05, | |
| "loss": 1.7513, | |
| "step": 3990 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 2.5856521129608154, | |
| "learning_rate": 9.462162162162162e-05, | |
| "loss": 1.7606, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.5346666666666666, | |
| "grad_norm": 2.2908594608306885, | |
| "learning_rate": 9.435135135135135e-05, | |
| "loss": 1.771, | |
| "step": 4010 | |
| }, | |
| { | |
| "epoch": 0.536, | |
| "grad_norm": 2.780820369720459, | |
| "learning_rate": 9.40810810810811e-05, | |
| "loss": 1.7179, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 0.5373333333333333, | |
| "grad_norm": 2.564866781234741, | |
| "learning_rate": 9.381081081081081e-05, | |
| "loss": 1.7235, | |
| "step": 4030 | |
| }, | |
| { | |
| "epoch": 0.5386666666666666, | |
| "grad_norm": 2.4878122806549072, | |
| "learning_rate": 9.354054054054054e-05, | |
| "loss": 1.6965, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 2.3223400115966797, | |
| "learning_rate": 9.327027027027028e-05, | |
| "loss": 1.9201, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 0.5413333333333333, | |
| "grad_norm": 2.294663667678833, | |
| "learning_rate": 9.300000000000001e-05, | |
| "loss": 1.7465, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 0.5426666666666666, | |
| "grad_norm": 2.4434211254119873, | |
| "learning_rate": 9.272972972972973e-05, | |
| "loss": 1.8371, | |
| "step": 4070 | |
| }, | |
| { | |
| "epoch": 0.544, | |
| "grad_norm": 2.2722768783569336, | |
| "learning_rate": 9.245945945945947e-05, | |
| "loss": 1.6401, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 0.5453333333333333, | |
| "grad_norm": 2.0681846141815186, | |
| "learning_rate": 9.21891891891892e-05, | |
| "loss": 1.7559, | |
| "step": 4090 | |
| }, | |
| { | |
| "epoch": 0.5466666666666666, | |
| "grad_norm": 2.4701437950134277, | |
| "learning_rate": 9.191891891891893e-05, | |
| "loss": 1.7718, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 0.548, | |
| "grad_norm": 2.545989513397217, | |
| "learning_rate": 9.164864864864866e-05, | |
| "loss": 1.7521, | |
| "step": 4110 | |
| }, | |
| { | |
| "epoch": 0.5493333333333333, | |
| "grad_norm": 2.7108235359191895, | |
| "learning_rate": 9.137837837837838e-05, | |
| "loss": 1.7254, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 0.5506666666666666, | |
| "grad_norm": 2.4735264778137207, | |
| "learning_rate": 9.110810810810811e-05, | |
| "loss": 1.7458, | |
| "step": 4130 | |
| }, | |
| { | |
| "epoch": 0.552, | |
| "grad_norm": 2.220050573348999, | |
| "learning_rate": 9.083783783783784e-05, | |
| "loss": 1.77, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 0.5533333333333333, | |
| "grad_norm": 2.395819902420044, | |
| "learning_rate": 9.056756756756757e-05, | |
| "loss": 1.7674, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 0.5546666666666666, | |
| "grad_norm": 2.2065374851226807, | |
| "learning_rate": 9.02972972972973e-05, | |
| "loss": 1.6576, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 0.556, | |
| "grad_norm": 2.499130964279175, | |
| "learning_rate": 9.002702702702703e-05, | |
| "loss": 1.7199, | |
| "step": 4170 | |
| }, | |
| { | |
| "epoch": 0.5573333333333333, | |
| "grad_norm": 2.316784381866455, | |
| "learning_rate": 8.975675675675676e-05, | |
| "loss": 1.7379, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 0.5586666666666666, | |
| "grad_norm": 2.3874051570892334, | |
| "learning_rate": 8.948648648648649e-05, | |
| "loss": 1.6866, | |
| "step": 4190 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 2.3450894355773926, | |
| "learning_rate": 8.921621621621622e-05, | |
| "loss": 1.7862, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 0.5613333333333334, | |
| "grad_norm": 2.4151878356933594, | |
| "learning_rate": 8.894594594594595e-05, | |
| "loss": 1.8199, | |
| "step": 4210 | |
| }, | |
| { | |
| "epoch": 0.5626666666666666, | |
| "grad_norm": 2.5283477306365967, | |
| "learning_rate": 8.867567567567569e-05, | |
| "loss": 1.8578, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 0.564, | |
| "grad_norm": 2.4942572116851807, | |
| "learning_rate": 8.84054054054054e-05, | |
| "loss": 1.7759, | |
| "step": 4230 | |
| }, | |
| { | |
| "epoch": 0.5653333333333334, | |
| "grad_norm": 2.476116895675659, | |
| "learning_rate": 8.813513513513513e-05, | |
| "loss": 1.8068, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 2.4816012382507324, | |
| "learning_rate": 8.786486486486488e-05, | |
| "loss": 1.7716, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 0.568, | |
| "grad_norm": 2.349569320678711, | |
| "learning_rate": 8.75945945945946e-05, | |
| "loss": 1.6928, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 0.5693333333333334, | |
| "grad_norm": 2.599334955215454, | |
| "learning_rate": 8.732432432432432e-05, | |
| "loss": 1.7631, | |
| "step": 4270 | |
| }, | |
| { | |
| "epoch": 0.5706666666666667, | |
| "grad_norm": 2.4788341522216797, | |
| "learning_rate": 8.705405405405406e-05, | |
| "loss": 1.5607, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 0.572, | |
| "grad_norm": 2.4678757190704346, | |
| "learning_rate": 8.678378378378379e-05, | |
| "loss": 1.7926, | |
| "step": 4290 | |
| }, | |
| { | |
| "epoch": 0.5733333333333334, | |
| "grad_norm": 2.707916736602783, | |
| "learning_rate": 8.651351351351352e-05, | |
| "loss": 1.7541, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 0.5746666666666667, | |
| "grad_norm": 2.478193759918213, | |
| "learning_rate": 8.624324324324325e-05, | |
| "loss": 1.6382, | |
| "step": 4310 | |
| }, | |
| { | |
| "epoch": 0.576, | |
| "grad_norm": 2.7475545406341553, | |
| "learning_rate": 8.597297297297298e-05, | |
| "loss": 1.6723, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 0.5773333333333334, | |
| "grad_norm": 2.6279048919677734, | |
| "learning_rate": 8.570270270270271e-05, | |
| "loss": 1.8845, | |
| "step": 4330 | |
| }, | |
| { | |
| "epoch": 0.5786666666666667, | |
| "grad_norm": 2.270444393157959, | |
| "learning_rate": 8.543243243243244e-05, | |
| "loss": 1.8199, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 2.681002616882324, | |
| "learning_rate": 8.516216216216217e-05, | |
| "loss": 1.7343, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 0.5813333333333334, | |
| "grad_norm": 2.756366014480591, | |
| "learning_rate": 8.48918918918919e-05, | |
| "loss": 1.7764, | |
| "step": 4360 | |
| }, | |
| { | |
| "epoch": 0.5826666666666667, | |
| "grad_norm": 2.6855266094207764, | |
| "learning_rate": 8.462162162162162e-05, | |
| "loss": 1.6117, | |
| "step": 4370 | |
| }, | |
| { | |
| "epoch": 0.584, | |
| "grad_norm": 2.4041712284088135, | |
| "learning_rate": 8.435135135135135e-05, | |
| "loss": 1.7411, | |
| "step": 4380 | |
| }, | |
| { | |
| "epoch": 0.5853333333333334, | |
| "grad_norm": 2.4793505668640137, | |
| "learning_rate": 8.408108108108108e-05, | |
| "loss": 1.7765, | |
| "step": 4390 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 2.3179032802581787, | |
| "learning_rate": 8.381081081081081e-05, | |
| "loss": 1.7906, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 0.588, | |
| "grad_norm": 2.4121007919311523, | |
| "learning_rate": 8.354054054054054e-05, | |
| "loss": 1.5975, | |
| "step": 4410 | |
| }, | |
| { | |
| "epoch": 0.5893333333333334, | |
| "grad_norm": 2.316859722137451, | |
| "learning_rate": 8.327027027027028e-05, | |
| "loss": 1.7897, | |
| "step": 4420 | |
| }, | |
| { | |
| "epoch": 0.5906666666666667, | |
| "grad_norm": 2.4854021072387695, | |
| "learning_rate": 8.3e-05, | |
| "loss": 1.8299, | |
| "step": 4430 | |
| }, | |
| { | |
| "epoch": 0.592, | |
| "grad_norm": 2.215632677078247, | |
| "learning_rate": 8.272972972972973e-05, | |
| "loss": 1.7155, | |
| "step": 4440 | |
| }, | |
| { | |
| "epoch": 0.5933333333333334, | |
| "grad_norm": 2.052816390991211, | |
| "learning_rate": 8.245945945945947e-05, | |
| "loss": 1.842, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 0.5946666666666667, | |
| "grad_norm": 2.4223296642303467, | |
| "learning_rate": 8.21891891891892e-05, | |
| "loss": 1.7534, | |
| "step": 4460 | |
| }, | |
| { | |
| "epoch": 0.596, | |
| "grad_norm": 2.5604755878448486, | |
| "learning_rate": 8.191891891891891e-05, | |
| "loss": 1.8931, | |
| "step": 4470 | |
| }, | |
| { | |
| "epoch": 0.5973333333333334, | |
| "grad_norm": 2.4084320068359375, | |
| "learning_rate": 8.164864864864866e-05, | |
| "loss": 1.8604, | |
| "step": 4480 | |
| }, | |
| { | |
| "epoch": 0.5986666666666667, | |
| "grad_norm": 2.3748981952667236, | |
| "learning_rate": 8.137837837837839e-05, | |
| "loss": 1.6899, | |
| "step": 4490 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 2.626437187194824, | |
| "learning_rate": 8.110810810810811e-05, | |
| "loss": 1.7266, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.6013333333333334, | |
| "grad_norm": 2.8805296421051025, | |
| "learning_rate": 8.083783783783784e-05, | |
| "loss": 1.6474, | |
| "step": 4510 | |
| }, | |
| { | |
| "epoch": 0.6026666666666667, | |
| "grad_norm": 2.7690365314483643, | |
| "learning_rate": 8.056756756756757e-05, | |
| "loss": 1.8816, | |
| "step": 4520 | |
| }, | |
| { | |
| "epoch": 0.604, | |
| "grad_norm": 2.068767786026001, | |
| "learning_rate": 8.02972972972973e-05, | |
| "loss": 1.6933, | |
| "step": 4530 | |
| }, | |
| { | |
| "epoch": 0.6053333333333333, | |
| "grad_norm": 2.304553270339966, | |
| "learning_rate": 8.002702702702703e-05, | |
| "loss": 1.7292, | |
| "step": 4540 | |
| }, | |
| { | |
| "epoch": 0.6066666666666667, | |
| "grad_norm": 2.5072391033172607, | |
| "learning_rate": 7.975675675675676e-05, | |
| "loss": 1.6681, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 0.608, | |
| "grad_norm": 2.6145615577697754, | |
| "learning_rate": 7.948648648648649e-05, | |
| "loss": 1.6283, | |
| "step": 4560 | |
| }, | |
| { | |
| "epoch": 0.6093333333333333, | |
| "grad_norm": 2.449979066848755, | |
| "learning_rate": 7.921621621621622e-05, | |
| "loss": 1.8048, | |
| "step": 4570 | |
| }, | |
| { | |
| "epoch": 0.6106666666666667, | |
| "grad_norm": 2.9940662384033203, | |
| "learning_rate": 7.894594594594596e-05, | |
| "loss": 1.9057, | |
| "step": 4580 | |
| }, | |
| { | |
| "epoch": 0.612, | |
| "grad_norm": 2.5613086223602295, | |
| "learning_rate": 7.867567567567568e-05, | |
| "loss": 1.7684, | |
| "step": 4590 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 2.5477535724639893, | |
| "learning_rate": 7.84054054054054e-05, | |
| "loss": 1.6731, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 0.6146666666666667, | |
| "grad_norm": 2.6440248489379883, | |
| "learning_rate": 7.813513513513513e-05, | |
| "loss": 1.636, | |
| "step": 4610 | |
| }, | |
| { | |
| "epoch": 0.616, | |
| "grad_norm": 2.123093605041504, | |
| "learning_rate": 7.786486486486488e-05, | |
| "loss": 1.8323, | |
| "step": 4620 | |
| }, | |
| { | |
| "epoch": 0.6173333333333333, | |
| "grad_norm": 2.5474610328674316, | |
| "learning_rate": 7.759459459459459e-05, | |
| "loss": 1.7251, | |
| "step": 4630 | |
| }, | |
| { | |
| "epoch": 0.6186666666666667, | |
| "grad_norm": 2.78224778175354, | |
| "learning_rate": 7.732432432432432e-05, | |
| "loss": 1.7143, | |
| "step": 4640 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 2.470123767852783, | |
| "learning_rate": 7.705405405405406e-05, | |
| "loss": 1.7682, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 0.6213333333333333, | |
| "grad_norm": 2.5710723400115967, | |
| "learning_rate": 7.678378378378379e-05, | |
| "loss": 1.8062, | |
| "step": 4660 | |
| }, | |
| { | |
| "epoch": 0.6226666666666667, | |
| "grad_norm": 2.321366310119629, | |
| "learning_rate": 7.651351351351351e-05, | |
| "loss": 1.7087, | |
| "step": 4670 | |
| }, | |
| { | |
| "epoch": 0.624, | |
| "grad_norm": 2.769404411315918, | |
| "learning_rate": 7.624324324324325e-05, | |
| "loss": 1.8375, | |
| "step": 4680 | |
| }, | |
| { | |
| "epoch": 0.6253333333333333, | |
| "grad_norm": 2.4478726387023926, | |
| "learning_rate": 7.597297297297298e-05, | |
| "loss": 1.663, | |
| "step": 4690 | |
| }, | |
| { | |
| "epoch": 0.6266666666666667, | |
| "grad_norm": 2.865020275115967, | |
| "learning_rate": 7.570270270270271e-05, | |
| "loss": 1.7983, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 0.628, | |
| "grad_norm": 2.564938545227051, | |
| "learning_rate": 7.543243243243244e-05, | |
| "loss": 1.7516, | |
| "step": 4710 | |
| }, | |
| { | |
| "epoch": 0.6293333333333333, | |
| "grad_norm": 2.2252092361450195, | |
| "learning_rate": 7.516216216216217e-05, | |
| "loss": 1.716, | |
| "step": 4720 | |
| }, | |
| { | |
| "epoch": 0.6306666666666667, | |
| "grad_norm": 2.067749261856079, | |
| "learning_rate": 7.48918918918919e-05, | |
| "loss": 1.6779, | |
| "step": 4730 | |
| }, | |
| { | |
| "epoch": 0.632, | |
| "grad_norm": 2.7093424797058105, | |
| "learning_rate": 7.462162162162162e-05, | |
| "loss": 1.7285, | |
| "step": 4740 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 2.576286554336548, | |
| "learning_rate": 7.435135135135135e-05, | |
| "loss": 1.619, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 0.6346666666666667, | |
| "grad_norm": 2.5047481060028076, | |
| "learning_rate": 7.408108108108108e-05, | |
| "loss": 1.9123, | |
| "step": 4760 | |
| }, | |
| { | |
| "epoch": 0.636, | |
| "grad_norm": 2.2953903675079346, | |
| "learning_rate": 7.381081081081081e-05, | |
| "loss": 1.6716, | |
| "step": 4770 | |
| }, | |
| { | |
| "epoch": 0.6373333333333333, | |
| "grad_norm": 2.3581738471984863, | |
| "learning_rate": 7.354054054054055e-05, | |
| "loss": 1.7734, | |
| "step": 4780 | |
| }, | |
| { | |
| "epoch": 0.6386666666666667, | |
| "grad_norm": 2.7139110565185547, | |
| "learning_rate": 7.327027027027027e-05, | |
| "loss": 1.758, | |
| "step": 4790 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 2.26751971244812, | |
| "learning_rate": 7.3e-05, | |
| "loss": 1.6165, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 0.6413333333333333, | |
| "grad_norm": 2.472557306289673, | |
| "learning_rate": 7.272972972972973e-05, | |
| "loss": 1.7257, | |
| "step": 4810 | |
| }, | |
| { | |
| "epoch": 0.6426666666666667, | |
| "grad_norm": 2.4562666416168213, | |
| "learning_rate": 7.245945945945947e-05, | |
| "loss": 1.6237, | |
| "step": 4820 | |
| }, | |
| { | |
| "epoch": 0.644, | |
| "grad_norm": 2.587217092514038, | |
| "learning_rate": 7.218918918918919e-05, | |
| "loss": 1.7768, | |
| "step": 4830 | |
| }, | |
| { | |
| "epoch": 0.6453333333333333, | |
| "grad_norm": 2.319197416305542, | |
| "learning_rate": 7.191891891891892e-05, | |
| "loss": 1.8886, | |
| "step": 4840 | |
| }, | |
| { | |
| "epoch": 0.6466666666666666, | |
| "grad_norm": 2.6838629245758057, | |
| "learning_rate": 7.164864864864866e-05, | |
| "loss": 1.8624, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 0.648, | |
| "grad_norm": 2.459134578704834, | |
| "learning_rate": 7.137837837837839e-05, | |
| "loss": 1.8797, | |
| "step": 4860 | |
| }, | |
| { | |
| "epoch": 0.6493333333333333, | |
| "grad_norm": 2.434612274169922, | |
| "learning_rate": 7.11081081081081e-05, | |
| "loss": 1.7052, | |
| "step": 4870 | |
| }, | |
| { | |
| "epoch": 0.6506666666666666, | |
| "grad_norm": 2.676539897918701, | |
| "learning_rate": 7.083783783783784e-05, | |
| "loss": 1.5103, | |
| "step": 4880 | |
| }, | |
| { | |
| "epoch": 0.652, | |
| "grad_norm": 2.1555585861206055, | |
| "learning_rate": 7.056756756756757e-05, | |
| "loss": 1.7087, | |
| "step": 4890 | |
| }, | |
| { | |
| "epoch": 0.6533333333333333, | |
| "grad_norm": 2.6224405765533447, | |
| "learning_rate": 7.02972972972973e-05, | |
| "loss": 1.7359, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 0.6546666666666666, | |
| "grad_norm": 2.353959798812866, | |
| "learning_rate": 7.002702702702703e-05, | |
| "loss": 1.7143, | |
| "step": 4910 | |
| }, | |
| { | |
| "epoch": 0.656, | |
| "grad_norm": 2.266991376876831, | |
| "learning_rate": 6.975675675675676e-05, | |
| "loss": 1.6933, | |
| "step": 4920 | |
| }, | |
| { | |
| "epoch": 0.6573333333333333, | |
| "grad_norm": 2.238447904586792, | |
| "learning_rate": 6.948648648648649e-05, | |
| "loss": 1.6179, | |
| "step": 4930 | |
| }, | |
| { | |
| "epoch": 0.6586666666666666, | |
| "grad_norm": 2.6156067848205566, | |
| "learning_rate": 6.921621621621622e-05, | |
| "loss": 1.6184, | |
| "step": 4940 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 2.658324718475342, | |
| "learning_rate": 6.894594594594595e-05, | |
| "loss": 1.8393, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 0.6613333333333333, | |
| "grad_norm": 3.0969736576080322, | |
| "learning_rate": 6.867567567567568e-05, | |
| "loss": 1.7887, | |
| "step": 4960 | |
| }, | |
| { | |
| "epoch": 0.6626666666666666, | |
| "grad_norm": 2.7049593925476074, | |
| "learning_rate": 6.84054054054054e-05, | |
| "loss": 1.7723, | |
| "step": 4970 | |
| }, | |
| { | |
| "epoch": 0.664, | |
| "grad_norm": 2.2911875247955322, | |
| "learning_rate": 6.813513513513515e-05, | |
| "loss": 1.6815, | |
| "step": 4980 | |
| }, | |
| { | |
| "epoch": 0.6653333333333333, | |
| "grad_norm": 2.4017186164855957, | |
| "learning_rate": 6.786486486486486e-05, | |
| "loss": 1.7622, | |
| "step": 4990 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 2.133009672164917, | |
| "learning_rate": 6.759459459459459e-05, | |
| "loss": 1.6369, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.668, | |
| "grad_norm": 2.7822725772857666, | |
| "learning_rate": 6.732432432432432e-05, | |
| "loss": 1.7423, | |
| "step": 5010 | |
| }, | |
| { | |
| "epoch": 0.6693333333333333, | |
| "grad_norm": 2.395003080368042, | |
| "learning_rate": 6.705405405405406e-05, | |
| "loss": 1.665, | |
| "step": 5020 | |
| }, | |
| { | |
| "epoch": 0.6706666666666666, | |
| "grad_norm": 2.3305490016937256, | |
| "learning_rate": 6.678378378378378e-05, | |
| "loss": 1.7307, | |
| "step": 5030 | |
| }, | |
| { | |
| "epoch": 0.672, | |
| "grad_norm": 2.327988862991333, | |
| "learning_rate": 6.651351351351351e-05, | |
| "loss": 1.6633, | |
| "step": 5040 | |
| }, | |
| { | |
| "epoch": 0.6733333333333333, | |
| "grad_norm": 2.212411880493164, | |
| "learning_rate": 6.624324324324325e-05, | |
| "loss": 1.63, | |
| "step": 5050 | |
| }, | |
| { | |
| "epoch": 0.6746666666666666, | |
| "grad_norm": 2.9532217979431152, | |
| "learning_rate": 6.597297297297298e-05, | |
| "loss": 1.7147, | |
| "step": 5060 | |
| }, | |
| { | |
| "epoch": 0.676, | |
| "grad_norm": 2.410266160964966, | |
| "learning_rate": 6.57027027027027e-05, | |
| "loss": 1.7012, | |
| "step": 5070 | |
| }, | |
| { | |
| "epoch": 0.6773333333333333, | |
| "grad_norm": 2.47847056388855, | |
| "learning_rate": 6.543243243243244e-05, | |
| "loss": 1.6846, | |
| "step": 5080 | |
| }, | |
| { | |
| "epoch": 0.6786666666666666, | |
| "grad_norm": 2.3797738552093506, | |
| "learning_rate": 6.516216216216217e-05, | |
| "loss": 1.7244, | |
| "step": 5090 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 2.260364294052124, | |
| "learning_rate": 6.48918918918919e-05, | |
| "loss": 1.6383, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 0.6813333333333333, | |
| "grad_norm": 7.000325679779053, | |
| "learning_rate": 6.462162162162163e-05, | |
| "loss": 1.9112, | |
| "step": 5110 | |
| }, | |
| { | |
| "epoch": 0.6826666666666666, | |
| "grad_norm": 2.6418049335479736, | |
| "learning_rate": 6.435135135135135e-05, | |
| "loss": 1.7482, | |
| "step": 5120 | |
| }, | |
| { | |
| "epoch": 0.684, | |
| "grad_norm": 2.709291458129883, | |
| "learning_rate": 6.408108108108108e-05, | |
| "loss": 1.763, | |
| "step": 5130 | |
| }, | |
| { | |
| "epoch": 0.6853333333333333, | |
| "grad_norm": 3.0964314937591553, | |
| "learning_rate": 6.381081081081081e-05, | |
| "loss": 1.7461, | |
| "step": 5140 | |
| }, | |
| { | |
| "epoch": 0.6866666666666666, | |
| "grad_norm": 2.2311952114105225, | |
| "learning_rate": 6.354054054054054e-05, | |
| "loss": 1.8129, | |
| "step": 5150 | |
| }, | |
| { | |
| "epoch": 0.688, | |
| "grad_norm": 2.4658689498901367, | |
| "learning_rate": 6.327027027027027e-05, | |
| "loss": 1.7197, | |
| "step": 5160 | |
| }, | |
| { | |
| "epoch": 0.6893333333333334, | |
| "grad_norm": 2.494281053543091, | |
| "learning_rate": 6.3e-05, | |
| "loss": 1.7131, | |
| "step": 5170 | |
| }, | |
| { | |
| "epoch": 0.6906666666666667, | |
| "grad_norm": 2.337458848953247, | |
| "learning_rate": 6.272972972972974e-05, | |
| "loss": 1.8182, | |
| "step": 5180 | |
| }, | |
| { | |
| "epoch": 0.692, | |
| "grad_norm": 2.2860753536224365, | |
| "learning_rate": 6.245945945945946e-05, | |
| "loss": 1.8402, | |
| "step": 5190 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 2.654182195663452, | |
| "learning_rate": 6.218918918918919e-05, | |
| "loss": 1.7607, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 0.6946666666666667, | |
| "grad_norm": 2.4384946823120117, | |
| "learning_rate": 6.191891891891892e-05, | |
| "loss": 1.8643, | |
| "step": 5210 | |
| }, | |
| { | |
| "epoch": 0.696, | |
| "grad_norm": 2.5063271522521973, | |
| "learning_rate": 6.164864864864866e-05, | |
| "loss": 1.7459, | |
| "step": 5220 | |
| }, | |
| { | |
| "epoch": 0.6973333333333334, | |
| "grad_norm": 2.3819327354431152, | |
| "learning_rate": 6.137837837837837e-05, | |
| "loss": 1.7328, | |
| "step": 5230 | |
| }, | |
| { | |
| "epoch": 0.6986666666666667, | |
| "grad_norm": 2.353322744369507, | |
| "learning_rate": 6.11081081081081e-05, | |
| "loss": 1.6994, | |
| "step": 5240 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 2.059305429458618, | |
| "learning_rate": 6.083783783783784e-05, | |
| "loss": 1.6366, | |
| "step": 5250 | |
| }, | |
| { | |
| "epoch": 0.7013333333333334, | |
| "grad_norm": 2.6309072971343994, | |
| "learning_rate": 6.0567567567567575e-05, | |
| "loss": 1.8112, | |
| "step": 5260 | |
| }, | |
| { | |
| "epoch": 0.7026666666666667, | |
| "grad_norm": 2.3017349243164062, | |
| "learning_rate": 6.02972972972973e-05, | |
| "loss": 1.6129, | |
| "step": 5270 | |
| }, | |
| { | |
| "epoch": 0.704, | |
| "grad_norm": 2.3827080726623535, | |
| "learning_rate": 6.0027027027027026e-05, | |
| "loss": 1.7627, | |
| "step": 5280 | |
| }, | |
| { | |
| "epoch": 0.7053333333333334, | |
| "grad_norm": 2.489391565322876, | |
| "learning_rate": 5.975675675675676e-05, | |
| "loss": 1.6755, | |
| "step": 5290 | |
| }, | |
| { | |
| "epoch": 0.7066666666666667, | |
| "grad_norm": 2.4546420574188232, | |
| "learning_rate": 5.948648648648649e-05, | |
| "loss": 1.637, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 0.708, | |
| "grad_norm": 2.1778452396392822, | |
| "learning_rate": 5.921621621621621e-05, | |
| "loss": 1.7271, | |
| "step": 5310 | |
| }, | |
| { | |
| "epoch": 0.7093333333333334, | |
| "grad_norm": 2.3320977687835693, | |
| "learning_rate": 5.894594594594595e-05, | |
| "loss": 1.7104, | |
| "step": 5320 | |
| }, | |
| { | |
| "epoch": 0.7106666666666667, | |
| "grad_norm": 2.9002904891967773, | |
| "learning_rate": 5.867567567567568e-05, | |
| "loss": 1.768, | |
| "step": 5330 | |
| }, | |
| { | |
| "epoch": 0.712, | |
| "grad_norm": 2.236595392227173, | |
| "learning_rate": 5.8405405405405414e-05, | |
| "loss": 1.7603, | |
| "step": 5340 | |
| }, | |
| { | |
| "epoch": 0.7133333333333334, | |
| "grad_norm": 2.342060089111328, | |
| "learning_rate": 5.8135135135135136e-05, | |
| "loss": 1.756, | |
| "step": 5350 | |
| }, | |
| { | |
| "epoch": 0.7146666666666667, | |
| "grad_norm": 2.43502140045166, | |
| "learning_rate": 5.7864864864864865e-05, | |
| "loss": 1.6526, | |
| "step": 5360 | |
| }, | |
| { | |
| "epoch": 0.716, | |
| "grad_norm": 2.416416883468628, | |
| "learning_rate": 5.75945945945946e-05, | |
| "loss": 1.6821, | |
| "step": 5370 | |
| }, | |
| { | |
| "epoch": 0.7173333333333334, | |
| "grad_norm": 2.79465651512146, | |
| "learning_rate": 5.732432432432433e-05, | |
| "loss": 1.653, | |
| "step": 5380 | |
| }, | |
| { | |
| "epoch": 0.7186666666666667, | |
| "grad_norm": 2.1442489624023438, | |
| "learning_rate": 5.705405405405405e-05, | |
| "loss": 1.6052, | |
| "step": 5390 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 2.3195009231567383, | |
| "learning_rate": 5.678378378378378e-05, | |
| "loss": 1.773, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 0.7213333333333334, | |
| "grad_norm": 2.435551166534424, | |
| "learning_rate": 5.651351351351352e-05, | |
| "loss": 1.6717, | |
| "step": 5410 | |
| }, | |
| { | |
| "epoch": 0.7226666666666667, | |
| "grad_norm": 2.9846158027648926, | |
| "learning_rate": 5.6243243243243246e-05, | |
| "loss": 1.6524, | |
| "step": 5420 | |
| }, | |
| { | |
| "epoch": 0.724, | |
| "grad_norm": 2.2463107109069824, | |
| "learning_rate": 5.597297297297297e-05, | |
| "loss": 1.5635, | |
| "step": 5430 | |
| }, | |
| { | |
| "epoch": 0.7253333333333334, | |
| "grad_norm": 2.6960723400115967, | |
| "learning_rate": 5.5702702702702704e-05, | |
| "loss": 1.5236, | |
| "step": 5440 | |
| }, | |
| { | |
| "epoch": 0.7266666666666667, | |
| "grad_norm": 2.4956061840057373, | |
| "learning_rate": 5.543243243243243e-05, | |
| "loss": 1.7235, | |
| "step": 5450 | |
| }, | |
| { | |
| "epoch": 0.728, | |
| "grad_norm": 2.218177080154419, | |
| "learning_rate": 5.516216216216217e-05, | |
| "loss": 1.682, | |
| "step": 5460 | |
| }, | |
| { | |
| "epoch": 0.7293333333333333, | |
| "grad_norm": 2.515575647354126, | |
| "learning_rate": 5.48918918918919e-05, | |
| "loss": 1.7251, | |
| "step": 5470 | |
| }, | |
| { | |
| "epoch": 0.7306666666666667, | |
| "grad_norm": 2.859912395477295, | |
| "learning_rate": 5.462162162162162e-05, | |
| "loss": 1.7788, | |
| "step": 5480 | |
| }, | |
| { | |
| "epoch": 0.732, | |
| "grad_norm": 2.5170841217041016, | |
| "learning_rate": 5.4351351351351356e-05, | |
| "loss": 1.7671, | |
| "step": 5490 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 3.0050339698791504, | |
| "learning_rate": 5.4081081081081085e-05, | |
| "loss": 1.6537, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.7346666666666667, | |
| "grad_norm": 2.685117483139038, | |
| "learning_rate": 5.381081081081082e-05, | |
| "loss": 1.7784, | |
| "step": 5510 | |
| }, | |
| { | |
| "epoch": 0.736, | |
| "grad_norm": 2.6302332878112793, | |
| "learning_rate": 5.354054054054054e-05, | |
| "loss": 1.8508, | |
| "step": 5520 | |
| }, | |
| { | |
| "epoch": 0.7373333333333333, | |
| "grad_norm": 2.4447121620178223, | |
| "learning_rate": 5.327027027027027e-05, | |
| "loss": 1.5135, | |
| "step": 5530 | |
| }, | |
| { | |
| "epoch": 0.7386666666666667, | |
| "grad_norm": 2.059255361557007, | |
| "learning_rate": 5.300000000000001e-05, | |
| "loss": 1.6182, | |
| "step": 5540 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 2.508316993713379, | |
| "learning_rate": 5.2729729729729737e-05, | |
| "loss": 1.7946, | |
| "step": 5550 | |
| }, | |
| { | |
| "epoch": 0.7413333333333333, | |
| "grad_norm": 2.500084161758423, | |
| "learning_rate": 5.245945945945946e-05, | |
| "loss": 1.6965, | |
| "step": 5560 | |
| }, | |
| { | |
| "epoch": 0.7426666666666667, | |
| "grad_norm": 2.6352810859680176, | |
| "learning_rate": 5.2189189189189195e-05, | |
| "loss": 1.5864, | |
| "step": 5570 | |
| }, | |
| { | |
| "epoch": 0.744, | |
| "grad_norm": 2.924647092819214, | |
| "learning_rate": 5.1918918918918924e-05, | |
| "loss": 1.7354, | |
| "step": 5580 | |
| }, | |
| { | |
| "epoch": 0.7453333333333333, | |
| "grad_norm": 2.4402995109558105, | |
| "learning_rate": 5.164864864864866e-05, | |
| "loss": 1.6326, | |
| "step": 5590 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 3.5275487899780273, | |
| "learning_rate": 5.1378378378378375e-05, | |
| "loss": 1.6526, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 0.748, | |
| "grad_norm": 2.640603542327881, | |
| "learning_rate": 5.110810810810811e-05, | |
| "loss": 1.6978, | |
| "step": 5610 | |
| }, | |
| { | |
| "epoch": 0.7493333333333333, | |
| "grad_norm": 2.4517879486083984, | |
| "learning_rate": 5.083783783783784e-05, | |
| "loss": 1.6873, | |
| "step": 5620 | |
| }, | |
| { | |
| "epoch": 0.7506666666666667, | |
| "grad_norm": 2.5826404094696045, | |
| "learning_rate": 5.0567567567567576e-05, | |
| "loss": 1.7209, | |
| "step": 5630 | |
| }, | |
| { | |
| "epoch": 0.752, | |
| "grad_norm": 3.254995822906494, | |
| "learning_rate": 5.02972972972973e-05, | |
| "loss": 1.7182, | |
| "step": 5640 | |
| }, | |
| { | |
| "epoch": 0.7533333333333333, | |
| "grad_norm": 2.4099812507629395, | |
| "learning_rate": 5.002702702702703e-05, | |
| "loss": 1.5186, | |
| "step": 5650 | |
| }, | |
| { | |
| "epoch": 0.7546666666666667, | |
| "grad_norm": 2.534217357635498, | |
| "learning_rate": 4.975675675675676e-05, | |
| "loss": 1.8553, | |
| "step": 5660 | |
| }, | |
| { | |
| "epoch": 0.756, | |
| "grad_norm": 2.5693318843841553, | |
| "learning_rate": 4.948648648648649e-05, | |
| "loss": 1.8622, | |
| "step": 5670 | |
| }, | |
| { | |
| "epoch": 0.7573333333333333, | |
| "grad_norm": 2.573843002319336, | |
| "learning_rate": 4.921621621621622e-05, | |
| "loss": 1.6448, | |
| "step": 5680 | |
| }, | |
| { | |
| "epoch": 0.7586666666666667, | |
| "grad_norm": 2.8359835147857666, | |
| "learning_rate": 4.894594594594595e-05, | |
| "loss": 1.6768, | |
| "step": 5690 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 2.405327081680298, | |
| "learning_rate": 4.867567567567568e-05, | |
| "loss": 1.7944, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 0.7613333333333333, | |
| "grad_norm": 2.5962822437286377, | |
| "learning_rate": 4.840540540540541e-05, | |
| "loss": 1.589, | |
| "step": 5710 | |
| }, | |
| { | |
| "epoch": 0.7626666666666667, | |
| "grad_norm": 2.4753477573394775, | |
| "learning_rate": 4.813513513513514e-05, | |
| "loss": 1.767, | |
| "step": 5720 | |
| }, | |
| { | |
| "epoch": 0.764, | |
| "grad_norm": 2.732316017150879, | |
| "learning_rate": 4.7864864864864866e-05, | |
| "loss": 1.7758, | |
| "step": 5730 | |
| }, | |
| { | |
| "epoch": 0.7653333333333333, | |
| "grad_norm": 2.772697925567627, | |
| "learning_rate": 4.75945945945946e-05, | |
| "loss": 1.6539, | |
| "step": 5740 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 2.8475613594055176, | |
| "learning_rate": 4.7324324324324324e-05, | |
| "loss": 1.688, | |
| "step": 5750 | |
| }, | |
| { | |
| "epoch": 0.768, | |
| "grad_norm": 2.7171499729156494, | |
| "learning_rate": 4.705405405405406e-05, | |
| "loss": 1.6328, | |
| "step": 5760 | |
| }, | |
| { | |
| "epoch": 0.7693333333333333, | |
| "grad_norm": 2.5793089866638184, | |
| "learning_rate": 4.678378378378379e-05, | |
| "loss": 1.5797, | |
| "step": 5770 | |
| }, | |
| { | |
| "epoch": 0.7706666666666667, | |
| "grad_norm": 2.263705015182495, | |
| "learning_rate": 4.651351351351352e-05, | |
| "loss": 1.7494, | |
| "step": 5780 | |
| }, | |
| { | |
| "epoch": 0.772, | |
| "grad_norm": 2.689951181411743, | |
| "learning_rate": 4.624324324324325e-05, | |
| "loss": 1.642, | |
| "step": 5790 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 2.384277105331421, | |
| "learning_rate": 4.5972972972972976e-05, | |
| "loss": 1.822, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 0.7746666666666666, | |
| "grad_norm": 2.517409324645996, | |
| "learning_rate": 4.5702702702702705e-05, | |
| "loss": 1.6411, | |
| "step": 5810 | |
| }, | |
| { | |
| "epoch": 0.776, | |
| "grad_norm": 2.7147343158721924, | |
| "learning_rate": 4.5432432432432434e-05, | |
| "loss": 1.7847, | |
| "step": 5820 | |
| }, | |
| { | |
| "epoch": 0.7773333333333333, | |
| "grad_norm": 2.289916515350342, | |
| "learning_rate": 4.516216216216216e-05, | |
| "loss": 1.7548, | |
| "step": 5830 | |
| }, | |
| { | |
| "epoch": 0.7786666666666666, | |
| "grad_norm": 2.620067596435547, | |
| "learning_rate": 4.48918918918919e-05, | |
| "loss": 1.5818, | |
| "step": 5840 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 2.3116276264190674, | |
| "learning_rate": 4.462162162162162e-05, | |
| "loss": 1.6786, | |
| "step": 5850 | |
| }, | |
| { | |
| "epoch": 0.7813333333333333, | |
| "grad_norm": 2.479151964187622, | |
| "learning_rate": 4.4351351351351357e-05, | |
| "loss": 1.7516, | |
| "step": 5860 | |
| }, | |
| { | |
| "epoch": 0.7826666666666666, | |
| "grad_norm": 2.3408565521240234, | |
| "learning_rate": 4.4081081081081086e-05, | |
| "loss": 1.6726, | |
| "step": 5870 | |
| }, | |
| { | |
| "epoch": 0.784, | |
| "grad_norm": 2.4903507232666016, | |
| "learning_rate": 4.3810810810810815e-05, | |
| "loss": 1.7151, | |
| "step": 5880 | |
| }, | |
| { | |
| "epoch": 0.7853333333333333, | |
| "grad_norm": 2.7375853061676025, | |
| "learning_rate": 4.3540540540540544e-05, | |
| "loss": 1.712, | |
| "step": 5890 | |
| }, | |
| { | |
| "epoch": 0.7866666666666666, | |
| "grad_norm": 2.2988908290863037, | |
| "learning_rate": 4.327027027027027e-05, | |
| "loss": 1.7197, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 0.788, | |
| "grad_norm": 2.9923717975616455, | |
| "learning_rate": 4.3e-05, | |
| "loss": 1.4819, | |
| "step": 5910 | |
| }, | |
| { | |
| "epoch": 0.7893333333333333, | |
| "grad_norm": 2.4413089752197266, | |
| "learning_rate": 4.272972972972973e-05, | |
| "loss": 1.5703, | |
| "step": 5920 | |
| }, | |
| { | |
| "epoch": 0.7906666666666666, | |
| "grad_norm": 2.3859667778015137, | |
| "learning_rate": 4.245945945945946e-05, | |
| "loss": 1.7052, | |
| "step": 5930 | |
| }, | |
| { | |
| "epoch": 0.792, | |
| "grad_norm": 2.527226209640503, | |
| "learning_rate": 4.2189189189189195e-05, | |
| "loss": 1.7125, | |
| "step": 5940 | |
| }, | |
| { | |
| "epoch": 0.7933333333333333, | |
| "grad_norm": 3.1854281425476074, | |
| "learning_rate": 4.191891891891892e-05, | |
| "loss": 1.7037, | |
| "step": 5950 | |
| }, | |
| { | |
| "epoch": 0.7946666666666666, | |
| "grad_norm": 2.814861297607422, | |
| "learning_rate": 4.1648648648648654e-05, | |
| "loss": 1.6434, | |
| "step": 5960 | |
| }, | |
| { | |
| "epoch": 0.796, | |
| "grad_norm": 2.9175212383270264, | |
| "learning_rate": 4.137837837837838e-05, | |
| "loss": 1.7307, | |
| "step": 5970 | |
| }, | |
| { | |
| "epoch": 0.7973333333333333, | |
| "grad_norm": 2.400646924972534, | |
| "learning_rate": 4.110810810810811e-05, | |
| "loss": 1.5439, | |
| "step": 5980 | |
| }, | |
| { | |
| "epoch": 0.7986666666666666, | |
| "grad_norm": 2.5307583808898926, | |
| "learning_rate": 4.083783783783784e-05, | |
| "loss": 1.6965, | |
| "step": 5990 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 2.612553358078003, | |
| "learning_rate": 4.056756756756757e-05, | |
| "loss": 1.7097, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.8013333333333333, | |
| "grad_norm": 2.284662961959839, | |
| "learning_rate": 4.02972972972973e-05, | |
| "loss": 1.6993, | |
| "step": 6010 | |
| }, | |
| { | |
| "epoch": 0.8026666666666666, | |
| "grad_norm": 3.0410237312316895, | |
| "learning_rate": 4.002702702702703e-05, | |
| "loss": 1.6701, | |
| "step": 6020 | |
| }, | |
| { | |
| "epoch": 0.804, | |
| "grad_norm": 2.654667377471924, | |
| "learning_rate": 3.975675675675676e-05, | |
| "loss": 1.7714, | |
| "step": 6030 | |
| }, | |
| { | |
| "epoch": 0.8053333333333333, | |
| "grad_norm": 2.5018224716186523, | |
| "learning_rate": 3.948648648648649e-05, | |
| "loss": 1.6427, | |
| "step": 6040 | |
| }, | |
| { | |
| "epoch": 0.8066666666666666, | |
| "grad_norm": 2.2526869773864746, | |
| "learning_rate": 3.9216216216216215e-05, | |
| "loss": 1.4547, | |
| "step": 6050 | |
| }, | |
| { | |
| "epoch": 0.808, | |
| "grad_norm": 2.6133015155792236, | |
| "learning_rate": 3.894594594594595e-05, | |
| "loss": 1.7321, | |
| "step": 6060 | |
| }, | |
| { | |
| "epoch": 0.8093333333333333, | |
| "grad_norm": 2.4903156757354736, | |
| "learning_rate": 3.867567567567568e-05, | |
| "loss": 1.6721, | |
| "step": 6070 | |
| }, | |
| { | |
| "epoch": 0.8106666666666666, | |
| "grad_norm": 2.7530627250671387, | |
| "learning_rate": 3.840540540540541e-05, | |
| "loss": 1.6131, | |
| "step": 6080 | |
| }, | |
| { | |
| "epoch": 0.812, | |
| "grad_norm": 2.515719413757324, | |
| "learning_rate": 3.813513513513514e-05, | |
| "loss": 1.6351, | |
| "step": 6090 | |
| }, | |
| { | |
| "epoch": 0.8133333333333334, | |
| "grad_norm": 2.6677589416503906, | |
| "learning_rate": 3.7864864864864867e-05, | |
| "loss": 1.6129, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 0.8146666666666667, | |
| "grad_norm": 2.306367874145508, | |
| "learning_rate": 3.7594594594594596e-05, | |
| "loss": 1.6285, | |
| "step": 6110 | |
| }, | |
| { | |
| "epoch": 0.816, | |
| "grad_norm": 3.3968253135681152, | |
| "learning_rate": 3.7324324324324325e-05, | |
| "loss": 1.7338, | |
| "step": 6120 | |
| }, | |
| { | |
| "epoch": 0.8173333333333334, | |
| "grad_norm": 2.48195743560791, | |
| "learning_rate": 3.7054054054054054e-05, | |
| "loss": 1.8016, | |
| "step": 6130 | |
| }, | |
| { | |
| "epoch": 0.8186666666666667, | |
| "grad_norm": 2.4861512184143066, | |
| "learning_rate": 3.678378378378379e-05, | |
| "loss": 1.6984, | |
| "step": 6140 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 2.6321170330047607, | |
| "learning_rate": 3.651351351351351e-05, | |
| "loss": 1.6262, | |
| "step": 6150 | |
| }, | |
| { | |
| "epoch": 0.8213333333333334, | |
| "grad_norm": 2.5380373001098633, | |
| "learning_rate": 3.624324324324325e-05, | |
| "loss": 1.5623, | |
| "step": 6160 | |
| }, | |
| { | |
| "epoch": 0.8226666666666667, | |
| "grad_norm": 2.204197883605957, | |
| "learning_rate": 3.5972972972972977e-05, | |
| "loss": 1.6745, | |
| "step": 6170 | |
| }, | |
| { | |
| "epoch": 0.824, | |
| "grad_norm": 2.7403526306152344, | |
| "learning_rate": 3.5702702702702706e-05, | |
| "loss": 1.5203, | |
| "step": 6180 | |
| }, | |
| { | |
| "epoch": 0.8253333333333334, | |
| "grad_norm": 2.620312452316284, | |
| "learning_rate": 3.5432432432432435e-05, | |
| "loss": 1.7019, | |
| "step": 6190 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 2.6407034397125244, | |
| "learning_rate": 3.5162162162162164e-05, | |
| "loss": 1.6738, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 0.828, | |
| "grad_norm": 2.8657119274139404, | |
| "learning_rate": 3.489189189189189e-05, | |
| "loss": 1.6289, | |
| "step": 6210 | |
| }, | |
| { | |
| "epoch": 0.8293333333333334, | |
| "grad_norm": 2.3813586235046387, | |
| "learning_rate": 3.462162162162162e-05, | |
| "loss": 1.5808, | |
| "step": 6220 | |
| }, | |
| { | |
| "epoch": 0.8306666666666667, | |
| "grad_norm": 2.9518868923187256, | |
| "learning_rate": 3.435135135135135e-05, | |
| "loss": 1.7271, | |
| "step": 6230 | |
| }, | |
| { | |
| "epoch": 0.832, | |
| "grad_norm": 2.5830390453338623, | |
| "learning_rate": 3.4081081081081086e-05, | |
| "loss": 1.8173, | |
| "step": 6240 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 2.986417293548584, | |
| "learning_rate": 3.381081081081081e-05, | |
| "loss": 1.7649, | |
| "step": 6250 | |
| }, | |
| { | |
| "epoch": 0.8346666666666667, | |
| "grad_norm": 2.7815823554992676, | |
| "learning_rate": 3.3540540540540544e-05, | |
| "loss": 1.8131, | |
| "step": 6260 | |
| }, | |
| { | |
| "epoch": 0.836, | |
| "grad_norm": 2.68438720703125, | |
| "learning_rate": 3.3270270270270274e-05, | |
| "loss": 1.6404, | |
| "step": 6270 | |
| }, | |
| { | |
| "epoch": 0.8373333333333334, | |
| "grad_norm": 2.7621591091156006, | |
| "learning_rate": 3.3e-05, | |
| "loss": 1.7984, | |
| "step": 6280 | |
| }, | |
| { | |
| "epoch": 0.8386666666666667, | |
| "grad_norm": 2.544633388519287, | |
| "learning_rate": 3.272972972972973e-05, | |
| "loss": 1.5763, | |
| "step": 6290 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 2.5023107528686523, | |
| "learning_rate": 3.245945945945946e-05, | |
| "loss": 1.8152, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 0.8413333333333334, | |
| "grad_norm": 2.2994837760925293, | |
| "learning_rate": 3.218918918918919e-05, | |
| "loss": 1.8882, | |
| "step": 6310 | |
| }, | |
| { | |
| "epoch": 0.8426666666666667, | |
| "grad_norm": 3.953317880630493, | |
| "learning_rate": 3.191891891891892e-05, | |
| "loss": 1.6891, | |
| "step": 6320 | |
| }, | |
| { | |
| "epoch": 0.844, | |
| "grad_norm": 2.7134106159210205, | |
| "learning_rate": 3.164864864864865e-05, | |
| "loss": 1.7224, | |
| "step": 6330 | |
| }, | |
| { | |
| "epoch": 0.8453333333333334, | |
| "grad_norm": 2.4005279541015625, | |
| "learning_rate": 3.1378378378378383e-05, | |
| "loss": 1.787, | |
| "step": 6340 | |
| }, | |
| { | |
| "epoch": 0.8466666666666667, | |
| "grad_norm": 2.4672749042510986, | |
| "learning_rate": 3.1108108108108106e-05, | |
| "loss": 1.738, | |
| "step": 6350 | |
| }, | |
| { | |
| "epoch": 0.848, | |
| "grad_norm": 2.928025245666504, | |
| "learning_rate": 3.083783783783784e-05, | |
| "loss": 1.8161, | |
| "step": 6360 | |
| }, | |
| { | |
| "epoch": 0.8493333333333334, | |
| "grad_norm": 2.672902822494507, | |
| "learning_rate": 3.056756756756757e-05, | |
| "loss": 1.6174, | |
| "step": 6370 | |
| }, | |
| { | |
| "epoch": 0.8506666666666667, | |
| "grad_norm": 2.5502936840057373, | |
| "learning_rate": 3.02972972972973e-05, | |
| "loss": 1.6013, | |
| "step": 6380 | |
| }, | |
| { | |
| "epoch": 0.852, | |
| "grad_norm": 2.719055652618408, | |
| "learning_rate": 3.002702702702703e-05, | |
| "loss": 1.6408, | |
| "step": 6390 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 2.978949785232544, | |
| "learning_rate": 2.975675675675676e-05, | |
| "loss": 1.6231, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 0.8546666666666667, | |
| "grad_norm": 2.727102756500244, | |
| "learning_rate": 2.9486486486486487e-05, | |
| "loss": 1.6566, | |
| "step": 6410 | |
| }, | |
| { | |
| "epoch": 0.856, | |
| "grad_norm": 2.3912513256073, | |
| "learning_rate": 2.921621621621622e-05, | |
| "loss": 1.6672, | |
| "step": 6420 | |
| }, | |
| { | |
| "epoch": 0.8573333333333333, | |
| "grad_norm": 2.4890830516815186, | |
| "learning_rate": 2.8945945945945945e-05, | |
| "loss": 1.6692, | |
| "step": 6430 | |
| }, | |
| { | |
| "epoch": 0.8586666666666667, | |
| "grad_norm": 2.6371443271636963, | |
| "learning_rate": 2.8675675675675677e-05, | |
| "loss": 1.864, | |
| "step": 6440 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 2.6232187747955322, | |
| "learning_rate": 2.8405405405405406e-05, | |
| "loss": 1.7107, | |
| "step": 6450 | |
| }, | |
| { | |
| "epoch": 0.8613333333333333, | |
| "grad_norm": 2.3654496669769287, | |
| "learning_rate": 2.813513513513514e-05, | |
| "loss": 1.6735, | |
| "step": 6460 | |
| }, | |
| { | |
| "epoch": 0.8626666666666667, | |
| "grad_norm": 2.777508497238159, | |
| "learning_rate": 2.7864864864864864e-05, | |
| "loss": 1.7127, | |
| "step": 6470 | |
| }, | |
| { | |
| "epoch": 0.864, | |
| "grad_norm": 2.7823853492736816, | |
| "learning_rate": 2.7594594594594596e-05, | |
| "loss": 1.7249, | |
| "step": 6480 | |
| }, | |
| { | |
| "epoch": 0.8653333333333333, | |
| "grad_norm": 2.3992345333099365, | |
| "learning_rate": 2.7324324324324326e-05, | |
| "loss": 1.4668, | |
| "step": 6490 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 2.6813876628875732, | |
| "learning_rate": 2.7054054054054058e-05, | |
| "loss": 1.5731, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.868, | |
| "grad_norm": 2.8751773834228516, | |
| "learning_rate": 2.6783783783783784e-05, | |
| "loss": 1.737, | |
| "step": 6510 | |
| }, | |
| { | |
| "epoch": 0.8693333333333333, | |
| "grad_norm": 2.3561997413635254, | |
| "learning_rate": 2.6513513513513516e-05, | |
| "loss": 1.5408, | |
| "step": 6520 | |
| }, | |
| { | |
| "epoch": 0.8706666666666667, | |
| "grad_norm": 2.712101697921753, | |
| "learning_rate": 2.624324324324324e-05, | |
| "loss": 1.6529, | |
| "step": 6530 | |
| }, | |
| { | |
| "epoch": 0.872, | |
| "grad_norm": 2.6622605323791504, | |
| "learning_rate": 2.5972972972972974e-05, | |
| "loss": 1.6287, | |
| "step": 6540 | |
| }, | |
| { | |
| "epoch": 0.8733333333333333, | |
| "grad_norm": 2.330552339553833, | |
| "learning_rate": 2.5702702702702703e-05, | |
| "loss": 1.7394, | |
| "step": 6550 | |
| }, | |
| { | |
| "epoch": 0.8746666666666667, | |
| "grad_norm": 2.4436655044555664, | |
| "learning_rate": 2.5432432432432435e-05, | |
| "loss": 1.6597, | |
| "step": 6560 | |
| }, | |
| { | |
| "epoch": 0.876, | |
| "grad_norm": 2.36600923538208, | |
| "learning_rate": 2.516216216216216e-05, | |
| "loss": 1.6797, | |
| "step": 6570 | |
| }, | |
| { | |
| "epoch": 0.8773333333333333, | |
| "grad_norm": 2.758204698562622, | |
| "learning_rate": 2.4891891891891893e-05, | |
| "loss": 1.669, | |
| "step": 6580 | |
| }, | |
| { | |
| "epoch": 0.8786666666666667, | |
| "grad_norm": 2.7728378772735596, | |
| "learning_rate": 2.4621621621621623e-05, | |
| "loss": 1.7215, | |
| "step": 6590 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 2.289459705352783, | |
| "learning_rate": 2.4351351351351355e-05, | |
| "loss": 1.6012, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 0.8813333333333333, | |
| "grad_norm": 2.649552345275879, | |
| "learning_rate": 2.4081081081081084e-05, | |
| "loss": 1.6669, | |
| "step": 6610 | |
| }, | |
| { | |
| "epoch": 0.8826666666666667, | |
| "grad_norm": 2.6189112663269043, | |
| "learning_rate": 2.3810810810810813e-05, | |
| "loss": 1.7255, | |
| "step": 6620 | |
| }, | |
| { | |
| "epoch": 0.884, | |
| "grad_norm": 2.6846015453338623, | |
| "learning_rate": 2.3540540540540542e-05, | |
| "loss": 1.9068, | |
| "step": 6630 | |
| }, | |
| { | |
| "epoch": 0.8853333333333333, | |
| "grad_norm": 2.8346004486083984, | |
| "learning_rate": 2.327027027027027e-05, | |
| "loss": 1.7185, | |
| "step": 6640 | |
| }, | |
| { | |
| "epoch": 0.8866666666666667, | |
| "grad_norm": 2.6064999103546143, | |
| "learning_rate": 2.3000000000000003e-05, | |
| "loss": 1.6009, | |
| "step": 6650 | |
| }, | |
| { | |
| "epoch": 0.888, | |
| "grad_norm": 2.423532009124756, | |
| "learning_rate": 2.2729729729729732e-05, | |
| "loss": 1.6337, | |
| "step": 6660 | |
| }, | |
| { | |
| "epoch": 0.8893333333333333, | |
| "grad_norm": 2.556084632873535, | |
| "learning_rate": 2.245945945945946e-05, | |
| "loss": 1.6241, | |
| "step": 6670 | |
| }, | |
| { | |
| "epoch": 0.8906666666666667, | |
| "grad_norm": 2.7347779273986816, | |
| "learning_rate": 2.218918918918919e-05, | |
| "loss": 1.6245, | |
| "step": 6680 | |
| }, | |
| { | |
| "epoch": 0.892, | |
| "grad_norm": 3.145932674407959, | |
| "learning_rate": 2.191891891891892e-05, | |
| "loss": 1.723, | |
| "step": 6690 | |
| }, | |
| { | |
| "epoch": 0.8933333333333333, | |
| "grad_norm": 2.62679386138916, | |
| "learning_rate": 2.1648648648648652e-05, | |
| "loss": 1.5785, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 0.8946666666666667, | |
| "grad_norm": 2.508307695388794, | |
| "learning_rate": 2.137837837837838e-05, | |
| "loss": 1.6147, | |
| "step": 6710 | |
| }, | |
| { | |
| "epoch": 0.896, | |
| "grad_norm": 2.8022305965423584, | |
| "learning_rate": 2.110810810810811e-05, | |
| "loss": 1.7815, | |
| "step": 6720 | |
| }, | |
| { | |
| "epoch": 0.8973333333333333, | |
| "grad_norm": 3.2732038497924805, | |
| "learning_rate": 2.083783783783784e-05, | |
| "loss": 1.5358, | |
| "step": 6730 | |
| }, | |
| { | |
| "epoch": 0.8986666666666666, | |
| "grad_norm": 2.396840810775757, | |
| "learning_rate": 2.0567567567567568e-05, | |
| "loss": 1.6873, | |
| "step": 6740 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 2.5847902297973633, | |
| "learning_rate": 2.02972972972973e-05, | |
| "loss": 1.7431, | |
| "step": 6750 | |
| }, | |
| { | |
| "epoch": 0.9013333333333333, | |
| "grad_norm": 3.0284829139709473, | |
| "learning_rate": 2.002702702702703e-05, | |
| "loss": 1.5864, | |
| "step": 6760 | |
| }, | |
| { | |
| "epoch": 0.9026666666666666, | |
| "grad_norm": 2.715101480484009, | |
| "learning_rate": 1.975675675675676e-05, | |
| "loss": 1.6942, | |
| "step": 6770 | |
| }, | |
| { | |
| "epoch": 0.904, | |
| "grad_norm": 2.6553282737731934, | |
| "learning_rate": 1.9486486486486487e-05, | |
| "loss": 1.6703, | |
| "step": 6780 | |
| }, | |
| { | |
| "epoch": 0.9053333333333333, | |
| "grad_norm": 2.634984254837036, | |
| "learning_rate": 1.9216216216216216e-05, | |
| "loss": 1.6149, | |
| "step": 6790 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 2.7491838932037354, | |
| "learning_rate": 1.894594594594595e-05, | |
| "loss": 1.5419, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 0.908, | |
| "grad_norm": 2.5145108699798584, | |
| "learning_rate": 1.8675675675675678e-05, | |
| "loss": 1.6888, | |
| "step": 6810 | |
| }, | |
| { | |
| "epoch": 0.9093333333333333, | |
| "grad_norm": 2.5140767097473145, | |
| "learning_rate": 1.8405405405405407e-05, | |
| "loss": 1.6765, | |
| "step": 6820 | |
| }, | |
| { | |
| "epoch": 0.9106666666666666, | |
| "grad_norm": 2.548701047897339, | |
| "learning_rate": 1.8135135135135136e-05, | |
| "loss": 1.6776, | |
| "step": 6830 | |
| }, | |
| { | |
| "epoch": 0.912, | |
| "grad_norm": 2.5743017196655273, | |
| "learning_rate": 1.7864864864864865e-05, | |
| "loss": 1.6047, | |
| "step": 6840 | |
| }, | |
| { | |
| "epoch": 0.9133333333333333, | |
| "grad_norm": 2.569002151489258, | |
| "learning_rate": 1.7594594594594597e-05, | |
| "loss": 1.6433, | |
| "step": 6850 | |
| }, | |
| { | |
| "epoch": 0.9146666666666666, | |
| "grad_norm": 2.7466344833374023, | |
| "learning_rate": 1.7324324324324326e-05, | |
| "loss": 1.469, | |
| "step": 6860 | |
| }, | |
| { | |
| "epoch": 0.916, | |
| "grad_norm": 2.4851741790771484, | |
| "learning_rate": 1.7054054054054055e-05, | |
| "loss": 1.755, | |
| "step": 6870 | |
| }, | |
| { | |
| "epoch": 0.9173333333333333, | |
| "grad_norm": 2.8213634490966797, | |
| "learning_rate": 1.6783783783783784e-05, | |
| "loss": 1.7171, | |
| "step": 6880 | |
| }, | |
| { | |
| "epoch": 0.9186666666666666, | |
| "grad_norm": 2.4094128608703613, | |
| "learning_rate": 1.6513513513513513e-05, | |
| "loss": 1.7336, | |
| "step": 6890 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 2.748495578765869, | |
| "learning_rate": 1.6243243243243246e-05, | |
| "loss": 1.7019, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 0.9213333333333333, | |
| "grad_norm": 2.6169843673706055, | |
| "learning_rate": 1.5972972972972975e-05, | |
| "loss": 1.6504, | |
| "step": 6910 | |
| }, | |
| { | |
| "epoch": 0.9226666666666666, | |
| "grad_norm": 2.2441680431365967, | |
| "learning_rate": 1.5702702702702704e-05, | |
| "loss": 1.4319, | |
| "step": 6920 | |
| }, | |
| { | |
| "epoch": 0.924, | |
| "grad_norm": 2.5555968284606934, | |
| "learning_rate": 1.5432432432432433e-05, | |
| "loss": 1.7728, | |
| "step": 6930 | |
| }, | |
| { | |
| "epoch": 0.9253333333333333, | |
| "grad_norm": 2.4957871437072754, | |
| "learning_rate": 1.5162162162162164e-05, | |
| "loss": 1.7825, | |
| "step": 6940 | |
| }, | |
| { | |
| "epoch": 0.9266666666666666, | |
| "grad_norm": 2.550595283508301, | |
| "learning_rate": 1.4891891891891893e-05, | |
| "loss": 1.603, | |
| "step": 6950 | |
| }, | |
| { | |
| "epoch": 0.928, | |
| "grad_norm": 2.6314826011657715, | |
| "learning_rate": 1.4621621621621623e-05, | |
| "loss": 1.7567, | |
| "step": 6960 | |
| }, | |
| { | |
| "epoch": 0.9293333333333333, | |
| "grad_norm": 2.9072461128234863, | |
| "learning_rate": 1.4351351351351352e-05, | |
| "loss": 1.6172, | |
| "step": 6970 | |
| }, | |
| { | |
| "epoch": 0.9306666666666666, | |
| "grad_norm": 3.2710816860198975, | |
| "learning_rate": 1.4081081081081081e-05, | |
| "loss": 1.6034, | |
| "step": 6980 | |
| }, | |
| { | |
| "epoch": 0.932, | |
| "grad_norm": 2.4734737873077393, | |
| "learning_rate": 1.3810810810810812e-05, | |
| "loss": 1.6267, | |
| "step": 6990 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 2.662058115005493, | |
| "learning_rate": 1.3540540540540541e-05, | |
| "loss": 1.6551, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.9346666666666666, | |
| "grad_norm": 2.6980836391448975, | |
| "learning_rate": 1.3270270270270272e-05, | |
| "loss": 1.6888, | |
| "step": 7010 | |
| }, | |
| { | |
| "epoch": 0.936, | |
| "grad_norm": 2.771665096282959, | |
| "learning_rate": 1.3000000000000001e-05, | |
| "loss": 1.7321, | |
| "step": 7020 | |
| }, | |
| { | |
| "epoch": 0.9373333333333334, | |
| "grad_norm": 2.653038740158081, | |
| "learning_rate": 1.2729729729729732e-05, | |
| "loss": 1.7143, | |
| "step": 7030 | |
| }, | |
| { | |
| "epoch": 0.9386666666666666, | |
| "grad_norm": 2.3817522525787354, | |
| "learning_rate": 1.245945945945946e-05, | |
| "loss": 1.5358, | |
| "step": 7040 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 2.279339551925659, | |
| "learning_rate": 1.218918918918919e-05, | |
| "loss": 1.6555, | |
| "step": 7050 | |
| }, | |
| { | |
| "epoch": 0.9413333333333334, | |
| "grad_norm": 3.3182878494262695, | |
| "learning_rate": 1.191891891891892e-05, | |
| "loss": 1.6184, | |
| "step": 7060 | |
| }, | |
| { | |
| "epoch": 0.9426666666666667, | |
| "grad_norm": 2.6482789516448975, | |
| "learning_rate": 1.164864864864865e-05, | |
| "loss": 1.709, | |
| "step": 7070 | |
| }, | |
| { | |
| "epoch": 0.944, | |
| "grad_norm": 2.4812536239624023, | |
| "learning_rate": 1.137837837837838e-05, | |
| "loss": 1.7768, | |
| "step": 7080 | |
| }, | |
| { | |
| "epoch": 0.9453333333333334, | |
| "grad_norm": 3.111724615097046, | |
| "learning_rate": 1.1108108108108109e-05, | |
| "loss": 1.6812, | |
| "step": 7090 | |
| }, | |
| { | |
| "epoch": 0.9466666666666667, | |
| "grad_norm": 2.495426654815674, | |
| "learning_rate": 1.0837837837837838e-05, | |
| "loss": 1.5317, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 0.948, | |
| "grad_norm": 2.2483787536621094, | |
| "learning_rate": 1.0567567567567569e-05, | |
| "loss": 1.629, | |
| "step": 7110 | |
| }, | |
| { | |
| "epoch": 0.9493333333333334, | |
| "grad_norm": 2.7049107551574707, | |
| "learning_rate": 1.0297297297297298e-05, | |
| "loss": 1.5866, | |
| "step": 7120 | |
| }, | |
| { | |
| "epoch": 0.9506666666666667, | |
| "grad_norm": 3.0780189037323, | |
| "learning_rate": 1.0027027027027029e-05, | |
| "loss": 1.7374, | |
| "step": 7130 | |
| }, | |
| { | |
| "epoch": 0.952, | |
| "grad_norm": 2.746018171310425, | |
| "learning_rate": 9.756756756756758e-06, | |
| "loss": 1.5519, | |
| "step": 7140 | |
| }, | |
| { | |
| "epoch": 0.9533333333333334, | |
| "grad_norm": 2.679908514022827, | |
| "learning_rate": 9.486486486486487e-06, | |
| "loss": 1.5365, | |
| "step": 7150 | |
| }, | |
| { | |
| "epoch": 0.9546666666666667, | |
| "grad_norm": 2.8329336643218994, | |
| "learning_rate": 9.216216216216217e-06, | |
| "loss": 1.62, | |
| "step": 7160 | |
| }, | |
| { | |
| "epoch": 0.956, | |
| "grad_norm": 2.6065895557403564, | |
| "learning_rate": 8.945945945945946e-06, | |
| "loss": 1.7687, | |
| "step": 7170 | |
| }, | |
| { | |
| "epoch": 0.9573333333333334, | |
| "grad_norm": 2.30088472366333, | |
| "learning_rate": 8.675675675675677e-06, | |
| "loss": 1.557, | |
| "step": 7180 | |
| }, | |
| { | |
| "epoch": 0.9586666666666667, | |
| "grad_norm": 2.599210262298584, | |
| "learning_rate": 8.405405405405406e-06, | |
| "loss": 1.62, | |
| "step": 7190 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 2.2358078956604004, | |
| "learning_rate": 8.135135135135135e-06, | |
| "loss": 1.6407, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 0.9613333333333334, | |
| "grad_norm": 2.4841508865356445, | |
| "learning_rate": 7.864864864864866e-06, | |
| "loss": 1.6056, | |
| "step": 7210 | |
| }, | |
| { | |
| "epoch": 0.9626666666666667, | |
| "grad_norm": 2.3047494888305664, | |
| "learning_rate": 7.594594594594595e-06, | |
| "loss": 1.5406, | |
| "step": 7220 | |
| }, | |
| { | |
| "epoch": 0.964, | |
| "grad_norm": 2.834550380706787, | |
| "learning_rate": 7.324324324324325e-06, | |
| "loss": 1.7274, | |
| "step": 7230 | |
| }, | |
| { | |
| "epoch": 0.9653333333333334, | |
| "grad_norm": 2.8711700439453125, | |
| "learning_rate": 7.054054054054055e-06, | |
| "loss": 1.6701, | |
| "step": 7240 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 2.738593816757202, | |
| "learning_rate": 6.7837837837837845e-06, | |
| "loss": 1.6375, | |
| "step": 7250 | |
| }, | |
| { | |
| "epoch": 0.968, | |
| "grad_norm": 2.4135043621063232, | |
| "learning_rate": 6.5135135135135135e-06, | |
| "loss": 1.6107, | |
| "step": 7260 | |
| }, | |
| { | |
| "epoch": 0.9693333333333334, | |
| "grad_norm": 2.8111422061920166, | |
| "learning_rate": 6.243243243243243e-06, | |
| "loss": 1.539, | |
| "step": 7270 | |
| }, | |
| { | |
| "epoch": 0.9706666666666667, | |
| "grad_norm": 2.566840648651123, | |
| "learning_rate": 5.972972972972973e-06, | |
| "loss": 1.594, | |
| "step": 7280 | |
| }, | |
| { | |
| "epoch": 0.972, | |
| "grad_norm": 2.5556352138519287, | |
| "learning_rate": 5.702702702702703e-06, | |
| "loss": 1.6455, | |
| "step": 7290 | |
| }, | |
| { | |
| "epoch": 0.9733333333333334, | |
| "grad_norm": 3.008657932281494, | |
| "learning_rate": 5.432432432432433e-06, | |
| "loss": 1.5848, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 0.9746666666666667, | |
| "grad_norm": 2.610825777053833, | |
| "learning_rate": 5.162162162162163e-06, | |
| "loss": 1.7194, | |
| "step": 7310 | |
| }, | |
| { | |
| "epoch": 0.976, | |
| "grad_norm": 2.616455078125, | |
| "learning_rate": 4.891891891891892e-06, | |
| "loss": 1.568, | |
| "step": 7320 | |
| }, | |
| { | |
| "epoch": 0.9773333333333334, | |
| "grad_norm": 2.8675105571746826, | |
| "learning_rate": 4.621621621621622e-06, | |
| "loss": 1.7507, | |
| "step": 7330 | |
| }, | |
| { | |
| "epoch": 0.9786666666666667, | |
| "grad_norm": 2.5159497261047363, | |
| "learning_rate": 4.351351351351352e-06, | |
| "loss": 1.7367, | |
| "step": 7340 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 2.332679271697998, | |
| "learning_rate": 4.0810810810810815e-06, | |
| "loss": 1.7872, | |
| "step": 7350 | |
| }, | |
| { | |
| "epoch": 0.9813333333333333, | |
| "grad_norm": 2.50606632232666, | |
| "learning_rate": 3.810810810810811e-06, | |
| "loss": 1.7851, | |
| "step": 7360 | |
| }, | |
| { | |
| "epoch": 0.9826666666666667, | |
| "grad_norm": 2.3942174911499023, | |
| "learning_rate": 3.5405405405405408e-06, | |
| "loss": 1.735, | |
| "step": 7370 | |
| }, | |
| { | |
| "epoch": 0.984, | |
| "grad_norm": 2.652820348739624, | |
| "learning_rate": 3.27027027027027e-06, | |
| "loss": 1.549, | |
| "step": 7380 | |
| }, | |
| { | |
| "epoch": 0.9853333333333333, | |
| "grad_norm": 2.5401089191436768, | |
| "learning_rate": 3e-06, | |
| "loss": 1.7919, | |
| "step": 7390 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 2.644707679748535, | |
| "learning_rate": 2.72972972972973e-06, | |
| "loss": 1.6898, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 0.988, | |
| "grad_norm": 2.5156869888305664, | |
| "learning_rate": 2.4594594594594594e-06, | |
| "loss": 1.7502, | |
| "step": 7410 | |
| }, | |
| { | |
| "epoch": 0.9893333333333333, | |
| "grad_norm": 2.9626588821411133, | |
| "learning_rate": 2.1891891891891893e-06, | |
| "loss": 1.7192, | |
| "step": 7420 | |
| }, | |
| { | |
| "epoch": 0.9906666666666667, | |
| "grad_norm": 2.3246891498565674, | |
| "learning_rate": 1.9189189189189187e-06, | |
| "loss": 1.5739, | |
| "step": 7430 | |
| }, | |
| { | |
| "epoch": 0.992, | |
| "grad_norm": 2.74018931388855, | |
| "learning_rate": 1.648648648648649e-06, | |
| "loss": 1.6219, | |
| "step": 7440 | |
| }, | |
| { | |
| "epoch": 0.9933333333333333, | |
| "grad_norm": 2.560476779937744, | |
| "learning_rate": 1.3783783783783784e-06, | |
| "loss": 1.629, | |
| "step": 7450 | |
| }, | |
| { | |
| "epoch": 0.9946666666666667, | |
| "grad_norm": 2.6624557971954346, | |
| "learning_rate": 1.108108108108108e-06, | |
| "loss": 1.6837, | |
| "step": 7460 | |
| }, | |
| { | |
| "epoch": 0.996, | |
| "grad_norm": 2.5217485427856445, | |
| "learning_rate": 8.378378378378379e-07, | |
| "loss": 1.7801, | |
| "step": 7470 | |
| }, | |
| { | |
| "epoch": 0.9973333333333333, | |
| "grad_norm": 2.61094069480896, | |
| "learning_rate": 5.675675675675676e-07, | |
| "loss": 1.7075, | |
| "step": 7480 | |
| }, | |
| { | |
| "epoch": 0.9986666666666667, | |
| "grad_norm": 2.4117472171783447, | |
| "learning_rate": 2.972972972972973e-07, | |
| "loss": 1.7605, | |
| "step": 7490 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 2.9337403774261475, | |
| "learning_rate": 2.7027027027027028e-08, | |
| "loss": 1.5628, | |
| "step": 7500 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 7500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.789801119744e+17, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |