| { |
| "method": "tmft_combined", |
| "model_name": "EleutherAI/pythia-160m", |
| "train_samples": 4799, |
| "validation_samples": 599, |
| "batches_seen": 12375, |
| "masked_token_ratio": 0.40505473533158165, |
| "skipped_samples": 6782, |
| "log_history": [ |
| { |
| "loss": 2.6159, |
| "grad_norm": 2.032399892807007, |
| "learning_rate": 2e-05, |
| "epoch": 0.06666666666666667, |
| "step": 10 |
| }, |
| { |
| "loss": 2.4752, |
| "grad_norm": 2.080336332321167, |
| "learning_rate": 4e-05, |
| "epoch": 0.13333333333333333, |
| "step": 20 |
| }, |
| { |
| "loss": 2.5298, |
| "grad_norm": 1.9358763694763184, |
| "learning_rate": 6e-05, |
| "epoch": 0.2, |
| "step": 30 |
| }, |
| { |
| "loss": 2.5636, |
| "grad_norm": 1.8991247415542603, |
| "learning_rate": 8e-05, |
| "epoch": 0.26666666666666666, |
| "step": 40 |
| }, |
| { |
| "loss": 2.4411, |
| "grad_norm": 1.736275315284729, |
| "learning_rate": 0.0001, |
| "epoch": 0.3333333333333333, |
| "step": 50 |
| }, |
| { |
| "loss": 2.3803, |
| "grad_norm": 1.4791429042816162, |
| "learning_rate": 0.00012, |
| "epoch": 0.4, |
| "step": 60 |
| }, |
| { |
| "loss": 2.4064, |
| "grad_norm": 1.5463426113128662, |
| "learning_rate": 0.00014, |
| "epoch": 0.4666666666666667, |
| "step": 70 |
| }, |
| { |
| "loss": 2.4202, |
| "grad_norm": 1.5478408336639404, |
| "learning_rate": 0.00016, |
| "epoch": 0.5333333333333333, |
| "step": 80 |
| }, |
| { |
| "loss": 2.5093, |
| "grad_norm": 1.23783278465271, |
| "learning_rate": 0.00018, |
| "epoch": 0.6, |
| "step": 90 |
| }, |
| { |
| "loss": 2.5901, |
| "grad_norm": 1.0210442543029785, |
| "learning_rate": 0.0002, |
| "epoch": 0.6666666666666666, |
| "step": 100 |
| }, |
| { |
| "loss": 2.5351, |
| "grad_norm": 1.0787973403930664, |
| "learning_rate": 0.00019692307692307696, |
| "epoch": 0.7333333333333333, |
| "step": 110 |
| }, |
| { |
| "loss": 2.485, |
| "grad_norm": 1.015953779220581, |
| "learning_rate": 0.00019384615384615385, |
| "epoch": 0.8, |
| "step": 120 |
| }, |
| { |
| "loss": 2.5954, |
| "grad_norm": 1.0191384553909302, |
| "learning_rate": 0.0001907692307692308, |
| "epoch": 0.8666666666666667, |
| "step": 130 |
| }, |
| { |
| "loss": 2.4109, |
| "grad_norm": 1.1665639877319336, |
| "learning_rate": 0.0001876923076923077, |
| "epoch": 0.9333333333333333, |
| "step": 140 |
| }, |
| { |
| "loss": 2.4105, |
| "grad_norm": 0.9981837272644043, |
| "learning_rate": 0.00018461538461538463, |
| "epoch": 1.0, |
| "step": 150 |
| }, |
| { |
| "eval_loss": 2.5646369457244873, |
| "eval_runtime": 63.0554, |
| "eval_samples_per_second": 9.5, |
| "eval_steps_per_second": 1.189, |
| "epoch": 1.0, |
| "step": 150 |
| }, |
| { |
| "loss": 2.4635, |
| "grad_norm": 0.9652926921844482, |
| "learning_rate": 0.00018153846153846155, |
| "epoch": 1.0666666666666667, |
| "step": 160 |
| }, |
| { |
| "loss": 2.4143, |
| "grad_norm": 0.9910626411437988, |
| "learning_rate": 0.00017846153846153847, |
| "epoch": 1.1333333333333333, |
| "step": 170 |
| }, |
| { |
| "loss": 2.4122, |
| "grad_norm": 0.9578900933265686, |
| "learning_rate": 0.0001753846153846154, |
| "epoch": 1.2, |
| "step": 180 |
| }, |
| { |
| "loss": 2.6059, |
| "grad_norm": 0.8806987404823303, |
| "learning_rate": 0.00017230769230769234, |
| "epoch": 1.2666666666666666, |
| "step": 190 |
| }, |
| { |
| "loss": 2.4324, |
| "grad_norm": 0.7595670223236084, |
| "learning_rate": 0.00016923076923076923, |
| "epoch": 1.3333333333333333, |
| "step": 200 |
| }, |
| { |
| "loss": 2.4291, |
| "grad_norm": 0.8669508099555969, |
| "learning_rate": 0.00016615384615384617, |
| "epoch": 1.4, |
| "step": 210 |
| }, |
| { |
| "loss": 2.4332, |
| "grad_norm": 0.7675260305404663, |
| "learning_rate": 0.0001630769230769231, |
| "epoch": 1.4666666666666668, |
| "step": 220 |
| }, |
| { |
| "loss": 2.4688, |
| "grad_norm": 0.8209505677223206, |
| "learning_rate": 0.00016, |
| "epoch": 1.5333333333333332, |
| "step": 230 |
| }, |
| { |
| "loss": 2.4649, |
| "grad_norm": 0.6863240599632263, |
| "learning_rate": 0.00015692307692307693, |
| "epoch": 1.6, |
| "step": 240 |
| }, |
| { |
| "loss": 2.5066, |
| "grad_norm": 0.8193066120147705, |
| "learning_rate": 0.00015384615384615385, |
| "epoch": 1.6666666666666665, |
| "step": 250 |
| }, |
| { |
| "loss": 2.4826, |
| "grad_norm": 0.7208594679832458, |
| "learning_rate": 0.00015076923076923077, |
| "epoch": 1.7333333333333334, |
| "step": 260 |
| }, |
| { |
| "loss": 2.5793, |
| "grad_norm": 0.9297627806663513, |
| "learning_rate": 0.00014769230769230772, |
| "epoch": 1.8, |
| "step": 270 |
| }, |
| { |
| "loss": 2.3968, |
| "grad_norm": 0.7471694946289062, |
| "learning_rate": 0.0001446153846153846, |
| "epoch": 1.8666666666666667, |
| "step": 280 |
| }, |
| { |
| "loss": 2.4876, |
| "grad_norm": 0.6467009782791138, |
| "learning_rate": 0.00014153846153846156, |
| "epoch": 1.9333333333333333, |
| "step": 290 |
| }, |
| { |
| "loss": 2.4497, |
| "grad_norm": 0.8748418688774109, |
| "learning_rate": 0.00013846153846153847, |
| "epoch": 2.0, |
| "step": 300 |
| }, |
| { |
| "eval_loss": 2.540955066680908, |
| "eval_runtime": 62.6215, |
| "eval_samples_per_second": 9.565, |
| "eval_steps_per_second": 1.198, |
| "epoch": 2.0, |
| "step": 300 |
| }, |
| { |
| "loss": 2.4733, |
| "grad_norm": 0.5512543320655823, |
| "learning_rate": 0.0001353846153846154, |
| "epoch": 2.066666666666667, |
| "step": 310 |
| }, |
| { |
| "loss": 2.4567, |
| "grad_norm": 0.6273607015609741, |
| "learning_rate": 0.0001323076923076923, |
| "epoch": 2.1333333333333333, |
| "step": 320 |
| }, |
| { |
| "loss": 2.3865, |
| "grad_norm": 0.8209007978439331, |
| "learning_rate": 0.00012923076923076923, |
| "epoch": 2.2, |
| "step": 330 |
| }, |
| { |
| "loss": 2.5599, |
| "grad_norm": 0.5290957093238831, |
| "learning_rate": 0.00012615384615384615, |
| "epoch": 2.2666666666666666, |
| "step": 340 |
| }, |
| { |
| "loss": 2.3978, |
| "grad_norm": 0.6581332683563232, |
| "learning_rate": 0.0001230769230769231, |
| "epoch": 2.3333333333333335, |
| "step": 350 |
| }, |
| { |
| "loss": 2.4512, |
| "grad_norm": 0.7657097578048706, |
| "learning_rate": 0.00012, |
| "epoch": 2.4, |
| "step": 360 |
| }, |
| { |
| "loss": 2.468, |
| "grad_norm": 0.7191358208656311, |
| "learning_rate": 0.00011692307692307694, |
| "epoch": 2.466666666666667, |
| "step": 370 |
| }, |
| { |
| "loss": 2.4746, |
| "grad_norm": 0.614693820476532, |
| "learning_rate": 0.00011384615384615384, |
| "epoch": 2.533333333333333, |
| "step": 380 |
| }, |
| { |
| "loss": 2.5409, |
| "grad_norm": 0.5931090116500854, |
| "learning_rate": 0.00011076923076923077, |
| "epoch": 2.6, |
| "step": 390 |
| }, |
| { |
| "loss": 2.4011, |
| "grad_norm": 0.5927258729934692, |
| "learning_rate": 0.0001076923076923077, |
| "epoch": 2.6666666666666665, |
| "step": 400 |
| }, |
| { |
| "loss": 2.4713, |
| "grad_norm": 0.611909031867981, |
| "learning_rate": 0.00010461538461538463, |
| "epoch": 2.7333333333333334, |
| "step": 410 |
| }, |
| { |
| "loss": 2.5035, |
| "grad_norm": 0.5654336810112, |
| "learning_rate": 0.00010153846153846153, |
| "epoch": 2.8, |
| "step": 420 |
| }, |
| { |
| "loss": 2.446, |
| "grad_norm": 0.6055721044540405, |
| "learning_rate": 9.846153846153848e-05, |
| "epoch": 2.8666666666666667, |
| "step": 430 |
| }, |
| { |
| "loss": 2.4637, |
| "grad_norm": 0.5348479747772217, |
| "learning_rate": 9.53846153846154e-05, |
| "epoch": 2.9333333333333336, |
| "step": 440 |
| }, |
| { |
| "loss": 2.5086, |
| "grad_norm": 0.7424932718276978, |
| "learning_rate": 9.230769230769232e-05, |
| "epoch": 3.0, |
| "step": 450 |
| }, |
| { |
| "eval_loss": 2.5773184299468994, |
| "eval_runtime": 62.4972, |
| "eval_samples_per_second": 9.584, |
| "eval_steps_per_second": 1.2, |
| "epoch": 3.0, |
| "step": 450 |
| }, |
| { |
| "loss": 2.407, |
| "grad_norm": 0.5943320393562317, |
| "learning_rate": 8.923076923076924e-05, |
| "epoch": 3.066666666666667, |
| "step": 460 |
| }, |
| { |
| "loss": 2.4673, |
| "grad_norm": 0.5045508146286011, |
| "learning_rate": 8.615384615384617e-05, |
| "epoch": 3.1333333333333333, |
| "step": 470 |
| }, |
| { |
| "loss": 2.4525, |
| "grad_norm": 0.6461102366447449, |
| "learning_rate": 8.307692307692309e-05, |
| "epoch": 3.2, |
| "step": 480 |
| }, |
| { |
| "loss": 2.5566, |
| "grad_norm": 0.6374251842498779, |
| "learning_rate": 8e-05, |
| "epoch": 3.2666666666666666, |
| "step": 490 |
| }, |
| { |
| "loss": 2.4291, |
| "grad_norm": 0.590420126914978, |
| "learning_rate": 7.692307692307693e-05, |
| "epoch": 3.3333333333333335, |
| "step": 500 |
| }, |
| { |
| "loss": 2.489, |
| "grad_norm": 0.5788375735282898, |
| "learning_rate": 7.384615384615386e-05, |
| "epoch": 3.4, |
| "step": 510 |
| }, |
| { |
| "loss": 2.5309, |
| "grad_norm": 0.7464163303375244, |
| "learning_rate": 7.076923076923078e-05, |
| "epoch": 3.466666666666667, |
| "step": 520 |
| }, |
| { |
| "loss": 2.4961, |
| "grad_norm": 0.5985592603683472, |
| "learning_rate": 6.76923076923077e-05, |
| "epoch": 3.533333333333333, |
| "step": 530 |
| }, |
| { |
| "loss": 2.421, |
| "grad_norm": 0.4846917986869812, |
| "learning_rate": 6.461538461538462e-05, |
| "epoch": 3.6, |
| "step": 540 |
| }, |
| { |
| "loss": 2.4591, |
| "grad_norm": 0.5728452205657959, |
| "learning_rate": 6.153846153846155e-05, |
| "epoch": 3.6666666666666665, |
| "step": 550 |
| }, |
| { |
| "loss": 2.3962, |
| "grad_norm": 0.5219712853431702, |
| "learning_rate": 5.846153846153847e-05, |
| "epoch": 3.7333333333333334, |
| "step": 560 |
| }, |
| { |
| "loss": 2.4471, |
| "grad_norm": 0.6392219066619873, |
| "learning_rate": 5.538461538461539e-05, |
| "epoch": 3.8, |
| "step": 570 |
| }, |
| { |
| "loss": 2.4287, |
| "grad_norm": 0.5428284406661987, |
| "learning_rate": 5.230769230769231e-05, |
| "epoch": 3.8666666666666667, |
| "step": 580 |
| }, |
| { |
| "loss": 2.4054, |
| "grad_norm": 0.7495147585868835, |
| "learning_rate": 4.923076923076924e-05, |
| "epoch": 3.9333333333333336, |
| "step": 590 |
| }, |
| { |
| "loss": 2.485, |
| "grad_norm": 0.5874316096305847, |
| "learning_rate": 4.615384615384616e-05, |
| "epoch": 4.0, |
| "step": 600 |
| }, |
| { |
| "eval_loss": 2.583185911178589, |
| "eval_runtime": 62.3323, |
| "eval_samples_per_second": 9.61, |
| "eval_steps_per_second": 1.203, |
| "epoch": 4.0, |
| "step": 600 |
| }, |
| { |
| "loss": 2.4716, |
| "grad_norm": 0.5120574831962585, |
| "learning_rate": 4.3076923076923084e-05, |
| "epoch": 4.066666666666666, |
| "step": 610 |
| }, |
| { |
| "loss": 2.5469, |
| "grad_norm": 0.671975314617157, |
| "learning_rate": 4e-05, |
| "epoch": 4.133333333333334, |
| "step": 620 |
| }, |
| { |
| "loss": 2.3403, |
| "grad_norm": 0.5151000022888184, |
| "learning_rate": 3.692307692307693e-05, |
| "epoch": 4.2, |
| "step": 630 |
| }, |
| { |
| "loss": 2.4473, |
| "grad_norm": 0.5591350197792053, |
| "learning_rate": 3.384615384615385e-05, |
| "epoch": 4.266666666666667, |
| "step": 640 |
| }, |
| { |
| "loss": 2.4316, |
| "grad_norm": 0.5070234537124634, |
| "learning_rate": 3.0769230769230774e-05, |
| "epoch": 4.333333333333333, |
| "step": 650 |
| }, |
| { |
| "loss": 2.4829, |
| "grad_norm": 0.717612087726593, |
| "learning_rate": 2.7692307692307694e-05, |
| "epoch": 4.4, |
| "step": 660 |
| }, |
| { |
| "loss": 2.4368, |
| "grad_norm": 0.6885381937026978, |
| "learning_rate": 2.461538461538462e-05, |
| "epoch": 4.466666666666667, |
| "step": 670 |
| }, |
| { |
| "loss": 2.4797, |
| "grad_norm": 0.46743500232696533, |
| "learning_rate": 2.1538461538461542e-05, |
| "epoch": 4.533333333333333, |
| "step": 680 |
| }, |
| { |
| "loss": 2.3879, |
| "grad_norm": 0.5259671211242676, |
| "learning_rate": 1.8461538461538465e-05, |
| "epoch": 4.6, |
| "step": 690 |
| }, |
| { |
| "loss": 2.4394, |
| "grad_norm": 0.5409215092658997, |
| "learning_rate": 1.5384615384615387e-05, |
| "epoch": 4.666666666666667, |
| "step": 700 |
| }, |
| { |
| "loss": 2.466, |
| "grad_norm": 0.4474121332168579, |
| "learning_rate": 1.230769230769231e-05, |
| "epoch": 4.733333333333333, |
| "step": 710 |
| }, |
| { |
| "loss": 2.5015, |
| "grad_norm": 0.5628879070281982, |
| "learning_rate": 9.230769230769232e-06, |
| "epoch": 4.8, |
| "step": 720 |
| }, |
| { |
| "loss": 2.4536, |
| "grad_norm": 0.5316895246505737, |
| "learning_rate": 6.153846153846155e-06, |
| "epoch": 4.866666666666667, |
| "step": 730 |
| }, |
| { |
| "loss": 2.5492, |
| "grad_norm": 0.4985215365886688, |
| "learning_rate": 3.0769230769230774e-06, |
| "epoch": 4.933333333333334, |
| "step": 740 |
| }, |
| { |
| "loss": 2.4265, |
| "grad_norm": 0.5098808407783508, |
| "learning_rate": 0.0, |
| "epoch": 5.0, |
| "step": 750 |
| }, |
| { |
| "eval_loss": 2.5896592140197754, |
| "eval_runtime": 62.3109, |
| "eval_samples_per_second": 9.613, |
| "eval_steps_per_second": 1.204, |
| "epoch": 5.0, |
| "step": 750 |
| }, |
| { |
| "train_runtime": 3411.7173, |
| "train_samples_per_second": 7.033, |
| "train_steps_per_second": 0.22, |
| "total_flos": 6913726822803456.0, |
| "train_loss": 2.4684160919189453, |
| "epoch": 5.0, |
| "step": 750 |
| } |
| ] |
| } |
