| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.8, |
| "eval_steps": 1000, |
| "global_step": 12000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 2.854929208755493, |
| "learning_rate": 5.28e-05, |
| "loss": 18.5724072265625, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 1.6583245992660522, |
| "learning_rate": 0.00010613333333333333, |
| "loss": 14.702509765625, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 1.6954909563064575, |
| "learning_rate": 0.00015946666666666668, |
| "loss": 13.69074951171875, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 1.783247470855713, |
| "learning_rate": 0.00021280000000000002, |
| "loss": 13.1521044921875, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 1.4421945810317993, |
| "learning_rate": 0.00026613333333333337, |
| "loss": 12.824429931640625, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 1.5354344844818115, |
| "learning_rate": 0.00031946666666666666, |
| "loss": 12.49961181640625, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 1.3272199630737305, |
| "learning_rate": 0.00037280000000000006, |
| "loss": 12.145262451171876, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.706987977027893, |
| "learning_rate": 0.0003999883303467061, |
| "loss": 11.98048095703125, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 1.2479976415634155, |
| "learning_rate": 0.00039989210445800615, |
| "loss": 11.621953125, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 1.2310028076171875, |
| "learning_rate": 0.00039969872739228826, |
| "loss": 11.573458251953125, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "eval_accuracy": 0.18273972602739727, |
| "eval_loss": 11.462567329406738, |
| "eval_runtime": 65.4243, |
| "eval_samples_per_second": 7.642, |
| "eval_steps_per_second": 0.382, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.07333333333333333, |
| "grad_norm": 1.2715719938278198, |
| "learning_rate": 0.00039940829313430293, |
| "loss": 11.32210205078125, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 1.7137954235076904, |
| "learning_rate": 0.00039902094284035075, |
| "loss": 11.18190185546875, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.08666666666666667, |
| "grad_norm": 1.48090660572052, |
| "learning_rate": 0.0003985368647696784, |
| "loss": 11.0220166015625, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 1.1374964714050293, |
| "learning_rate": 0.0003979562941929808, |
| "loss": 10.822305908203125, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 1.3714447021484375, |
| "learning_rate": 0.0003972795132780554, |
| "loss": 10.762421875, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 1.1782511472702026, |
| "learning_rate": 0.00039650685095266405, |
| "loss": 10.602275390625, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.11333333333333333, |
| "grad_norm": 1.0709394216537476, |
| "learning_rate": 0.0003956386827446671, |
| "loss": 10.4713134765625, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 1.1138310432434082, |
| "learning_rate": 0.00039467543059951106, |
| "loss": 10.50548095703125, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.12666666666666668, |
| "grad_norm": 1.283762812614441, |
| "learning_rate": 0.0003936175626751552, |
| "loss": 10.4138134765625, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 1.3275446891784668, |
| "learning_rate": 0.00039246559311453794, |
| "loss": 10.335478515625, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "eval_accuracy": 0.21337964774951076, |
| "eval_loss": 10.411324501037598, |
| "eval_runtime": 65.3972, |
| "eval_samples_per_second": 7.646, |
| "eval_steps_per_second": 0.382, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 1.456148386001587, |
| "learning_rate": 0.00039122008179569447, |
| "loss": 10.4031689453125, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 1.4301263093948364, |
| "learning_rate": 0.00038988163405964595, |
| "loss": 10.173363037109375, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.15333333333333332, |
| "grad_norm": 1.0371617078781128, |
| "learning_rate": 0.00038845090041619265, |
| "loss": 10.063040771484374, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 1.0449143648147583, |
| "learning_rate": 0.0003869285762277543, |
| "loss": 10.145305786132813, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 1.491047739982605, |
| "learning_rate": 0.00038531540137141165, |
| "loss": 10.095411376953125, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 1.216232419013977, |
| "learning_rate": 0.0003836121598793126, |
| "loss": 10.10360107421875, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 1.0485482215881348, |
| "learning_rate": 0.0003818196795576189, |
| "loss": 9.9664892578125, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 1.1029548645019531, |
| "learning_rate": 0.00037993883158417654, |
| "loss": 9.9088525390625, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.19333333333333333, |
| "grad_norm": 1.0070501565933228, |
| "learning_rate": 0.00037797053008510834, |
| "loss": 9.888450927734375, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1.1356112957000732, |
| "learning_rate": 0.00037591573169053167, |
| "loss": 9.8390869140625, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.2, |
| "eval_accuracy": 0.2266908023483366, |
| "eval_loss": 9.943662643432617, |
| "eval_runtime": 65.3824, |
| "eval_samples_per_second": 7.647, |
| "eval_steps_per_second": 0.382, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.20666666666666667, |
| "grad_norm": 1.178817629814148, |
| "learning_rate": 0.0003737754350696192, |
| "loss": 9.806249389648437, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 1.1421138048171997, |
| "learning_rate": 0.00037155068044522735, |
| "loss": 9.715457763671875, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 1.6934456825256348, |
| "learning_rate": 0.00036924254908832937, |
| "loss": 9.71255859375, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 1.1598275899887085, |
| "learning_rate": 0.00036685216279249815, |
| "loss": 9.716998291015624, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 1.1768417358398438, |
| "learning_rate": 0.000364380683328694, |
| "loss": 9.557822875976562, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 1.4840753078460693, |
| "learning_rate": 0.0003618293118806232, |
| "loss": 9.56420654296875, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.24666666666666667, |
| "grad_norm": 1.2799503803253174, |
| "learning_rate": 0.00035919928846094094, |
| "loss": 9.548779296875, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 1.1078740358352661, |
| "learning_rate": 0.00035649189130858256, |
| "loss": 9.44154541015625, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 1.173609972000122, |
| "learning_rate": 0.00035370843626751663, |
| "loss": 9.414360961914063, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 1.2394672632217407, |
| "learning_rate": 0.00035085027614722075, |
| "loss": 9.300681762695312, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "eval_accuracy": 0.2545146771037182, |
| "eval_loss": 9.379138946533203, |
| "eval_runtime": 65.4591, |
| "eval_samples_per_second": 7.638, |
| "eval_steps_per_second": 0.382, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.2733333333333333, |
| "grad_norm": 1.0034714937210083, |
| "learning_rate": 0.00034791880006519195, |
| "loss": 9.250709838867188, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 1.2436392307281494, |
| "learning_rate": 0.00034491543277181, |
| "loss": 9.246346435546876, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.2866666666666667, |
| "grad_norm": 1.180080771446228, |
| "learning_rate": 0.00034184163395788343, |
| "loss": 9.188368530273438, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 1.0143563747406006, |
| "learning_rate": 0.00033869889754521314, |
| "loss": 9.10044677734375, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 1.2389507293701172, |
| "learning_rate": 0.0003354887509605197, |
| "loss": 9.080850830078125, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 0.997056782245636, |
| "learning_rate": 0.0003322127543930859, |
| "loss": 9.041187744140625, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.31333333333333335, |
| "grad_norm": 1.006325364112854, |
| "learning_rate": 0.00032887250003647676, |
| "loss": 9.152498779296875, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 1.1522862911224365, |
| "learning_rate": 0.00032546961131470485, |
| "loss": 8.979527587890624, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.32666666666666666, |
| "grad_norm": 0.9992244839668274, |
| "learning_rate": 0.00032200574209321657, |
| "loss": 8.930678100585938, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 1.188022255897522, |
| "learning_rate": 0.0003184825758750839, |
| "loss": 8.919720458984376, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "eval_accuracy": 0.27488649706457924, |
| "eval_loss": 8.979753494262695, |
| "eval_runtime": 65.4227, |
| "eval_samples_per_second": 7.643, |
| "eval_steps_per_second": 0.382, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 0.9783419966697693, |
| "learning_rate": 0.00031490182498279115, |
| "loss": 8.924981079101563, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 1.0431445837020874, |
| "learning_rate": 0.0003112652297260157, |
| "loss": 8.822501220703124, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.35333333333333333, |
| "grad_norm": 0.9755280613899231, |
| "learning_rate": 0.00030757455755580553, |
| "loss": 8.865919189453125, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 1.1168733835220337, |
| "learning_rate": 0.0003038316022055665, |
| "loss": 8.899959716796875, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 0.9611853957176208, |
| "learning_rate": 0.00030003818281927526, |
| "loss": 8.851053466796875, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 1.040235996246338, |
| "learning_rate": 0.00029619614306734235, |
| "loss": 8.790068359375, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 1.0123136043548584, |
| "learning_rate": 0.00029230735025055524, |
| "loss": 8.8330029296875, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 1.0311475992202759, |
| "learning_rate": 0.00028837369439253617, |
| "loss": 8.824832153320312, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.3933333333333333, |
| "grad_norm": 0.997328519821167, |
| "learning_rate": 0.0002843970873211566, |
| "loss": 8.828201904296876, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.5238865613937378, |
| "learning_rate": 0.0002803794617393543, |
| "loss": 8.719149169921875, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.4, |
| "eval_accuracy": 0.28737377690802346, |
| "eval_loss": 8.731175422668457, |
| "eval_runtime": 65.6219, |
| "eval_samples_per_second": 7.619, |
| "eval_steps_per_second": 0.381, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.4066666666666667, |
| "grad_norm": 1.1989500522613525, |
| "learning_rate": 0.0002763227702858047, |
| "loss": 8.64713623046875, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 1.3336397409439087, |
| "learning_rate": 0.00027222898458590343, |
| "loss": 8.749034423828125, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 1.0257115364074707, |
| "learning_rate": 0.0002681000942935204, |
| "loss": 8.847327880859375, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 1.03694748878479, |
| "learning_rate": 0.0002639381061239921, |
| "loss": 8.704371337890626, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 0.9518272876739502, |
| "learning_rate": 0.00025974504287882194, |
| "loss": 8.664287109375, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 1.0655875205993652, |
| "learning_rate": 0.000255522942462562, |
| "loss": 8.662864990234375, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.44666666666666666, |
| "grad_norm": 1.0382905006408691, |
| "learning_rate": 0.00025127385689235426, |
| "loss": 8.6200341796875, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 1.3670793771743774, |
| "learning_rate": 0.00024699985130061374, |
| "loss": 8.617677612304687, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 1.2171597480773926, |
| "learning_rate": 0.0002427030029313362, |
| "loss": 8.605474853515625, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 1.1724241971969604, |
| "learning_rate": 0.00023838540013052062, |
| "loss": 8.558206787109375, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "eval_accuracy": 0.2943894324853229, |
| "eval_loss": 8.570584297180176, |
| "eval_runtime": 65.4101, |
| "eval_samples_per_second": 7.644, |
| "eval_steps_per_second": 0.382, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.47333333333333333, |
| "grad_norm": 1.0969085693359375, |
| "learning_rate": 0.00023404914133119486, |
| "loss": 8.515238037109375, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 1.4420628547668457, |
| "learning_rate": 0.00022969633403353913, |
| "loss": 8.62325927734375, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.4866666666666667, |
| "grad_norm": 1.0490083694458008, |
| "learning_rate": 0.0002253290937806034, |
| "loss": 8.469694213867188, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 1.3232401609420776, |
| "learning_rate": 0.00022094954313011468, |
| "loss": 8.4819580078125, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 1.0941740274429321, |
| "learning_rate": 0.0002165598106228758, |
| "loss": 8.58266357421875, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 1.1495511531829834, |
| "learning_rate": 0.00021216202974825614, |
| "loss": 8.533701171875, |
| "step": 7600 |
| }, |
| { |
| "epoch": 0.5133333333333333, |
| "grad_norm": 1.004111886024475, |
| "learning_rate": 0.00020775833790727695, |
| "loss": 8.46027099609375, |
| "step": 7700 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 1.4242042303085327, |
| "learning_rate": 0.0002033508753737963, |
| "loss": 8.484051513671876, |
| "step": 7800 |
| }, |
| { |
| "epoch": 0.5266666666666666, |
| "grad_norm": 1.1219866275787354, |
| "learning_rate": 0.00019894178425429674, |
| "loss": 8.434028930664063, |
| "step": 7900 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 1.009364128112793, |
| "learning_rate": 0.00019453320744678324, |
| "loss": 8.4456640625, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "eval_accuracy": 0.29964774951076323, |
| "eval_loss": 8.433549880981445, |
| "eval_runtime": 65.652, |
| "eval_samples_per_second": 7.616, |
| "eval_steps_per_second": 0.381, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 0.9676337838172913, |
| "learning_rate": 0.0001901272875992957, |
| "loss": 8.395182495117188, |
| "step": 8100 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 1.0351442098617554, |
| "learning_rate": 0.0001857261660685435, |
| "loss": 8.413995361328125, |
| "step": 8200 |
| }, |
| { |
| "epoch": 0.5533333333333333, |
| "grad_norm": 0.987281322479248, |
| "learning_rate": 0.00018133198187916734, |
| "loss": 8.399580688476563, |
| "step": 8300 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.9454151391983032, |
| "learning_rate": 0.00017694687068413458, |
| "loss": 8.42725341796875, |
| "step": 8400 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 1.0215506553649902, |
| "learning_rate": 0.00017257296372677328, |
| "loss": 8.389710693359374, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 1.0646560192108154, |
| "learning_rate": 0.00016821238680494918, |
| "loss": 8.27107177734375, |
| "step": 8600 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 1.016783356666565, |
| "learning_rate": 0.00016386725923789007, |
| "loss": 8.3458056640625, |
| "step": 8700 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 1.029847502708435, |
| "learning_rate": 0.00015953969283615782, |
| "loss": 8.26437744140625, |
| "step": 8800 |
| }, |
| { |
| "epoch": 0.5933333333333334, |
| "grad_norm": 0.982424259185791, |
| "learning_rate": 0.0001552317908752705, |
| "loss": 8.396544189453126, |
| "step": 8900 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.958069384098053, |
| "learning_rate": 0.0001509456470734723, |
| "loss": 8.241473388671874, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.6, |
| "eval_accuracy": 0.3059334637964775, |
| "eval_loss": 8.307632446289062, |
| "eval_runtime": 65.4278, |
| "eval_samples_per_second": 7.642, |
| "eval_steps_per_second": 0.382, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.6066666666666667, |
| "grad_norm": 1.1917734146118164, |
| "learning_rate": 0.0001466833445741486, |
| "loss": 8.325388793945313, |
| "step": 9100 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 1.0918893814086914, |
| "learning_rate": 0.0001424469549333809, |
| "loss": 8.24582763671875, |
| "step": 9200 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 0.9687617421150208, |
| "learning_rate": 0.0001382385371131328, |
| "loss": 8.22963134765625, |
| "step": 9300 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 1.2594196796417236, |
| "learning_rate": 0.0001340601364805574, |
| "loss": 8.203480224609375, |
| "step": 9400 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 1.327571153640747, |
| "learning_rate": 0.00012991378381391192, |
| "loss": 8.20176513671875, |
| "step": 9500 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 1.0071412324905396, |
| "learning_rate": 0.0001258014943155624, |
| "loss": 8.172748413085937, |
| "step": 9600 |
| }, |
| { |
| "epoch": 0.6466666666666666, |
| "grad_norm": 1.0164071321487427, |
| "learning_rate": 0.00012172526663255951, |
| "loss": 8.214456787109375, |
| "step": 9700 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 1.1246143579483032, |
| "learning_rate": 0.00011768708188525956, |
| "loss": 8.266552734375, |
| "step": 9800 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 1.0247814655303955, |
| "learning_rate": 0.00011368890270446406, |
| "loss": 8.150130004882813, |
| "step": 9900 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 1.0046054124832153, |
| "learning_rate": 0.00010973267227754613, |
| "loss": 8.194937744140624, |
| "step": 10000 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "eval_accuracy": 0.30975342465753425, |
| "eval_loss": 8.204855918884277, |
| "eval_runtime": 65.6714, |
| "eval_samples_per_second": 7.614, |
| "eval_steps_per_second": 0.381, |
| "step": 10000 |
| }, |
| { |
| "epoch": 0.6733333333333333, |
| "grad_norm": 0.9764471650123596, |
| "learning_rate": 0.00010582031340402582, |
| "loss": 8.11692138671875, |
| "step": 10100 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 1.0789597034454346, |
| "learning_rate": 0.00010195372756105512, |
| "loss": 8.137109375, |
| "step": 10200 |
| }, |
| { |
| "epoch": 0.6866666666666666, |
| "grad_norm": 1.0786553621292114, |
| "learning_rate": 9.813479397926537e-05, |
| "loss": 8.17680419921875, |
| "step": 10300 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 1.3332428932189941, |
| "learning_rate": 9.436536872942766e-05, |
| "loss": 8.15776123046875, |
| "step": 10400 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 1.0370911359786987, |
| "learning_rate": 9.064728382036833e-05, |
| "loss": 8.137608642578124, |
| "step": 10500 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 1.081002950668335, |
| "learning_rate": 8.698234630857997e-05, |
| "loss": 8.0797705078125, |
| "step": 10600 |
| }, |
| { |
| "epoch": 0.7133333333333334, |
| "grad_norm": 1.0866549015045166, |
| "learning_rate": 8.337233741995907e-05, |
| "loss": 8.10765625, |
| "step": 10700 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 1.4178708791732788, |
| "learning_rate": 7.9819011684098e-05, |
| "loss": 8.233140258789062, |
| "step": 10800 |
| }, |
| { |
| "epoch": 0.7266666666666667, |
| "grad_norm": 1.0158106088638306, |
| "learning_rate": 7.632409608155228e-05, |
| "loss": 8.12737060546875, |
| "step": 10900 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 1.0095257759094238, |
| "learning_rate": 7.288928920449636e-05, |
| "loss": 8.0778955078125, |
| "step": 11000 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "eval_accuracy": 0.3137651663405088, |
| "eval_loss": 8.122584342956543, |
| "eval_runtime": 65.3252, |
| "eval_samples_per_second": 7.654, |
| "eval_steps_per_second": 0.383, |
| "step": 11000 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 1.1707996129989624, |
| "learning_rate": 6.951626043117705e-05, |
| "loss": 8.111912841796874, |
| "step": 11100 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 1.1220096349716187, |
| "learning_rate": 6.620664911456616e-05, |
| "loss": 8.153399047851563, |
| "step": 11200 |
| }, |
| { |
| "epoch": 0.7533333333333333, |
| "grad_norm": 1.053057312965393, |
| "learning_rate": 6.296206378560454e-05, |
| "loss": 8.083673095703125, |
| "step": 11300 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 1.0960450172424316, |
| "learning_rate": 5.978408137142759e-05, |
| "loss": 8.193185424804687, |
| "step": 11400 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 1.1686227321624756, |
| "learning_rate": 5.667424642894974e-05, |
| "loss": 8.13611572265625, |
| "step": 11500 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 1.103230595588684, |
| "learning_rate": 5.363407039418178e-05, |
| "loss": 8.102085571289063, |
| "step": 11600 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 1.3868330717086792, |
| "learning_rate": 5.0665030847646266e-05, |
| "loss": 8.002344970703126, |
| "step": 11700 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 1.0746208429336548, |
| "learning_rate": 4.776857079624599e-05, |
| "loss": 8.036705322265625, |
| "step": 11800 |
| }, |
| { |
| "epoch": 0.7933333333333333, |
| "grad_norm": 1.161407470703125, |
| "learning_rate": 4.494609797193681e-05, |
| "loss": 7.990054931640625, |
| "step": 11900 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 1.1083136796951294, |
| "learning_rate": 4.219898414754464e-05, |
| "loss": 8.060489501953125, |
| "step": 12000 |
| }, |
| { |
| "epoch": 0.8, |
| "eval_accuracy": 0.3169706457925636, |
| "eval_loss": 8.059541702270508, |
| "eval_runtime": 65.8107, |
| "eval_samples_per_second": 7.598, |
| "eval_steps_per_second": 0.38, |
| "step": 12000 |
| } |
| ], |
| "logging_steps": 100, |
| "max_steps": 15000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 9223372036854775807, |
| "save_steps": 2000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 0.0, |
| "train_batch_size": 10, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
