{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.999133333333333,
  "eval_steps": 500,
  "global_step": 30000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0016666666666666668,
      "grad_norm": 6.296432018280029,
      "learning_rate": 2.9400000000000002e-06,
      "loss": 9.36233642578125,
      "step": 50
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 2.045384407043457,
      "learning_rate": 5.940000000000001e-06,
      "loss": 6.69770751953125,
      "step": 100
    },
    {
      "epoch": 0.005,
      "grad_norm": 3.558886766433716,
      "learning_rate": 8.939999999999999e-06,
      "loss": 5.728419189453125,
      "step": 150
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 3.144193649291992,
      "learning_rate": 1.1940000000000001e-05,
      "loss": 5.055216064453125,
      "step": 200
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 2.3523426055908203,
      "learning_rate": 1.4940000000000001e-05,
      "loss": 4.644241027832031,
      "step": 250
    },
    {
      "epoch": 0.01,
      "grad_norm": 2.9722487926483154,
      "learning_rate": 1.794e-05,
      "loss": 4.292540283203125,
      "step": 300
    },
    {
      "epoch": 0.011666666666666667,
      "grad_norm": 2.6705331802368164,
      "learning_rate": 2.094e-05,
      "loss": 3.987220458984375,
      "step": 350
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 2.841386318206787,
      "learning_rate": 2.394e-05,
      "loss": 3.8409832763671874,
      "step": 400
    },
    {
      "epoch": 1.0002333333333333,
      "grad_norm": 2.705993890762329,
      "learning_rate": 2.6940000000000003e-05,
      "loss": 3.7106192016601565,
      "step": 450
    },
    {
      "epoch": 1.0019,
      "grad_norm": 1.8092248439788818,
      "learning_rate": 2.994e-05,
      "loss": 3.5095693969726565,
      "step": 500
    },
    {
      "epoch": 1.0035666666666667,
      "grad_norm": 1.9855880737304688,
      "learning_rate": 2.9999795775354255e-05,
      "loss": 3.3909701538085937,
      "step": 550
    },
    {
      "epoch": 1.0052333333333334,
      "grad_norm": 1.4056228399276733,
      "learning_rate": 2.999916635078951e-05,
      "loss": 3.2903216552734373,
      "step": 600
    },
    {
      "epoch": 1.0069,
      "grad_norm": 1.8909028768539429,
      "learning_rate": 2.9998111659093307e-05,
      "loss": 3.177409362792969,
      "step": 650
    },
    {
      "epoch": 1.0085666666666666,
      "grad_norm": 1.9932523965835571,
      "learning_rate": 2.999663173016903e-05,
      "loss": 3.1271542358398436,
      "step": 700
    },
    {
      "epoch": 1.0102333333333333,
      "grad_norm": 1.831948161125183,
      "learning_rate": 2.9994726605976675e-05,
      "loss": 3.0346929931640627,
      "step": 750
    },
    {
      "epoch": 1.0119,
      "grad_norm": 1.6663613319396973,
      "learning_rate": 2.9992396340531704e-05,
      "loss": 2.9763214111328127,
      "step": 800
    },
    {
      "epoch": 1.0135666666666667,
      "grad_norm": 1.478272795677185,
      "learning_rate": 2.998964099990346e-05,
      "loss": 2.957916564941406,
      "step": 850
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.7375118732452393,
      "learning_rate": 2.998646066221335e-05,
      "loss": 2.8912548828125,
      "step": 900
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.5892730951309204,
      "learning_rate": 2.9982855417632584e-05,
      "loss": 2.7499594116210937,
      "step": 950
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.5600744485855103,
      "learning_rate": 2.9978825368379653e-05,
      "loss": 2.7288330078125,
      "step": 1000
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.6788824796676636,
      "learning_rate": 2.9974370628717398e-05,
      "loss": 2.713819885253906,
      "step": 1050
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.7233264446258545,
      "learning_rate": 2.9969491324949794e-05,
      "loss": 2.6783953857421876,
      "step": 1100
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.5754250288009644,
      "learning_rate": 2.9964187595418376e-05,
      "loss": 2.6226959228515625,
      "step": 1150
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.48687744140625,
      "learning_rate": 2.9958459590498285e-05,
      "loss": 2.5779833984375,
      "step": 1200
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.7073004245758057,
      "learning_rate": 2.9952307472594024e-05,
      "loss": 2.5385700988769533,
      "step": 1250
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 2.0446057319641113,
      "learning_rate": 2.994573141613486e-05,
      "loss": 2.52190673828125,
      "step": 1300
    },
    {
      "epoch": 3.0004333333333335,
      "grad_norm": 1.5144495964050293,
      "learning_rate": 2.9938731607569865e-05,
      "loss": 2.5131741333007813,
      "step": 1350
    },
    {
      "epoch": 3.0021,
      "grad_norm": 1.5741095542907715,
      "learning_rate": 2.993130824536264e-05,
      "loss": 2.440640411376953,
      "step": 1400
    },
    {
      "epoch": 3.0037666666666665,
      "grad_norm": 1.5569274425506592,
      "learning_rate": 2.992346153998567e-05,
      "loss": 2.392763214111328,
      "step": 1450
    },
    {
      "epoch": 3.0054333333333334,
      "grad_norm": 1.5848331451416016,
      "learning_rate": 2.991519171391439e-05,
      "loss": 2.3313829040527345,
      "step": 1500
    },
    {
      "epoch": 3.0071,
      "grad_norm": 1.8444602489471436,
      "learning_rate": 2.9906499001620838e-05,
      "loss": 2.3318301391601564,
      "step": 1550
    },
    {
      "epoch": 3.008766666666667,
      "grad_norm": 1.575213074684143,
      "learning_rate": 2.9897383649567032e-05,
      "loss": 2.304534912109375,
      "step": 1600
    },
    {
      "epoch": 3.0104333333333333,
      "grad_norm": 1.579645037651062,
      "learning_rate": 2.9887845916197987e-05,
      "loss": 2.236707305908203,
      "step": 1650
    },
    {
      "epoch": 3.0121,
      "grad_norm": 1.7910284996032715,
      "learning_rate": 2.9877886071934353e-05,
      "loss": 2.208928985595703,
      "step": 1700
    },
    {
      "epoch": 3.0137666666666667,
      "grad_norm": 1.4495810270309448,
      "learning_rate": 2.986750439916479e-05,
      "loss": 2.2188836669921876,
      "step": 1750
    },
    {
      "epoch": 4.000566666666667,
      "grad_norm": 1.7691011428833008,
      "learning_rate": 2.9856701192237937e-05,
      "loss": 2.2033157348632812,
      "step": 1800
    },
    {
      "epoch": 4.002233333333334,
      "grad_norm": 1.9443449974060059,
      "learning_rate": 2.9845476757454072e-05,
      "loss": 2.041663818359375,
      "step": 1850
    },
    {
      "epoch": 4.0039,
      "grad_norm": 1.7102004289627075,
      "learning_rate": 2.9833831413056427e-05,
      "loss": 2.014143829345703,
      "step": 1900
    },
    {
      "epoch": 4.005566666666667,
      "grad_norm": 1.77164626121521,
      "learning_rate": 2.9821765489222165e-05,
      "loss": 1.9876158142089844,
      "step": 1950
    },
    {
      "epoch": 4.007233333333334,
      "grad_norm": 2.660857677459717,
      "learning_rate": 2.9809279328053023e-05,
      "loss": 1.9998252868652344,
      "step": 2000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.8511937856674194,
      "learning_rate": 2.97963732835656e-05,
      "loss": 1.9002688598632813,
      "step": 2050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.6527299880981445,
      "learning_rate": 2.978304772168134e-05,
      "loss": 1.8423493957519532,
      "step": 2100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.9586758613586426,
      "learning_rate": 2.9769303020216133e-05,
      "loss": 1.8361962890625,
      "step": 2150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.9420219659805298,
      "learning_rate": 2.975513956886963e-05,
      "loss": 1.7866915893554687,
      "step": 2200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.9848837852478027,
      "learning_rate": 2.9740557769214157e-05,
      "loss": 1.895875244140625,
      "step": 2250
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.8065719604492188,
      "learning_rate": 2.9725558034683384e-05,
      "loss": 1.966142120361328,
      "step": 2300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.592037558555603,
      "learning_rate": 2.9710140790560537e-05,
      "loss": 1.9299343872070311,
      "step": 2350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.7908258438110352,
      "learning_rate": 2.9694306473966394e-05,
      "loss": 1.9318330383300781,
      "step": 2400
    },
    {
      "epoch": 2.000166666666667,
      "grad_norm": 1.6185426712036133,
      "learning_rate": 2.9678055533846865e-05,
      "loss": 1.8744639587402343,
      "step": 2450
    },
    {
      "epoch": 2.0018333333333334,
      "grad_norm": 1.7479583024978638,
      "learning_rate": 2.966138843096027e-05,
      "loss": 1.509072265625,
      "step": 2500
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 2.1598591804504395,
      "learning_rate": 2.9644305637864277e-05,
      "loss": 1.3206808471679687,
      "step": 2550
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 2.0368692874908447,
      "learning_rate": 2.962680763890249e-05,
      "loss": 1.4926580810546874,
      "step": 2600
    },
    {
      "epoch": 1.005,
      "grad_norm": 2.4042108058929443,
      "learning_rate": 2.960889493019075e-05,
      "loss": 1.4857977294921876,
      "step": 2650
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 2.3829689025878906,
      "learning_rate": 2.9590568019603022e-05,
      "loss": 1.4448892211914062,
      "step": 2700
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 2.0621273517608643,
      "learning_rate": 2.9571827426757036e-05,
      "loss": 1.4954299926757812,
      "step": 2750
    },
    {
      "epoch": 1.01,
      "grad_norm": 2.3212335109710693,
      "learning_rate": 2.955267368299953e-05,
      "loss": 1.5473933410644531,
      "step": 2800
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.9204355478286743,
      "learning_rate": 2.95331073313912e-05,
      "loss": 1.5146267700195313,
      "step": 2850
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.509225606918335,
      "learning_rate": 2.9513128926691287e-05,
      "loss": 1.5232659912109374,
      "step": 2900
    },
    {
      "epoch": 2.000166666666667,
      "grad_norm": 1.8049054145812988,
      "learning_rate": 2.9492739035341867e-05,
      "loss": 1.4681259155273438,
      "step": 2950
    },
    {
      "epoch": 2.0018333333333334,
      "grad_norm": 1.975081443786621,
      "learning_rate": 2.9471938235451777e-05,
      "loss": 1.0566283416748048,
      "step": 3000
    },
    {
      "epoch": 2.0035,
      "grad_norm": 2.3022708892822266,
      "learning_rate": 2.945072711678023e-05,
      "loss": 1.32686767578125,
      "step": 3050
    },
    {
      "epoch": 2.0051666666666668,
      "grad_norm": 2.0772008895874023,
      "learning_rate": 2.9429106280720074e-05,
      "loss": 1.314195556640625,
      "step": 3100
    },
    {
      "epoch": 2.0068333333333332,
      "grad_norm": 2.195183515548706,
      "learning_rate": 2.9407076340280788e-05,
      "loss": 1.3024288940429687,
      "step": 3150
    },
    {
      "epoch": 2.0085,
      "grad_norm": 2.197946548461914,
      "learning_rate": 2.9384637920071054e-05,
      "loss": 1.4395762634277345,
      "step": 3200
    },
    {
      "epoch": 2.0101666666666667,
      "grad_norm": 2.1107280254364014,
      "learning_rate": 2.9361791656281066e-05,
      "loss": 1.5124710083007813,
      "step": 3250
    },
    {
      "epoch": 2.011833333333333,
      "grad_norm": 1.8990710973739624,
      "learning_rate": 2.93385381966645e-05,
      "loss": 1.459885711669922,
      "step": 3300
    },
    {
      "epoch": 2.0135,
      "grad_norm": 2.0525221824645996,
      "learning_rate": 2.9314878200520135e-05,
      "loss": 1.4967599487304688,
      "step": 3350
    },
    {
      "epoch": 3.0002,
      "grad_norm": 1.8729641437530518,
      "learning_rate": 2.929081233867316e-05,
      "loss": 1.4636871337890625,
      "step": 3400
    },
    {
      "epoch": 3.0018666666666665,
      "grad_norm": 2.0232698917388916,
      "learning_rate": 2.9266341293456167e-05,
      "loss": 1.2386469268798828,
      "step": 3450
    },
    {
      "epoch": 3.0035333333333334,
      "grad_norm": 2.249340534210205,
      "learning_rate": 2.9241465758689805e-05,
      "loss": 1.2618608856201172,
      "step": 3500
    },
    {
      "epoch": 3.0052,
      "grad_norm": 2.1609978675842285,
      "learning_rate": 2.921618643966308e-05,
      "loss": 1.2303255462646485,
      "step": 3550
    },
    {
      "epoch": 3.006866666666667,
      "grad_norm": 2.3875741958618164,
      "learning_rate": 2.9190504053113403e-05,
      "loss": 1.2375845336914062,
      "step": 3600
    },
    {
      "epoch": 3.0085333333333333,
      "grad_norm": 1.87738835811615,
      "learning_rate": 2.9164419327206226e-05,
      "loss": 1.2702031707763672,
      "step": 3650
    },
    {
      "epoch": 3.0102,
      "grad_norm": 2.0321192741394043,
      "learning_rate": 2.913793300151442e-05,
      "loss": 1.267023239135742,
      "step": 3700
    },
    {
      "epoch": 3.0118666666666667,
      "grad_norm": 1.972650408744812,
      "learning_rate": 2.9111045826997314e-05,
      "loss": 1.2457857513427735,
      "step": 3750
    },
    {
      "epoch": 3.013533333333333,
      "grad_norm": 1.905271053314209,
      "learning_rate": 2.9083758565979378e-05,
      "loss": 1.2576905059814454,
      "step": 3800
    },
    {
      "epoch": 4.000333333333334,
      "grad_norm": 1.6564491987228394,
      "learning_rate": 2.9056071992128622e-05,
      "loss": 1.1955221557617188,
      "step": 3850
    },
    {
      "epoch": 4.002,
      "grad_norm": 2.0704731941223145,
      "learning_rate": 2.902798689043466e-05,
      "loss": 0.7375415802001953,
      "step": 3900
    },
    {
      "epoch": 4.003666666666667,
      "grad_norm": 1.9580872058868408,
      "learning_rate": 2.899950405718646e-05,
      "loss": 0.8625458526611328,
      "step": 3950
    },
    {
      "epoch": 4.005333333333334,
      "grad_norm": 1.8181036710739136,
      "learning_rate": 2.8970624299949755e-05,
      "loss": 0.8049311065673828,
      "step": 4000
    },
    {
      "epoch": 4.007,
      "grad_norm": 1.8069491386413574,
      "learning_rate": 2.894134843754415e-05,
      "loss": 0.7935343170166016,
      "step": 4050
    },
    {
      "epoch": 4.008666666666667,
      "grad_norm": 2.0135111808776855,
      "learning_rate": 2.8911677300019924e-05,
      "loss": 0.9039474487304687,
      "step": 4100
    },
    {
      "epoch": 4.0103333333333335,
      "grad_norm": 1.8082574605941772,
      "learning_rate": 2.8881611728634453e-05,
      "loss": 0.9203302764892578,
      "step": 4150
    },
    {
      "epoch": 4.012,
      "grad_norm": 2.180549144744873,
      "learning_rate": 2.8851152575828398e-05,
      "loss": 0.9213037109375,
      "step": 4200
    },
    {
      "epoch": 4.0136666666666665,
      "grad_norm": 1.984939455986023,
      "learning_rate": 2.8820300705201538e-05,
      "loss": 0.9233769226074219,
      "step": 4250
    },
    {
      "epoch": 5.0005,
      "grad_norm": 2.5990309715270996,
      "learning_rate": 2.8789056991488248e-05,
      "loss": 0.9673636627197265,
      "step": 4300
    },
    {
      "epoch": 5.002166666666667,
      "grad_norm": 2.5070834159851074,
      "learning_rate": 2.8757422320532728e-05,
      "loss": 1.1629231262207032,
      "step": 4350
    },
    {
      "epoch": 5.003833333333334,
      "grad_norm": 2.3747425079345703,
      "learning_rate": 2.872539758926388e-05,
      "loss": 1.2130209350585937,
      "step": 4400
    },
    {
      "epoch": 5.0055,
      "grad_norm": 2.0789525508880615,
      "learning_rate": 2.8692983705669872e-05,
      "loss": 1.1065919494628906,
      "step": 4450
    },
    {
      "epoch": 5.0071666666666665,
      "grad_norm": 2.5845859050750732,
      "learning_rate": 2.86601815887724e-05,
      "loss": 1.1318372344970704,
      "step": 4500
    },
    {
      "epoch": 5.0088333333333335,
      "grad_norm": 2.2027413845062256,
      "learning_rate": 2.8626992168600624e-05,
      "loss": 1.1491417694091797,
      "step": 4550
    },
    {
      "epoch": 5.0105,
      "grad_norm": 2.105492353439331,
      "learning_rate": 2.8593416386164818e-05,
      "loss": 1.1174581909179688,
      "step": 4600
    },
    {
      "epoch": 5.012166666666666,
      "grad_norm": 2.147904872894287,
      "learning_rate": 2.8559455193429664e-05,
      "loss": 1.1449388885498046,
      "step": 4650
    },
    {
      "epoch": 5.013833333333333,
      "grad_norm": 1.890125036239624,
      "learning_rate": 2.8525109553287275e-05,
      "loss": 1.125641860961914,
      "step": 4700
    },
    {
      "epoch": 6.000633333333333,
      "grad_norm": 1.946161150932312,
      "learning_rate": 2.84903804395299e-05,
      "loss": 1.1542523193359375,
      "step": 4750
    },
    {
      "epoch": 6.0023,
      "grad_norm": 1.9561102390289307,
      "learning_rate": 2.8455268836822295e-05,
      "loss": 1.0541219329833984,
      "step": 4800
    },
    {
      "epoch": 6.003966666666667,
      "grad_norm": 1.9987578392028809,
      "learning_rate": 2.8419775740673836e-05,
      "loss": 1.0218131256103515,
      "step": 4850
    },
    {
      "epoch": 6.005633333333333,
      "grad_norm": 1.905269980430603,
      "learning_rate": 2.8383902157410255e-05,
      "loss": 1.003708953857422,
      "step": 4900
    },
    {
      "epoch": 6.0073,
      "grad_norm": 2.036243438720703,
      "learning_rate": 2.8347649104145137e-05,
      "loss": 0.9822654724121094,
      "step": 4950
    },
    {
      "epoch": 6.008966666666667,
      "grad_norm": 1.8789093494415283,
      "learning_rate": 2.8311017608751073e-05,
      "loss": 1.018622512817383,
      "step": 5000
    },
    {
      "epoch": 6.010633333333334,
      "grad_norm": 2.332475185394287,
      "learning_rate": 2.8274008709830523e-05,
      "loss": 1.049513397216797,
      "step": 5050
    },
    {
      "epoch": 6.0123,
      "grad_norm": 1.8751661777496338,
      "learning_rate": 2.823662345668634e-05,
      "loss": 1.068065185546875,
      "step": 5100
    },
    {
      "epoch": 6.013966666666667,
      "grad_norm": 2.1109721660614014,
      "learning_rate": 2.8198862909292073e-05,
      "loss": 1.0169496154785156,
      "step": 5150
    },
    {
      "epoch": 7.000866666666667,
      "grad_norm": 1.8698688745498657,
      "learning_rate": 2.8160728138261865e-05,
      "loss": 1.0039041900634766,
      "step": 5200
    },
    {
      "epoch": 7.002533333333333,
      "grad_norm": 1.8243681192398071,
      "learning_rate": 2.8122220224820113e-05,
      "loss": 0.9678915405273437,
      "step": 5250
    },
    {
      "epoch": 7.0042,
      "grad_norm": 1.8842891454696655,
      "learning_rate": 2.8083340260770828e-05,
      "loss": 0.9515978240966797,
      "step": 5300
    },
    {
      "epoch": 7.005866666666667,
      "grad_norm": 2.006537675857544,
      "learning_rate": 2.8044089348466655e-05,
      "loss": 1.051205825805664,
      "step": 5350
    },
    {
      "epoch": 7.007533333333333,
      "grad_norm": 2.143925666809082,
      "learning_rate": 2.8004468600777642e-05,
      "loss": 0.9571745300292969,
      "step": 5400
    },
    {
      "epoch": 7.0092,
      "grad_norm": 1.9070833921432495,
      "learning_rate": 2.7964479141059662e-05,
      "loss": 0.9707305145263672,
      "step": 5450
    },
    {
      "epoch": 7.010866666666667,
      "grad_norm": 1.8321707248687744,
      "learning_rate": 2.7924122103122588e-05,
      "loss": 0.9359377288818359,
      "step": 5500
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.9077509641647339,
      "learning_rate": 2.788339863119813e-05,
      "loss": 0.6973258972167968,
      "step": 5550
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.3570711612701416,
      "learning_rate": 2.7842309879907394e-05,
      "loss": 0.6986883544921875,
      "step": 5600
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.8015130758285522,
      "learning_rate": 2.7800857014228154e-05,
      "loss": 0.6809234619140625,
      "step": 5650
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.9509077072143555,
      "learning_rate": 2.7759041209461817e-05,
      "loss": 0.6638854217529296,
      "step": 5700
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.7216967344284058,
      "learning_rate": 2.771686365120009e-05,
      "loss": 0.5996527862548828,
      "step": 5750
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.4293559789657593,
      "learning_rate": 2.7674325535291387e-05,
      "loss": 0.6288544845581054,
      "step": 5800
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.4647794961929321,
      "learning_rate": 2.7631428067806903e-05,
      "loss": 0.6884970855712891,
      "step": 5850
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.9533915519714355,
      "learning_rate": 2.7588172465006436e-05,
      "loss": 0.7003134918212891,
      "step": 5900
    },
    {
      "epoch": 2.000166666666667,
      "grad_norm": 1.5402069091796875,
      "learning_rate": 2.754455995330388e-05,
      "loss": 0.6689606475830078,
      "step": 5950
    },
    {
      "epoch": 2.0018333333333334,
      "grad_norm": 1.5695101022720337,
      "learning_rate": 2.750059176923248e-05,
      "loss": 0.4137184524536133,
      "step": 6000
    },
    {
      "epoch": 2.0035,
      "grad_norm": 1.9652310609817505,
      "learning_rate": 2.745626915940975e-05,
      "loss": 0.46977787017822265,
      "step": 6050
    },
    {
      "epoch": 2.0051666666666668,
      "grad_norm": 1.7700436115264893,
      "learning_rate": 2.7411593380502133e-05,
      "loss": 0.463070182800293,
      "step": 6100
    },
    {
      "epoch": 2.0068333333333332,
      "grad_norm": 1.8935976028442383,
      "learning_rate": 2.7366565699189398e-05,
      "loss": 0.44758522033691406,
      "step": 6150
    },
    {
      "epoch": 2.0085,
      "grad_norm": 1.3832303285598755,
      "learning_rate": 2.732118739212868e-05,
      "loss": 0.4535627746582031,
      "step": 6200
    },
    {
      "epoch": 2.0101666666666667,
      "grad_norm": 1.6829535961151123,
      "learning_rate": 2.7275459745918316e-05,
      "loss": 0.48570785522460935,
      "step": 6250
    },
    {
      "epoch": 2.011833333333333,
      "grad_norm": 1.8293315172195435,
      "learning_rate": 2.722938405706136e-05,
      "loss": 0.5032914352416992,
      "step": 6300
    },
    {
      "epoch": 2.0135,
      "grad_norm": 1.7647825479507446,
      "learning_rate": 2.7182961631928812e-05,
      "loss": 0.5367673110961914,
      "step": 6350
    },
    {
      "epoch": 3.0002,
      "grad_norm": 1.6019330024719238,
      "learning_rate": 2.7136193786722592e-05,
      "loss": 0.5786269378662109,
      "step": 6400
    },
    {
      "epoch": 3.0018666666666665,
      "grad_norm": 1.6498947143554688,
      "learning_rate": 2.7089081847438228e-05,
      "loss": 0.6523352813720703,
      "step": 6450
    },
    {
      "epoch": 3.0035333333333334,
      "grad_norm": 2.055866241455078,
      "learning_rate": 2.7041627149827236e-05,
      "loss": 0.6170930862426758,
      "step": 6500
    },
    {
      "epoch": 3.0052,
      "grad_norm": 2.074732542037964,
      "learning_rate": 2.6993831039359267e-05,
      "loss": 0.6060370635986329,
      "step": 6550
    },
    {
      "epoch": 3.006866666666667,
      "grad_norm": 2.256472587585449,
      "learning_rate": 2.694569487118396e-05,
      "loss": 0.6324485778808594,
      "step": 6600
    },
    {
      "epoch": 3.0085333333333333,
      "grad_norm": 1.6386387348175049,
      "learning_rate": 2.6897220010092508e-05,
      "loss": 0.6060771179199219,
      "step": 6650
    },
    {
      "epoch": 3.0102,
      "grad_norm": 1.8649691343307495,
      "learning_rate": 2.6848407830478967e-05,
      "loss": 0.5979516220092773,
      "step": 6700
    },
    {
      "epoch": 3.0118666666666667,
      "grad_norm": 1.7192860841751099,
      "learning_rate": 2.6799259716301293e-05,
      "loss": 0.6279150390625,
      "step": 6750
    },
    {
      "epoch": 3.013533333333333,
      "grad_norm": 1.6655539274215698,
      "learning_rate": 2.6749777061042103e-05,
      "loss": 0.625608139038086,
      "step": 6800
    },
    {
      "epoch": 4.000333333333334,
      "grad_norm": 1.068650484085083,
      "learning_rate": 2.6699961267669162e-05,
      "loss": 0.5783480072021484,
      "step": 6850
    },
    {
      "epoch": 4.002,
      "grad_norm": 1.2487739324569702,
      "learning_rate": 2.6649813748595595e-05,
      "loss": 0.2357199287414551,
      "step": 6900
    },
    {
      "epoch": 4.003666666666667,
      "grad_norm": 1.3043678998947144,
      "learning_rate": 2.659933592563987e-05,
      "loss": 0.2731271743774414,
      "step": 6950
    },
    {
      "epoch": 4.005333333333334,
      "grad_norm": 1.223210334777832,
      "learning_rate": 2.654852922998545e-05,
      "loss": 0.22788461685180664,
      "step": 7000
    },
    {
      "epoch": 4.007,
      "grad_norm": 1.1483008861541748,
      "learning_rate": 2.649739510214025e-05,
      "loss": 0.22346155166625978,
      "step": 7050
    },
    {
      "epoch": 4.008666666666667,
      "grad_norm": 1.2172214984893799,
      "learning_rate": 2.6445934991895764e-05,
      "loss": 0.23918920516967773,
      "step": 7100
    },
    {
      "epoch": 4.0103333333333335,
      "grad_norm": 1.1359659433364868,
      "learning_rate": 2.639415035828598e-05,
      "loss": 0.24985692977905274,
      "step": 7150
    },
    {
      "epoch": 4.012,
      "grad_norm": 1.475920557975769,
      "learning_rate": 2.6342042669546e-05,
      "loss": 0.2808365821838379,
      "step": 7200
    },
    {
      "epoch": 4.0136666666666665,
      "grad_norm": 1.2670186758041382,
      "learning_rate": 2.628961340307043e-05,
      "loss": 0.2782126426696777,
      "step": 7250
    },
    {
      "epoch": 5.0005,
      "grad_norm": 1.717673659324646,
      "learning_rate": 2.6236864045371453e-05,
      "loss": 0.36194786071777346,
      "step": 7300
    },
    {
      "epoch": 5.002166666666667,
      "grad_norm": 1.797800898551941,
      "learning_rate": 2.618379609203674e-05,
      "loss": 0.6739380645751953,
      "step": 7350
    },
    {
      "epoch": 5.003833333333334,
      "grad_norm": 2.0240073204040527,
      "learning_rate": 2.613041104768699e-05,
      "loss": 0.6977305603027344,
      "step": 7400
    },
    {
      "epoch": 5.0055,
      "grad_norm": 1.6391247510910034,
      "learning_rate": 2.6076710425933307e-05,
      "loss": 0.6162394332885742,
      "step": 7450
    },
    {
      "epoch": 5.0071666666666665,
      "grad_norm": 2.932299852371216,
      "learning_rate": 2.6022695749334263e-05,
      "loss": 0.6486746215820313,
      "step": 7500
    },
    {
      "epoch": 5.0088333333333335,
      "grad_norm": 2.05151629447937,
      "learning_rate": 2.5968368549352748e-05,
      "loss": 0.6304220581054687,
      "step": 7550
    },
    {
      "epoch": 5.0105,
      "grad_norm": 1.9714049100875854,
      "learning_rate": 2.5913730366312535e-05,
      "loss": 0.6141956710815429,
      "step": 7600
    },
    {
      "epoch": 5.012166666666666,
      "grad_norm": 2.1039156913757324,
      "learning_rate": 2.5858782749354603e-05,
      "loss": 0.6495011901855469,
      "step": 7650
    },
    {
      "epoch": 5.013833333333333,
      "grad_norm": 1.6918100118637085,
      "learning_rate": 2.5803527256393243e-05,
      "loss": 0.63647216796875,
      "step": 7700
    },
    {
      "epoch": 6.000633333333333,
      "grad_norm": 1.6919469833374023,
      "learning_rate": 2.5747965454071845e-05,
      "loss": 0.671699447631836,
      "step": 7750
    },
    {
      "epoch": 6.0023,
      "grad_norm": 1.7445021867752075,
      "learning_rate": 2.569209891771852e-05,
      "loss": 0.6194692611694336,
      "step": 7800
    },
    {
      "epoch": 6.003966666666667,
      "grad_norm": 1.7923142910003662,
      "learning_rate": 2.5635929231301407e-05,
      "loss": 0.5799810409545898,
      "step": 7850
    },
    {
      "epoch": 6.005633333333333,
      "grad_norm": 1.78199303150177,
      "learning_rate": 2.5579457987383783e-05,
      "loss": 0.577097282409668,
      "step": 7900
    },
    {
      "epoch": 6.0073,
      "grad_norm": 1.3529242277145386,
      "learning_rate": 2.5522686787078885e-05,
      "loss": 0.5641065979003906,
      "step": 7950
    },
    {
      "epoch": 6.008966666666667,
      "grad_norm": 1.547831416130066,
      "learning_rate": 2.546561724000454e-05,
      "loss": 0.5749254608154297,
      "step": 8000
    },
    {
      "epoch": 6.010633333333334,
      "grad_norm": 1.794567584991455,
      "learning_rate": 2.5408250964237518e-05,
      "loss": 0.6101033782958984,
      "step": 8050
    },
    {
      "epoch": 6.0123,
      "grad_norm": 1.645218849182129,
      "learning_rate": 2.5350589586267645e-05,
      "loss": 0.6382519149780274,
      "step": 8100
    },
    {
      "epoch": 6.013966666666667,
      "grad_norm": 1.7477233409881592,
      "learning_rate": 2.52926347409517e-05,
      "loss": 0.5900593185424805,
      "step": 8150
    },
    {
      "epoch": 7.000866666666667,
      "grad_norm": 1.5820660591125488,
      "learning_rate": 2.5234388071467064e-05,
      "loss": 0.5954227828979493,
      "step": 8200
    },
    {
      "epoch": 7.002533333333333,
      "grad_norm": 1.5947580337524414,
      "learning_rate": 2.517585122926512e-05,
      "loss": 0.5810695266723633,
      "step": 8250
    },
    {
      "epoch": 7.0042,
      "grad_norm": 1.4849404096603394,
      "learning_rate": 2.511702587402444e-05,
      "loss": 0.5662033843994141,
      "step": 8300
    },
    {
      "epoch": 7.005866666666667,
      "grad_norm": 1.6737949848175049,
      "learning_rate": 2.5057913673603722e-05,
      "loss": 0.6508497619628906,
      "step": 8350
    },
    {
      "epoch": 7.007533333333333,
      "grad_norm": 1.9604586362838745,
      "learning_rate": 2.4998516303994502e-05,
      "loss": 0.5735390090942383,
      "step": 8400
    },
    {
      "epoch": 7.0092,
      "grad_norm": 1.8022760152816772,
      "learning_rate": 2.493883544927365e-05,
      "loss": 0.5821025848388672,
      "step": 8450
    },
    {
      "epoch": 7.010866666666667,
      "grad_norm": 1.723585605621338,
      "learning_rate": 2.4878872801555596e-05,
      "loss": 0.5521516799926758,
      "step": 8500
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.7751977443695068,
      "learning_rate": 2.4818630060944365e-05,
      "loss": 0.40423309326171875,
      "step": 8550
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.3075405359268188,
      "learning_rate": 2.4758108935485397e-05,
      "loss": 0.41454471588134767,
      "step": 8600
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.5956394672393799,
      "learning_rate": 2.4697311141117076e-05,
      "loss": 0.4045108413696289,
      "step": 8650
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 2.0534520149230957,
      "learning_rate": 2.4636238401622122e-05,
      "loss": 0.3971108627319336,
      "step": 8700
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.553052544593811,
      "learning_rate": 2.457489244857867e-05,
      "loss": 0.3435604476928711,
      "step": 8750
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.145978569984436,
      "learning_rate": 2.451327502131123e-05,
      "loss": 0.36573856353759765,
      "step": 8800
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.2501201629638672,
      "learning_rate": 2.4451387866841323e-05,
      "loss": 0.4070841598510742,
      "step": 8850
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.8662524223327637,
      "learning_rate": 2.438923273983799e-05,
      "loss": 0.4094845962524414,
      "step": 8900
    },
    {
      "epoch": 2.000166666666667,
      "grad_norm": 1.2666409015655518,
      "learning_rate": 2.4326811402568e-05,
      "loss": 0.3822321319580078,
      "step": 8950
    },
    {
      "epoch": 2.0018333333333334,
      "grad_norm": 1.274243712425232,
      "learning_rate": 2.4264125624845918e-05,
      "loss": 0.17029172897338868,
      "step": 9000
    },
    {
      "epoch": 2.0035,
      "grad_norm": 1.71302330493927,
      "learning_rate": 2.420117718398391e-05,
      "loss": 0.189314022064209,
      "step": 9050
    },
    {
      "epoch": 2.0051666666666668,
      "grad_norm": 1.406741738319397,
      "learning_rate": 2.4137967864741365e-05,
      "loss": 0.18286312103271485,
      "step": 9100
    },
    {
      "epoch": 2.0068333333333332,
      "grad_norm": 1.4597975015640259,
      "learning_rate": 2.4074499459274273e-05,
      "loss": 0.1649922752380371,
      "step": 9150
    },
    {
      "epoch": 2.0085,
      "grad_norm": 0.8979786038398743,
      "learning_rate": 2.4010773767084428e-05,
      "loss": 0.15474456787109375,
      "step": 9200
    },
    {
      "epoch": 2.0101666666666667,
      "grad_norm": 1.3335304260253906,
      "learning_rate": 2.3946792594968398e-05,
      "loss": 0.17460403442382813,
      "step": 9250
    },
    {
      "epoch": 2.011833333333333,
      "grad_norm": 1.6577045917510986,
      "learning_rate": 2.3882557756966304e-05,
      "loss": 0.20299341201782226,
      "step": 9300
    },
    {
      "epoch": 2.0135,
      "grad_norm": 1.227666974067688,
      "learning_rate": 2.3818071074310386e-05,
      "loss": 0.21543956756591798,
      "step": 9350
    },
    {
      "epoch": 3.0002,
      "grad_norm": 1.5215626955032349,
      "learning_rate": 2.3753334375373355e-05,
      "loss": 0.27363029479980466,
      "step": 9400
    },
    {
      "epoch": 3.0018666666666665,
      "grad_norm": 1.530497431755066,
      "learning_rate": 2.3688349495616578e-05,
      "loss": 0.407540397644043,
      "step": 9450
    },
    {
      "epoch": 3.0035333333333334,
      "grad_norm": 2.1815409660339355,
      "learning_rate": 2.3623118277538013e-05,
      "loss": 0.38198047637939453,
      "step": 9500
    },
    {
      "epoch": 3.0052,
      "grad_norm": 1.9969043731689453,
      "learning_rate": 2.355764257061998e-05,
      "loss": 0.370845947265625,
      "step": 9550
    },
    {
      "epoch": 3.006866666666667,
      "grad_norm": 2.477900981903076,
      "learning_rate": 2.3491924231276722e-05,
      "loss": 0.3945932388305664,
      "step": 9600
    },
    {
      "epoch": 3.0085333333333333,
      "grad_norm": 1.5564457178115845,
      "learning_rate": 2.3425965122801773e-05,
      "loss": 0.3718429183959961,
      "step": 9650
    },
    {
      "epoch": 3.0102,
      "grad_norm": 1.9686049222946167,
      "learning_rate": 2.3359767115315122e-05,
      "loss": 0.3622703552246094,
      "step": 9700
    },
    {
      "epoch": 3.0118666666666667,
      "grad_norm": 1.5884681940078735,
      "learning_rate": 2.3293332085710204e-05,
      "loss": 0.3964054870605469,
      "step": 9750
    },
    {
      "epoch": 3.013533333333333,
      "grad_norm": 1.6316170692443848,
      "learning_rate": 2.3226661917600657e-05,
      "loss": 0.392611083984375,
      "step": 9800
    },
    {
      "epoch": 4.000333333333334,
      "grad_norm": 0.867811381816864,
      "learning_rate": 2.3159758501266963e-05,
      "loss": 0.34639438629150393,
      "step": 9850
    },
    {
      "epoch": 4.002,
      "grad_norm": 1.0062099695205688,
      "learning_rate": 2.3092623733602794e-05,
      "loss": 0.09693001747131348,
      "step": 9900
    },
    {
      "epoch": 4.003666666666667,
      "grad_norm": 1.0147392749786377,
      "learning_rate": 2.3025259518061277e-05,
      "loss": 0.11223688125610351,
      "step": 9950
    },
    {
      "epoch": 4.005333333333334,
      "grad_norm": 0.8574983477592468,
      "learning_rate": 2.295766776460101e-05,
      "loss": 0.09009716987609863,
      "step": 10000
    },
    {
      "epoch": 0.335,
      "grad_norm": 1.9024637937545776,
      "learning_rate": 2.2889850389631912e-05,
      "loss": 2.2911944580078125,
      "step": 10050
    },
    {
      "epoch": 0.33666666666666667,
      "grad_norm": 2.425832748413086,
      "learning_rate": 2.2821809315960874e-05,
      "loss": 2.136341400146484,
      "step": 10100
    },
    {
      "epoch": 0.3383333333333333,
      "grad_norm": 1.8301362991333008,
      "learning_rate": 2.2753546472737268e-05,
      "loss": 2.104422302246094,
      "step": 10150
    },
    {
      "epoch": 0.34,
      "grad_norm": 1.5538557767868042,
      "learning_rate": 2.2685063795398218e-05,
      "loss": 2.0370709228515627,
      "step": 10200
    },
    {
      "epoch": 0.3416666666666667,
      "grad_norm": 1.5662953853607178,
      "learning_rate": 2.2616363225613756e-05,
      "loss": 2.068159637451172,
      "step": 10250
    },
    {
      "epoch": 0.3433333333333333,
      "grad_norm": 1.5763871669769287,
      "learning_rate": 2.2547446711231746e-05,
      "loss": 2.0447808837890626,
      "step": 10300
    },
    {
      "epoch": 0.345,
      "grad_norm": 1.388518214225769,
      "learning_rate": 2.2479700900763443e-05,
      "loss": 2.0605596923828124,
      "step": 10350
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.4810057878494263,
      "learning_rate": 2.2410362586529476e-05,
      "loss": 2.0104673767089842,
      "step": 10400
    },
    {
      "epoch": 0.34833333333333333,
      "grad_norm": 1.6268818378448486,
      "learning_rate": 2.234081416837596e-05,
      "loss": 1.985343475341797,
      "step": 10450
    },
    {
      "epoch": 0.35,
      "grad_norm": 1.4944297075271606,
      "learning_rate": 2.2271057618189578e-05,
      "loss": 1.9991339111328126,
      "step": 10500
    },
    {
      "epoch": 0.3516666666666667,
      "grad_norm": 1.4048922061920166,
      "learning_rate": 2.220109491375811e-05,
      "loss": 1.9501966857910156,
      "step": 10550
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 1.6254700422286987,
      "learning_rate": 2.2130928038714378e-05,
      "loss": 1.93730224609375,
      "step": 10600
    },
    {
      "epoch": 0.355,
      "grad_norm": 1.4676744937896729,
      "learning_rate": 2.2060558982479992e-05,
      "loss": 1.9180142211914062,
      "step": 10650
    },
    {
      "epoch": 0.3566666666666667,
      "grad_norm": 1.3778892755508423,
      "learning_rate": 2.1989989740208944e-05,
      "loss": 1.9412496948242188,
      "step": 10700
    },
    {
      "epoch": 0.35833333333333334,
      "grad_norm": 1.4417188167572021,
      "learning_rate": 2.1919222312731048e-05,
      "loss": 1.8980422973632813,
      "step": 10750
    },
    {
      "epoch": 0.36,
      "grad_norm": 1.4003877639770508,
      "learning_rate": 2.184825870649522e-05,
      "loss": 1.8576702880859375,
      "step": 10800
    },
    {
      "epoch": 0.3616666666666667,
      "grad_norm": 1.3203614950180054,
      "learning_rate": 2.177710093351255e-05,
      "loss": 1.8865699768066406,
      "step": 10850
    },
    {
      "epoch": 0.36333333333333334,
      "grad_norm": 1.4510948657989502,
      "learning_rate": 2.170575101129931e-05,
      "loss": 1.8597201538085937,
      "step": 10900
    },
    {
      "epoch": 0.365,
      "grad_norm": 1.339342713356018,
      "learning_rate": 2.1634210962819703e-05,
      "loss": 1.8870362854003906,
      "step": 10950
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.309877634048462,
      "learning_rate": 2.1562482816428542e-05,
      "loss": 1.8619964599609375,
      "step": 11000
    },
    {
      "epoch": 0.36833333333333335,
      "grad_norm": 1.2446576356887817,
      "learning_rate": 2.1490568605813725e-05,
      "loss": 1.8535054016113282,
      "step": 11050
    },
    {
      "epoch": 0.37,
      "grad_norm": 1.4111701250076294,
      "learning_rate": 2.1418470369938573e-05,
      "loss": 1.8347019958496094,
      "step": 11100
    },
    {
      "epoch": 0.37166666666666665,
      "grad_norm": 1.4939404726028442,
      "learning_rate": 2.134619015298402e-05,
      "loss": 1.8600994873046874,
      "step": 11150
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.4104790687561035,
      "learning_rate": 2.1273730004290677e-05,
      "loss": 1.8550985717773438,
      "step": 11200
    },
    {
      "epoch": 0.375,
      "grad_norm": 1.2873270511627197,
      "learning_rate": 2.120109197830068e-05,
      "loss": 1.8232687377929688,
      "step": 11250
    },
    {
      "epoch": 0.37666666666666665,
      "grad_norm": 1.2587337493896484,
      "learning_rate": 2.1128278134499493e-05,
      "loss": 1.7981582641601563,
      "step": 11300
    },
    {
      "epoch": 0.37833333333333335,
      "grad_norm": 1.4026145935058594,
      "learning_rate": 2.1055290537357482e-05,
      "loss": 1.800906219482422,
      "step": 11350
    },
    {
      "epoch": 0.38,
      "grad_norm": 1.3134163618087769,
      "learning_rate": 2.0982131256271392e-05,
      "loss": 1.8477032470703125,
      "step": 11400
    },
    {
      "epoch": 0.38166666666666665,
      "grad_norm": 1.2536565065383911,
      "learning_rate": 2.0908802365505685e-05,
      "loss": 1.8300701904296874,
      "step": 11450
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 1.2861531972885132,
      "learning_rate": 2.0835305944133705e-05,
      "loss": 1.8158242797851563,
      "step": 11500
    },
    {
      "epoch": 0.385,
      "grad_norm": 1.2281335592269897,
      "learning_rate": 2.076164407597875e-05,
      "loss": 1.8379869079589843,
      "step": 11550
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 1.3885990381240845,
      "learning_rate": 2.0687818849554986e-05,
      "loss": 1.7722903442382814,
      "step": 11600
    },
    {
      "epoch": 0.3883333333333333,
      "grad_norm": 1.2439100742340088,
      "learning_rate": 2.0613832358008226e-05,
      "loss": 1.8434024047851563,
      "step": 11650
    },
    {
      "epoch": 0.39,
      "grad_norm": 1.2999515533447266,
      "learning_rate": 2.053968669905659e-05,
      "loss": 1.7893605041503906,
      "step": 11700
    },
    {
      "epoch": 0.39166666666666666,
      "grad_norm": 1.1664999723434448,
      "learning_rate": 2.046538397493103e-05,
      "loss": 1.7857025146484375,
      "step": 11750
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 1.2600429058074951,
      "learning_rate": 2.0390926292315704e-05,
      "loss": 1.8158566284179687,
      "step": 11800
    },
    {
      "epoch": 0.395,
      "grad_norm": 1.2101469039916992,
      "learning_rate": 2.03163157622883e-05,
      "loss": 1.7761709594726562,
      "step": 11850
    },
    {
      "epoch": 0.39666666666666667,
      "grad_norm": 1.3131691217422485,
      "learning_rate": 2.0241554500260102e-05,
      "loss": 1.7952947998046875,
      "step": 11900
    },
    {
      "epoch": 0.3983333333333333,
      "grad_norm": 1.2902121543884277,
      "learning_rate": 2.0166644625916092e-05,
      "loss": 1.7892556762695313,
      "step": 11950
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.1372772455215454,
      "learning_rate": 2.0091588263154793e-05,
      "loss": 1.7282296752929687,
      "step": 12000
    },
    {
      "epoch": 0.40166666666666667,
      "grad_norm": 1.213036298751831,
      "learning_rate": 2.0016387540028093e-05,
      "loss": 1.7450872802734374,
      "step": 12050
    },
    {
      "epoch": 0.4033333333333333,
      "grad_norm": 1.2814973592758179,
      "learning_rate": 1.9941044588680866e-05,
      "loss": 1.7453732299804687,
      "step": 12100
    },
    {
      "epoch": 0.405,
      "grad_norm": 1.076398253440857,
      "learning_rate": 1.9865561545290553e-05,
      "loss": 1.7421353149414063,
      "step": 12150
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 1.2121100425720215,
      "learning_rate": 1.9789940550006595e-05,
      "loss": 1.72051025390625,
      "step": 12200
    },
    {
      "epoch": 0.4083333333333333,
      "grad_norm": 1.2553529739379883,
      "learning_rate": 1.971418374688972e-05,
      "loss": 1.7336581420898438,
      "step": 12250
    },
    {
      "epoch": 0.41,
      "grad_norm": 1.2400550842285156,
      "learning_rate": 1.9638293283851205e-05,
      "loss": 1.7676593017578126,
      "step": 12300
    },
    {
      "epoch": 0.4116666666666667,
      "grad_norm": 1.231232762336731,
      "learning_rate": 1.9562271312591927e-05,
      "loss": 1.7237821960449218,
      "step": 12350
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.1945688724517822,
      "learning_rate": 1.9486119988541394e-05,
      "loss": 1.732925567626953,
      "step": 12400
    },
    {
      "epoch": 0.415,
      "grad_norm": 1.1468254327774048,
      "learning_rate": 1.9409841470796603e-05,
      "loss": 1.6542854309082031,
      "step": 12450
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.2474437952041626,
      "learning_rate": 1.933343792206085e-05,
      "loss": 1.698963623046875,
      "step": 12500
    },
    {
      "epoch": 0.41833333333333333,
      "grad_norm": 1.2392055988311768,
      "learning_rate": 1.9256911508582395e-05,
      "loss": 1.7225572204589843,
      "step": 12550
    },
    {
      "epoch": 0.42,
      "grad_norm": 1.131912350654602,
      "learning_rate": 1.9180264400093046e-05,
      "loss": 1.7018638610839845,
      "step": 12600
    },
    {
      "epoch": 0.4216666666666667,
      "grad_norm": 1.1391109228134155,
      "learning_rate": 1.9103498769746638e-05,
      "loss": 1.7238023376464844,
      "step": 12650
    },
    {
      "epoch": 0.42333333333333334,
      "grad_norm": 1.255763053894043,
      "learning_rate": 1.902661679405744e-05,
      "loss": 1.698165283203125,
      "step": 12700
    },
    {
      "epoch": 0.425,
      "grad_norm": 1.1407846212387085,
      "learning_rate": 1.895116168037029e-05,
      "loss": 1.7422465515136718,
      "step": 12750
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.241137981414795,
      "learning_rate": 1.887405577490636e-05,
      "loss": 1.6755677795410155,
      "step": 12800
    },
    {
      "epoch": 0.42833333333333334,
      "grad_norm": 1.2269986867904663,
      "learning_rate": 1.8796840029432137e-05,
      "loss": 1.66367431640625,
      "step": 12850
    },
    {
      "epoch": 0.43,
      "grad_norm": 1.1101669073104858,
      "learning_rate": 1.871951663322385e-05,
      "loss": 1.7193191528320313,
      "step": 12900
    },
    {
      "epoch": 0.43166666666666664,
      "grad_norm": 1.2445309162139893,
      "learning_rate": 1.8642087778609944e-05,
      "loss": 1.6630491638183593,
      "step": 12950
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.3862735033035278,
      "learning_rate": 1.856455566090888e-05,
      "loss": 1.698961944580078,
      "step": 13000
    },
    {
      "epoch": 0.435,
      "grad_norm": 1.0933082103729248,
      "learning_rate": 1.8486922478366923e-05,
      "loss": 1.7113790893554688,
      "step": 13050
    },
    {
      "epoch": 0.43666666666666665,
      "grad_norm": 1.1887568235397339,
      "learning_rate": 1.8409190432095788e-05,
      "loss": 1.659815216064453,
      "step": 13100
    },
    {
      "epoch": 0.43833333333333335,
      "grad_norm": 1.2273800373077393,
      "learning_rate": 1.833136172601025e-05,
      "loss": 1.701916961669922,
      "step": 13150
    },
    {
      "epoch": 0.44,
      "grad_norm": 1.1295883655548096,
      "learning_rate": 1.825343856676566e-05,
      "loss": 1.7027659606933594,
      "step": 13200
    },
    {
      "epoch": 0.44166666666666665,
      "grad_norm": 1.234627366065979,
      "learning_rate": 1.8175423163695356e-05,
      "loss": 1.6670001220703126,
      "step": 13250
    },
    {
      "epoch": 0.44333333333333336,
      "grad_norm": 1.1243114471435547,
      "learning_rate": 1.8097317728748052e-05,
      "loss": 1.6672360229492187,
      "step": 13300
    },
    {
      "epoch": 0.445,
      "grad_norm": 1.2413411140441895,
      "learning_rate": 1.801912447642511e-05,
      "loss": 1.6659980773925782,
      "step": 13350
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 1.2024633884429932,
      "learning_rate": 1.7940845623717748e-05,
      "loss": 1.6188279724121093,
      "step": 13400
    },
    {
      "epoch": 0.4483333333333333,
      "grad_norm": 1.215316891670227,
      "learning_rate": 1.7862483390044192e-05,
      "loss": 1.627742919921875,
      "step": 13450
    },
    {
      "epoch": 0.45,
      "grad_norm": 1.278456687927246,
      "learning_rate": 1.7784039997186736e-05,
      "loss": 1.6489530944824218,
      "step": 13500
    },
    {
      "epoch": 0.45166666666666666,
      "grad_norm": 1.2035270929336548,
      "learning_rate": 1.7705517669228773e-05,
      "loss": 1.6360804748535156,
      "step": 13550
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.1333221197128296,
      "learning_rate": 1.7626918632491714e-05,
      "loss": 1.657493133544922,
      "step": 13600
    },
    {
      "epoch": 0.455,
      "grad_norm": 1.0751276016235352,
      "learning_rate": 1.754824511547186e-05,
      "loss": 1.636985321044922,
      "step": 13650
    },
    {
      "epoch": 0.45666666666666667,
      "grad_norm": 1.622294306755066,
      "learning_rate": 1.746949934877725e-05,
      "loss": 1.6701731872558594,
      "step": 13700
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 1.2836705446243286,
      "learning_rate": 1.7390683565064386e-05,
      "loss": 1.6268263244628907,
      "step": 13750
    },
    {
      "epoch": 0.46,
      "grad_norm": 1.2211285829544067,
      "learning_rate": 1.7311799998974947e-05,
      "loss": 1.618380126953125,
      "step": 13800
    },
    {
      "epoch": 0.46166666666666667,
      "grad_norm": 1.1164684295654297,
      "learning_rate": 1.723285088707242e-05,
      "loss": 1.6643341064453125,
      "step": 13850
    },
    {
      "epoch": 0.4633333333333333,
      "grad_norm": 1.0905755758285522,
      "learning_rate": 1.7153838467778698e-05,
      "loss": 1.6010598754882812,
      "step": 13900
    },
    {
      "epoch": 0.465,
      "grad_norm": 1.0284701585769653,
      "learning_rate": 1.707476498131062e-05,
      "loss": 1.6055384826660157,
      "step": 13950
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.1286269426345825,
      "learning_rate": 1.699563266961643e-05,
      "loss": 1.6123344421386718,
      "step": 14000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.572548747062683,
      "learning_rate": 1.6916443776312232e-05,
      "loss": 1.6946664428710938,
      "step": 14050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.4154376983642578,
      "learning_rate": 1.6837200546618386e-05,
      "loss": 1.6747663879394532,
      "step": 14100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.5416319370269775,
      "learning_rate": 1.6757905227295814e-05,
      "loss": 1.6729904174804688,
      "step": 14150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.6411312818527222,
      "learning_rate": 1.6678560066582336e-05,
      "loss": 1.6301991271972656,
      "step": 14200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.6199766397476196,
      "learning_rate": 1.65991673141289e-05,
      "loss": 1.5882893371582032,
      "step": 14250
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.5008357763290405,
      "learning_rate": 1.6519729220935818e-05,
      "loss": 1.6250067138671875,
      "step": 14300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.6415075063705444,
      "learning_rate": 1.6440248039288936e-05,
      "loss": 1.6562266540527344,
      "step": 14350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.5272722244262695,
      "learning_rate": 1.6360726022695772e-05,
      "loss": 1.7231492614746093,
      "step": 14400
    },
    {
      "epoch": 1.015,
      "grad_norm": 1.362077236175537,
      "learning_rate": 1.6281165425821623e-05,
      "loss": 1.7879104614257812,
      "step": 14450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.7108640670776367,
      "learning_rate": 1.620156850442564e-05,
      "loss": 1.7281192016601563,
      "step": 14500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.938968300819397,
      "learning_rate": 1.612193751529688e-05,
      "loss": 1.3673304748535156,
      "step": 14550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.8007022142410278,
      "learning_rate": 1.6042274716190307e-05,
      "loss": 1.3540971374511719,
      "step": 14600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 2.0127193927764893,
      "learning_rate": 1.596258236576279e-05,
      "loss": 1.4364506530761718,
      "step": 14650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.9128210544586182,
      "learning_rate": 1.588286272350905e-05,
      "loss": 1.3906419372558594,
      "step": 14700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.8449937105178833,
      "learning_rate": 1.5803118049697622e-05,
      "loss": 1.362480926513672,
      "step": 14750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.9162813425064087,
      "learning_rate": 1.5724946162719046e-05,
      "loss": 1.4156272888183594,
      "step": 14800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 2.2521564960479736,
      "learning_rate": 1.56467545354907e-05,
      "loss": 1.4028970336914062,
      "step": 14850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.6907557249069214,
      "learning_rate": 1.5566949021822878e-05,
      "loss": 1.614343719482422,
      "step": 14900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 1.3894444704055786,
      "learning_rate": 1.5487127433609407e-05,
      "loss": 1.702283172607422,
      "step": 14950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.8563153743743896,
      "learning_rate": 1.5407292034009256e-05,
      "loss": 1.6103950500488282,
      "step": 15000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 1.842654824256897,
      "learning_rate": 1.5327445086572982e-05,
      "loss": 1.4466780090332032,
      "step": 15050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.6292502880096436,
      "learning_rate": 1.5247588855178562e-05,
      "loss": 1.3934080505371094,
      "step": 15100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 2.048772096633911,
      "learning_rate": 1.5167725603967189e-05,
      "loss": 1.4326779174804687,
      "step": 15150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.892514705657959,
      "learning_rate": 1.5087857597279092e-05,
      "loss": 1.3785092163085937,
      "step": 15200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.91106379032135,
      "learning_rate": 1.5007987099589327e-05,
      "loss": 1.3833732604980469,
      "step": 15250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.9060615301132202,
      "learning_rate": 1.4928116375443582e-05,
      "loss": 1.4064006042480468,
      "step": 15300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 2.072082757949829,
      "learning_rate": 1.4848247689393963e-05,
      "loss": 1.361354217529297,
      "step": 15350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.6465338468551636,
      "learning_rate": 1.4768383305934785e-05,
      "loss": 1.6327732849121093,
      "step": 15400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.6932364702224731,
      "learning_rate": 1.4688525489438387e-05,
      "loss": 1.5731205749511719,
      "step": 15450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.85811185836792,
      "learning_rate": 1.4608676504090895e-05,
      "loss": 1.3331919860839845,
      "step": 15500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.8710098266601562,
      "learning_rate": 1.4528838613828076e-05,
      "loss": 0.9880081176757812,
      "step": 15550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 2.09991192817688,
      "learning_rate": 1.4449014082271099e-05,
      "loss": 1.0064217376708984,
      "step": 15600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 1.9291355609893799,
      "learning_rate": 1.4369205172662382e-05,
      "loss": 1.0313744354248047,
      "step": 15650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 2.0349481105804443,
      "learning_rate": 1.4289414147801419e-05,
      "loss": 0.9832716369628907,
      "step": 15700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 2.0009899139404297,
      "learning_rate": 1.4209643269980633e-05,
      "loss": 0.9983782196044921,
      "step": 15750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 2.009942054748535,
      "learning_rate": 1.4129894800921207e-05,
      "loss": 1.0713680267333985,
      "step": 15800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 2.0135700702667236,
      "learning_rate": 1.405017100170899e-05,
      "loss": 1.0285359191894532,
      "step": 15850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 1.6245927810668945,
      "learning_rate": 1.3970474132730356e-05,
      "loss": 1.4042190551757812,
      "step": 15900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 1.8125025033950806,
      "learning_rate": 1.3890806453608157e-05,
      "loss": 1.3763958740234374,
      "step": 15950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 1.988704800605774,
      "learning_rate": 1.3811170223137613e-05,
      "loss": 1.4478152465820313,
      "step": 16000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.6693629026412964,
      "learning_rate": 1.3731567699222302e-05,
      "loss": 1.8988229370117187,
      "step": 16050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.6327314376831055,
      "learning_rate": 1.365200113881011e-05,
      "loss": 1.7711756896972657,
      "step": 16100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.6666102409362793,
      "learning_rate": 1.3572472797829294e-05,
      "loss": 1.6638182067871095,
      "step": 16150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.7380634546279907,
      "learning_rate": 1.3492984931124453e-05,
      "loss": 1.6675144958496093,
      "step": 16200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.6629725694656372,
      "learning_rate": 1.341353979239265e-05,
      "loss": 1.617051239013672,
      "step": 16250
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.7792505025863647,
      "learning_rate": 1.3334139634119483e-05,
      "loss": 1.550360107421875,
      "step": 16300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.6665221452713013,
      "learning_rate": 1.3254786707515244e-05,
      "loss": 1.5528482055664063,
      "step": 16350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.690185785293579,
      "learning_rate": 1.3175483262451064e-05,
      "loss": 1.6005775451660156,
      "step": 16400
    },
    {
      "epoch": 1.015,
      "grad_norm": 1.4981169700622559,
      "learning_rate": 1.309623154739515e-05,
      "loss": 1.6941712951660157,
      "step": 16450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.5367906093597412,
      "learning_rate": 1.3017033809349013e-05,
      "loss": 1.6436634826660157,
      "step": 16500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.8300843238830566,
      "learning_rate": 1.2937892293783772e-05,
      "loss": 1.196645278930664,
      "step": 16550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.5175204277038574,
      "learning_rate": 1.2858809244576494e-05,
      "loss": 1.1753823852539063,
      "step": 16600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.5690001249313354,
      "learning_rate": 1.277978690394656e-05,
      "loss": 1.1949736022949218,
      "step": 16650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.6250964403152466,
      "learning_rate": 1.2700827512392096e-05,
      "loss": 1.1929642486572265,
      "step": 16700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.5922327041625977,
      "learning_rate": 1.2621933308626441e-05,
      "loss": 1.1697836303710938,
      "step": 16750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.7106561660766602,
      "learning_rate": 1.2544682389876441e-05,
      "loss": 1.2012087249755858,
      "step": 16800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.7163861989974976,
      "learning_rate": 1.2465923855290036e-05,
      "loss": 1.2091240692138672,
      "step": 16850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.6691616773605347,
      "learning_rate": 1.2387237168649554e-05,
      "loss": 1.314822998046875,
      "step": 16900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 1.534340262413025,
      "learning_rate": 1.2308624560936433e-05,
      "loss": 1.409350128173828,
      "step": 16950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.8180577754974365,
      "learning_rate": 1.223008826103174e-05,
      "loss": 1.37287109375,
      "step": 17000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 1.8621281385421753,
      "learning_rate": 1.2151630495653046e-05,
      "loss": 1.2171533203125,
      "step": 17050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.6037293672561646,
      "learning_rate": 1.2073253489291228e-05,
      "loss": 1.1620811462402343,
      "step": 17100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 1.8049744367599487,
      "learning_rate": 1.1994959464147432e-05,
      "loss": 1.1776678466796875,
      "step": 17150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.7445180416107178,
      "learning_rate": 1.1916750640070056e-05,
      "loss": 1.1673489379882813,
      "step": 17200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.6527574062347412,
      "learning_rate": 1.1838629234491833e-05,
      "loss": 1.1704206848144532,
      "step": 17250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.7367023229599,
      "learning_rate": 1.1760597462366926e-05,
      "loss": 1.203247299194336,
      "step": 17300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 1.7566173076629639,
      "learning_rate": 1.1682657536108159e-05,
      "loss": 1.119371337890625,
      "step": 17350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.5711489915847778,
      "learning_rate": 1.160481166552426e-05,
      "loss": 1.3711380004882812,
      "step": 17400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.6498943567276,
      "learning_rate": 1.1527062057757245e-05,
      "loss": 1.3604568481445312,
      "step": 17450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.685180902481079,
      "learning_rate": 1.14494109172198e-05,
      "loss": 1.1471074676513673,
      "step": 17500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.5319304466247559,
      "learning_rate": 1.1371860445532802e-05,
      "loss": 0.8557035827636719,
      "step": 17550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 1.7613927125930786,
      "learning_rate": 1.1294412841462897e-05,
      "loss": 0.8202173614501953,
      "step": 17600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 1.6619144678115845,
      "learning_rate": 1.121707030086014e-05,
      "loss": 0.8459001159667969,
      "step": 17650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 1.6346546411514282,
      "learning_rate": 1.1139835016595775e-05,
      "loss": 0.8195448303222657,
      "step": 17700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 1.7639893293380737,
      "learning_rate": 1.1062709178500023e-05,
      "loss": 0.815630111694336,
      "step": 17750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 1.736759901046753,
      "learning_rate": 1.0985694973300004e-05,
      "loss": 0.8889206695556641,
      "step": 17800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 1.7116466760635376,
      "learning_rate": 1.0908794584557749e-05,
      "loss": 0.8401109313964844,
      "step": 17850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 1.6388331651687622,
      "learning_rate": 1.0832010192608289e-05,
      "loss": 1.072819595336914,
      "step": 17900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 1.7291067838668823,
      "learning_rate": 1.075534397449782e-05,
      "loss": 1.0581070709228515,
      "step": 17950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 2.015186309814453,
      "learning_rate": 1.0678798103921991e-05,
      "loss": 1.088599395751953,
      "step": 18000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.7369530200958252,
      "learning_rate": 1.0602374751164265e-05,
      "loss": 1.2541021728515624,
      "step": 18050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.7617831230163574,
      "learning_rate": 1.0526076083034415e-05,
      "loss": 1.2021905517578124,
      "step": 18100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.7245622873306274,
      "learning_rate": 1.0449904262807043e-05,
      "loss": 1.1469745635986328,
      "step": 18150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.8544925451278687,
      "learning_rate": 1.0373861450160277e-05,
      "loss": 1.1247216033935548,
      "step": 18200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.7715084552764893,
      "learning_rate": 1.0297949801114521e-05,
      "loss": 1.1083958435058594,
      "step": 18250
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.976885199546814,
      "learning_rate": 1.0222171467971355e-05,
      "loss": 1.0610853576660155,
      "step": 18300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.7652332782745361,
      "learning_rate": 1.0146528599252468e-05,
      "loss": 1.0758203125,
      "step": 18350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.835084319114685,
      "learning_rate": 1.0071023339638775e-05,
      "loss": 1.1495576477050782,
      "step": 18400
    },
    {
      "epoch": 1.015,
      "grad_norm": 1.7060741186141968,
      "learning_rate": 9.995657829909594e-06,
      "loss": 1.2754519653320313,
      "step": 18450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.588921308517456,
      "learning_rate": 9.920434206881963e-06,
      "loss": 1.1839189910888672,
      "step": 18500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.7923060655593872,
      "learning_rate": 9.845354603350045e-06,
      "loss": 0.5976836395263672,
      "step": 18550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.5783723592758179,
      "learning_rate": 9.770421148024648e-06,
      "loss": 0.6248928451538086,
      "step": 18600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.575974464416504,
      "learning_rate": 9.695635965472885e-06,
      "loss": 0.629935417175293,
      "step": 18650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.6231439113616943,
      "learning_rate": 9.621001176057947e-06,
      "loss": 0.6451435852050781,
      "step": 18700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.5992910861968994,
      "learning_rate": 9.546518895878952e-06,
      "loss": 0.6247399520874023,
      "step": 18750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.6657859086990356,
      "learning_rate": 9.473676260970532e-06,
      "loss": 0.6678472137451172,
      "step": 18800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.9037035703659058,
      "learning_rate": 9.399502175012888e-06,
      "loss": 0.6817168426513672,
      "step": 18850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.8003382682800293,
      "learning_rate": 9.32548687838987e-06,
      "loss": 0.753537826538086,
      "step": 18900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 1.7780545949935913,
      "learning_rate": 9.251632469636292e-06,
      "loss": 0.8301016235351563,
      "step": 18950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.8590174913406372,
      "learning_rate": 9.177941042725378e-06,
      "loss": 0.8636976623535156,
      "step": 19000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 2.1247830390930176,
      "learning_rate": 9.104414687009359e-06,
      "loss": 0.6943458557128906,
      "step": 19050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.5333961248397827,
      "learning_rate": 9.031055487160248e-06,
      "loss": 0.677508544921875,
      "step": 19100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 1.7279947996139526,
      "learning_rate": 8.957865523110738e-06,
      "loss": 0.6879003143310547,
      "step": 19150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.7829846143722534,
      "learning_rate": 8.884846869995237e-06,
      "loss": 0.6784191131591797,
      "step": 19200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.758758783340454,
      "learning_rate": 8.812001598091012e-06,
      "loss": 0.6750822448730469,
      "step": 19250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.7838960886001587,
      "learning_rate": 8.739331772759506e-06,
      "loss": 0.716082763671875,
      "step": 19300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 1.786886215209961,
      "learning_rate": 8.66683945438776e-06,
      "loss": 0.6563807678222656,
      "step": 19350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.738071322441101,
      "learning_rate": 8.594526698330037e-06,
      "loss": 0.9007662200927734,
      "step": 19400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.8483673334121704,
      "learning_rate": 8.522395554849496e-06,
      "loss": 0.9248552703857422,
      "step": 19450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.4636003971099854,
      "learning_rate": 8.450448069060103e-06,
      "loss": 0.7119151306152344,
      "step": 19500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.5235882997512817,
      "learning_rate": 8.378686280868617e-06,
      "loss": 0.43539573669433596,
      "step": 19550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 1.765830397605896,
      "learning_rate": 8.30711222491678e-06,
      "loss": 0.4487119674682617,
      "step": 19600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 1.503596305847168,
      "learning_rate": 8.235727930523598e-06,
      "loss": 0.44962635040283205,
      "step": 19650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 1.5412774085998535,
      "learning_rate": 8.164535421627828e-06,
      "loss": 0.4337549591064453,
      "step": 19700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 1.6753467321395874,
      "learning_rate": 8.093536716730584e-06,
      "loss": 0.43847557067871096,
      "step": 19750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 1.709405541419983,
      "learning_rate": 8.022733828838124e-06,
      "loss": 0.49284374237060546,
      "step": 19800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 1.593888759613037,
      "learning_rate": 7.952128765404746e-06,
      "loss": 0.46281536102294923,
      "step": 19850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 1.4703963994979858,
      "learning_rate": 7.88172352827589e-06,
      "loss": 0.6160999298095703,
      "step": 19900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 1.6609055995941162,
      "learning_rate": 7.81152011363138e-06,
      "loss": 0.6013171768188477,
      "step": 19950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 2.0141754150390625,
      "learning_rate": 7.741520511928819e-06,
      "loss": 0.6710720825195312,
      "step": 20000
    },
    {
      "epoch": 5.003166666666667,
      "grad_norm": 1.949172854423523,
      "learning_rate": 7.671726707847171e-06,
      "loss": 1.0902951049804688,
      "step": 20050
    },
    {
      "epoch": 5.004833333333333,
      "grad_norm": 1.7889505624771118,
      "learning_rate": 7.602140680230471e-06,
      "loss": 1.0368961334228515,
      "step": 20100
    },
    {
      "epoch": 5.0065,
      "grad_norm": 1.857659935951233,
      "learning_rate": 7.5327644020317124e-06,
      "loss": 1.07505859375,
      "step": 20150
    },
    {
      "epoch": 5.008166666666667,
      "grad_norm": 1.8462475538253784,
      "learning_rate": 7.4635998402569545e-06,
      "loss": 1.0229257202148438,
      "step": 20200
    },
    {
      "epoch": 5.009833333333333,
      "grad_norm": 1.9917975664138794,
      "learning_rate": 7.394648955909486e-06,
      "loss": 1.0416568756103515,
      "step": 20250
    },
    {
      "epoch": 5.0115,
      "grad_norm": 1.6674444675445557,
      "learning_rate": 7.327286283161366e-06,
      "loss": 1.0210507202148438,
      "step": 20300
    },
    {
      "epoch": 5.013166666666667,
      "grad_norm": 1.5405360460281372,
      "learning_rate": 7.2587642417068355e-06,
      "loss": 1.0572975921630858,
      "step": 20350
    },
    {
      "epoch": 5.014833333333334,
      "grad_norm": 1.8200913667678833,
      "learning_rate": 7.190461685325534e-06,
      "loss": 1.0956484985351562,
      "step": 20400
    },
    {
      "epoch": 5.0165,
      "grad_norm": 2.1134114265441895,
      "learning_rate": 7.122380550580563e-06,
      "loss": 1.2368092346191406,
      "step": 20450
    },
    {
      "epoch": 6.001533333333334,
      "grad_norm": 1.9816176891326904,
      "learning_rate": 7.054522767757137e-06,
      "loss": 1.5210466003417968,
      "step": 20500
    },
    {
      "epoch": 6.0032,
      "grad_norm": 1.9438225030899048,
      "learning_rate": 6.986890260807822e-06,
      "loss": 1.4293966674804688,
      "step": 20550
    },
    {
      "epoch": 6.004866666666667,
      "grad_norm": 1.842617392539978,
      "learning_rate": 6.919484947298004e-06,
      "loss": 1.4090545654296875,
      "step": 20600
    },
    {
      "epoch": 6.0065333333333335,
      "grad_norm": 2.061250686645508,
      "learning_rate": 6.852308738351514e-06,
      "loss": 1.41453125,
      "step": 20650
    },
    {
      "epoch": 6.0082,
      "grad_norm": 1.9555222988128662,
      "learning_rate": 6.7853635385964585e-06,
      "loss": 1.3674409484863281,
      "step": 20700
    },
    {
      "epoch": 6.0098666666666665,
      "grad_norm": 2.1003122329711914,
      "learning_rate": 6.718651246111195e-06,
      "loss": 1.3919035339355468,
      "step": 20750
    },
    {
      "epoch": 6.011533333333333,
      "grad_norm": 1.9350862503051758,
      "learning_rate": 6.652173752370525e-06,
      "loss": 1.3142074584960937,
      "step": 20800
    },
    {
      "epoch": 6.0132,
      "grad_norm": 1.7350631952285767,
      "learning_rate": 6.585932942192071e-06,
      "loss": 1.3737037658691407,
      "step": 20850
    },
    {
      "epoch": 6.014866666666666,
      "grad_norm": 1.7135426998138428,
      "learning_rate": 6.519930693682841e-06,
      "loss": 1.4159625244140626,
      "step": 20900
    },
    {
      "epoch": 7.0002,
      "grad_norm": 1.8795244693756104,
      "learning_rate": 6.454168878185959e-06,
      "loss": 1.4865910339355468,
      "step": 20950
    },
    {
      "epoch": 7.0018666666666665,
      "grad_norm": 1.576035499572754,
      "learning_rate": 6.388649360227622e-06,
      "loss": 1.3686183166503907,
      "step": 21000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.685487985610962,
      "learning_rate": 6.323373997464244e-06,
      "loss": 0.8170787811279296,
      "step": 21050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.7664726972579956,
      "learning_rate": 6.25834464062976e-06,
      "loss": 0.8275099945068359,
      "step": 21100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.848008155822754,
      "learning_rate": 6.193563133483182e-06,
      "loss": 0.8038805389404297,
      "step": 21150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.8948545455932617,
      "learning_rate": 6.129031312756302e-06,
      "loss": 0.7818323516845703,
      "step": 21200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 1.9466619491577148,
      "learning_rate": 6.064751008101625e-06,
      "loss": 0.7761798095703125,
      "step": 21250
    },
    {
      "epoch": 1.01,
      "grad_norm": 2.0793747901916504,
      "learning_rate": 6.000724042040485e-06,
      "loss": 0.7409461975097656,
      "step": 21300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 1.97606360912323,
      "learning_rate": 5.936952229911398e-06,
      "loss": 0.7577394866943359,
      "step": 21350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.0533604621887207,
      "learning_rate": 5.873437379818551e-06,
      "loss": 0.8345895385742188,
      "step": 21400
    },
    {
      "epoch": 1.015,
      "grad_norm": 1.9522418975830078,
      "learning_rate": 5.810181292580571e-06,
      "loss": 0.9583216094970703,
      "step": 21450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.4512640237808228,
      "learning_rate": 5.747185761679443e-06,
      "loss": 0.8717018127441406,
      "step": 21500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.619828701019287,
      "learning_rate": 5.684452573209695e-06,
      "loss": 0.32352745056152343,
      "step": 21550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.3838049173355103,
      "learning_rate": 5.621983505827709e-06,
      "loss": 0.31983285903930664,
      "step": 21600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.41144859790802,
      "learning_rate": 5.5597803307013315e-06,
      "loss": 0.31932796478271486,
      "step": 21650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.4198278188705444,
      "learning_rate": 5.497844811459626e-06,
      "loss": 0.32736438751220703,
      "step": 21700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.3595664501190186,
      "learning_rate": 5.4361787041429076e-06,
      "loss": 0.30974163055419923,
      "step": 21750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.3194063901901245,
      "learning_rate": 5.376008987449838e-06,
      "loss": 0.344722785949707,
      "step": 21800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.8237543106079102,
      "learning_rate": 5.31488146647034e-06,
      "loss": 0.3528789138793945,
      "step": 21850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.607699990272522,
      "learning_rate": 5.2540285449239175e-06,
      "loss": 0.39773021697998046,
      "step": 21900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 1.5691676139831543,
      "learning_rate": 5.193451948156284e-06,
      "loss": 0.4504950714111328,
      "step": 21950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.8552980422973633,
      "learning_rate": 5.133153393678602e-06,
      "loss": 0.5431232452392578,
      "step": 22000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 1.9186702966690063,
      "learning_rate": 5.073134591118771e-06,
      "loss": 0.42785770416259766,
      "step": 22050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.3061662912368774,
      "learning_rate": 5.013397242172963e-06,
      "loss": 0.4046816635131836,
      "step": 22100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 1.4843345880508423,
      "learning_rate": 4.95394304055738e-06,
      "loss": 0.41539897918701174,
      "step": 22150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.51164710521698,
      "learning_rate": 4.8947736719602194e-06,
      "loss": 0.40053470611572267,
      "step": 22200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.4673335552215576,
      "learning_rate": 4.835890813993903e-06,
      "loss": 0.39697242736816407,
      "step": 22250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.4424810409545898,
      "learning_rate": 4.777296136147484e-06,
      "loss": 0.42418296813964845,
      "step": 22300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 1.4194953441619873,
      "learning_rate": 4.71899129973933e-06,
      "loss": 0.3895756912231445,
      "step": 22350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.515943169593811,
      "learning_rate": 4.660977957870013e-06,
      "loss": 0.5933302307128906,
      "step": 22400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.757616400718689,
      "learning_rate": 4.603257755375458e-06,
      "loss": 0.6306729125976562,
      "step": 22450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.4781798124313354,
      "learning_rate": 4.545832328780266e-06,
      "loss": 0.4712517547607422,
      "step": 22500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.182904601097107,
      "learning_rate": 4.488703306251368e-06,
      "loss": 0.24859485626220704,
      "step": 22550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 1.5798511505126953,
      "learning_rate": 4.431872307551807e-06,
      "loss": 0.2671176719665527,
      "step": 22600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 1.18501877784729,
      "learning_rate": 4.3753409439948675e-06,
      "loss": 0.2593963623046875,
      "step": 22650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 1.144731044769287,
      "learning_rate": 4.319110818398342e-06,
      "loss": 0.24566781997680665,
      "step": 22700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 1.4454432725906372,
      "learning_rate": 4.263183525039118e-06,
      "loss": 0.2538939094543457,
      "step": 22750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 1.2419778108596802,
      "learning_rate": 4.207560649607959e-06,
      "loss": 0.2871647071838379,
      "step": 22800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 1.2202904224395752,
      "learning_rate": 4.152243769164566e-06,
      "loss": 0.2689621734619141,
      "step": 22850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 1.1901906728744507,
      "learning_rate": 4.097234452092839e-06,
      "loss": 0.36949249267578127,
      "step": 22900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 1.2119687795639038,
      "learning_rate": 4.042534258056423e-06,
      "loss": 0.35492183685302736,
      "step": 22950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 1.8483269214630127,
      "learning_rate": 3.988144737954481e-06,
      "loss": 0.46745311737060546,
      "step": 23000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 2.0833899974823,
      "learning_rate": 3.934067433877738e-06,
      "loss": 0.7630504608154297,
      "step": 23050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 2.058403253555298,
      "learning_rate": 3.880303879064737e-06,
      "loss": 0.7528865814208985,
      "step": 23100
    },
    {
      "epoch": 1.005,
      "grad_norm": 2.207179307937622,
      "learning_rate": 3.826855597858376e-06,
      "loss": 0.7208507537841797,
      "step": 23150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 2.088376998901367,
      "learning_rate": 3.7737241056626865e-06,
      "loss": 0.7016201019287109,
      "step": 23200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 2.3134944438934326,
      "learning_rate": 3.720910908899886e-06,
      "loss": 0.7238885498046875,
      "step": 23250
    },
    {
      "epoch": 1.01,
      "grad_norm": 2.1278038024902344,
      "learning_rate": 3.6684175049676287e-06,
      "loss": 0.6847061920166015,
      "step": 23300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 2.9893929958343506,
      "learning_rate": 3.6162453821965983e-06,
      "loss": 0.7510233306884766,
      "step": 23350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.13517689704895,
      "learning_rate": 3.5643960198082636e-06,
      "loss": 1.0430319976806641,
      "step": 23400
    },
    {
      "epoch": 1.015,
      "grad_norm": 2.2010929584503174,
      "learning_rate": 3.512870887872963e-06,
      "loss": 1.0488350677490235,
      "step": 23450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.5543965101242065,
      "learning_rate": 3.4616714472682326e-06,
      "loss": 0.9235614776611328,
      "step": 23500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.5966523885726929,
      "learning_rate": 3.4107991496373624e-06,
      "loss": 0.27849832534790037,
      "step": 23550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.2076386213302612,
      "learning_rate": 3.3602554373482532e-06,
      "loss": 0.2752775955200195,
      "step": 23600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.2504218816757202,
      "learning_rate": 3.3100417434525134e-06,
      "loss": 0.27129779815673827,
      "step": 23650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.3227320909500122,
      "learning_rate": 3.261153879385321e-06,
      "loss": 0.2785273551940918,
      "step": 23700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.3441181182861328,
      "learning_rate": 3.211597813036285e-06,
      "loss": 0.28865924835205076,
      "step": 23750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.1878491640090942,
      "learning_rate": 3.162375979928301e-06,
      "loss": 0.3303158950805664,
      "step": 23800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.7056766748428345,
      "learning_rate": 3.1134897756341128e-06,
      "loss": 0.49927947998046873,
      "step": 23850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.5071324110031128,
      "learning_rate": 3.0649405862104772e-06,
      "loss": 0.6785525512695313,
      "step": 23900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 2.0096499919891357,
      "learning_rate": 3.0167297881588686e-06,
      "loss": 0.6695662689208984,
      "step": 23950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.6812424659729004,
      "learning_rate": 2.968858748386437e-06,
      "loss": 0.6377016830444336,
      "step": 24000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 1.3275223970413208,
      "learning_rate": 2.9213288241672647e-06,
      "loss": 0.36499958038330077,
      "step": 24050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.76749587059021,
      "learning_rate": 2.8741413631038877e-06,
      "loss": 0.3513433837890625,
      "step": 24100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 1.3912204504013062,
      "learning_rate": 2.8272977030890675e-06,
      "loss": 0.35687347412109377,
      "step": 24150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.466273546218872,
      "learning_rate": 2.7807991722678895e-06,
      "loss": 0.35906410217285156,
      "step": 24200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.5847675800323486,
      "learning_rate": 2.734647089000072e-06,
      "loss": 0.34384849548339846,
      "step": 24250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.3546370267868042,
      "learning_rate": 2.688842761822607e-06,
      "loss": 0.4250868988037109,
      "step": 24300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 1.9650839567184448,
      "learning_rate": 2.6433874894126654e-06,
      "loss": 0.5334797668457031,
      "step": 24350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.6792277097702026,
      "learning_rate": 2.5982825605507595e-06,
      "loss": 0.6985765075683594,
      "step": 24400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.343593955039978,
      "learning_rate": 2.553529254084207e-06,
      "loss": 0.7399945068359375,
      "step": 24450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.3937770128250122,
      "learning_rate": 2.509128838890883e-06,
      "loss": 0.5113412094116211,
      "step": 24500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.1141469478607178,
      "learning_rate": 2.465082573843225e-06,
      "loss": 0.23568450927734375,
      "step": 24550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 1.1517999172210693,
      "learning_rate": 2.421391707772566e-06,
      "loss": 0.25807512283325196,
      "step": 24600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 1.0975669622421265,
      "learning_rate": 2.3780574794337005e-06,
      "loss": 0.2481801414489746,
      "step": 24650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 1.232245683670044,
      "learning_rate": 2.335081117469777e-06,
      "loss": 0.25898883819580076,
      "step": 24700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 1.7666044235229492,
      "learning_rate": 2.2924638403774597e-06,
      "loss": 0.26850635528564454,
      "step": 24750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 1.3763225078582764,
      "learning_rate": 2.250206856472383e-06,
      "loss": 0.31158803939819335,
      "step": 24800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 1.831871747970581,
      "learning_rate": 2.2083113638548874e-06,
      "loss": 0.6100301742553711,
      "step": 24850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 1.8685821294784546,
      "learning_rate": 2.1667785503760577e-06,
      "loss": 0.6580564117431641,
      "step": 24900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 1.8616738319396973,
      "learning_rate": 2.1256095936040294e-06,
      "loss": 0.677899169921875,
      "step": 24950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 2.0279905796051025,
      "learning_rate": 2.0848056607906236e-06,
      "loss": 0.5570061111450195,
      "step": 25000
    },
    {
      "epoch": 5.003166666666667,
      "grad_norm": 1.8605475425720215,
      "learning_rate": 2.0443679088382326e-06,
      "loss": 0.7983790588378906,
      "step": 25050
    },
    {
      "epoch": 5.004833333333333,
      "grad_norm": 1.5200269222259521,
      "learning_rate": 2.0042974842670273e-06,
      "loss": 0.8496729278564453,
      "step": 25100
    },
    {
      "epoch": 5.0065,
      "grad_norm": 1.671268343925476,
      "learning_rate": 1.9645955231824477e-06,
      "loss": 0.8661923217773437,
      "step": 25150
    },
    {
      "epoch": 5.008166666666667,
      "grad_norm": 1.4824550151824951,
      "learning_rate": 1.926046169477867e-06,
      "loss": 0.8316961669921875,
      "step": 25200
    },
    {
      "epoch": 5.009833333333333,
      "grad_norm": 1.636396884918213,
      "learning_rate": 1.8870770769158634e-06,
      "loss": 0.8602359008789062,
      "step": 25250
    },
    {
      "epoch": 5.0115,
      "grad_norm": 1.7281094789505005,
      "learning_rate": 1.8484797713576217e-06,
      "loss": 0.8439288330078125,
      "step": 25300
    },
    {
      "epoch": 5.013166666666667,
      "grad_norm": 1.910600185394287,
      "learning_rate": 1.8102553471416584e-06,
      "loss": 0.9095307922363282,
      "step": 25350
    },
    {
      "epoch": 5.014833333333334,
      "grad_norm": 1.7145682573318481,
      "learning_rate": 1.772404888034283e-06,
      "loss": 0.8995892333984375,
      "step": 25400
    },
    {
      "epoch": 5.0165,
      "grad_norm": 4.496703624725342,
      "learning_rate": 1.7349294671988892e-06,
      "loss": 1.0104307556152343,
      "step": 25450
    },
    {
      "epoch": 6.001533333333334,
      "grad_norm": 2.30837082862854,
      "learning_rate": 1.6978301471655071e-06,
      "loss": 1.1597572326660157,
      "step": 25500
    },
    {
      "epoch": 6.0032,
      "grad_norm": 2.291196584701538,
      "learning_rate": 1.6611079798006862e-06,
      "loss": 1.1664737701416015,
      "step": 25550
    },
    {
      "epoch": 6.004866666666667,
      "grad_norm": 2.1547529697418213,
      "learning_rate": 1.6247640062776853e-06,
      "loss": 1.171448745727539,
      "step": 25600
    },
    {
      "epoch": 6.0065333333333335,
      "grad_norm": 2.3163843154907227,
      "learning_rate": 1.5887992570469213e-06,
      "loss": 1.124134292602539,
      "step": 25650
    },
    {
      "epoch": 6.0082,
      "grad_norm": 2.36687970161438,
      "learning_rate": 1.5532147518067913e-06,
      "loss": 1.1288784790039061,
      "step": 25700
    },
    {
      "epoch": 6.0098666666666665,
      "grad_norm": 2.190530776977539,
      "learning_rate": 1.5180114994747251e-06,
      "loss": 1.1292955780029297,
      "step": 25750
    },
    {
      "epoch": 6.011533333333333,
      "grad_norm": 2.3975346088409424,
      "learning_rate": 1.483190498158606e-06,
      "loss": 1.1214398193359374,
      "step": 25800
    },
    {
      "epoch": 6.0132,
      "grad_norm": 2.2489449977874756,
      "learning_rate": 1.4487527351284557e-06,
      "loss": 1.15248779296875,
      "step": 25850
    },
    {
      "epoch": 6.014866666666666,
      "grad_norm": 2.1485483646392822,
      "learning_rate": 1.414699186788459e-06,
      "loss": 1.1434088134765625,
      "step": 25900
    },
    {
      "epoch": 7.0002,
      "grad_norm": 2.2149617671966553,
      "learning_rate": 1.3810308186492588e-06,
      "loss": 1.2384030151367187,
      "step": 25950
    },
    {
      "epoch": 7.0018666666666665,
      "grad_norm": 1.8158613443374634,
      "learning_rate": 1.3477485853005988e-06,
      "loss": 1.1393611907958985,
      "step": 26000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.8052189350128174,
      "learning_rate": 1.3148534303842473e-06,
      "loss": 0.6258907699584961,
      "step": 26050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.859277606010437,
      "learning_rate": 1.2823462865672564e-06,
      "loss": 0.6151887893676757,
      "step": 26100
    },
    {
      "epoch": 1.005,
      "grad_norm": 1.9823532104492188,
      "learning_rate": 1.2502280755154994e-06,
      "loss": 0.5917576980590821,
      "step": 26150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 1.922063946723938,
      "learning_rate": 1.2184997078675525e-06,
      "loss": 0.5746277236938476,
      "step": 26200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 2.231234073638916,
      "learning_rate": 1.187162083208867e-06,
      "loss": 0.597679443359375,
      "step": 26250
    },
    {
      "epoch": 1.01,
      "grad_norm": 2.0167667865753174,
      "learning_rate": 1.1562160900462793e-06,
      "loss": 0.5644707489013672,
      "step": 26300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 2.836120128631592,
      "learning_rate": 1.1256626057827961e-06,
      "loss": 0.6299059677124024,
      "step": 26350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.149437665939331,
      "learning_rate": 1.0955024966927418e-06,
      "loss": 0.9067845153808594,
      "step": 26400
    },
    {
      "epoch": 1.015,
      "grad_norm": 2.1338465213775635,
      "learning_rate": 1.065736617897175e-06,
      "loss": 0.9151818084716797,
      "step": 26450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.5150409936904907,
      "learning_rate": 1.0363658133396608e-06,
      "loss": 0.8027437591552734,
      "step": 26500
    },
    {
      "epoch": 2.002066666666667,
      "grad_norm": 1.4865727424621582,
      "learning_rate": 1.0073909157623346e-06,
      "loss": 0.2347201919555664,
      "step": 26550
    },
    {
      "epoch": 2.0037333333333334,
      "grad_norm": 1.0282039642333984,
      "learning_rate": 9.788127466822905e-07,
      "loss": 0.21864686965942381,
      "step": 26600
    },
    {
      "epoch": 2.0054,
      "grad_norm": 1.0267033576965332,
      "learning_rate": 9.506321163682908e-07,
      "loss": 0.21448984146118164,
      "step": 26650
    },
    {
      "epoch": 2.0070666666666668,
      "grad_norm": 1.1616917848587036,
      "learning_rate": 9.23401560845214e-07,
      "loss": 0.22048572540283204,
      "step": 26700
    },
    {
      "epoch": 2.0087333333333333,
      "grad_norm": 1.1124871969223022,
      "learning_rate": 8.960104036060512e-07,
      "loss": 0.22924829483032227,
      "step": 26750
    },
    {
      "epoch": 2.0104,
      "grad_norm": 1.0723026990890503,
      "learning_rate": 8.690191328044084e-07,
      "loss": 0.26663469314575194,
      "step": 26800
    },
    {
      "epoch": 2.0120666666666667,
      "grad_norm": 1.8677761554718018,
      "learning_rate": 8.42428513716168e-07,
      "loss": 0.42245777130126955,
      "step": 26850
    },
    {
      "epoch": 2.013733333333333,
      "grad_norm": 1.3421262502670288,
      "learning_rate": 8.162393002576496e-07,
      "loss": 0.5923210144042969,
      "step": 26900
    },
    {
      "epoch": 2.0154,
      "grad_norm": 2.0107803344726562,
      "learning_rate": 7.904522349642312e-07,
      "loss": 0.5859238433837891,
      "step": 26950
    },
    {
      "epoch": 3.0007333333333333,
      "grad_norm": 1.6371034383773804,
      "learning_rate": 7.650680489693051e-07,
      "loss": 0.557980842590332,
      "step": 27000
    },
    {
      "epoch": 3.0024,
      "grad_norm": 1.261396050453186,
      "learning_rate": 7.400874619835291e-07,
      "loss": 0.3162060737609863,
      "step": 27050
    },
    {
      "epoch": 3.0040666666666667,
      "grad_norm": 1.6194435358047485,
      "learning_rate": 7.155111822744376e-07,
      "loss": 0.29564001083374025,
      "step": 27100
    },
    {
      "epoch": 3.005733333333333,
      "grad_norm": 1.2328189611434937,
      "learning_rate": 6.913399066463582e-07,
      "loss": 0.29919641494750976,
      "step": 27150
    },
    {
      "epoch": 3.0074,
      "grad_norm": 1.320834994316101,
      "learning_rate": 6.675743204206458e-07,
      "loss": 0.2997510528564453,
      "step": 27200
    },
    {
      "epoch": 3.0090666666666666,
      "grad_norm": 1.3888412714004517,
      "learning_rate": 6.442150974162642e-07,
      "loss": 0.28582775115966796,
      "step": 27250
    },
    {
      "epoch": 3.0107333333333335,
      "grad_norm": 1.2989741563796997,
      "learning_rate": 6.212628999306719e-07,
      "loss": 0.362674560546875,
      "step": 27300
    },
    {
      "epoch": 3.0124,
      "grad_norm": 1.8883610963821411,
      "learning_rate": 5.987183787210437e-07,
      "loss": 0.4638848876953125,
      "step": 27350
    },
    {
      "epoch": 3.0140666666666664,
      "grad_norm": 1.7672468423843384,
      "learning_rate": 5.765821729858322e-07,
      "loss": 0.6259365463256836,
      "step": 27400
    },
    {
      "epoch": 3.0157333333333334,
      "grad_norm": 1.3275811672210693,
      "learning_rate": 5.548549103466338e-07,
      "loss": 0.6669663238525391,
      "step": 27450
    },
    {
      "epoch": 4.000933333333333,
      "grad_norm": 1.4393675327301025,
      "learning_rate": 5.335372068303929e-07,
      "loss": 0.460877799987793,
      "step": 27500
    },
    {
      "epoch": 4.0026,
      "grad_norm": 1.035534381866455,
      "learning_rate": 5.126296668519426e-07,
      "loss": 0.20778966903686524,
      "step": 27550
    },
    {
      "epoch": 4.004266666666667,
      "grad_norm": 1.0742510557174683,
      "learning_rate": 4.921328831968668e-07,
      "loss": 0.22145992279052734,
      "step": 27600
    },
    {
      "epoch": 4.005933333333333,
      "grad_norm": 0.9139225482940674,
      "learning_rate": 4.7204743700468734e-07,
      "loss": 0.21092445373535157,
      "step": 27650
    },
    {
      "epoch": 4.0076,
      "grad_norm": 1.1079626083374023,
      "learning_rate": 4.5237389775239445e-07,
      "loss": 0.21827945709228516,
      "step": 27700
    },
    {
      "epoch": 4.009266666666667,
      "grad_norm": 1.6898112297058105,
      "learning_rate": 4.331128232382925e-07,
      "loss": 0.22777963638305665,
      "step": 27750
    },
    {
      "epoch": 4.010933333333333,
      "grad_norm": 1.336200475692749,
      "learning_rate": 4.142647595661969e-07,
      "loss": 0.27035619735717775,
      "step": 27800
    },
    {
      "epoch": 4.0126,
      "grad_norm": 2.4315943717956543,
      "learning_rate": 3.958302411299369e-07,
      "loss": 0.5600542068481446,
      "step": 27850
    },
    {
      "epoch": 4.014266666666667,
      "grad_norm": 2.0830955505371094,
      "learning_rate": 3.778097905982092e-07,
      "loss": 0.6118479156494141,
      "step": 27900
    },
    {
      "epoch": 4.015933333333333,
      "grad_norm": 2.0048952102661133,
      "learning_rate": 3.60203918899768e-07,
      "loss": 0.6278486251831055,
      "step": 27950
    },
    {
      "epoch": 5.0015,
      "grad_norm": 1.8044838905334473,
      "learning_rate": 3.430131252089236e-07,
      "loss": 0.5059378433227539,
      "step": 28000
    },
    {
      "epoch": 5.003166666666667,
      "grad_norm": 2.2389776706695557,
      "learning_rate": 3.2623789693140006e-07,
      "loss": 0.7381629180908204,
      "step": 28050
    },
    {
      "epoch": 5.004833333333333,
      "grad_norm": 1.718327522277832,
      "learning_rate": 3.0987870969051147e-07,
      "loss": 0.7961085510253906,
      "step": 28100
    },
    {
      "epoch": 5.0065,
      "grad_norm": 1.874211072921753,
      "learning_rate": 2.939360273136776e-07,
      "loss": 0.8100373077392579,
      "step": 28150
    },
    {
      "epoch": 5.008166666666667,
      "grad_norm": 1.6292507648468018,
      "learning_rate": 2.7871672728501106e-07,
      "loss": 0.7771754455566406,
      "step": 28200
    },
    {
      "epoch": 5.009833333333333,
      "grad_norm": 1.8408050537109375,
      "learning_rate": 2.636000466905697e-07,
      "loss": 0.8050576782226563,
      "step": 28250
    },
    {
      "epoch": 5.0115,
      "grad_norm": 1.880056619644165,
      "learning_rate": 2.489011830860577e-07,
      "loss": 0.7910971069335937,
      "step": 28300
    },
    {
      "epoch": 5.013166666666667,
      "grad_norm": 2.0853724479675293,
      "learning_rate": 2.3462055322420572e-07,
      "loss": 0.8597761535644531,
      "step": 28350
    },
    {
      "epoch": 5.014833333333334,
      "grad_norm": 1.9814640283584595,
      "learning_rate": 2.2075856199968493e-07,
      "loss": 0.8509133911132812,
      "step": 28400
    },
    {
      "epoch": 5.0165,
      "grad_norm": 5.22918176651001,
      "learning_rate": 2.0731560243761937e-07,
      "loss": 0.9620509338378906,
      "step": 28450
    },
    {
      "epoch": 6.001533333333334,
      "grad_norm": 2.324591875076294,
      "learning_rate": 1.9429205568245012e-07,
      "loss": 1.0737631225585937,
      "step": 28500
    },
    {
      "epoch": 6.0032,
      "grad_norm": 2.495436668395996,
      "learning_rate": 1.816882909871237e-07,
      "loss": 1.0971829223632812,
      "step": 28550
    },
    {
      "epoch": 6.004866666666667,
      "grad_norm": 2.3265445232391357,
      "learning_rate": 1.6950466570262223e-07,
      "loss": 1.1054248046875,
      "step": 28600
    },
    {
      "epoch": 6.0065333333333335,
      "grad_norm": 2.473598003387451,
      "learning_rate": 1.5774152526783826e-07,
      "loss": 1.0576546478271485,
      "step": 28650
    },
    {
      "epoch": 6.0082,
      "grad_norm": 2.548072576522827,
      "learning_rate": 1.463992031997724e-07,
      "loss": 1.0655419921875,
      "step": 28700
    },
    {
      "epoch": 6.0098666666666665,
      "grad_norm": 2.308596134185791,
      "learning_rate": 1.354780210840828e-07,
      "loss": 1.0685891723632812,
      "step": 28750
    },
    {
      "epoch": 6.011533333333333,
      "grad_norm": 2.5529487133026123,
      "learning_rate": 1.2497828856596228e-07,
      "loss": 1.0625331115722656,
      "step": 28800
    },
    {
      "epoch": 6.0132,
      "grad_norm": 2.527147054672241,
      "learning_rate": 1.1490030334136703e-07,
      "loss": 1.0997956848144532,
      "step": 28850
    },
    {
      "epoch": 6.014866666666666,
      "grad_norm": 2.388906240463257,
      "learning_rate": 1.0524435114856679e-07,
      "loss": 1.0955790710449218,
      "step": 28900
    },
    {
      "epoch": 7.0002,
      "grad_norm": 2.370323657989502,
      "learning_rate": 9.601070576005123e-08,
      "loss": 1.1930422210693359,
      "step": 28950
    },
    {
      "epoch": 7.0018666666666665,
      "grad_norm": 1.9059492349624634,
      "learning_rate": 8.719962897475952e-08,
      "loss": 1.0841987609863282,
      "step": 29000
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 2.007089138031006,
      "learning_rate": 7.881137061066967e-08,
      "loss": 0.64043701171875,
      "step": 29050
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 2.127192974090576,
      "learning_rate": 7.084616849770242e-08,
      "loss": 0.6587284088134766,
      "step": 29100
    },
    {
      "epoch": 1.005,
      "grad_norm": 2.225581645965576,
      "learning_rate": 6.330424847098504e-08,
      "loss": 0.6331925964355469,
      "step": 29150
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 2.0980887413024902,
      "learning_rate": 5.6185824364449744e-08,
      "loss": 0.6076303100585938,
      "step": 29200
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 2.4637224674224854,
      "learning_rate": 4.9491098004765256e-08,
      "loss": 0.6287211227416992,
      "step": 29250
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.9836453199386597,
      "learning_rate": 4.322025920561967e-08,
      "loss": 0.575589942932129,
      "step": 29300
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 2.6764419078826904,
      "learning_rate": 3.7373485762336454e-08,
      "loss": 0.6231599807739258,
      "step": 29350
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.39729905128479,
      "learning_rate": 3.19509434468318e-08,
      "loss": 0.8767373657226563,
      "step": 29400
    },
    {
      "epoch": 1.015,
      "grad_norm": 2.4006640911102295,
      "learning_rate": 2.6952786002921725e-08,
      "loss": 0.8967770385742188,
      "step": 29450
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.45648992061615,
      "learning_rate": 2.2379155141950547e-08,
      "loss": 0.7814482879638672,
      "step": 29500
    },
    {
      "epoch": 1.0016666666666667,
      "grad_norm": 1.808127522468567,
      "learning_rate": 1.8230180538784115e-08,
      "loss": 0.5795806884765625,
      "step": 29550
    },
    {
      "epoch": 1.0033333333333334,
      "grad_norm": 1.9930639266967773,
      "learning_rate": 1.4505979828129401e-08,
      "loss": 0.6081678390502929,
      "step": 29600
    },
    {
      "epoch": 1.005,
      "grad_norm": 2.1188387870788574,
      "learning_rate": 1.1206658601197185e-08,
      "loss": 0.595140495300293,
      "step": 29650
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 2.0174291133880615,
      "learning_rate": 8.332310402714427e-09,
      "loss": 0.579749412536621,
      "step": 29700
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 2.3788022994995117,
      "learning_rate": 5.883016728259749e-09,
      "loss": 0.6074051284790039,
      "step": 29750
    },
    {
      "epoch": 1.01,
      "grad_norm": 1.9448168277740479,
      "learning_rate": 3.858847021970258e-09,
      "loss": 0.5630842208862304,
      "step": 29800
    },
    {
      "epoch": 1.0116666666666667,
      "grad_norm": 2.65925669670105,
      "learning_rate": 2.25985867455647e-09,
      "loss": 0.6157372665405273,
      "step": 29850
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 2.4260473251342773,
      "learning_rate": 1.086097021681942e-09,
      "loss": 0.8739725494384766,
      "step": 29900
    },
    {
      "epoch": 1.015,
      "grad_norm": 2.43849515914917,
      "learning_rate": 3.375953426842937e-10,
      "loss": 0.8965128326416015,
      "step": 29950
    },
    {
      "epoch": 2.0004,
      "grad_norm": 1.4195460081100464,
      "learning_rate": 1.437485961597318e-11,
      "loss": 0.7812672424316406,
      "step": 30000
    }
  ],
  "logging_steps": 50,
  "max_steps": 30000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.704080406538674e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}