{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 29.995313232307453,
  "eval_steps": 500,
  "global_step": 15000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.19996875488204968,
      "grad_norm": 0.06800929456949234,
      "learning_rate": 9.933333333333334e-05,
      "loss": 1.66,
      "step": 100
    },
    {
      "epoch": 0.39993750976409936,
      "grad_norm": 0.07075967639684677,
      "learning_rate": 9.866666666666668e-05,
      "loss": 1.4581,
      "step": 200
    },
    {
      "epoch": 0.599906264646149,
      "grad_norm": 0.08595048636198044,
      "learning_rate": 9.8e-05,
      "loss": 1.4002,
      "step": 300
    },
    {
      "epoch": 0.7998750195281987,
      "grad_norm": 0.0898224264383316,
      "learning_rate": 9.733333333333335e-05,
      "loss": 1.3804,
      "step": 400
    },
    {
      "epoch": 0.9998437744102484,
      "grad_norm": 0.09610690176486969,
      "learning_rate": 9.666666666666667e-05,
      "loss": 1.3666,
      "step": 500
    },
    {
      "epoch": 0.9998437744102484,
      "eval_loss": 1.2211335897445679,
      "eval_runtime": 781.18,
      "eval_samples_per_second": 19.87,
      "eval_steps_per_second": 2.485,
      "step": 500
    },
    {
      "epoch": 1.199812529292298,
      "grad_norm": 0.10176929831504822,
      "learning_rate": 9.6e-05,
      "loss": 1.3505,
      "step": 600
    },
    {
      "epoch": 1.3997812841743478,
      "grad_norm": 0.10571713745594025,
      "learning_rate": 9.533333333333334e-05,
      "loss": 1.3431,
      "step": 700
    },
    {
      "epoch": 1.5997500390563975,
      "grad_norm": 0.11078939586877823,
      "learning_rate": 9.466666666666667e-05,
      "loss": 1.3325,
      "step": 800
    },
    {
      "epoch": 1.7997187939384471,
      "grad_norm": 0.11473137885332108,
      "learning_rate": 9.4e-05,
      "loss": 1.3273,
      "step": 900
    },
    {
      "epoch": 1.9996875488204968,
      "grad_norm": 0.11462998390197754,
      "learning_rate": 9.333333333333334e-05,
      "loss": 1.3257,
      "step": 1000
    },
    {
      "epoch": 1.9996875488204968,
      "eval_loss": 1.1889395713806152,
      "eval_runtime": 780.6658,
      "eval_samples_per_second": 19.883,
      "eval_steps_per_second": 2.486,
      "step": 1000
    },
    {
      "epoch": 2.1996563037025463,
      "grad_norm": 0.1258271187543869,
      "learning_rate": 9.266666666666666e-05,
      "loss": 1.3204,
      "step": 1100
    },
    {
      "epoch": 2.399625058584596,
      "grad_norm": 0.12556926906108856,
      "learning_rate": 9.200000000000001e-05,
      "loss": 1.3134,
      "step": 1200
    },
    {
      "epoch": 2.5995938134666456,
      "grad_norm": 0.12833993136882782,
      "learning_rate": 9.133333333333334e-05,
      "loss": 1.3161,
      "step": 1300
    },
    {
      "epoch": 2.7995625683486955,
      "grad_norm": 0.13487331569194794,
      "learning_rate": 9.066666666666667e-05,
      "loss": 1.3047,
      "step": 1400
    },
    {
      "epoch": 2.9995313232307454,
      "grad_norm": 0.13826213777065277,
      "learning_rate": 9e-05,
      "loss": 1.3061,
      "step": 1500
    },
    {
      "epoch": 2.9995313232307454,
      "eval_loss": 1.1681571006774902,
      "eval_runtime": 781.2456,
      "eval_samples_per_second": 19.868,
      "eval_steps_per_second": 2.484,
      "step": 1500
    },
    {
      "epoch": 3.199500078112795,
      "grad_norm": 0.1341802030801773,
      "learning_rate": 8.933333333333334e-05,
      "loss": 1.3093,
      "step": 1600
    },
    {
      "epoch": 3.3994688329948444,
      "grad_norm": 0.13981318473815918,
      "learning_rate": 8.866666666666668e-05,
      "loss": 1.3045,
      "step": 1700
    },
    {
      "epoch": 3.5994375878768943,
      "grad_norm": 0.1482376754283905,
      "learning_rate": 8.800000000000001e-05,
      "loss": 1.2961,
      "step": 1800
    },
    {
      "epoch": 3.799406342758944,
      "grad_norm": 0.13838326930999756,
      "learning_rate": 8.733333333333333e-05,
      "loss": 1.2946,
      "step": 1900
    },
    {
      "epoch": 3.9993750976409936,
      "grad_norm": 0.14230142533779144,
      "learning_rate": 8.666666666666667e-05,
      "loss": 1.2953,
      "step": 2000
    },
    {
      "epoch": 3.9993750976409936,
      "eval_loss": 1.1589070558547974,
      "eval_runtime": 780.349,
      "eval_samples_per_second": 19.891,
      "eval_steps_per_second": 2.487,
      "step": 2000
    },
    {
      "epoch": 4.199343852523043,
      "grad_norm": 0.14762505888938904,
      "learning_rate": 8.6e-05,
      "loss": 1.2963,
      "step": 2100
    },
    {
      "epoch": 4.399312607405093,
      "grad_norm": 0.15457451343536377,
      "learning_rate": 8.533333333333334e-05,
      "loss": 1.294,
      "step": 2200
    },
    {
      "epoch": 4.599281362287143,
      "grad_norm": 0.16069631278514862,
      "learning_rate": 8.466666666666667e-05,
      "loss": 1.2912,
      "step": 2300
    },
    {
      "epoch": 4.799250117169192,
      "grad_norm": 0.15591269731521606,
      "learning_rate": 8.4e-05,
      "loss": 1.2801,
      "step": 2400
    },
    {
      "epoch": 4.999218872051242,
      "grad_norm": 0.14972414076328278,
      "learning_rate": 8.333333333333334e-05,
      "loss": 1.2854,
      "step": 2500
    },
    {
      "epoch": 4.999218872051242,
      "eval_loss": 1.1568653583526611,
      "eval_runtime": 780.3841,
      "eval_samples_per_second": 19.89,
      "eval_steps_per_second": 2.487,
      "step": 2500
    },
    {
      "epoch": 5.199187626933291,
      "grad_norm": 0.1629934012889862,
      "learning_rate": 8.266666666666667e-05,
      "loss": 1.2835,
      "step": 2600
    },
    {
      "epoch": 5.399156381815342,
      "grad_norm": 0.1629839390516281,
      "learning_rate": 8.2e-05,
      "loss": 1.2805,
      "step": 2700
    },
    {
      "epoch": 5.599125136697391,
      "grad_norm": 0.15919053554534912,
      "learning_rate": 8.133333333333334e-05,
      "loss": 1.279,
      "step": 2800
    },
    {
      "epoch": 5.7990938915794406,
      "grad_norm": 0.17068877816200256,
      "learning_rate": 8.066666666666667e-05,
      "loss": 1.2726,
      "step": 2900
    },
    {
      "epoch": 5.99906264646149,
      "grad_norm": 0.16409236192703247,
      "learning_rate": 8e-05,
      "loss": 1.2727,
      "step": 3000
    },
    {
      "epoch": 5.99906264646149,
      "eval_loss": 1.1620852947235107,
      "eval_runtime": 779.854,
      "eval_samples_per_second": 19.904,
      "eval_steps_per_second": 2.489,
      "step": 3000
    },
    {
      "epoch": 6.19903140134354,
      "grad_norm": 0.1689419448375702,
      "learning_rate": 7.933333333333334e-05,
      "loss": 1.2739,
      "step": 3100
    },
    {
      "epoch": 6.39900015622559,
      "grad_norm": 0.18602177500724792,
      "learning_rate": 7.866666666666666e-05,
      "loss": 1.2743,
      "step": 3200
    },
    {
      "epoch": 6.598968911107639,
      "grad_norm": 0.16894273459911346,
      "learning_rate": 7.800000000000001e-05,
      "loss": 1.2662,
      "step": 3300
    },
    {
      "epoch": 6.798937665989689,
      "grad_norm": 0.1722390055656433,
      "learning_rate": 7.733333333333333e-05,
      "loss": 1.2685,
      "step": 3400
    },
    {
      "epoch": 6.998906420871739,
      "grad_norm": 0.16717413067817688,
      "learning_rate": 7.666666666666667e-05,
      "loss": 1.2713,
      "step": 3500
    },
    {
      "epoch": 6.998906420871739,
      "eval_loss": 1.1368179321289062,
      "eval_runtime": 780.0179,
      "eval_samples_per_second": 19.9,
      "eval_steps_per_second": 2.488,
      "step": 3500
    },
    {
      "epoch": 7.1988751757537885,
      "grad_norm": 0.17379523813724518,
      "learning_rate": 7.6e-05,
      "loss": 1.2688,
      "step": 3600
    },
    {
      "epoch": 7.398843930635838,
      "grad_norm": 0.18176878988742828,
      "learning_rate": 7.533333333333334e-05,
      "loss": 1.2622,
      "step": 3700
    },
    {
      "epoch": 7.5988126855178875,
      "grad_norm": 0.17899934947490692,
      "learning_rate": 7.466666666666667e-05,
      "loss": 1.266,
      "step": 3800
    },
    {
      "epoch": 7.798781440399938,
      "grad_norm": 0.17816804349422455,
      "learning_rate": 7.4e-05,
      "loss": 1.2611,
      "step": 3900
    },
    {
      "epoch": 7.998750195281987,
      "grad_norm": 0.18334655463695526,
      "learning_rate": 7.333333333333333e-05,
      "loss": 1.2651,
      "step": 4000
    },
    {
      "epoch": 7.998750195281987,
      "eval_loss": 1.1447893381118774,
      "eval_runtime": 781.963,
      "eval_samples_per_second": 19.85,
      "eval_steps_per_second": 2.482,
      "step": 4000
    },
    {
      "epoch": 8.198718950164038,
      "grad_norm": 0.18043838441371918,
      "learning_rate": 7.266666666666667e-05,
      "loss": 1.2639,
      "step": 4100
    },
    {
      "epoch": 8.398687705046086,
      "grad_norm": 0.184415802359581,
      "learning_rate": 7.2e-05,
      "loss": 1.2657,
      "step": 4200
    },
    {
      "epoch": 8.598656459928137,
      "grad_norm": 0.26178649067878723,
      "learning_rate": 7.133333333333334e-05,
      "loss": 1.2594,
      "step": 4300
    },
    {
      "epoch": 8.798625214810185,
      "grad_norm": 0.19417451322078705,
      "learning_rate": 7.066666666666667e-05,
      "loss": 1.2548,
      "step": 4400
    },
    {
      "epoch": 8.998593969692235,
      "grad_norm": 0.19095982611179352,
      "learning_rate": 7e-05,
      "loss": 1.2566,
      "step": 4500
    },
    {
      "epoch": 8.998593969692235,
      "eval_loss": 1.1331112384796143,
      "eval_runtime": 782.1504,
      "eval_samples_per_second": 19.845,
      "eval_steps_per_second": 2.482,
      "step": 4500
    },
    {
      "epoch": 9.198562724574286,
      "grad_norm": 0.189661905169487,
      "learning_rate": 6.933333333333334e-05,
      "loss": 1.2599,
      "step": 4600
    },
    {
      "epoch": 9.398531479456334,
      "grad_norm": 0.19702570140361786,
      "learning_rate": 6.866666666666666e-05,
      "loss": 1.2603,
      "step": 4700
    },
    {
      "epoch": 9.598500234338385,
      "grad_norm": 0.18435333669185638,
      "learning_rate": 6.800000000000001e-05,
      "loss": 1.2519,
      "step": 4800
    },
    {
      "epoch": 9.798468989220435,
      "grad_norm": 0.18754470348358154,
      "learning_rate": 6.733333333333333e-05,
      "loss": 1.2581,
      "step": 4900
    },
    {
      "epoch": 9.998437744102484,
      "grad_norm": 0.1944326013326645,
      "learning_rate": 6.666666666666667e-05,
      "loss": 1.2515,
      "step": 5000
    },
    {
      "epoch": 9.998437744102484,
      "eval_loss": 1.1215333938598633,
      "eval_runtime": 779.443,
      "eval_samples_per_second": 19.914,
      "eval_steps_per_second": 2.49,
      "step": 5000
    },
    {
      "epoch": 10.198406498984534,
      "grad_norm": 0.19540326297283173,
      "learning_rate": 6.6e-05,
      "loss": 1.2515,
      "step": 5100
    },
    {
      "epoch": 10.398375253866583,
      "grad_norm": 0.19390232861042023,
      "learning_rate": 6.533333333333334e-05,
      "loss": 1.2466,
      "step": 5200
    },
    {
      "epoch": 10.598344008748633,
      "grad_norm": 0.19761793315410614,
      "learning_rate": 6.466666666666666e-05,
      "loss": 1.2471,
      "step": 5300
    },
    {
      "epoch": 10.798312763630683,
      "grad_norm": 0.20083682239055634,
      "learning_rate": 6.400000000000001e-05,
      "loss": 1.2461,
      "step": 5400
    },
    {
      "epoch": 10.998281518512732,
      "grad_norm": 0.20144224166870117,
      "learning_rate": 6.333333333333333e-05,
      "loss": 1.2468,
      "step": 5500
    },
    {
      "epoch": 10.998281518512732,
      "eval_loss": 1.112711787223816,
      "eval_runtime": 780.4643,
      "eval_samples_per_second": 19.888,
      "eval_steps_per_second": 2.487,
      "step": 5500
    },
    {
      "epoch": 11.198250273394782,
      "grad_norm": 0.20055556297302246,
      "learning_rate": 6.266666666666667e-05,
      "loss": 1.2421,
      "step": 5600
    },
    {
      "epoch": 11.398219028276833,
      "grad_norm": 0.20075921714305878,
      "learning_rate": 6.2e-05,
      "loss": 1.2485,
      "step": 5700
    },
    {
      "epoch": 11.598187783158881,
      "grad_norm": 0.20710080862045288,
      "learning_rate": 6.133333333333334e-05,
      "loss": 1.2441,
      "step": 5800
    },
    {
      "epoch": 11.798156538040931,
      "grad_norm": 0.19492241740226746,
      "learning_rate": 6.066666666666667e-05,
      "loss": 1.25,
      "step": 5900
    },
    {
      "epoch": 11.99812529292298,
      "grad_norm": 0.20437301695346832,
      "learning_rate": 6e-05,
      "loss": 1.2491,
      "step": 6000
    },
    {
      "epoch": 11.99812529292298,
      "eval_loss": 1.128514289855957,
      "eval_runtime": 781.5324,
      "eval_samples_per_second": 19.861,
      "eval_steps_per_second": 2.484,
      "step": 6000
    },
    {
      "epoch": 12.19809404780503,
      "grad_norm": 0.20758041739463806,
      "learning_rate": 5.9333333333333343e-05,
      "loss": 1.2475,
      "step": 6100
    },
    {
      "epoch": 12.39806280268708,
      "grad_norm": 0.21070446074008942,
      "learning_rate": 5.866666666666667e-05,
      "loss": 1.2458,
      "step": 6200
    },
    {
      "epoch": 12.59803155756913,
      "grad_norm": 0.1970139741897583,
      "learning_rate": 5.8e-05,
      "loss": 1.2423,
      "step": 6300
    },
    {
      "epoch": 12.79800031245118,
      "grad_norm": 0.2171526849269867,
      "learning_rate": 5.7333333333333336e-05,
      "loss": 1.2384,
      "step": 6400
    },
    {
      "epoch": 12.99796906733323,
      "grad_norm": 0.21207907795906067,
      "learning_rate": 5.666666666666667e-05,
      "loss": 1.2415,
      "step": 6500
    },
    {
      "epoch": 12.99796906733323,
      "eval_loss": 1.1073068380355835,
      "eval_runtime": 779.3448,
      "eval_samples_per_second": 19.917,
      "eval_steps_per_second": 2.491,
      "step": 6500
    },
    {
      "epoch": 13.197937822215279,
      "grad_norm": 0.20639556646347046,
      "learning_rate": 5.6000000000000006e-05,
      "loss": 1.2461,
      "step": 6600
    },
    {
      "epoch": 13.397906577097329,
      "grad_norm": 0.2096029669046402,
      "learning_rate": 5.5333333333333334e-05,
      "loss": 1.2431,
      "step": 6700
    },
    {
      "epoch": 13.597875331979377,
      "grad_norm": 0.20601199567317963,
      "learning_rate": 5.466666666666666e-05,
      "loss": 1.2365,
      "step": 6800
    },
    {
      "epoch": 13.797844086861428,
      "grad_norm": 0.20576031506061554,
      "learning_rate": 5.4000000000000005e-05,
      "loss": 1.236,
      "step": 6900
    },
    {
      "epoch": 13.997812841743478,
      "grad_norm": 0.22089041769504547,
      "learning_rate": 5.333333333333333e-05,
      "loss": 1.242,
      "step": 7000
    },
    {
      "epoch": 13.997812841743478,
      "eval_loss": 1.1090010404586792,
      "eval_runtime": 781.1131,
      "eval_samples_per_second": 19.872,
      "eval_steps_per_second": 2.485,
      "step": 7000
    },
    {
      "epoch": 14.197781596625527,
      "grad_norm": 0.21237194538116455,
      "learning_rate": 5.266666666666666e-05,
      "loss": 1.2406,
      "step": 7100
    },
    {
      "epoch": 14.397750351507577,
      "grad_norm": 0.22387249767780304,
      "learning_rate": 5.2000000000000004e-05,
      "loss": 1.2395,
      "step": 7200
    },
    {
      "epoch": 14.597719106389627,
      "grad_norm": 0.2192169427871704,
      "learning_rate": 5.133333333333333e-05,
      "loss": 1.2374,
      "step": 7300
    },
    {
      "epoch": 14.797687861271676,
      "grad_norm": 0.21324670314788818,
      "learning_rate": 5.0666666666666674e-05,
      "loss": 1.2382,
      "step": 7400
    },
    {
      "epoch": 14.997656616153726,
      "grad_norm": 0.21565145254135132,
      "learning_rate": 5e-05,
      "loss": 1.2337,
      "step": 7500
    },
    {
      "epoch": 14.997656616153726,
      "eval_loss": 1.102397084236145,
      "eval_runtime": 781.6511,
      "eval_samples_per_second": 19.858,
      "eval_steps_per_second": 2.483,
      "step": 7500
    },
    {
      "epoch": 15.197625371035775,
      "grad_norm": 0.20735445618629456,
      "learning_rate": 4.933333333333334e-05,
      "loss": 1.2353,
      "step": 7600
    },
    {
      "epoch": 15.397594125917825,
      "grad_norm": 0.2148446887731552,
      "learning_rate": 4.866666666666667e-05,
      "loss": 1.2372,
      "step": 7700
    },
    {
      "epoch": 15.597562880799876,
      "grad_norm": 0.22396279871463776,
      "learning_rate": 4.8e-05,
      "loss": 1.234,
      "step": 7800
    },
    {
      "epoch": 15.797531635681924,
      "grad_norm": 0.22062599658966064,
      "learning_rate": 4.7333333333333336e-05,
      "loss": 1.2317,
      "step": 7900
    },
    {
      "epoch": 15.997500390563975,
      "grad_norm": 0.22215193510055542,
      "learning_rate": 4.666666666666667e-05,
      "loss": 1.2302,
      "step": 8000
    },
    {
      "epoch": 15.997500390563975,
      "eval_loss": 1.1039363145828247,
      "eval_runtime": 781.5664,
      "eval_samples_per_second": 19.86,
      "eval_steps_per_second": 2.483,
      "step": 8000
    },
    {
      "epoch": 16.197469145446025,
      "grad_norm": 0.21470457315444946,
      "learning_rate": 4.600000000000001e-05,
      "loss": 1.2356,
      "step": 8100
    },
    {
      "epoch": 16.397437900328075,
      "grad_norm": 0.23483353853225708,
      "learning_rate": 4.5333333333333335e-05,
      "loss": 1.2298,
      "step": 8200
    },
    {
      "epoch": 16.597406655210122,
      "grad_norm": 0.22766882181167603,
      "learning_rate": 4.466666666666667e-05,
      "loss": 1.2344,
      "step": 8300
    },
    {
      "epoch": 16.797375410092172,
      "grad_norm": 0.21805354952812195,
      "learning_rate": 4.4000000000000006e-05,
      "loss": 1.2349,
      "step": 8400
    },
    {
      "epoch": 16.997344164974223,
      "grad_norm": 0.22797927260398865,
      "learning_rate": 4.3333333333333334e-05,
      "loss": 1.2311,
      "step": 8500
    },
    {
      "epoch": 16.997344164974223,
      "eval_loss": 1.1013116836547852,
      "eval_runtime": 780.8183,
      "eval_samples_per_second": 19.879,
      "eval_steps_per_second": 2.486,
      "step": 8500
    },
    {
      "epoch": 17.197312919856273,
      "grad_norm": 0.2302340865135193,
      "learning_rate": 4.266666666666667e-05,
      "loss": 1.2303,
      "step": 8600
    },
    {
      "epoch": 17.397281674738323,
      "grad_norm": 0.23100897669792175,
      "learning_rate": 4.2e-05,
      "loss": 1.2371,
      "step": 8700
    },
    {
      "epoch": 17.59725042962037,
      "grad_norm": 0.23766712844371796,
      "learning_rate": 4.133333333333333e-05,
      "loss": 1.2307,
      "step": 8800
    },
    {
      "epoch": 17.79721918450242,
      "grad_norm": 0.23070693016052246,
      "learning_rate": 4.066666666666667e-05,
      "loss": 1.2278,
      "step": 8900
    },
    {
      "epoch": 17.99718793938447,
      "grad_norm": 0.22143380343914032,
      "learning_rate": 4e-05,
      "loss": 1.229,
      "step": 9000
    },
    {
      "epoch": 17.99718793938447,
      "eval_loss": 1.1009384393692017,
      "eval_runtime": 781.433,
      "eval_samples_per_second": 19.864,
      "eval_steps_per_second": 2.484,
      "step": 9000
    },
    {
      "epoch": 18.19715669426652,
      "grad_norm": 0.21790316700935364,
      "learning_rate": 3.933333333333333e-05,
      "loss": 1.2269,
      "step": 9100
    },
    {
      "epoch": 18.39712544914857,
      "grad_norm": 0.21506337821483612,
      "learning_rate": 3.866666666666667e-05,
      "loss": 1.2289,
      "step": 9200
    },
    {
      "epoch": 18.59709420403062,
      "grad_norm": 0.23324058949947357,
      "learning_rate": 3.8e-05,
      "loss": 1.2308,
      "step": 9300
    },
    {
      "epoch": 18.79706295891267,
      "grad_norm": 0.23792578279972076,
      "learning_rate": 3.733333333333334e-05,
      "loss": 1.2278,
      "step": 9400
    },
    {
      "epoch": 18.99703171379472,
      "grad_norm": 0.2299690842628479,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 1.223,
      "step": 9500
    },
    {
      "epoch": 18.99703171379472,
      "eval_loss": 1.1021497249603271,
      "eval_runtime": 781.5015,
      "eval_samples_per_second": 19.862,
      "eval_steps_per_second": 2.484,
      "step": 9500
    },
    {
      "epoch": 19.19700046867677,
      "grad_norm": 0.23651447892189026,
      "learning_rate": 3.6e-05,
      "loss": 1.2228,
      "step": 9600
    },
    {
      "epoch": 19.39696922355882,
      "grad_norm": 0.24351443350315094,
      "learning_rate": 3.5333333333333336e-05,
      "loss": 1.227,
      "step": 9700
    },
    {
      "epoch": 19.59693797844087,
      "grad_norm": 0.2371227890253067,
      "learning_rate": 3.466666666666667e-05,
      "loss": 1.2268,
      "step": 9800
    },
    {
      "epoch": 19.796906733322917,
      "grad_norm": 0.2173725664615631,
      "learning_rate": 3.4000000000000007e-05,
      "loss": 1.2232,
      "step": 9900
    },
    {
      "epoch": 19.996875488204967,
      "grad_norm": 0.24202196300029755,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.2213,
      "step": 10000
    },
    {
      "epoch": 19.996875488204967,
      "eval_loss": 1.0894185304641724,
      "eval_runtime": 781.2073,
      "eval_samples_per_second": 19.869,
      "eval_steps_per_second": 2.485,
      "step": 10000
    },
    {
      "epoch": 20.196844243087018,
      "grad_norm": 0.23550644516944885,
      "learning_rate": 3.266666666666667e-05,
      "loss": 1.2207,
      "step": 10100
    },
    {
      "epoch": 20.396812997969068,
      "grad_norm": 0.22665788233280182,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 1.2271,
      "step": 10200
    },
    {
      "epoch": 20.59678175285112,
      "grad_norm": 0.23765605688095093,
      "learning_rate": 3.1333333333333334e-05,
      "loss": 1.2212,
      "step": 10300
    },
    {
      "epoch": 20.796750507733165,
      "grad_norm": 0.22791534662246704,
      "learning_rate": 3.066666666666667e-05,
      "loss": 1.2268,
      "step": 10400
    },
    {
      "epoch": 20.996719262615215,
      "grad_norm": 0.23103660345077515,
      "learning_rate": 3e-05,
      "loss": 1.2219,
      "step": 10500
    },
    {
      "epoch": 20.996719262615215,
      "eval_loss": 1.1070313453674316,
      "eval_runtime": 781.5944,
      "eval_samples_per_second": 19.859,
      "eval_steps_per_second": 2.483,
      "step": 10500
    },
    {
      "epoch": 21.196688017497266,
      "grad_norm": 0.2408709079027176,
      "learning_rate": 2.9333333333333336e-05,
      "loss": 1.2215,
      "step": 10600
    },
    {
      "epoch": 21.396656772379316,
      "grad_norm": 0.2331283688545227,
      "learning_rate": 2.8666666666666668e-05,
      "loss": 1.2249,
      "step": 10700
    },
    {
      "epoch": 21.596625527261367,
      "grad_norm": 0.2316213697195053,
      "learning_rate": 2.8000000000000003e-05,
      "loss": 1.2222,
      "step": 10800
    },
    {
      "epoch": 21.796594282143417,
      "grad_norm": 0.2397545576095581,
      "learning_rate": 2.733333333333333e-05,
      "loss": 1.2294,
      "step": 10900
    },
    {
      "epoch": 21.996563037025464,
      "grad_norm": 0.245674729347229,
      "learning_rate": 2.6666666666666667e-05,
      "loss": 1.2217,
      "step": 11000
    },
    {
      "epoch": 21.996563037025464,
      "eval_loss": 1.092257022857666,
      "eval_runtime": 780.2283,
      "eval_samples_per_second": 19.894,
      "eval_steps_per_second": 2.488,
      "step": 11000
    },
    {
      "epoch": 22.196531791907514,
      "grad_norm": 0.24070052802562714,
      "learning_rate": 2.6000000000000002e-05,
      "loss": 1.2256,
      "step": 11100
    },
    {
      "epoch": 22.396500546789564,
      "grad_norm": 0.24903209507465363,
      "learning_rate": 2.5333333333333337e-05,
      "loss": 1.2206,
      "step": 11200
    },
    {
      "epoch": 22.596469301671615,
      "grad_norm": 0.22408048808574677,
      "learning_rate": 2.466666666666667e-05,
      "loss": 1.2219,
      "step": 11300
    },
    {
      "epoch": 22.796438056553665,
      "grad_norm": 0.23605312407016754,
      "learning_rate": 2.4e-05,
      "loss": 1.2221,
      "step": 11400
    },
    {
      "epoch": 22.996406811435712,
      "grad_norm": 0.24230831861495972,
      "learning_rate": 2.3333333333333336e-05,
      "loss": 1.2226,
      "step": 11500
    },
    {
      "epoch": 22.996406811435712,
      "eval_loss": 1.1027547121047974,
      "eval_runtime": 779.9282,
      "eval_samples_per_second": 19.902,
      "eval_steps_per_second": 2.489,
      "step": 11500
    },
    {
      "epoch": 23.196375566317762,
      "grad_norm": 0.2390895038843155,
      "learning_rate": 2.2666666666666668e-05,
      "loss": 1.224,
      "step": 11600
    },
    {
      "epoch": 23.396344321199813,
      "grad_norm": 0.23398549854755402,
      "learning_rate": 2.2000000000000003e-05,
      "loss": 1.2218,
      "step": 11700
    },
    {
      "epoch": 23.596313076081863,
      "grad_norm": 0.2434803992509842,
      "learning_rate": 2.1333333333333335e-05,
      "loss": 1.224,
      "step": 11800
    },
    {
      "epoch": 23.796281830963913,
      "grad_norm": 0.244966521859169,
      "learning_rate": 2.0666666666666666e-05,
      "loss": 1.2247,
      "step": 11900
    },
    {
      "epoch": 23.99625058584596,
      "grad_norm": 0.2477530688047409,
      "learning_rate": 2e-05,
      "loss": 1.2161,
      "step": 12000
    },
    {
      "epoch": 23.99625058584596,
      "eval_loss": 1.0947577953338623,
      "eval_runtime": 781.3136,
      "eval_samples_per_second": 19.867,
      "eval_steps_per_second": 2.484,
      "step": 12000
    },
    {
      "epoch": 24.19621934072801,
      "grad_norm": 0.24265432357788086,
      "learning_rate": 1.9333333333333333e-05,
      "loss": 1.22,
      "step": 12100
    },
    {
      "epoch": 24.39618809561006,
      "grad_norm": 0.23374997079372406,
      "learning_rate": 1.866666666666667e-05,
      "loss": 1.2256,
      "step": 12200
    },
    {
      "epoch": 24.59615685049211,
      "grad_norm": 0.24531888961791992,
      "learning_rate": 1.8e-05,
      "loss": 1.2227,
      "step": 12300
    },
    {
      "epoch": 24.79612560537416,
      "grad_norm": 0.23044925928115845,
      "learning_rate": 1.7333333333333336e-05,
      "loss": 1.2215,
      "step": 12400
    },
    {
      "epoch": 24.99609436025621,
      "grad_norm": 0.24221302568912506,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 1.2257,
      "step": 12500
    },
    {
      "epoch": 24.99609436025621,
      "eval_loss": 1.1003334522247314,
      "eval_runtime": 782.6561,
      "eval_samples_per_second": 19.832,
      "eval_steps_per_second": 2.48,
      "step": 12500
    },
    {
      "epoch": 25.19606311513826,
      "grad_norm": 0.2269056737422943,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 1.2214,
      "step": 12600
    },
    {
      "epoch": 25.39603187002031,
      "grad_norm": 0.23873771727085114,
      "learning_rate": 1.5333333333333334e-05,
      "loss": 1.2228,
      "step": 12700
    },
    {
      "epoch": 25.59600062490236,
      "grad_norm": 0.23447927832603455,
      "learning_rate": 1.4666666666666668e-05,
      "loss": 1.2125,
      "step": 12800
    },
    {
      "epoch": 25.79596937978441,
      "grad_norm": 0.23669584095478058,
      "learning_rate": 1.4000000000000001e-05,
      "loss": 1.2223,
      "step": 12900
    },
    {
      "epoch": 25.99593813466646,
      "grad_norm": 0.25148263573646545,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 1.2142,
      "step": 13000
    },
    {
      "epoch": 25.99593813466646,
      "eval_loss": 1.0822358131408691,
      "eval_runtime": 781.57,
      "eval_samples_per_second": 19.86,
      "eval_steps_per_second": 2.483,
      "step": 13000
    },
    {
      "epoch": 26.195906889548507,
      "grad_norm": 0.2401517629623413,
      "learning_rate": 1.2666666666666668e-05,
      "loss": 1.2183,
      "step": 13100
    },
    {
      "epoch": 26.395875644430557,
      "grad_norm": 0.2405146360397339,
      "learning_rate": 1.2e-05,
      "loss": 1.2179,
      "step": 13200
    },
    {
      "epoch": 26.595844399312607,
      "grad_norm": 0.25216609239578247,
      "learning_rate": 1.1333333333333334e-05,
      "loss": 1.2237,
      "step": 13300
    },
    {
      "epoch": 26.795813154194658,
      "grad_norm": 0.24814079701900482,
      "learning_rate": 1.0666666666666667e-05,
      "loss": 1.2186,
      "step": 13400
    },
    {
      "epoch": 26.995781909076708,
      "grad_norm": 0.24657221138477325,
      "learning_rate": 1e-05,
      "loss": 1.2211,
      "step": 13500
    },
    {
      "epoch": 26.995781909076708,
      "eval_loss": 1.0853413343429565,
      "eval_runtime": 779.9076,
      "eval_samples_per_second": 19.902,
      "eval_steps_per_second": 2.489,
      "step": 13500
    },
    {
      "epoch": 27.195750663958755,
      "grad_norm": 0.2545396685600281,
      "learning_rate": 9.333333333333334e-06,
      "loss": 1.2217,
      "step": 13600
    },
    {
      "epoch": 27.395719418840805,
      "grad_norm": 0.25391411781311035,
      "learning_rate": 8.666666666666668e-06,
      "loss": 1.2178,
      "step": 13700
    },
    {
      "epoch": 27.595688173722856,
      "grad_norm": 0.24631735682487488,
      "learning_rate": 8.000000000000001e-06,
      "loss": 1.2223,
      "step": 13800
    },
    {
      "epoch": 27.795656928604906,
      "grad_norm": 0.24099507927894592,
      "learning_rate": 7.333333333333334e-06,
      "loss": 1.2157,
      "step": 13900
    },
    {
      "epoch": 27.995625683486956,
      "grad_norm": 0.2475418895483017,
      "learning_rate": 6.666666666666667e-06,
      "loss": 1.2175,
      "step": 14000
    },
    {
      "epoch": 27.995625683486956,
      "eval_loss": 1.0951762199401855,
      "eval_runtime": 781.5447,
      "eval_samples_per_second": 19.861,
      "eval_steps_per_second": 2.484,
      "step": 14000
    },
    {
      "epoch": 28.195594438369003,
      "grad_norm": 0.2455308735370636,
      "learning_rate": 6e-06,
      "loss": 1.2172,
      "step": 14100
    },
    {
      "epoch": 28.395563193251053,
      "grad_norm": 0.2334292083978653,
      "learning_rate": 5.333333333333334e-06,
      "loss": 1.2236,
      "step": 14200
    },
    {
      "epoch": 28.595531948133104,
      "grad_norm": 0.23820115625858307,
      "learning_rate": 4.666666666666667e-06,
      "loss": 1.2149,
      "step": 14300
    },
    {
      "epoch": 28.795500703015154,
      "grad_norm": 0.25057491660118103,
      "learning_rate": 4.000000000000001e-06,
      "loss": 1.2207,
      "step": 14400
    },
    {
      "epoch": 28.995469457897205,
      "grad_norm": 0.24009475111961365,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 1.2157,
      "step": 14500
    },
    {
      "epoch": 28.995469457897205,
      "eval_loss": 1.0933923721313477,
      "eval_runtime": 779.8849,
      "eval_samples_per_second": 19.903,
      "eval_steps_per_second": 2.489,
      "step": 14500
    },
    {
      "epoch": 29.195438212779255,
      "grad_norm": 0.24403980374336243,
      "learning_rate": 2.666666666666667e-06,
      "loss": 1.2162,
      "step": 14600
    },
    {
      "epoch": 29.3954069676613,
      "grad_norm": 0.2399660050868988,
      "learning_rate": 2.0000000000000003e-06,
      "loss": 1.2179,
      "step": 14700
    },
    {
      "epoch": 29.595375722543352,
      "grad_norm": 0.23738054931163788,
      "learning_rate": 1.3333333333333334e-06,
      "loss": 1.2181,
      "step": 14800
    },
    {
      "epoch": 29.795344477425402,
      "grad_norm": 0.24452446401119232,
      "learning_rate": 6.666666666666667e-07,
      "loss": 1.2187,
      "step": 14900
    },
    {
      "epoch": 29.995313232307453,
      "grad_norm": 0.2524297833442688,
      "learning_rate": 0.0,
      "loss": 1.2169,
      "step": 15000
    },
    {
      "epoch": 29.995313232307453,
      "eval_loss": 1.1003856658935547,
      "eval_runtime": 781.9983,
      "eval_samples_per_second": 19.849,
      "eval_steps_per_second": 2.482,
      "step": 15000
    }
  ],
  "logging_steps": 100,
  "max_steps": 15000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 30,
  "save_steps": 100,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.341098012898702e+19,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}