{
  "best_metric": 95.33333333333333,
  "best_model_checkpoint": "../results/phrase_retrieval/PR-pass/qa/mpsDistillbert/finetuned/checkpoint-4500",
  "epoch": 2.0,
  "eval_steps": 100,
  "global_step": 5068,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.03946329913180742,
      "grad_norm": 67.25347137451172,
      "learning_rate": 2.940805051302289e-05,
      "loss": 2.8412,
      "step": 100
    },
    {
      "epoch": 0.03946329913180742,
      "eval_exact_match": 69.43333333333334,
      "eval_f1": 73.48511445732589,
      "step": 100
    },
    {
      "epoch": 0.07892659826361484,
      "grad_norm": 28.299945831298828,
      "learning_rate": 2.8816101026045778e-05,
      "loss": 0.7987,
      "step": 200
    },
    {
      "epoch": 0.07892659826361484,
      "eval_exact_match": 85.1,
      "eval_f1": 88.92439170564563,
      "step": 200
    },
    {
      "epoch": 0.11838989739542226,
      "grad_norm": 35.28098678588867,
      "learning_rate": 2.8224151539068667e-05,
      "loss": 0.6134,
      "step": 300
    },
    {
      "epoch": 0.11838989739542226,
      "eval_exact_match": 89.56666666666666,
      "eval_f1": 92.56194565862985,
      "step": 300
    },
    {
      "epoch": 0.15785319652722968,
      "grad_norm": 28.96463966369629,
      "learning_rate": 2.7632202052091556e-05,
      "loss": 0.4986,
      "step": 400
    },
    {
      "epoch": 0.15785319652722968,
      "eval_exact_match": 89.2,
      "eval_f1": 91.95230270592397,
      "step": 400
    },
    {
      "epoch": 0.19731649565903708,
      "grad_norm": 59.035316467285156,
      "learning_rate": 2.7040252565114444e-05,
      "loss": 0.5004,
      "step": 500
    },
    {
      "epoch": 0.19731649565903708,
      "eval_exact_match": 89.96666666666667,
      "eval_f1": 92.31457766489807,
      "step": 500
    },
    {
      "epoch": 0.23677979479084452,
      "grad_norm": 21.016122817993164,
      "learning_rate": 2.6448303078137333e-05,
      "loss": 0.4413,
      "step": 600
    },
    {
      "epoch": 0.23677979479084452,
      "eval_exact_match": 91.33333333333333,
      "eval_f1": 93.73205210366977,
      "step": 600
    },
    {
      "epoch": 0.27624309392265195,
      "grad_norm": 50.69818878173828,
      "learning_rate": 2.585635359116022e-05,
      "loss": 0.3997,
      "step": 700
    },
    {
      "epoch": 0.27624309392265195,
      "eval_exact_match": 92.1,
      "eval_f1": 94.01741907702439,
      "step": 700
    },
    {
      "epoch": 0.31570639305445936,
      "grad_norm": 103.70169067382812,
      "learning_rate": 2.5264404104183114e-05,
      "loss": 0.3915,
      "step": 800
    },
    {
      "epoch": 0.31570639305445936,
      "eval_exact_match": 91.03333333333333,
      "eval_f1": 93.42441436925648,
      "step": 800
    },
    {
      "epoch": 0.35516969218626676,
      "grad_norm": 10.776900291442871,
      "learning_rate": 2.4672454617206e-05,
      "loss": 0.3936,
      "step": 900
    },
    {
      "epoch": 0.35516969218626676,
      "eval_exact_match": 92.6,
      "eval_f1": 94.21299117549118,
      "step": 900
    },
    {
      "epoch": 0.39463299131807417,
      "grad_norm": 70.64266204833984,
      "learning_rate": 2.4080505130228888e-05,
      "loss": 0.4522,
      "step": 1000
    },
    {
      "epoch": 0.39463299131807417,
      "eval_exact_match": 92.0,
      "eval_f1": 93.84013468013471,
      "step": 1000
    },
    {
      "epoch": 0.4340962904498816,
      "grad_norm": 122.04886627197266,
      "learning_rate": 2.3488555643251776e-05,
      "loss": 0.5036,
      "step": 1100
    },
    {
      "epoch": 0.4340962904498816,
      "eval_exact_match": 92.3,
      "eval_f1": 94.030187928014,
      "step": 1100
    },
    {
      "epoch": 0.47355958958168903,
      "grad_norm": 44.26261901855469,
      "learning_rate": 2.2896606156274665e-05,
      "loss": 0.4178,
      "step": 1200
    },
    {
      "epoch": 0.47355958958168903,
      "eval_exact_match": 93.2,
      "eval_f1": 95.1092140822141,
      "step": 1200
    },
    {
      "epoch": 0.5130228887134964,
      "grad_norm": 50.030704498291016,
      "learning_rate": 2.2304656669297554e-05,
      "loss": 0.4134,
      "step": 1300
    },
    {
      "epoch": 0.5130228887134964,
      "eval_exact_match": 92.93333333333334,
      "eval_f1": 94.6116678691679,
      "step": 1300
    },
    {
      "epoch": 0.5524861878453039,
      "grad_norm": 6.0724310874938965,
      "learning_rate": 2.1712707182320442e-05,
      "loss": 0.2996,
      "step": 1400
    },
    {
      "epoch": 0.5524861878453039,
      "eval_exact_match": 92.43333333333334,
      "eval_f1": 94.43055409989623,
      "step": 1400
    },
    {
      "epoch": 0.5919494869771112,
      "grad_norm": 138.5492706298828,
      "learning_rate": 2.112075769534333e-05,
      "loss": 0.3272,
      "step": 1500
    },
    {
      "epoch": 0.5919494869771112,
      "eval_exact_match": 92.66666666666667,
      "eval_f1": 94.70460317460318,
      "step": 1500
    },
    {
      "epoch": 0.6314127861089187,
      "grad_norm": 10.509523391723633,
      "learning_rate": 2.052880820836622e-05,
      "loss": 0.435,
      "step": 1600
    },
    {
      "epoch": 0.6314127861089187,
      "eval_exact_match": 93.63333333333334,
      "eval_f1": 95.12072967772967,
      "step": 1600
    },
    {
      "epoch": 0.6708760852407262,
      "grad_norm": 63.85009765625,
      "learning_rate": 1.993685872138911e-05,
      "loss": 0.3181,
      "step": 1700
    },
    {
      "epoch": 0.6708760852407262,
      "eval_exact_match": 93.76666666666667,
      "eval_f1": 95.14681913116127,
      "step": 1700
    },
    {
      "epoch": 0.7103393843725335,
      "grad_norm": 75.05247497558594,
      "learning_rate": 1.9344909234411997e-05,
      "loss": 0.2922,
      "step": 1800
    },
    {
      "epoch": 0.7103393843725335,
      "eval_exact_match": 94.23333333333333,
      "eval_f1": 95.71164746364745,
      "step": 1800
    },
    {
      "epoch": 0.749802683504341,
      "grad_norm": 63.5960693359375,
      "learning_rate": 1.8752959747434886e-05,
      "loss": 0.2787,
      "step": 1900
    },
    {
      "epoch": 0.749802683504341,
      "eval_exact_match": 94.06666666666666,
      "eval_f1": 95.59337810337813,
      "step": 1900
    },
    {
      "epoch": 0.7892659826361483,
      "grad_norm": 153.86695861816406,
      "learning_rate": 1.8161010260457775e-05,
      "loss": 0.3093,
      "step": 2000
    },
    {
      "epoch": 0.7892659826361483,
      "eval_exact_match": 93.43333333333334,
      "eval_f1": 95.11906084656084,
      "step": 2000
    },
    {
      "epoch": 0.8287292817679558,
      "grad_norm": 88.632080078125,
      "learning_rate": 1.7569060773480663e-05,
      "loss": 0.3384,
      "step": 2100
    },
    {
      "epoch": 0.8287292817679558,
      "eval_exact_match": 94.06666666666666,
      "eval_f1": 95.70005291005292,
      "step": 2100
    },
    {
      "epoch": 0.8681925808997633,
      "grad_norm": 17.5891056060791,
      "learning_rate": 1.6977111286503552e-05,
      "loss": 0.351,
      "step": 2200
    },
    {
      "epoch": 0.8681925808997633,
      "eval_exact_match": 94.66666666666667,
      "eval_f1": 96.17507936507938,
      "step": 2200
    },
    {
      "epoch": 0.9076558800315706,
      "grad_norm": 324.85894775390625,
      "learning_rate": 1.638516179952644e-05,
      "loss": 0.3736,
      "step": 2300
    },
    {
      "epoch": 0.9076558800315706,
      "eval_exact_match": 94.33333333333333,
      "eval_f1": 95.90269841269844,
      "step": 2300
    },
    {
      "epoch": 0.9471191791633781,
      "grad_norm": 53.7849006652832,
      "learning_rate": 1.5793212312549333e-05,
      "loss": 0.2718,
      "step": 2400
    },
    {
      "epoch": 0.9471191791633781,
      "eval_exact_match": 94.43333333333334,
      "eval_f1": 95.9603174603175,
      "step": 2400
    },
    {
      "epoch": 0.9865824782951855,
      "grad_norm": 9.57298469543457,
      "learning_rate": 1.5201262825572218e-05,
      "loss": 0.296,
      "step": 2500
    },
    {
      "epoch": 0.9865824782951855,
      "eval_exact_match": 94.7,
      "eval_f1": 95.994126984127,
      "step": 2500
    },
    {
      "epoch": 1.0260457774269929,
      "grad_norm": 3.4919021129608154,
      "learning_rate": 1.4609313338595107e-05,
      "loss": 0.1504,
      "step": 2600
    },
    {
      "epoch": 1.0260457774269929,
      "eval_exact_match": 94.7,
      "eval_f1": 96.06396825396828,
      "step": 2600
    },
    {
      "epoch": 1.0655090765588002,
      "grad_norm": 0.06277454644441605,
      "learning_rate": 1.4017363851617995e-05,
      "loss": 0.151,
      "step": 2700
    },
    {
      "epoch": 1.0655090765588002,
      "eval_exact_match": 94.4,
      "eval_f1": 95.89519140989731,
      "step": 2700
    },
    {
      "epoch": 1.1049723756906078,
      "grad_norm": 0.00011412293679313734,
      "learning_rate": 1.3425414364640886e-05,
      "loss": 0.1005,
      "step": 2800
    },
    {
      "epoch": 1.1049723756906078,
      "eval_exact_match": 94.9,
      "eval_f1": 96.31682539682541,
      "step": 2800
    },
    {
      "epoch": 1.1444356748224151,
      "grad_norm": 19.318458557128906,
      "learning_rate": 1.2833464877663773e-05,
      "loss": 0.1291,
      "step": 2900
    },
    {
      "epoch": 1.1444356748224151,
      "eval_exact_match": 93.93333333333334,
      "eval_f1": 95.529126984127,
      "step": 2900
    },
    {
      "epoch": 1.1838989739542225,
      "grad_norm": 4.399935245513916,
      "learning_rate": 1.2241515390686661e-05,
      "loss": 0.1054,
      "step": 3000
    },
    {
      "epoch": 1.1838989739542225,
      "eval_exact_match": 93.86666666666666,
      "eval_f1": 95.59808897243109,
      "step": 3000
    },
    {
      "epoch": 1.22336227308603,
      "grad_norm": 40.74488830566406,
      "learning_rate": 1.164956590370955e-05,
      "loss": 0.1713,
      "step": 3100
    },
    {
      "epoch": 1.22336227308603,
      "eval_exact_match": 94.43333333333334,
      "eval_f1": 96.00482804232804,
      "step": 3100
    },
    {
      "epoch": 1.2628255722178374,
      "grad_norm": 0.04602056369185448,
      "learning_rate": 1.1057616416732439e-05,
      "loss": 0.0881,
      "step": 3200
    },
    {
      "epoch": 1.2628255722178374,
      "eval_exact_match": 94.46666666666667,
      "eval_f1": 96.07236772486773,
      "step": 3200
    },
    {
      "epoch": 1.3022888713496448,
      "grad_norm": 78.22419738769531,
      "learning_rate": 1.0465666929755327e-05,
      "loss": 0.1207,
      "step": 3300
    },
    {
      "epoch": 1.3022888713496448,
      "eval_exact_match": 94.7,
      "eval_f1": 96.0661904761905,
      "step": 3300
    },
    {
      "epoch": 1.3417521704814521,
      "grad_norm": 0.2205381691455841,
      "learning_rate": 9.873717442778216e-06,
      "loss": 0.1689,
      "step": 3400
    },
    {
      "epoch": 1.3417521704814521,
      "eval_exact_match": 95.2,
      "eval_f1": 96.48216304650515,
      "step": 3400
    },
    {
      "epoch": 1.3812154696132597,
      "grad_norm": 46.83411407470703,
      "learning_rate": 9.281767955801105e-06,
      "loss": 0.0989,
      "step": 3500
    },
    {
      "epoch": 1.3812154696132597,
      "eval_exact_match": 94.36666666666666,
      "eval_f1": 95.95884920634923,
      "step": 3500
    },
    {
      "epoch": 1.420678768745067,
      "grad_norm": 0.009372607804834843,
      "learning_rate": 8.689818468823995e-06,
      "loss": 0.0866,
      "step": 3600
    },
    {
      "epoch": 1.420678768745067,
      "eval_exact_match": 94.56666666666666,
      "eval_f1": 96.29847883597886,
      "step": 3600
    },
    {
      "epoch": 1.4601420678768746,
      "grad_norm": 58.012062072753906,
      "learning_rate": 8.097868981846882e-06,
      "loss": 0.1983,
      "step": 3700
    },
    {
      "epoch": 1.4601420678768746,
      "eval_exact_match": 94.6,
      "eval_f1": 96.33773809523815,
      "step": 3700
    },
    {
      "epoch": 1.499605367008682,
      "grad_norm": 0.0017438705544918776,
      "learning_rate": 7.505919494869771e-06,
      "loss": 0.1228,
      "step": 3800
    },
    {
      "epoch": 1.499605367008682,
      "eval_exact_match": 95.1,
      "eval_f1": 96.49228021978023,
      "step": 3800
    },
    {
      "epoch": 1.5390686661404893,
      "grad_norm": 0.00036309007555246353,
      "learning_rate": 6.91397000789266e-06,
      "loss": 0.0761,
      "step": 3900
    },
    {
      "epoch": 1.5390686661404893,
      "eval_exact_match": 94.83333333333333,
      "eval_f1": 96.32456349206349,
      "step": 3900
    },
    {
      "epoch": 1.5785319652722967,
      "grad_norm": 0.058913152664899826,
      "learning_rate": 6.322020520915548e-06,
      "loss": 0.1332,
      "step": 4000
    },
    {
      "epoch": 1.5785319652722967,
      "eval_exact_match": 94.76666666666667,
      "eval_f1": 96.26157647907651,
      "step": 4000
    },
    {
      "epoch": 1.617995264404104,
      "grad_norm": 8.819950016913936e-05,
      "learning_rate": 5.730071033938438e-06,
      "loss": 0.1538,
      "step": 4100
    },
    {
      "epoch": 1.617995264404104,
      "eval_exact_match": 95.33333333333333,
      "eval_f1": 96.71250000000002,
      "step": 4100
    },
    {
      "epoch": 1.6574585635359116,
      "grad_norm": 0.2561735510826111,
      "learning_rate": 5.1381215469613265e-06,
      "loss": 0.0977,
      "step": 4200
    },
    {
      "epoch": 1.6574585635359116,
      "eval_exact_match": 94.83333333333333,
      "eval_f1": 96.35535714285714,
      "step": 4200
    },
    {
      "epoch": 1.6969218626677192,
      "grad_norm": 0.0023131032940000296,
      "learning_rate": 4.546172059984215e-06,
      "loss": 0.1299,
      "step": 4300
    },
    {
      "epoch": 1.6969218626677192,
      "eval_exact_match": 94.66666666666667,
      "eval_f1": 96.20515873015874,
      "step": 4300
    },
    {
      "epoch": 1.7363851617995265,
      "grad_norm": 0.04482404515147209,
      "learning_rate": 3.954222573007103e-06,
      "loss": 0.0895,
      "step": 4400
    },
    {
      "epoch": 1.7363851617995265,
      "eval_exact_match": 95.26666666666667,
      "eval_f1": 96.61154761904761,
      "step": 4400
    },
    {
      "epoch": 1.7758484609313339,
      "grad_norm": 11.488630294799805,
      "learning_rate": 3.362273086029992e-06,
      "loss": 0.1245,
      "step": 4500
    },
    {
      "epoch": 1.7758484609313339,
      "eval_exact_match": 95.33333333333333,
      "eval_f1": 96.5898015873016,
      "step": 4500
    },
    {
      "epoch": 1.8153117600631412,
      "grad_norm": 0.000506121723446995,
      "learning_rate": 2.7703235990528812e-06,
      "loss": 0.1046,
      "step": 4600
    },
    {
      "epoch": 1.8153117600631412,
      "eval_exact_match": 95.3,
      "eval_f1": 96.55313492063492,
      "step": 4600
    },
    {
      "epoch": 1.8547750591949486,
      "grad_norm": 12.496238708496094,
      "learning_rate": 2.1783741120757695e-06,
      "loss": 0.0985,
      "step": 4700
    },
    {
      "epoch": 1.8547750591949486,
      "eval_exact_match": 95.1,
      "eval_f1": 96.48452380952381,
      "step": 4700
    },
    {
      "epoch": 1.8942383583267561,
      "grad_norm": 97.22492218017578,
      "learning_rate": 1.5864246250986582e-06,
      "loss": 0.1193,
      "step": 4800
    },
    {
      "epoch": 1.8942383583267561,
      "eval_exact_match": 95.26666666666667,
      "eval_f1": 96.62202380952381,
      "step": 4800
    },
    {
      "epoch": 1.9337016574585635,
      "grad_norm": 0.0009776244405657053,
      "learning_rate": 9.944751381215469e-07,
      "loss": 0.0811,
      "step": 4900
    },
    {
      "epoch": 1.9337016574585635,
      "eval_exact_match": 95.1,
      "eval_f1": 96.48424603174604,
      "step": 4900
    },
    {
      "epoch": 1.973164956590371,
      "grad_norm": 0.05864416062831879,
      "learning_rate": 4.025256511444357e-07,
      "loss": 0.0894,
      "step": 5000
    },
    {
      "epoch": 1.973164956590371,
      "eval_exact_match": 95.2,
      "eval_f1": 96.51480158730159,
      "step": 5000
    },
    {
      "epoch": 2.0,
      "step": 5068,
      "total_flos": 3.764792404688486e+16,
      "train_loss": 0.30838469322403306,
      "train_runtime": 8673.587,
      "train_samples_per_second": 4.674,
      "train_steps_per_second": 0.584
    }
  ],
  "logging_steps": 100,
  "max_steps": 5068,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 3.764792404688486e+16,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}