[train dset len] 160000
[valid dset len] 1000
/usr0/home/liangzel/anaconda3/envs/air2/lib/python3.11/site-packages/accelerate/accelerator.py:432:
FutureWarning: Passing the following arguments to `Accelerator` is deprecated
and will be removed in version 1.0 of Accelerate: dict_keys(['dispatch_batches',
'split_batches', 'even_batches', 'use_seedable_sampler']). Please pass an
`accelerate.DataLoaderConfiguration` instead:
dataloader_config = DataLoaderConfiguration(dispatch_batches=None,
split_batches=False, even_batches=True, use_seedable_sampler=True)
  warnings.warn(
  {'loss': 0.9803, 'grad_norm': 1.0555673837661743, 'learning_rate':
  1.9866666666666667e-05, 'epoch': 0.02}
  {'loss': 0.9477, 'grad_norm': 1.0609339475631714, 'learning_rate':
  1.9733333333333336e-05, 'epoch': 0.04}
  {'loss': 0.9472, 'grad_norm': 0.8154662251472473, 'learning_rate':
  1.9600000000000002e-05, 'epoch': 0.06}
  {'loss': 0.9496, 'grad_norm': 0.8507415652275085, 'learning_rate':
  1.9466666666666668e-05, 'epoch': 0.08}
  {'loss': 0.9416, 'grad_norm': 0.9045298099517822, 'learning_rate':
  1.9333333333333333e-05, 'epoch': 0.1}
  {'loss': 0.9501, 'grad_norm': 1.2995306253433228, 'learning_rate':
  1.9200000000000003e-05, 'epoch': 0.12}
  {'loss': 0.929, 'grad_norm': 0.8860793709754944, 'learning_rate':
  1.9066666666666668e-05, 'epoch': 0.14}
  {'loss': 0.9323, 'grad_norm': 0.8791409134864807, 'learning_rate':
  1.8933333333333334e-05, 'epoch': 0.16}
  {'loss': 0.9252, 'grad_norm': 0.868554949760437, 'learning_rate': 1.88e-05,
  'epoch': 0.18}
  {'loss': 0.916, 'grad_norm': 0.7996535301208496, 'learning_rate':
  1.866666666666667e-05, 'epoch': 0.2}
  {'loss': 0.9267, 'grad_norm': 0.9991319179534912, 'learning_rate':
  1.8533333333333334e-05, 'epoch': 0.22}
  {'loss': 0.9281, 'grad_norm': 1.0026607513427734, 'learning_rate':
  1.8400000000000003e-05, 'epoch': 0.24}
  {'loss': 0.9272, 'grad_norm': 0.860996663570404, 'learning_rate':
  1.826666666666667e-05, 'epoch': 0.26}
  {'loss': 0.9277, 'grad_norm': 0.8613474369049072, 'learning_rate':
  1.8133333333333335e-05, 'epoch': 0.28}
  {'loss': 0.9293, 'grad_norm': 0.8491615653038025, 'learning_rate': 1.8e-05,
  'epoch': 0.3}
  {'loss': 0.917, 'grad_norm': 0.9264828562736511, 'learning_rate':
  1.7866666666666666e-05, 'epoch': 0.32}
  {'loss': 0.9325, 'grad_norm': 0.8633733987808228, 'learning_rate':
  1.7733333333333335e-05, 'epoch': 0.34}
  {'loss': 0.9126, 'grad_norm': 0.8906639218330383, 'learning_rate': 1.76e-05,
  'epoch': 0.36}
  {'loss': 0.9065, 'grad_norm': 0.885764479637146, 'learning_rate':
  1.7466666666666667e-05, 'epoch': 0.38}
  {'loss': 0.9429, 'grad_norm': 0.8839893937110901, 'learning_rate':
  1.7333333333333336e-05, 'epoch': 0.4}
  {'loss': 0.9056, 'grad_norm': 0.913644552230835, 'learning_rate': 1.72e-05,
  'epoch': 0.42}
  {'loss': 0.913, 'grad_norm': 0.8399360179901123, 'learning_rate':
  1.706666666666667e-05, 'epoch': 0.44}
  {'loss': 0.9192, 'grad_norm': 0.8176397681236267, 'learning_rate':
  1.6933333333333336e-05, 'epoch': 0.46}
  {'loss': 0.9222, 'grad_norm': 0.8771522045135498, 'learning_rate':
  1.6800000000000002e-05, 'epoch': 0.48}
  {'loss': 0.9197, 'grad_norm': 0.7874905467033386, 'learning_rate':
  1.6666666666666667e-05, 'epoch': 0.5}
  {'loss': 0.91, 'grad_norm': 0.8051652312278748, 'learning_rate':
  1.6533333333333333e-05, 'epoch': 0.52}
  {'loss': 0.9091, 'grad_norm': 0.80189049243927, 'learning_rate': 1.64e-05,
  'epoch': 0.54}
  {'loss': 0.9111, 'grad_norm': 0.7678588032722473, 'learning_rate':
  1.6266666666666668e-05, 'epoch': 0.56}
  {'loss': 0.9127, 'grad_norm': 0.7835684418678284, 'learning_rate':
  1.6133333333333334e-05, 'epoch': 0.58}
  {'loss': 0.9038, 'grad_norm': 0.8735753297805786, 'learning_rate':
  1.6000000000000003e-05, 'epoch': 0.6}
  {'loss': 0.9148, 'grad_norm': 0.8635367155075073, 'learning_rate':
  1.586666666666667e-05, 'epoch': 0.62}
  {'loss': 0.9123, 'grad_norm': 0.8477209210395813, 'learning_rate':
  1.5733333333333334e-05, 'epoch': 0.64}
  {'loss': 0.8898, 'grad_norm': 0.7765554785728455, 'learning_rate':
  1.5600000000000003e-05, 'epoch': 0.66}
  {'loss': 0.8992, 'grad_norm': 0.891146183013916, 'learning_rate':
  1.546666666666667e-05, 'epoch': 0.68}
  {'loss': 0.9114, 'grad_norm': 0.8695024251937866, 'learning_rate':
  1.5333333333333334e-05, 'epoch': 0.7}
  {'loss': 0.89, 'grad_norm': 0.927379846572876, 'learning_rate':
  1.5200000000000002e-05, 'epoch': 0.72}
  {'loss': 0.9159, 'grad_norm': 0.885179340839386, 'learning_rate':
  1.5066666666666668e-05, 'epoch': 0.74}
  {'loss': 0.9115, 'grad_norm': 0.9603422284126282, 'learning_rate':
  1.4933333333333335e-05, 'epoch': 0.76}
  {'loss': 0.9025, 'grad_norm': 0.8624181151390076, 'learning_rate': 1.48e-05,
  'epoch': 0.78}
  {'loss': 0.8984, 'grad_norm': 0.9430868625640869, 'learning_rate':
  1.4666666666666666e-05, 'epoch': 0.8}
  {'loss': 0.8887, 'grad_norm': 0.7860404849052429, 'learning_rate':
  1.4533333333333335e-05, 'epoch': 0.82}
  {'loss': 0.9097, 'grad_norm': 0.793118417263031, 'learning_rate':
  1.4400000000000001e-05, 'epoch': 0.84}
  {'loss': 0.8919, 'grad_norm': 0.8741154074668884, 'learning_rate':
  1.4266666666666668e-05, 'epoch': 0.86}
  {'loss': 0.8927, 'grad_norm': 0.7793194651603699, 'learning_rate':
  1.4133333333333334e-05, 'epoch': 0.88}
  {'loss': 0.9032, 'grad_norm': 0.7923697233200073, 'learning_rate': 1.4e-05,
  'epoch': 0.9}
  {'loss': 0.8878, 'grad_norm': 0.8406550288200378, 'learning_rate':
  1.3866666666666669e-05, 'epoch': 0.92}
  {'loss': 0.9032, 'grad_norm': 1.0170931816101074, 'learning_rate':
  1.3733333333333335e-05, 'epoch': 0.94}
  {'loss': 0.9026, 'grad_norm': 0.8855489492416382, 'learning_rate':
  1.3600000000000002e-05, 'epoch': 0.96}
  {'loss': 0.8978, 'grad_norm': 0.7720271348953247, 'learning_rate':
  1.3466666666666668e-05, 'epoch': 0.98}
  {'loss': 0.8958, 'grad_norm': 0.841073751449585, 'learning_rate':
  1.3333333333333333e-05, 'epoch': 1.0}
  {'eval_loss': 0.88493812084198, 'eval_runtime': 62.115,
  'eval_samples_per_second': 16.099, 'eval_steps_per_second': 2.012, 'epoch':
  1.0}
  {'loss': 0.7886, 'grad_norm': 0.856351375579834, 'learning_rate':
  1.3200000000000002e-05, 'epoch': 1.02}
  {'loss': 0.7957, 'grad_norm': 0.92889404296875, 'learning_rate':
  1.3066666666666668e-05, 'epoch': 1.04}
  {'loss': 0.7887, 'grad_norm': 0.8512794375419617, 'learning_rate':
  1.2933333333333334e-05, 'epoch': 1.06}
  {'loss': 0.8119, 'grad_norm': 0.8943263292312622, 'learning_rate':
  1.2800000000000001e-05, 'epoch': 1.08}
  {'loss': 0.7958, 'grad_norm': 0.908469557762146, 'learning_rate':
  1.2666666666666667e-05, 'epoch': 1.1}
  {'loss': 0.7958, 'grad_norm': 0.790229856967926, 'learning_rate':
  1.2533333333333336e-05, 'epoch': 1.12}
  {'loss': 0.7907, 'grad_norm': 1.0110950469970703, 'learning_rate':
  1.2400000000000002e-05, 'epoch': 1.14}
  {'loss': 0.7939, 'grad_norm': 0.9110943078994751, 'learning_rate':
  1.2266666666666667e-05, 'epoch': 1.16}
  {'loss': 0.7849, 'grad_norm': 0.8515949249267578, 'learning_rate':
  1.2133333333333335e-05, 'epoch': 1.18}
  {'loss': 0.8036, 'grad_norm': 0.8418060541152954, 'learning_rate': 1.2e-05,
  'epoch': 1.2}
  {'loss': 0.8002, 'grad_norm': 0.8303418159484863, 'learning_rate':
  1.186666666666667e-05, 'epoch': 1.22}
  {'loss': 0.8005, 'grad_norm': 0.8996633291244507, 'learning_rate':
  1.1733333333333335e-05, 'epoch': 1.24}
  {'loss': 0.7956, 'grad_norm': 0.8889008164405823, 'learning_rate': 1.16e-05,
  'epoch': 1.26}
  {'loss': 0.786, 'grad_norm': 0.8718474507331848, 'learning_rate':
  1.1466666666666668e-05, 'epoch': 1.28}
  {'loss': 0.8017, 'grad_norm': 0.931644856929779, 'learning_rate':
  1.1333333333333334e-05, 'epoch': 1.3}
  {'loss': 0.7855, 'grad_norm': 0.873427152633667, 'learning_rate':
  1.1200000000000001e-05, 'epoch': 1.32}
  {'loss': 0.802, 'grad_norm': 0.8685030341148376, 'learning_rate':
  1.1066666666666669e-05, 'epoch': 1.34}
  {'loss': 0.7936, 'grad_norm': 0.8744147419929504, 'learning_rate':
  1.0933333333333334e-05, 'epoch': 1.36}
  {'loss': 0.7864, 'grad_norm': 0.9263073205947876, 'learning_rate':
  1.0800000000000002e-05, 'epoch': 1.38}
  {'loss': 0.7886, 'grad_norm': 0.8322786688804626, 'learning_rate':
  1.0666666666666667e-05, 'epoch': 1.4}
  {'loss': 0.7889, 'grad_norm': 0.8734496235847473, 'learning_rate':
  1.0533333333333333e-05, 'epoch': 1.42}
  {'loss': 0.8092, 'grad_norm': 1.0558969974517822, 'learning_rate': 1.04e-05,
  'epoch': 1.44}
  {'loss': 0.8061, 'grad_norm': 0.8517795205116272, 'learning_rate':
  1.0266666666666668e-05, 'epoch': 1.46}
  {'loss': 0.8073, 'grad_norm': 0.8912076354026794, 'learning_rate':
  1.0133333333333335e-05, 'epoch': 1.48}
  {'loss': 0.789, 'grad_norm': 0.8496484756469727, 'learning_rate': 1e-05,
  'epoch': 1.5}
  {'loss': 0.7813, 'grad_norm': 0.8365699648857117, 'learning_rate':
  9.866666666666668e-06, 'epoch': 1.52}
  {'loss': 0.7923, 'grad_norm': 0.8612975478172302, 'learning_rate':
  9.733333333333334e-06, 'epoch': 1.54}
  {'loss': 0.8017, 'grad_norm': 0.825588047504425, 'learning_rate':
  9.600000000000001e-06, 'epoch': 1.56}
  {'loss': 0.7975, 'grad_norm': 0.9208545684814453, 'learning_rate':
  9.466666666666667e-06, 'epoch': 1.58}
  {'loss': 0.8023, 'grad_norm': 0.8390321731567383, 'learning_rate':
  9.333333333333334e-06, 'epoch': 1.6}
  {'loss': 0.7965, 'grad_norm': 0.9178739786148071, 'learning_rate':
  9.200000000000002e-06, 'epoch': 1.62}
  {'loss': 0.7977, 'grad_norm': 0.9349595904350281, 'learning_rate':
  9.066666666666667e-06, 'epoch': 1.64}
  {'loss': 0.7898, 'grad_norm': 0.8347993493080139, 'learning_rate':
  8.933333333333333e-06, 'epoch': 1.66}
  {'loss': 0.7903, 'grad_norm': 0.8217402696609497, 'learning_rate': 8.8e-06,
  'epoch': 1.68}
  {'loss': 0.8032, 'grad_norm': 0.8198782801628113, 'learning_rate':
  8.666666666666668e-06, 'epoch': 1.7}
  {'loss': 0.7967, 'grad_norm': 0.8704864382743835, 'learning_rate':
  8.533333333333335e-06, 'epoch': 1.72}
  {'loss': 0.7884, 'grad_norm': 0.892342746257782, 'learning_rate':
  8.400000000000001e-06, 'epoch': 1.74}
  {'loss': 0.7859, 'grad_norm': 0.9803333282470703, 'learning_rate':
  8.266666666666667e-06, 'epoch': 1.76}
  {'loss': 0.7872, 'grad_norm': 0.8991880416870117, 'learning_rate':
  8.133333333333334e-06, 'epoch': 1.78}
  {'loss': 0.7967, 'grad_norm': 1.0206116437911987, 'learning_rate':
  8.000000000000001e-06, 'epoch': 1.8}
  {'loss': 0.7893, 'grad_norm': 0.8060243725776672, 'learning_rate':
  7.866666666666667e-06, 'epoch': 1.82}
  {'loss': 0.7985, 'grad_norm': 0.8802576065063477, 'learning_rate':
  7.733333333333334e-06, 'epoch': 1.84}
  {'loss': 0.7889, 'grad_norm': 0.8549374341964722, 'learning_rate':
  7.600000000000001e-06, 'epoch': 1.86}
  {'loss': 0.8061, 'grad_norm': 0.9457976222038269, 'learning_rate':
  7.4666666666666675e-06, 'epoch': 1.88}
  {'loss': 0.7866, 'grad_norm': 0.8606815338134766, 'learning_rate':
  7.333333333333333e-06, 'epoch': 1.9}
  {'loss': 0.7951, 'grad_norm': 0.8577678799629211, 'learning_rate':
  7.2000000000000005e-06, 'epoch': 1.92}
  {'loss': 0.7879, 'grad_norm': 0.9072070717811584, 'learning_rate':
  7.066666666666667e-06, 'epoch': 1.94}
  {'loss': 0.7936, 'grad_norm': 0.8739129304885864, 'learning_rate':
  6.9333333333333344e-06, 'epoch': 1.96}
  {'loss': 0.7825, 'grad_norm': 0.8881368637084961, 'learning_rate':
  6.800000000000001e-06, 'epoch': 1.98}
  {'loss': 0.7837, 'grad_norm': 0.9448174834251404, 'learning_rate':
  6.666666666666667e-06, 'epoch': 2.0}
  {'eval_loss': 0.8766704201698303, 'eval_runtime': 64.0882,
  'eval_samples_per_second': 15.604, 'eval_steps_per_second': 1.95, 'epoch':
  2.0}
  {'loss': 0.7014, 'grad_norm': 0.8892523050308228, 'learning_rate':
  6.534666666666667e-06, 'epoch': 2.02}
  {'loss': 0.6962, 'grad_norm': 0.9131534695625305, 'learning_rate':
  6.4013333333333334e-06, 'epoch': 2.04}
  {'loss': 0.6874, 'grad_norm': 0.9470012784004211, 'learning_rate':
  6.268000000000001e-06, 'epoch': 2.06}
  {'loss': 0.7029, 'grad_norm': 0.9785165190696716, 'learning_rate':
  6.134666666666667e-06, 'epoch': 2.08}
  {'loss': 0.6922, 'grad_norm': 1.0245338678359985, 'learning_rate':
  6.001333333333334e-06, 'epoch': 2.1}
  {'loss': 0.6973, 'grad_norm': 0.920975387096405, 'learning_rate': 5.868e-06,
  'epoch': 2.12}
  {'loss': 0.6917, 'grad_norm': 0.9391937851905823, 'learning_rate':
  5.734666666666667e-06, 'epoch': 2.14}
  {'loss': 0.6965, 'grad_norm': 0.9682599306106567, 'learning_rate':
  5.601333333333334e-06, 'epoch': 2.16}
  {'loss': 0.698, 'grad_norm': 1.0669585466384888, 'learning_rate': 5.468e-06,
  'epoch': 2.18}
  {'loss': 0.6961, 'grad_norm': 1.0977643728256226, 'learning_rate':
  5.3346666666666665e-06, 'epoch': 2.2}
  {'loss': 0.6935, 'grad_norm': 0.9608291387557983, 'learning_rate':
  5.201333333333334e-06, 'epoch': 2.22}
  {'loss': 0.691, 'grad_norm': 0.9867018461227417, 'learning_rate':
  5.069333333333334e-06, 'epoch': 2.24}
  {'loss': 0.6973, 'grad_norm': 0.9778249263763428, 'learning_rate': 4.936e-06,
  'epoch': 2.26}
  {'loss': 0.6958, 'grad_norm': 1.040911316871643, 'learning_rate':
  4.802666666666667e-06, 'epoch': 2.28}
  {'loss': 0.7075, 'grad_norm': 0.948652446269989, 'learning_rate':
  4.669333333333334e-06, 'epoch': 2.3}
  {'loss': 0.6966, 'grad_norm': 1.045653223991394, 'learning_rate': 4.536e-06,
  'epoch': 2.32}
  {'loss': 0.7036, 'grad_norm': 0.9575178623199463, 'learning_rate':
  4.4040000000000005e-06, 'epoch': 2.34}
  {'loss': 0.7038, 'grad_norm': 0.8968670964241028, 'learning_rate':
  4.270666666666667e-06, 'epoch': 2.36}
  {'loss': 0.687, 'grad_norm': 0.9445046186447144, 'learning_rate':
  4.137333333333334e-06, 'epoch': 2.38}
  {'loss': 0.6978, 'grad_norm': 1.0018490552902222, 'learning_rate': 4.004e-06,
  'epoch': 2.4}
  {'loss': 0.6876, 'grad_norm': 0.9981265664100647, 'learning_rate':
  3.870666666666667e-06, 'epoch': 2.42}
  {'loss': 0.691, 'grad_norm': 0.9957240223884583, 'learning_rate':
  3.737333333333333e-06, 'epoch': 2.44}
  {'loss': 0.7026, 'grad_norm': 1.0652461051940918, 'learning_rate': 3.604e-06,
  'epoch': 2.46}
  {'loss': 0.6918, 'grad_norm': 0.9067023992538452, 'learning_rate':
  3.470666666666667e-06, 'epoch': 2.48}
  {'loss': 0.7013, 'grad_norm': 0.997002899646759, 'learning_rate':
  3.3373333333333336e-06, 'epoch': 2.5}
  {'loss': 0.7025, 'grad_norm': 0.914594829082489, 'learning_rate':
  3.2040000000000006e-06, 'epoch': 2.52}
  {'loss': 0.7053, 'grad_norm': 1.197375774383545, 'learning_rate':
  3.0706666666666667e-06, 'epoch': 2.54}
  {'loss': 0.6888, 'grad_norm': 1.0545796155929565, 'learning_rate':
  2.9373333333333336e-06, 'epoch': 2.56}
  {'loss': 0.6853, 'grad_norm': 1.0479904413223267, 'learning_rate': 2.804e-06,
  'epoch': 2.58}
  {'loss': 0.7053, 'grad_norm': 0.9415286183357239, 'learning_rate':
  2.670666666666667e-06, 'epoch': 2.6}
  {'loss': 0.7093, 'grad_norm': 0.9765642881393433, 'learning_rate':
  2.5373333333333332e-06, 'epoch': 2.62}
  {'loss': 0.7026, 'grad_norm': 0.9646571278572083, 'learning_rate': 2.404e-06,
  'epoch': 2.64}
  {'loss': 0.6967, 'grad_norm': 0.9278367757797241, 'learning_rate':
  2.2706666666666667e-06, 'epoch': 2.66}
  {'loss': 0.699, 'grad_norm': 0.9418883323669434, 'learning_rate':
  2.1373333333333337e-06, 'epoch': 2.68}
  {'loss': 0.6937, 'grad_norm': 1.0113035440444946, 'learning_rate': 2.004e-06,
  'epoch': 2.7}
  {'loss': 0.6795, 'grad_norm': 1.0150426626205444, 'learning_rate':
  1.8706666666666667e-06, 'epoch': 2.72}
  {'loss': 0.6822, 'grad_norm': 1.177462100982666, 'learning_rate':
  1.7373333333333333e-06, 'epoch': 2.74}
  {'loss': 0.7039, 'grad_norm': 1.1305912733078003, 'learning_rate': 1.604e-06,
  'epoch': 2.76}
  {'loss': 0.6864, 'grad_norm': 0.9975621700286865, 'learning_rate':
  1.470666666666667e-06, 'epoch': 2.78}
  {'loss': 0.6945, 'grad_norm': 1.0691418647766113, 'learning_rate':
  1.3373333333333335e-06, 'epoch': 2.8}
  {'loss': 0.6891, 'grad_norm': 0.988650381565094, 'learning_rate': 1.204e-06,
  'epoch': 2.82}
  {'loss': 0.6873, 'grad_norm': 1.0204881429672241, 'learning_rate':
  1.0706666666666668e-06, 'epoch': 2.84}
  {'loss': 0.691, 'grad_norm': 1.0628246068954468, 'learning_rate':
  9.373333333333334e-07, 'epoch': 2.86}
  {'loss': 0.6938, 'grad_norm': 1.058432698249817, 'learning_rate': 8.04e-07,
  'epoch': 2.88}
  {'loss': 0.7113, 'grad_norm': 1.0059112310409546, 'learning_rate':
  6.706666666666667e-07, 'epoch': 2.9}
  {'loss': 0.6831, 'grad_norm': 0.963862955570221, 'learning_rate':
  5.373333333333334e-07, 'epoch': 2.92}
  {'loss': 0.7055, 'grad_norm': 0.9393936395645142, 'learning_rate': 4.04e-07,
  'epoch': 2.94}
  {'loss': 0.6944, 'grad_norm': 1.1199434995651245, 'learning_rate':
  2.706666666666667e-07, 'epoch': 2.96}
  {'loss': 0.7033, 'grad_norm': 1.1279562711715698, 'learning_rate':
  1.3733333333333335e-07, 'epoch': 2.98}
  {'loss': 0.6902, 'grad_norm': 0.9235104918479919, 'learning_rate': 4e-09,
  'epoch': 3.0}
  {'eval_loss': 0.8971832394599915, 'eval_runtime': 53.8519,
  'eval_samples_per_second': 18.569, 'eval_steps_per_second': 2.321, 'epoch':
  3.0}
  {'train_runtime': 69618.6499, 'train_samples_per_second': 6.895,
  'train_steps_per_second': 0.215, 'train_loss': 0.8021132176717123, 'epoch':
  3.0}