Upload folder using huggingface_hub

outputs/tiny-50M/checkpoint-94/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8ac60534512b1d96ab438a8604ed4361bdafa0057e94bd532deddd61b2355c2a
+oid sha256:4e3d6b8600987b159bcc72d1eebb89932e4dc0607981da143a50d818766827e9
 size 223914096

outputs/tiny-50M/checkpoint-94/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a99b2d20b379d1568502ce8577c451749db453377faa16b9f193dea2203aec41
+oid sha256:2a9b713727425f8f0a89e3bffda49eba20e530a4e3ccc1e435b4cdd28adc226f
 size 447876619

outputs/tiny-50M/checkpoint-94/trainer_state.json

@@ -11,331 +11,331 @@
   "log_history": [
     {
       "epoch": 0.021333333333333333,
-      "grad_norm": 31.225147247314453,
+      "grad_norm": 31.037765502929688,
       "learning_rate": 0.00029680851063829784,
-      "loss": 8.52867317199707,
+      "loss": 8.132786750793457,
       "step": 2
     },
     {
       "epoch": 0.042666666666666665,
-      "grad_norm": 13.479415893554688,
+      "grad_norm": 13.220611572265625,
       "learning_rate": 0.0002904255319148936,
-      "loss": 2.7213046550750732,
+      "loss": 2.595196485519409,
       "step": 4
     },
     {
       "epoch": 0.064,
-      "grad_norm": 7.317852973937988,
+      "grad_norm": 7.373003959655762,
       "learning_rate": 0.00028404255319148934,
-      "loss": 2.033416271209717,
+      "loss": 2.026822328567505,
       "step": 6
     },
     {
       "epoch": 0.08533333333333333,
-      "grad_norm": 4.662449836730957,
+      "grad_norm": 4.579985618591309,
       "learning_rate": 0.00027765957446808506,
-      "loss": 1.6911412477493286,
+      "loss": 1.679646611213684,
       "step": 8
     },
     {
       "epoch": 0.10666666666666667,
-      "grad_norm": 3.142587423324585,
+      "grad_norm": 3.007201671600342,
       "learning_rate": 0.00027127659574468084,
-      "loss": 1.5356372594833374,
+      "loss": 1.521506667137146,
       "step": 10
     },
     {
       "epoch": 0.128,
-      "grad_norm": 1.1281284093856812,
+      "grad_norm": 1.0011656284332275,
       "learning_rate": 0.00026489361702127656,
-      "loss": 1.5556082725524902,
+      "loss": 1.5429483652114868,
       "step": 12
     },
     {
       "epoch": 0.14933333333333335,
-      "grad_norm": 0.9458932876586914,
+      "grad_norm": 0.5590857863426208,
       "learning_rate": 0.0002585106382978723,
-      "loss": 1.4359612464904785,
+      "loss": 1.438273310661316,
       "step": 14
     },
     {
       "epoch": 0.17066666666666666,
-      "grad_norm": 1.44228196144104,
+      "grad_norm": 1.1910197734832764,
       "learning_rate": 0.00025212765957446806,
-      "loss": 1.6867344379425049,
+      "loss": 1.6601018905639648,
       "step": 16
     },
     {
       "epoch": 0.192,
-      "grad_norm": 1.0805906057357788,
+      "grad_norm": 1.9059457778930664,
       "learning_rate": 0.00024574468085106384,
-      "loss": 1.1430644989013672,
+      "loss": 1.1292707920074463,
       "step": 18
     },
     {
       "epoch": 0.21333333333333335,
-      "grad_norm": 1.4411908388137817,
+      "grad_norm": 0.9039044976234436,
       "learning_rate": 0.00023936170212765956,
-      "loss": 1.2227848768234253,
+      "loss": 1.2266453504562378,
       "step": 20
     },
     {
       "epoch": 0.23466666666666666,
-      "grad_norm": 0.8173074722290039,
+      "grad_norm": 0.6547788977622986,
       "learning_rate": 0.00023297872340425529,
-      "loss": 0.7304412126541138,
+      "loss": 0.7435846924781799,
       "step": 22
     },
     {
       "epoch": 0.256,
-      "grad_norm": 0.6062348484992981,
+      "grad_norm": 0.658286452293396,
       "learning_rate": 0.00022659574468085106,
-      "loss": 0.8404697179794312,
+      "loss": 0.8331779837608337,
       "step": 24
     },
     {
       "epoch": 0.2773333333333333,
-      "grad_norm": 0.4316070079803467,
+      "grad_norm": 0.4267185628414154,
       "learning_rate": 0.00022021276595744679,
-      "loss": 0.9314869046211243,
+      "loss": 0.9216702580451965,
       "step": 26
     },
     {
       "epoch": 0.2986666666666667,
-      "grad_norm": 0.6301507949829102,
+      "grad_norm": 0.5148051381111145,
       "learning_rate": 0.00021382978723404254,
-      "loss": 1.2809929847717285,
+      "loss": 1.269582986831665,
       "step": 28
     },
     {
       "epoch": 0.32,
-      "grad_norm": 0.3357005715370178,
+      "grad_norm": 0.37587758898735046,
       "learning_rate": 0.0002074468085106383,
-      "loss": 0.6974232196807861,
+      "loss": 0.6910228729248047,
       "step": 30
     },
     {
       "epoch": 0.3413333333333333,
-      "grad_norm": 0.2994663119316101,
+      "grad_norm": 0.31036773324012756,
       "learning_rate": 0.00020106382978723404,
-      "loss": 0.8036333918571472,
+      "loss": 0.7975218892097473,
       "step": 32
     },
     {
       "epoch": 0.3626666666666667,
-      "grad_norm": 0.2758641839027405,
+      "grad_norm": 0.2605965733528137,
       "learning_rate": 0.00019468085106382976,
-      "loss": 0.764110803604126,
+      "loss": 0.7560431361198425,
       "step": 34
     },
     {
       "epoch": 0.384,
-      "grad_norm": 0.2245205193758011,
+      "grad_norm": 0.21106921136379242,
       "learning_rate": 0.0001882978723404255,
-      "loss": 0.8084566593170166,
+      "loss": 0.8007352948188782,
       "step": 36
     },
     {
       "epoch": 0.4053333333333333,
-      "grad_norm": 0.19165082275867462,
+      "grad_norm": 0.19205643236637115,
       "learning_rate": 0.00018191489361702126,
-      "loss": 0.5781641006469727,
+      "loss": 0.5751588344573975,
       "step": 38
     },
     {
       "epoch": 0.4266666666666667,
-      "grad_norm": 0.2245481312274933,
+      "grad_norm": 0.21008168160915375,
       "learning_rate": 0.000175531914893617,
-      "loss": 0.7706995606422424,
+      "loss": 0.7682198882102966,
       "step": 40
     },
     {
       "epoch": 0.448,
-      "grad_norm": 0.23645305633544922,
+      "grad_norm": 0.1898479014635086,
       "learning_rate": 0.00016914893617021274,
-      "loss": 0.7513458132743835,
+      "loss": 0.7478277087211609,
       "step": 42
     },
     {
       "epoch": 0.4693333333333333,
-      "grad_norm": 0.1810406893491745,
+      "grad_norm": 0.17933423817157745,
       "learning_rate": 0.00016276595744680849,
-      "loss": 0.5361976623535156,
+      "loss": 0.531739354133606,
       "step": 44
     },
     {
       "epoch": 0.49066666666666664,
-      "grad_norm": 0.1478956639766693,
+      "grad_norm": 0.16139738261699677,
       "learning_rate": 0.00015638297872340426,
-      "loss": 0.7217134237289429,
+      "loss": 0.7172589898109436,
       "step": 46
     },
     {
       "epoch": 0.512,
-      "grad_norm": 0.1493946611881256,
+      "grad_norm": 0.16090314090251923,
       "learning_rate": 0.00015,
-      "loss": 0.7867408394813538,
+      "loss": 0.7819504141807556,
       "step": 48
     },
     {
       "epoch": 0.5333333333333333,
-      "grad_norm": 0.1440344601869583,
+      "grad_norm": 0.1654408872127533,
       "learning_rate": 0.00014361702127659574,
-      "loss": 0.7758527994155884,
+      "loss": 0.7690798044204712,
       "step": 50
     },
     {
       "epoch": 0.5546666666666666,
-      "grad_norm": 0.18880832195281982,
+      "grad_norm": 0.18046759068965912,
       "learning_rate": 0.0001372340425531915,
-      "loss": 0.8403156399726868,
+      "loss": 0.8340349197387695,
       "step": 52
     },
     {
       "epoch": 0.576,
-      "grad_norm": 0.17265242338180542,
+      "grad_norm": 0.17416644096374512,
       "learning_rate": 0.00013085106382978724,
-      "loss": 0.7809760570526123,
+      "loss": 0.7726225256919861,
       "step": 54
     },
     {
       "epoch": 0.5973333333333334,
-      "grad_norm": 0.24294261634349823,
+      "grad_norm": 0.222308948636055,
       "learning_rate": 0.00012446808510638296,
-      "loss": 0.836655855178833,
+      "loss": 0.8268517255783081,
       "step": 56
     },
     {
       "epoch": 0.6186666666666667,
-      "grad_norm": 0.19952146708965302,
+      "grad_norm": 0.1559182107448578,
       "learning_rate": 0.00011808510638297871,
-      "loss": 0.643369734287262,
+      "loss": 0.634832501411438,
       "step": 58
     },
     {
       "epoch": 0.64,
-      "grad_norm": 0.1467123031616211,
+      "grad_norm": 0.13130973279476166,
       "learning_rate": 0.00011170212765957445,
-      "loss": 0.7194958329200745,
+      "loss": 0.7112312912940979,
       "step": 60
     },
     {
       "epoch": 0.6613333333333333,
-      "grad_norm": 0.21924762427806854,
+      "grad_norm": 0.22570385038852692,
       "learning_rate": 0.0001053191489361702,
-      "loss": 0.8223744034767151,
+      "loss": 0.8176838755607605,
       "step": 62
     },
     {
       "epoch": 0.6826666666666666,
-      "grad_norm": 0.18434031307697296,
+      "grad_norm": 0.1872723549604416,
       "learning_rate": 9.893617021276594e-05,
-      "loss": 0.8513956665992737,
+      "loss": 0.8462131023406982,
       "step": 64
     },
     {
       "epoch": 0.704,
-      "grad_norm": 0.17000234127044678,
+      "grad_norm": 0.18511344492435455,
       "learning_rate": 9.25531914893617e-05,
-      "loss": 0.9248026013374329,
+      "loss": 0.9210973381996155,
       "step": 66
     },
     {
       "epoch": 0.7253333333333334,
-      "grad_norm": 0.14066942036151886,
+      "grad_norm": 0.14267997443675995,
       "learning_rate": 8.617021276595745e-05,
-      "loss": 0.7293943166732788,
+      "loss": 0.7240331172943115,
       "step": 68
     },
     {
       "epoch": 0.7466666666666667,
-      "grad_norm": 0.1496291160583496,
+      "grad_norm": 0.15283825993537903,
       "learning_rate": 7.978723404255319e-05,
-      "loss": 0.6617099642753601,
+      "loss": 0.6562749743461609,
       "step": 70
     },
     {
       "epoch": 0.768,
-      "grad_norm": 0.14691130816936493,
+      "grad_norm": 0.15016956627368927,
       "learning_rate": 7.340425531914892e-05,
-      "loss": 0.7476689219474792,
+      "loss": 0.7399184703826904,
       "step": 72
     },
     {
       "epoch": 0.7893333333333333,
-      "grad_norm": 0.15452657639980316,
+      "grad_norm": 0.15961848199367523,
       "learning_rate": 6.702127659574467e-05,
-      "loss": 0.9742180109024048,
+      "loss": 0.965402364730835,
       "step": 74
     },
     {
       "epoch": 0.8106666666666666,
-      "grad_norm": 0.13311609625816345,
+      "grad_norm": 0.15031404793262482,
       "learning_rate": 6.063829787234042e-05,
-      "loss": 0.6841458678245544,
+      "loss": 0.6755743622779846,
       "step": 76
     },
     {
       "epoch": 0.832,
-      "grad_norm": 0.1134224608540535,
+      "grad_norm": 0.11759807169437408,
       "learning_rate": 5.425531914893617e-05,
-      "loss": 0.48961079120635986,
+      "loss": 0.48361048102378845,
       "step": 78
     },
     {
       "epoch": 0.8533333333333334,
-      "grad_norm": 0.20785805583000183,
+      "grad_norm": 0.2297014594078064,
       "learning_rate": 4.787234042553191e-05,
-      "loss": 1.116832971572876,
+      "loss": 1.1051844358444214,
       "step": 80
     },
     {
       "epoch": 0.8746666666666667,
-      "grad_norm": 0.12565848231315613,
+      "grad_norm": 0.12792372703552246,
       "learning_rate": 4.1489361702127656e-05,
-      "loss": 0.5400999784469604,
+      "loss": 0.5338218212127686,
       "step": 82
     },
     {
       "epoch": 0.896,
-      "grad_norm": 0.2639591097831726,
+      "grad_norm": 0.25893640518188477,
       "learning_rate": 3.51063829787234e-05,
-      "loss": 0.9202085733413696,
+      "loss": 0.9042420387268066,
       "step": 84
     },
     {
       "epoch": 0.9173333333333333,
-      "grad_norm": 0.15751990675926208,
+      "grad_norm": 0.21417197585105896,
       "learning_rate": 2.8723404255319147e-05,
-      "loss": 0.8095049858093262,
+      "loss": 0.7929392457008362,
       "step": 86
     },
     {
       "epoch": 0.9386666666666666,
-      "grad_norm": 0.16098466515541077,
+      "grad_norm": 0.1831367313861847,
       "learning_rate": 2.234042553191489e-05,
-      "loss": 0.9447997808456421,
+      "loss": 0.9342413544654846,
       "step": 88
     },
     {
       "epoch": 0.96,
-      "grad_norm": 0.2030881941318512,
+      "grad_norm": 0.2109343260526657,
       "learning_rate": 1.5957446808510637e-05,
-      "loss": 0.8310367465019226,
+      "loss": 0.811016857624054,
       "step": 90
     },
     {
       "epoch": 0.9813333333333333,
-      "grad_norm": 0.14937874674797058,
+      "grad_norm": 0.20216535031795502,
       "learning_rate": 9.574468085106381e-06,
-      "loss": 0.7282548546791077,
+      "loss": 0.7098665237426758,
       "step": 92
     },
     {
       "epoch": 1.0,
-      "grad_norm": 0.16161267459392548,
+      "grad_norm": 0.18568123877048492,
       "learning_rate": 3.1914893617021273e-06,
-      "loss": 0.7375127077102661,
+      "loss": 0.7120540142059326,
       "step": 94
     }
   ],

outputs/tiny-50M/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8ac60534512b1d96ab438a8604ed4361bdafa0057e94bd532deddd61b2355c2a
+oid sha256:4e3d6b8600987b159bcc72d1eebb89932e4dc0607981da143a50d818766827e9
 size 223914096