Upload folder using huggingface_hub

outputs/tiny-50M/checkpoint-94/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:394e0bd0efdbea6b68c37457103503f033772b0297efc16973c989206e46ad3e
+oid sha256:bfc3974836f701dac1e0a89a5d5ee2222e7e2f015e864ccfbd7e3f2c820bd441
 size 223914096

outputs/tiny-50M/checkpoint-94/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1cca8a9846874f6049bd2b37e5b22e4db963448dbfd0b925b91baf246c290883
+oid sha256:7e33c4a795f049aea73b509825edb392a7c0cd954ffb80f1015f9e3ba05db766
 size 447875595

outputs/tiny-50M/checkpoint-94/trainer_state.json

@@ -11,331 +11,331 @@
   "log_history": [
     {
       "epoch": 0.021333333333333333,
-      "grad_norm": 29.684202194213867,
+      "grad_norm": 26.77652359008789,
       "learning_rate": 0.00029680851063829784,
-      "loss": 8.627060890197754,
+      "loss": 8.31940746307373,
       "step": 2
     },
     {
       "epoch": 0.042666666666666665,
-      "grad_norm": 15.885671615600586,
+      "grad_norm": 15.09926700592041,
       "learning_rate": 0.0002904255319148936,
-      "loss": 3.0566599369049072,
+      "loss": 2.884593963623047,
       "step": 4
     },
     {
       "epoch": 0.064,
-      "grad_norm": 10.24151611328125,
+      "grad_norm": 10.014819145202637,
       "learning_rate": 0.00028404255319148934,
-      "loss": 2.2677080631256104,
+      "loss": 2.2248690128326416,
       "step": 6
     },
     {
       "epoch": 0.08533333333333333,
-      "grad_norm": 7.422627925872803,
+      "grad_norm": 7.071648597717285,
       "learning_rate": 0.00027765957446808506,
-      "loss": 1.8590039014816284,
+      "loss": 1.832716703414917,
       "step": 8
     },
     {
       "epoch": 0.10666666666666667,
-      "grad_norm": 5.496523380279541,
+      "grad_norm": 5.0986480712890625,
       "learning_rate": 0.00027127659574468084,
-      "loss": 1.65449059009552,
+      "loss": 1.6224385499954224,
       "step": 10
     },
     {
       "epoch": 0.128,
-      "grad_norm": 2.8149330615997314,
+      "grad_norm": 2.488968849182129,
       "learning_rate": 0.00026489361702127656,
-      "loss": 1.628933072090149,
+      "loss": 1.6052900552749634,
       "step": 12
     },
     {
       "epoch": 0.14933333333333335,
-      "grad_norm": 0.9798053503036499,
+      "grad_norm": 0.7825406193733215,
       "learning_rate": 0.0002585106382978723,
-      "loss": 1.5164093971252441,
+      "loss": 1.497071623802185,
       "step": 14
     },
     {
       "epoch": 0.17066666666666666,
-      "grad_norm": 0.7580994963645935,
+      "grad_norm": 0.8244084715843201,
       "learning_rate": 0.00025212765957446806,
-      "loss": 1.778139591217041,
+      "loss": 1.758764386177063,
       "step": 16
     },
     {
       "epoch": 0.192,
-      "grad_norm": 1.300748348236084,
+      "grad_norm": 1.361620306968689,
       "learning_rate": 0.00024574468085106384,
-      "loss": 1.2931238412857056,
+      "loss": 1.2755309343338013,
       "step": 18
     },
     {
       "epoch": 0.21333333333333335,
-      "grad_norm": 2.1067330837249756,
+      "grad_norm": 2.032365322113037,
       "learning_rate": 0.00023936170212765956,
-      "loss": 1.4191280603408813,
+      "loss": 1.4080082178115845,
       "step": 20
     },
     {
       "epoch": 0.23466666666666666,
-      "grad_norm": 1.1771434545516968,
+      "grad_norm": 1.044620394706726,
       "learning_rate": 0.00023297872340425529,
-      "loss": 0.8521252870559692,
+      "loss": 0.8543000221252441,
       "step": 22
     },
     {
       "epoch": 0.256,
-      "grad_norm": 0.9667294025421143,
+      "grad_norm": 1.0342291593551636,
       "learning_rate": 0.00022659574468085106,
-      "loss": 0.922385573387146,
+      "loss": 0.9240607023239136,
       "step": 24
     },
     {
       "epoch": 0.2773333333333333,
-      "grad_norm": 0.7140960097312927,
+      "grad_norm": 0.9134232997894287,
       "learning_rate": 0.00022021276595744679,
-      "loss": 0.9978636503219604,
+      "loss": 1.021284580230713,
       "step": 26
     },
     {
       "epoch": 0.2986666666666667,
-      "grad_norm": 0.6805611848831177,
+      "grad_norm": 1.0942655801773071,
       "learning_rate": 0.00021382978723404254,
-      "loss": 1.325127363204956,
+      "loss": 1.393756628036499,
       "step": 28
     },
     {
       "epoch": 0.32,
-      "grad_norm": 0.47743135690689087,
+      "grad_norm": 0.524498462677002,
       "learning_rate": 0.0002074468085106383,
-      "loss": 0.7170737981796265,
+      "loss": 0.7278448939323425,
       "step": 30
     },
     {
       "epoch": 0.3413333333333333,
-      "grad_norm": 0.4274252653121948,
+      "grad_norm": 2.784357786178589,
       "learning_rate": 0.00020106382978723404,
-      "loss": 0.8229861259460449,
+      "loss": 0.8285637497901917,
       "step": 32
     },
     {
       "epoch": 0.3626666666666667,
-      "grad_norm": 0.3539794683456421,
+      "grad_norm": 0.38770851492881775,
       "learning_rate": 0.00019468085106382976,
-      "loss": 0.7791945338249207,
+      "loss": 0.7883161902427673,
       "step": 34
     },
     {
       "epoch": 0.384,
-      "grad_norm": 0.2938564121723175,
+      "grad_norm": 0.32169777154922485,
       "learning_rate": 0.0001882978723404255,
-      "loss": 0.822229266166687,
+      "loss": 0.8219707012176514,
       "step": 36
     },
     {
       "epoch": 0.4053333333333333,
-      "grad_norm": 0.2560254633426666,
+      "grad_norm": 0.27806228399276733,
       "learning_rate": 0.00018191489361702126,
-      "loss": 0.5895446538925171,
+      "loss": 0.5901041626930237,
       "step": 38
     },
     {
       "epoch": 0.4266666666666667,
-      "grad_norm": 0.2869499623775482,
+      "grad_norm": 0.3268123269081116,
       "learning_rate": 0.000175531914893617,
-      "loss": 0.7841178774833679,
+      "loss": 0.786514937877655,
       "step": 40
     },
     {
       "epoch": 0.448,
-      "grad_norm": 0.2636859118938446,
+      "grad_norm": 0.3018794655799866,
       "learning_rate": 0.00016914893617021274,
-      "loss": 0.7623085379600525,
+      "loss": 0.7654262185096741,
       "step": 42
     },
     {
       "epoch": 0.4693333333333333,
-      "grad_norm": 0.21826578676700592,
+      "grad_norm": 0.23550023138523102,
       "learning_rate": 0.00016276595744680849,
-      "loss": 0.5447239875793457,
+      "loss": 0.5464568734169006,
       "step": 44
     },
     {
       "epoch": 0.49066666666666664,
-      "grad_norm": 0.1992732584476471,
+      "grad_norm": 0.22144588828086853,
       "learning_rate": 0.00015638297872340426,
-      "loss": 0.7323682904243469,
+      "loss": 0.7355910539627075,
       "step": 46
     },
     {
       "epoch": 0.512,
-      "grad_norm": 0.18817859888076782,
+      "grad_norm": 0.20692148804664612,
       "learning_rate": 0.00015,
-      "loss": 0.7991129159927368,
+      "loss": 0.803188681602478,
       "step": 48
     },
     {
       "epoch": 0.5333333333333333,
-      "grad_norm": 0.17705494165420532,
+      "grad_norm": 0.19736984372138977,
       "learning_rate": 0.00014361702127659574,
-      "loss": 0.7869405746459961,
+      "loss": 0.7904824614524841,
       "step": 50
     },
     {
       "epoch": 0.5546666666666666,
-      "grad_norm": 0.20010007917881012,
+      "grad_norm": 0.21209906041622162,
       "learning_rate": 0.0001372340425531915,
-      "loss": 0.8560863733291626,
+      "loss": 0.86004638671875,
       "step": 52
     },
     {
       "epoch": 0.576,
-      "grad_norm": 0.1877651810646057,
+      "grad_norm": 0.19877313077449799,
       "learning_rate": 0.00013085106382978724,
-      "loss": 0.796995997428894,
+      "loss": 0.8011965751647949,
       "step": 54
     },
     {
       "epoch": 0.5973333333333334,
-      "grad_norm": 0.26198551058769226,
+      "grad_norm": 0.27202314138412476,
       "learning_rate": 0.00012446808510638296,
-      "loss": 0.8567670583724976,
+      "loss": 0.8638420104980469,
       "step": 56
     },
     {
       "epoch": 0.6186666666666667,
-      "grad_norm": 0.1614927500486374,
+      "grad_norm": 0.17058980464935303,
       "learning_rate": 0.00011808510638297871,
-      "loss": 0.6549705862998962,
+      "loss": 0.6613513231277466,
       "step": 58
     },
     {
       "epoch": 0.64,
-      "grad_norm": 0.16270600259304047,
+      "grad_norm": 0.1729303002357483,
       "learning_rate": 0.00011170212765957445,
-      "loss": 0.7354376912117004,
+      "loss": 0.7429146766662598,
       "step": 60
     },
     {
       "epoch": 0.6613333333333333,
-      "grad_norm": 0.2576596140861511,
+      "grad_norm": 0.2784467041492462,
       "learning_rate": 0.0001053191489361702,
-      "loss": 0.839971125125885,
+      "loss": 0.8528484106063843,
       "step": 62
     },
     {
       "epoch": 0.6826666666666666,
-      "grad_norm": 0.3321661055088043,
+      "grad_norm": 0.21690985560417175,
       "learning_rate": 9.893617021276594e-05,
-      "loss": 0.8690938353538513,
+      "loss": 0.8806330561637878,
       "step": 64
     },
     {
       "epoch": 0.704,
-      "grad_norm": 0.1797027438879013,
+      "grad_norm": 0.1851229965686798,
       "learning_rate": 9.25531914893617e-05,
-      "loss": 0.9438663721084595,
+      "loss": 0.9589741826057434,
       "step": 66
     },
     {
       "epoch": 0.7253333333333334,
-      "grad_norm": 0.16332873702049255,
+      "grad_norm": 0.17111025750637054,
       "learning_rate": 8.617021276595745e-05,
-      "loss": 0.7457777261734009,
+      "loss": 0.7571946978569031,
       "step": 68
     },
     {
       "epoch": 0.7466666666666667,
-      "grad_norm": 0.17262433469295502,
+      "grad_norm": 0.1761525571346283,
       "learning_rate": 7.978723404255319e-05,
-      "loss": 0.6748669147491455,
+      "loss": 0.6841139793395996,
       "step": 70
     },
     {
       "epoch": 0.768,
-      "grad_norm": 0.18247772753238678,
+      "grad_norm": 0.18274323642253876,
       "learning_rate": 7.340425531914892e-05,
-      "loss": 0.7640758752822876,
+      "loss": 0.7778321504592896,
       "step": 72
     },
     {
       "epoch": 0.7893333333333333,
-      "grad_norm": 0.17622016370296478,
+      "grad_norm": 0.1742275357246399,
       "learning_rate": 6.702127659574467e-05,
-      "loss": 0.9953118562698364,
+      "loss": 1.015321135520935,
       "step": 74
     },
     {
       "epoch": 0.8106666666666666,
-      "grad_norm": 0.1601165384054184,
+      "grad_norm": 0.15738321840763092,
       "learning_rate": 6.063829787234042e-05,
-      "loss": 0.6992275714874268,
+      "loss": 0.7143720984458923,
       "step": 76
     },
     {
       "epoch": 0.832,
-      "grad_norm": 0.13398857414722443,
+      "grad_norm": 0.14068566262722015,
       "learning_rate": 5.425531914893617e-05,
-      "loss": 0.49978041648864746,
+      "loss": 0.5104313492774963,
       "step": 78
     },
     {
       "epoch": 0.8533333333333334,
-      "grad_norm": 0.25246569514274597,
+      "grad_norm": 0.25819846987724304,
       "learning_rate": 4.787234042553191e-05,
-      "loss": 1.1334075927734375,
+      "loss": 1.1551976203918457,
       "step": 80
     },
     {
       "epoch": 0.8746666666666667,
-      "grad_norm": 0.1574617475271225,
+      "grad_norm": 0.156158909201622,
       "learning_rate": 4.1489361702127656e-05,
-      "loss": 0.5517998337745667,
+      "loss": 0.5629939436912537,
       "step": 82
     },
     {
       "epoch": 0.896,
-      "grad_norm": 0.29688945412635803,
+      "grad_norm": 0.30327317118644714,
       "learning_rate": 3.51063829787234e-05,
-      "loss": 0.9275664687156677,
+      "loss": 0.9528428316116333,
       "step": 84
     },
     {
       "epoch": 0.9173333333333333,
-      "grad_norm": 0.18004688620567322,
+      "grad_norm": 0.16048039495944977,
       "learning_rate": 2.8723404255319147e-05,
-      "loss": 0.8210206031799316,
+      "loss": 0.8450431227684021,
       "step": 86
     },
     {
       "epoch": 0.9386666666666666,
-      "grad_norm": 0.20690478384494781,
+      "grad_norm": 0.19219627976417542,
       "learning_rate": 2.234042553191489e-05,
-      "loss": 0.9617447853088379,
+      "loss": 0.9786319136619568,
       "step": 88
     },
     {
       "epoch": 0.96,
-      "grad_norm": 0.19821050763130188,
+      "grad_norm": 0.18227452039718628,
       "learning_rate": 1.5957446808510637e-05,
-      "loss": 0.8445133566856384,
+      "loss": 0.8729925751686096,
       "step": 90
     },
     {
       "epoch": 0.9813333333333333,
-      "grad_norm": 0.1804923117160797,
+      "grad_norm": 0.15748633444309235,
       "learning_rate": 9.574468085106381e-06,
-      "loss": 0.7421390414237976,
+      "loss": 0.7683946490287781,
       "step": 92
     },
     {
       "epoch": 1.0,
-      "grad_norm": 0.17959463596343994,
+      "grad_norm": 0.1812305599451065,
       "learning_rate": 3.1914893617021273e-06,
-      "loss": 0.745481550693512,
+      "loss": 0.7805179357528687,
       "step": 94
     }
   ],

outputs/tiny-50M/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:394e0bd0efdbea6b68c37457103503f033772b0297efc16973c989206e46ad3e
+oid sha256:bfc3974836f701dac1e0a89a5d5ee2222e7e2f015e864ccfbd7e3f2c820bd441
 size 223914096