Upload folder using huggingface_hub

outputs/tiny-50M/checkpoint-94/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1d450294d310c055ba8d0dc04bd3d11b411942362fbb2c02680a720be70292fe
+oid sha256:36957c6f1f015099525b790d2dd70f38b1a921e4ab9120e74448810b3c0997fc
 size 223914096

outputs/tiny-50M/checkpoint-94/optimizer.pt

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4b7f4db4309c5d535517942745af9b6d0034648c9888749f1a22addac35fe662
+oid sha256:3cff9b0c82ec23f2f10c71dc86cb68272042f6adb0f48573551f6115ad062f99
 size 447876619

outputs/tiny-50M/checkpoint-94/trainer_state.json

@@ -11,331 +11,331 @@
   "log_history": [
     {
       "epoch": 0.021333333333333333,
-      "grad_norm": 27.868202209472656,
+      "grad_norm": 29.011188507080078,
       "learning_rate": 0.00029680851063829784,
-      "loss": 8.157167434692383,
+      "loss": 8.346978187561035,
       "step": 2
     },
     {
       "epoch": 0.042666666666666665,
-      "grad_norm": 13.859455108642578,
+      "grad_norm": 13.481355667114258,
       "learning_rate": 0.0002904255319148936,
-      "loss": 2.6399335861206055,
+      "loss": 2.6404876708984375,
       "step": 4
     },
     {
       "epoch": 0.064,
-      "grad_norm": 8.083123207092285,
+      "grad_norm": 7.892824649810791,
       "learning_rate": 0.00028404255319148934,
-      "loss": 2.078390598297119,
+      "loss": 2.0632431507110596,
       "step": 6
     },
     {
       "epoch": 0.08533333333333333,
-      "grad_norm": 5.325896263122559,
+      "grad_norm": 5.1439290046691895,
       "learning_rate": 0.00027765957446808506,
-      "loss": 1.7253539562225342,
+      "loss": 1.717237949371338,
       "step": 8
     },
     {
       "epoch": 0.10666666666666667,
-      "grad_norm": 3.6207308769226074,
+      "grad_norm": 3.4443705081939697,
       "learning_rate": 0.00027127659574468084,
-      "loss": 1.5509939193725586,
+      "loss": 1.546836495399475,
       "step": 10
     },
     {
       "epoch": 0.128,
-      "grad_norm": 1.4353423118591309,
+      "grad_norm": 1.2741241455078125,
       "learning_rate": 0.00026489361702127656,
-      "loss": 1.5628377199172974,
+      "loss": 1.5641388893127441,
       "step": 12
     },
     {
       "epoch": 0.14933333333333335,
-      "grad_norm": 0.5287856459617615,
+      "grad_norm": 0.4521211087703705,
       "learning_rate": 0.0002585106382978723,
-      "loss": 1.4617233276367188,
+      "loss": 1.4650248289108276,
       "step": 14
     },
     {
       "epoch": 0.17066666666666666,
-      "grad_norm": 0.6490349173545837,
+      "grad_norm": 0.7001396417617798,
       "learning_rate": 0.00025212765957446806,
-      "loss": 1.7032606601715088,
+      "loss": 1.723739504814148,
       "step": 16
     },
     {
       "epoch": 0.192,
-      "grad_norm": 3.063627243041992,
+      "grad_norm": 2.849344253540039,
       "learning_rate": 0.00024574468085106384,
-      "loss": 1.1993221044540405,
+      "loss": 1.2521086931228638,
       "step": 18
     },
     {
       "epoch": 0.21333333333333335,
-      "grad_norm": 1.0214952230453491,
+      "grad_norm": 1.0618754625320435,
       "learning_rate": 0.00023936170212765956,
-      "loss": 1.2365622520446777,
+      "loss": 1.3180286884307861,
       "step": 20
     },
     {
       "epoch": 0.23466666666666666,
-      "grad_norm": 0.8437785506248474,
+      "grad_norm": 0.7910650968551636,
       "learning_rate": 0.00023297872340425529,
-      "loss": 0.7604359984397888,
+      "loss": 0.7831555008888245,
       "step": 22
     },
     {
       "epoch": 0.256,
-      "grad_norm": 0.6444211006164551,
+      "grad_norm": 0.5811737775802612,
       "learning_rate": 0.00022659574468085106,
-      "loss": 0.845779538154602,
+      "loss": 0.8747992515563965,
       "step": 24
     },
     {
       "epoch": 0.2773333333333333,
-      "grad_norm": 0.46379169821739197,
+      "grad_norm": 0.5306895971298218,
       "learning_rate": 0.00022021276595744679,
-      "loss": 0.927571177482605,
+      "loss": 0.946044921875,
       "step": 26
     },
     {
       "epoch": 0.2986666666666667,
-      "grad_norm": 0.5278334617614746,
+      "grad_norm": 0.4814009666442871,
       "learning_rate": 0.00021382978723404254,
-      "loss": 1.2771258354187012,
+      "loss": 1.2863211631774902,
       "step": 28
     },
     {
       "epoch": 0.32,
-      "grad_norm": 0.37028035521507263,
+      "grad_norm": 0.40367525815963745,
       "learning_rate": 0.0002074468085106383,
-      "loss": 0.6947563886642456,
+      "loss": 0.6992202401161194,
       "step": 30
     },
     {
       "epoch": 0.3413333333333333,
-      "grad_norm": 0.3268958330154419,
+      "grad_norm": 0.33995431661605835,
       "learning_rate": 0.00020106382978723404,
-      "loss": 0.8038973212242126,
+      "loss": 0.8039097785949707,
       "step": 32
     },
     {
       "epoch": 0.3626666666666667,
-      "grad_norm": 0.28546181321144104,
+      "grad_norm": 0.29279589653015137,
       "learning_rate": 0.00019468085106382976,
-      "loss": 0.7630670070648193,
+      "loss": 0.7619299292564392,
       "step": 34
     },
     {
       "epoch": 0.384,
-      "grad_norm": 0.2332630455493927,
+      "grad_norm": 0.24546465277671814,
       "learning_rate": 0.0001882978723404255,
-      "loss": 0.8062828779220581,
+      "loss": 0.8064662218093872,
       "step": 36
     },
     {
       "epoch": 0.4053333333333333,
-      "grad_norm": 0.2001950591802597,
+      "grad_norm": 0.22012704610824585,
       "learning_rate": 0.00018191489361702126,
-      "loss": 0.5785167217254639,
+      "loss": 0.5786138772964478,
       "step": 38
     },
     {
       "epoch": 0.4266666666666667,
-      "grad_norm": 0.23346108198165894,
+      "grad_norm": 0.2339271903038025,
       "learning_rate": 0.000175531914893617,
-      "loss": 0.7716493010520935,
+      "loss": 0.7726966142654419,
       "step": 40
     },
     {
       "epoch": 0.448,
-      "grad_norm": 0.22143609821796417,
+      "grad_norm": 0.2187328040599823,
       "learning_rate": 0.00016914893617021274,
-      "loss": 0.7512003183364868,
+      "loss": 0.7539166808128357,
       "step": 42
     },
     {
       "epoch": 0.4693333333333333,
-      "grad_norm": 0.1841302216053009,
+      "grad_norm": 0.19738425314426422,
       "learning_rate": 0.00016276595744680849,
-      "loss": 0.5354293584823608,
+      "loss": 0.5378025770187378,
       "step": 44
     },
     {
       "epoch": 0.49066666666666664,
-      "grad_norm": 0.16506025195121765,
+      "grad_norm": 0.18012943863868713,
       "learning_rate": 0.00015638297872340426,
-      "loss": 0.7202287316322327,
+      "loss": 0.7240568399429321,
       "step": 46
     },
     {
       "epoch": 0.512,
-      "grad_norm": 0.15991899371147156,
+      "grad_norm": 0.17003561556339264,
       "learning_rate": 0.00015,
-      "loss": 0.7863003611564636,
+      "loss": 0.7885584235191345,
       "step": 48
     },
     {
       "epoch": 0.5333333333333333,
-      "grad_norm": 0.15827640891075134,
+      "grad_norm": 0.1656249612569809,
       "learning_rate": 0.00014361702127659574,
-      "loss": 0.7746068835258484,
+      "loss": 0.7779578566551208,
       "step": 50
     },
     {
       "epoch": 0.5546666666666666,
-      "grad_norm": 0.17626112699508667,
+      "grad_norm": 0.19503864645957947,
       "learning_rate": 0.0001372340425531915,
-      "loss": 0.8391730189323425,
+      "loss": 0.8448032736778259,
       "step": 52
     },
     {
       "epoch": 0.576,
-      "grad_norm": 0.17872245609760284,
+      "grad_norm": 0.19109377264976501,
       "learning_rate": 0.00013085106382978724,
-      "loss": 0.7807156443595886,
+      "loss": 0.7850212454795837,
       "step": 54
     },
     {
       "epoch": 0.5973333333333334,
-      "grad_norm": 0.2603297531604767,
+      "grad_norm": 0.2633759081363678,
       "learning_rate": 0.00012446808510638296,
-      "loss": 0.8399015069007874,
+      "loss": 0.8420689105987549,
       "step": 56
     },
     {
       "epoch": 0.6186666666666667,
-      "grad_norm": 0.14779576659202576,
+      "grad_norm": 0.1693897396326065,
       "learning_rate": 0.00011808510638297871,
-      "loss": 0.6424157619476318,
+      "loss": 0.645514726638794,
       "step": 58
     },
     {
       "epoch": 0.64,
-      "grad_norm": 0.14715905487537384,
+      "grad_norm": 0.16540351510047913,
       "learning_rate": 0.00011170212765957445,
-      "loss": 0.7199504375457764,
+      "loss": 0.7244110107421875,
       "step": 60
     },
     {
       "epoch": 0.6613333333333333,
-      "grad_norm": 0.23487859964370728,
+      "grad_norm": 0.25264379382133484,
       "learning_rate": 0.0001053191489361702,
-      "loss": 0.8269096612930298,
+      "loss": 0.8276220560073853,
       "step": 62
     },
     {
       "epoch": 0.6826666666666666,
-      "grad_norm": 0.1857561469078064,
+      "grad_norm": 0.1877814531326294,
       "learning_rate": 9.893617021276594e-05,
-      "loss": 0.8558974266052246,
+      "loss": 0.8581035733222961,
       "step": 64
     },
     {
       "epoch": 0.704,
-      "grad_norm": 0.1738223284482956,
+      "grad_norm": 0.16655665636062622,
       "learning_rate": 9.25531914893617e-05,
-      "loss": 0.9300681352615356,
+      "loss": 0.9341365098953247,
       "step": 66
     },
     {
       "epoch": 0.7253333333333334,
-      "grad_norm": 0.14161506295204163,
+      "grad_norm": 0.1424597203731537,
       "learning_rate": 8.617021276595745e-05,
-      "loss": 0.7307680249214172,
+      "loss": 0.7335399389266968,
       "step": 68
     },
     {
       "epoch": 0.7466666666666667,
-      "grad_norm": 0.1567554771900177,
+      "grad_norm": 0.15033434331417084,
       "learning_rate": 7.978723404255319e-05,
-      "loss": 0.6628752946853638,
+      "loss": 0.6669926047325134,
       "step": 70
     },
     {
       "epoch": 0.768,
-      "grad_norm": 0.15578553080558777,
+      "grad_norm": 0.15904343128204346,
       "learning_rate": 7.340425531914892e-05,
-      "loss": 0.7492741346359253,
+      "loss": 0.7523277401924133,
       "step": 72
     },
     {
       "epoch": 0.7893333333333333,
-      "grad_norm": 0.16779302060604095,
+      "grad_norm": 0.16284826397895813,
       "learning_rate": 6.702127659574467e-05,
-      "loss": 0.9778867363929749,
+      "loss": 0.9841910600662231,
       "step": 74
     },
     {
       "epoch": 0.8106666666666666,
-      "grad_norm": 0.13921698927879333,
+      "grad_norm": 0.14707544445991516,
       "learning_rate": 6.063829787234042e-05,
-      "loss": 0.6866664886474609,
+      "loss": 0.6877110600471497,
       "step": 76
     },
     {
       "epoch": 0.832,
-      "grad_norm": 0.12115991115570068,
+      "grad_norm": 0.12658557295799255,
       "learning_rate": 5.425531914893617e-05,
-      "loss": 0.4903963506221771,
+      "loss": 0.49134188890457153,
       "step": 78
     },
     {
       "epoch": 0.8533333333333334,
-      "grad_norm": 0.2741177976131439,
+      "grad_norm": 0.21714496612548828,
       "learning_rate": 4.787234042553191e-05,
-      "loss": 1.1157170534133911,
+      "loss": 1.1129697561264038,
       "step": 80
     },
     {
       "epoch": 0.8746666666666667,
-      "grad_norm": 0.20133326947689056,
+      "grad_norm": 0.14592401683330536,
       "learning_rate": 4.1489361702127656e-05,
-      "loss": 0.5434116125106812,
+      "loss": 0.5422960519790649,
       "step": 82
     },
     {
       "epoch": 0.896,
-      "grad_norm": 0.2694286108016968,
+      "grad_norm": 0.27245721220970154,
       "learning_rate": 3.51063829787234e-05,
-      "loss": 0.9141523241996765,
+      "loss": 0.9125586748123169,
       "step": 84
     },
     {
       "epoch": 0.9173333333333333,
-      "grad_norm": 0.16547797620296478,
+      "grad_norm": 0.23456934094429016,
       "learning_rate": 2.8723404255319147e-05,
-      "loss": 0.8089484572410583,
+      "loss": 0.8048152327537537,
       "step": 86
     },
     {
       "epoch": 0.9386666666666666,
-      "grad_norm": 0.15740075707435608,
+      "grad_norm": 0.2302902489900589,
       "learning_rate": 2.234042553191489e-05,
-      "loss": 0.9444987177848816,
+      "loss": 0.9489067792892456,
       "step": 88
     },
     {
       "epoch": 0.96,
-      "grad_norm": 0.18264970183372498,
+      "grad_norm": 0.19670090079307556,
       "learning_rate": 1.5957446808510637e-05,
-      "loss": 0.82979816198349,
+      "loss": 0.8251653909683228,
       "step": 90
     },
     {
       "epoch": 0.9813333333333333,
-      "grad_norm": 0.15770860016345978,
+      "grad_norm": 0.19505082070827484,
       "learning_rate": 9.574468085106381e-06,
-      "loss": 0.7281199097633362,
+      "loss": 0.7231743335723877,
       "step": 92
     },
     {
       "epoch": 1.0,
-      "grad_norm": 0.16419664025306702,
+      "grad_norm": 0.17158855497837067,
       "learning_rate": 3.1914893617021273e-06,
-      "loss": 0.7322009205818176,
+      "loss": 0.7263050079345703,
       "step": 94
     }
   ],

outputs/tiny-50M/model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1d450294d310c055ba8d0dc04bd3d11b411942362fbb2c02680a720be70292fe
+oid sha256:36957c6f1f015099525b790d2dd70f38b1a921e4ab9120e74448810b3c0997fc
 size 223914096