Upload folder using huggingface_hub

checkpoint-290/training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6a93bd1f6d320fc94c2714571e9d8d8a080519f8cf21009ed9bb87e5467c9cb0
+oid sha256:1d7c41912fa23359ed8a11dfcd06991be05d3f01c8b746ff858bb2231ba03985
 size 5777

checkpoint-300/config.json

@@ -0,0 +1,38 @@
+{
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "dtype": "float32",
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 1024,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "max_length": 50
+    }
+  },
+  "transformers_version": "4.56.1",
+  "use_cache": true,
+  "vocab_size": 50257
+}

checkpoint-300/generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 50256,
+  "eos_token_id": 50256,
+  "transformers_version": "4.56.1"
+}

checkpoint-300/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1f12dbad4356a30bc93bfddad0124032a8bfecc51de2f1001a681ffd086482b4
+size 497774208

checkpoint-300/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:630a4bdd48ef1eb74b690b2baae50191c6dd96963e7326e0f0d21663aa7a7c7d
+size 995638603

checkpoint-300/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9991831d411ddeaa6323ba954f7ee65fc0bbac71cd2c6f9b5e5776e6c92f7e5b
+size 14455

checkpoint-300/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6899f9f82cea064fe52ac09813b47d526ed686cbe04f0925eb7e665a0e61bfae
+size 1465

checkpoint-300/special_tokens_map.json

@@ -0,0 +1,24 @@
+{
+  "bos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "<|endoftext|>",
+  "unk_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-300/tokenizer_config.json

@@ -0,0 +1,23 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "50256": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<|endoftext|>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|endoftext|>",
+  "errors": "replace",
+  "extra_special_tokens": {},
+  "model_max_length": 1024,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": "<|endoftext|>"
+}

checkpoint-300/trainer_state.json

@@ -0,0 +1,244 @@
+{
+  "best_global_step": null,
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 5.0,
+  "eval_steps": 500,
+  "global_step": 300,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 31.59705352783203,
+      "learning_rate": 4.85e-05,
+      "loss": 3.9397,
+      "step": 10
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 80.66327667236328,
+      "learning_rate": 4.683333333333334e-05,
+      "loss": 3.325,
+      "step": 20
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 32.49787521362305,
+      "learning_rate": 4.516666666666667e-05,
+      "loss": 3.3738,
+      "step": 30
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 66.78797912597656,
+      "learning_rate": 4.35e-05,
+      "loss": 3.3993,
+      "step": 40
+    },
+    {
+      "epoch": 0.8333333333333334,
+      "grad_norm": 51.33676528930664,
+      "learning_rate": 4.183333333333334e-05,
+      "loss": 2.8263,
+      "step": 50
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 39.879756927490234,
+      "learning_rate": 4.016666666666667e-05,
+      "loss": 3.3037,
+      "step": 60
+    },
+    {
+      "epoch": 1.1666666666666667,
+      "grad_norm": 25.068859100341797,
+      "learning_rate": 3.85e-05,
+      "loss": 2.476,
+      "step": 70
+    },
+    {
+      "epoch": 1.3333333333333333,
+      "grad_norm": 26.87322425842285,
+      "learning_rate": 3.683333333333334e-05,
+      "loss": 2.4806,
+      "step": 80
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 0.0,
+      "learning_rate": 3.516666666666667e-05,
+      "loss": 2.121,
+      "step": 90
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "grad_norm": 0.0,
+      "learning_rate": 3.35e-05,
+      "loss": 2.5916,
+      "step": 100
+    },
+    {
+      "epoch": 1.8333333333333335,
+      "grad_norm": 31.49118995666504,
+      "learning_rate": 3.183333333333334e-05,
+      "loss": 2.1819,
+      "step": 110
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 119.10132598876953,
+      "learning_rate": 3.016666666666667e-05,
+      "loss": 2.2888,
+      "step": 120
+    },
+    {
+      "epoch": 2.1666666666666665,
+      "grad_norm": 28.438146591186523,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 1.7975,
+      "step": 130
+    },
+    {
+      "epoch": 2.3333333333333335,
+      "grad_norm": 48.78792190551758,
+      "learning_rate": 2.6833333333333333e-05,
+      "loss": 1.7283,
+      "step": 140
+    },
+    {
+      "epoch": 2.5,
+      "grad_norm": 31.457948684692383,
+      "learning_rate": 2.5166666666666667e-05,
+      "loss": 1.4195,
+      "step": 150
+    },
+    {
+      "epoch": 2.6666666666666665,
+      "grad_norm": 38.928916931152344,
+      "learning_rate": 2.35e-05,
+      "loss": 1.6701,
+      "step": 160
+    },
+    {
+      "epoch": 2.8333333333333335,
+      "grad_norm": 30.7103271484375,
+      "learning_rate": 2.1833333333333333e-05,
+      "loss": 1.8877,
+      "step": 170
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 21.397253036499023,
+      "learning_rate": 2.0166666666666668e-05,
+      "loss": 1.4899,
+      "step": 180
+    },
+    {
+      "epoch": 3.1666666666666665,
+      "grad_norm": 21.640207290649414,
+      "learning_rate": 1.85e-05,
+      "loss": 1.3078,
+      "step": 190
+    },
+    {
+      "epoch": 3.3333333333333335,
+      "grad_norm": 57.379486083984375,
+      "learning_rate": 1.6833333333333334e-05,
+      "loss": 1.7813,
+      "step": 200
+    },
+    {
+      "epoch": 3.5,
+      "grad_norm": 0.0,
+      "learning_rate": 1.5166666666666668e-05,
+      "loss": 1.0279,
+      "step": 210
+    },
+    {
+      "epoch": 3.6666666666666665,
+      "grad_norm": 30.761775970458984,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 1.4832,
+      "step": 220
+    },
+    {
+      "epoch": 3.8333333333333335,
+      "grad_norm": 25.48395347595215,
+      "learning_rate": 1.1833333333333334e-05,
+      "loss": 1.4439,
+      "step": 230
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 24.583587646484375,
+      "learning_rate": 1.0166666666666667e-05,
+      "loss": 1.5456,
+      "step": 240
+    },
+    {
+      "epoch": 4.166666666666667,
+      "grad_norm": 0.0,
+      "learning_rate": 8.500000000000002e-06,
+      "loss": 1.0711,
+      "step": 250
+    },
+    {
+      "epoch": 4.333333333333333,
+      "grad_norm": 26.963958740234375,
+      "learning_rate": 6.833333333333333e-06,
+      "loss": 1.1717,
+      "step": 260
+    },
+    {
+      "epoch": 4.5,
+      "grad_norm": 63.18416213989258,
+      "learning_rate": 5.166666666666667e-06,
+      "loss": 1.6026,
+      "step": 270
+    },
+    {
+      "epoch": 4.666666666666667,
+      "grad_norm": 14.477971076965332,
+      "learning_rate": 3.5000000000000004e-06,
+      "loss": 0.8868,
+      "step": 280
+    },
+    {
+      "epoch": 4.833333333333333,
+      "grad_norm": 29.6923770904541,
+      "learning_rate": 1.8333333333333335e-06,
+      "loss": 0.7481,
+      "step": 290
+    },
+    {
+      "epoch": 5.0,
+      "grad_norm": 25.294342041015625,
+      "learning_rate": 1.6666666666666668e-07,
+      "loss": 1.1015,
+      "step": 300
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 300,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 10,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 39193804800000.0,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoint-300/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1d7c41912fa23359ed8a11dfcd06991be05d3f01c8b746ff858bb2231ba03985
+size 5777

runs/Sep22_05-50-37_4e0151b39184/events.out.tfevents.1758520244.4e0151b39184.299.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5c03691c8b93d92862a10f5ba7eb68c3ddf781b7f3315d185315ed1b7a8071d6
+size 11851