End of training

README.md

@@ -3,6 +3,8 @@ base_model: facebook/musicgen-melody
 library_name: peft
 license: cc-by-nc-4.0
 tags:
+- text-to-audio
+- Piano
 - generated_from_trainer
 model-index:
 - name: Piano-Model
@@ -14,7 +16,7 @@ should probably proofread and complete it, then remove this comment. -->
 
 # Piano-Model
 
-This model is a fine-tuned version of [facebook/musicgen-melody](https://huggingface.co/facebook/musicgen-melody) on an unknown dataset.
+This model is a fine-tuned version of [facebook/musicgen-melody](https://huggingface.co/facebook/musicgen-melody) on the PlutoG99001/Piano-clean dataset.
 
 ## Model description
 

trainer_state.json

@@ -1,151 +1,193 @@
 {
   "best_metric": null,
   "best_model_checkpoint": null,
-  "epoch": 3.6923076923076925,
+  "epoch": 4.0,
   "eval_steps": 500,
-  "global_step": 36,
+  "global_step": 48,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
-      "epoch": 0.20512820512820512,
-      "grad_norm": 3.4090847969055176,
-      "learning_rate": 0.00018888888888888888,
-      "loss": 8.6815,
+      "epoch": 0.16666666666666666,
+      "grad_norm": 2.3739163875579834,
+      "learning_rate": 0.00019166666666666667,
+      "loss": 9.3039,
       "step": 2
     },
     {
-      "epoch": 0.41025641025641024,
-      "grad_norm": 3.7809109687805176,
-      "learning_rate": 0.00017777777777777779,
-      "loss": 8.2204,
+      "epoch": 0.3333333333333333,
+      "grad_norm": 3.9307541847229004,
+      "learning_rate": 0.00018333333333333334,
+      "loss": 8.3844,
       "step": 4
     },
     {
-      "epoch": 0.6153846153846154,
-      "grad_norm": 5.441247463226318,
-      "learning_rate": 0.0001666666666666667,
-      "loss": 7.2478,
+      "epoch": 0.5,
+      "grad_norm": 5.566093444824219,
+      "learning_rate": 0.000175,
+      "loss": 8.1736,
       "step": 6
     },
     {
-      "epoch": 0.8205128205128205,
-      "grad_norm": 3.1511142253875732,
-      "learning_rate": 0.00015555555555555556,
-      "loss": 6.0805,
+      "epoch": 0.6666666666666666,
+      "grad_norm": 2.880260467529297,
+      "learning_rate": 0.0001666666666666667,
+      "loss": 6.9991,
       "step": 8
     },
     {
-      "epoch": 1.0256410256410255,
-      "grad_norm": 3.6586670875549316,
-      "learning_rate": 0.00014444444444444444,
-      "loss": 5.8499,
+      "epoch": 0.8333333333333334,
+      "grad_norm": 2.4592766761779785,
+      "learning_rate": 0.00015833333333333332,
+      "loss": 6.751,
       "step": 10
     },
     {
-      "epoch": 1.2307692307692308,
-      "grad_norm": 3.667562961578369,
-      "learning_rate": 0.00013333333333333334,
-      "loss": 5.6406,
+      "epoch": 1.0,
+      "grad_norm": 1.968120813369751,
+      "learning_rate": 0.00015000000000000001,
+      "loss": 6.6477,
       "step": 12
     },
     {
-      "epoch": 1.435897435897436,
-      "grad_norm": 4.54071044921875,
-      "learning_rate": 0.00012222222222222224,
-      "loss": 4.7872,
+      "epoch": 1.1666666666666667,
+      "grad_norm": 1.9354348182678223,
+      "learning_rate": 0.00014166666666666668,
+      "loss": 6.4832,
       "step": 14
     },
     {
-      "epoch": 1.641025641025641,
-      "grad_norm": 4.788601875305176,
-      "learning_rate": 0.00011111111111111112,
-      "loss": 6.0102,
+      "epoch": 1.3333333333333333,
+      "grad_norm": 1.6359012126922607,
+      "learning_rate": 0.00013333333333333334,
+      "loss": 5.8724,
       "step": 16
     },
     {
-      "epoch": 1.8461538461538463,
-      "grad_norm": 2.731595516204834,
-      "learning_rate": 0.0001,
-      "loss": 5.3443,
+      "epoch": 1.5,
+      "grad_norm": 1.5894787311553955,
+      "learning_rate": 0.000125,
+      "loss": 5.6969,
       "step": 18
     },
     {
-      "epoch": 2.051282051282051,
-      "grad_norm": 2.9969563484191895,
-      "learning_rate": 8.888888888888889e-05,
-      "loss": 5.0464,
+      "epoch": 1.6666666666666665,
+      "grad_norm": 1.2109304666519165,
+      "learning_rate": 0.00011666666666666668,
+      "loss": 5.5345,
       "step": 20
     },
     {
-      "epoch": 2.2564102564102564,
-      "grad_norm": 2.7965035438537598,
-      "learning_rate": 7.777777777777778e-05,
-      "loss": 5.0523,
+      "epoch": 1.8333333333333335,
+      "grad_norm": 2.348996639251709,
+      "learning_rate": 0.00010833333333333333,
+      "loss": 6.058,
       "step": 22
     },
     {
-      "epoch": 2.4615384615384617,
-      "grad_norm": 2.5996360778808594,
-      "learning_rate": 6.666666666666667e-05,
-      "loss": 5.1417,
+      "epoch": 2.0,
+      "grad_norm": 1.2399171590805054,
+      "learning_rate": 0.0001,
+      "loss": 5.5483,
       "step": 24
     },
     {
-      "epoch": 2.6666666666666665,
-      "grad_norm": 2.2516720294952393,
-      "learning_rate": 5.555555555555556e-05,
-      "loss": 4.571,
+      "epoch": 2.1666666666666665,
+      "grad_norm": 0.9040967226028442,
+      "learning_rate": 9.166666666666667e-05,
+      "loss": 5.1483,
       "step": 26
     },
     {
-      "epoch": 2.871794871794872,
-      "grad_norm": 3.5645246505737305,
-      "learning_rate": 4.4444444444444447e-05,
-      "loss": 4.9004,
+      "epoch": 2.3333333333333335,
+      "grad_norm": 2.2436225414276123,
+      "learning_rate": 8.333333333333334e-05,
+      "loss": 6.0503,
       "step": 28
     },
     {
-      "epoch": 3.076923076923077,
-      "grad_norm": 1.808791995048523,
-      "learning_rate": 3.3333333333333335e-05,
-      "loss": 4.6747,
+      "epoch": 2.5,
+      "grad_norm": 0.7689768075942993,
+      "learning_rate": 7.500000000000001e-05,
+      "loss": 5.6709,
       "step": 30
     },
     {
-      "epoch": 3.282051282051282,
-      "grad_norm": 2.8537707328796387,
-      "learning_rate": 2.2222222222222223e-05,
-      "loss": 3.9459,
+      "epoch": 2.6666666666666665,
+      "grad_norm": 0.7024766802787781,
+      "learning_rate": 6.666666666666667e-05,
+      "loss": 5.8907,
       "step": 32
     },
     {
-      "epoch": 3.4871794871794872,
-      "grad_norm": 3.786196708679199,
-      "learning_rate": 1.1111111111111112e-05,
-      "loss": 5.4513,
+      "epoch": 2.8333333333333335,
+      "grad_norm": 0.8444733023643494,
+      "learning_rate": 5.833333333333334e-05,
+      "loss": 5.5514,
       "step": 34
     },
     {
-      "epoch": 3.6923076923076925,
-      "grad_norm": 0.8137506246566772,
-      "learning_rate": 0.0,
-      "loss": 4.9191,
+      "epoch": 3.0,
+      "grad_norm": 0.8129612803459167,
+      "learning_rate": 5e-05,
+      "loss": 5.6258,
       "step": 36
     },
     {
-      "epoch": 3.6923076923076925,
-      "step": 36,
-      "total_flos": 73188581212248.0,
-      "train_loss": 5.642510652542114,
-      "train_runtime": 91.2089,
-      "train_samples_per_second": 3.421,
-      "train_steps_per_second": 0.395
+      "epoch": 3.1666666666666665,
+      "grad_norm": 1.3147270679473877,
+      "learning_rate": 4.166666666666667e-05,
+      "loss": 5.7991,
+      "step": 38
+    },
+    {
+      "epoch": 3.3333333333333335,
+      "grad_norm": 0.7770213484764099,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 5.6323,
+      "step": 40
+    },
+    {
+      "epoch": 3.5,
+      "grad_norm": 1.0144660472869873,
+      "learning_rate": 2.5e-05,
+      "loss": 5.84,
+      "step": 42
+    },
+    {
+      "epoch": 3.6666666666666665,
+      "grad_norm": 0.7552654147148132,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 5.4281,
+      "step": 44
+    },
+    {
+      "epoch": 3.8333333333333335,
+      "grad_norm": 1.1203110218048096,
+      "learning_rate": 8.333333333333334e-06,
+      "loss": 5.5833,
+      "step": 46
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 1.0069904327392578,
+      "learning_rate": 0.0,
+      "loss": 5.5044,
+      "step": 48
+    },
+    {
+      "epoch": 4.0,
+      "step": 48,
+      "total_flos": 119132385096180.0,
+      "train_loss": 6.215731521447499,
+      "train_runtime": 120.3352,
+      "train_samples_per_second": 3.158,
+      "train_steps_per_second": 0.399
     }
   ],
   "logging_steps": 2,
-  "max_steps": 36,
+  "max_steps": 48,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 4,
   "save_steps": 500,
@@ -161,7 +203,7 @@
       "attributes": {}
     }
   },
-  "total_flos": 73188581212248.0,
+  "total_flos": 119132385096180.0,
   "train_batch_size": 2,
   "trial_name": null,
   "trial_params": null