GiuLeo01 commited on
Commit
ebf798f
·
verified ·
1 Parent(s): 8a8b995

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -1
README.md CHANGED
@@ -103,6 +103,19 @@ By guiding generation through specific topics, I built a synthetic dataset of 30
103
 
104
  #### Supervised Fine-Tuning
105
 
106
- ![Training Loss](./path/to/sft_training_loss_plot.png)
 
 
 
 
 
 
 
 
 
 
 
 
 
107
 
108
 
 
103
 
104
  #### Supervised Fine-Tuning
105
 
106
+ Il dataset di esempi annotati è stato diviso in train e validation (0.8 0.2), ed è stato usato per fare full fine-tuning al modello.
107
+
108
+ Sono state effettuate 10 epoche di addestramento.
109
+
110
+ Gli iperparametri rilevanti sono stati:
111
+ - batch size = 4
112
+ - gradient accumulation steps = 4
113
+ - learning rate = 2e-5
114
+ - lr scheduler type = cosine
115
+ - weight decay = 0.01
116
+
117
+ ![Training Loss](./path/to/sft_train_loss_plot.png)
118
+
119
+ ![Evaluation Loss](./path/to/sft_eval_loss_plot.png)
120
 
121