Update README.md
Browse files
README.md
CHANGED
|
@@ -103,6 +103,19 @@ By guiding generation through specific topics, I built a synthetic dataset of 30
|
|
| 103 |
|
| 104 |
#### Supervised Fine-Tuning
|
| 105 |
|
| 106 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 107 |
|
| 108 |
|
|
|
|
| 103 |
|
| 104 |
#### Supervised Fine-Tuning
|
| 105 |
|
| 106 |
+
Il dataset di esempi annotati è stato diviso in train e validation (0.8 0.2), ed è stato usato per fare full fine-tuning al modello.
|
| 107 |
+
|
| 108 |
+
Sono state effettuate 10 epoche di addestramento.
|
| 109 |
+
|
| 110 |
+
Gli iperparametri rilevanti sono stati:
|
| 111 |
+
- batch size = 4
|
| 112 |
+
- gradient accumulation steps = 4
|
| 113 |
+
- learning rate = 2e-5
|
| 114 |
+
- lr scheduler type = cosine
|
| 115 |
+
- weight decay = 0.01
|
| 116 |
+
|
| 117 |
+

|
| 118 |
+
|
| 119 |
+

|
| 120 |
|
| 121 |
|