File size: 22,513 Bytes
9d8ca9e
 
 
 
 
 
01ade44
9d8ca9e
 
 
 
 
 
01ade44
9d8ca9e
 
 
01ade44
 
 
 
9d8ca9e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
01ade44
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9d8ca9e
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
---
library_name: transformers
base_model: aubmindlab/bert-base-arabertv02
tags:
- generated_from_trainer
model-index:
- name: Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask4_relevance
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask4_relevance

This model is a fine-tuned version of [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1582
- Qwk: 0.1375
- Mse: 0.1582
- Rmse: 0.3977

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 100

### Training results

| Training Loss | Epoch  | Step | Validation Loss | Qwk     | Mse    | Rmse   |
|:-------------:|:------:|:----:|:---------------:|:-------:|:------:|:------:|
| No log        | 0.0187 | 2    | 1.1616          | 0.0040  | 1.1616 | 1.0778 |
| No log        | 0.0374 | 4    | 0.6907          | -0.0252 | 0.6907 | 0.8311 |
| No log        | 0.0561 | 6    | 0.4942          | -0.0148 | 0.4942 | 0.7030 |
| No log        | 0.0748 | 8    | 0.2441          | 0.1544  | 0.2441 | 0.4940 |
| No log        | 0.0935 | 10   | 0.1809          | 0.1264  | 0.1809 | 0.4254 |
| No log        | 0.1121 | 12   | 0.1732          | 0.1115  | 0.1732 | 0.4162 |
| No log        | 0.1308 | 14   | 0.1960          | 0.0413  | 0.1960 | 0.4427 |
| No log        | 0.1495 | 16   | 0.1633          | 0.0320  | 0.1633 | 0.4040 |
| No log        | 0.1682 | 18   | 0.1719          | -0.0183 | 0.1719 | 0.4146 |
| No log        | 0.1869 | 20   | 0.1668          | 0.0776  | 0.1668 | 0.4085 |
| No log        | 0.2056 | 22   | 0.1787          | 0.0659  | 0.1787 | 0.4227 |
| No log        | 0.2243 | 24   | 0.1912          | 0.0548  | 0.1912 | 0.4373 |
| No log        | 0.2430 | 26   | 0.1773          | 0.0475  | 0.1773 | 0.4211 |
| No log        | 0.2617 | 28   | 0.1721          | 0.0810  | 0.1721 | 0.4149 |
| No log        | 0.2804 | 30   | 0.1893          | 0.1398  | 0.1893 | 0.4351 |
| No log        | 0.2991 | 32   | 0.2053          | 0.0548  | 0.2053 | 0.4531 |
| No log        | 0.3178 | 34   | 0.2158          | 0.0261  | 0.2158 | 0.4646 |
| No log        | 0.3364 | 36   | 0.2079          | 0.0667  | 0.2079 | 0.4560 |
| No log        | 0.3551 | 38   | 0.1815          | 0.0027  | 0.1815 | 0.4260 |
| No log        | 0.3738 | 40   | 0.1830          | -0.0601 | 0.1830 | 0.4278 |
| No log        | 0.3925 | 42   | 0.1941          | -0.0271 | 0.1941 | 0.4406 |
| No log        | 0.4112 | 44   | 0.1788          | 0.0166  | 0.1788 | 0.4228 |
| No log        | 0.4299 | 46   | 0.1748          | -0.0342 | 0.1748 | 0.4181 |
| No log        | 0.4486 | 48   | 0.1834          | 0.2016  | 0.1834 | 0.4283 |
| No log        | 0.4673 | 50   | 0.1751          | 0.0122  | 0.1751 | 0.4185 |
| No log        | 0.4860 | 52   | 0.1878          | -0.0271 | 0.1878 | 0.4334 |
| No log        | 0.5047 | 54   | 0.2047          | 0.0     | 0.2047 | 0.4524 |
| No log        | 0.5234 | 56   | 0.1915          | 0.0     | 0.1915 | 0.4376 |
| No log        | 0.5421 | 58   | 0.1653          | -0.0357 | 0.1653 | 0.4066 |
| No log        | 0.5607 | 60   | 0.1683          | 0.0720  | 0.1683 | 0.4103 |
| No log        | 0.5794 | 62   | 0.1707          | 0.1203  | 0.1707 | 0.4132 |
| No log        | 0.5981 | 64   | 0.1680          | 0.0720  | 0.1680 | 0.4098 |
| No log        | 0.6168 | 66   | 0.1660          | 0.0288  | 0.1660 | 0.4075 |
| No log        | 0.6355 | 68   | 0.1732          | -0.0188 | 0.1732 | 0.4162 |
| No log        | 0.6542 | 70   | 0.2003          | 0.0855  | 0.2003 | 0.4475 |
| No log        | 0.6729 | 72   | 0.2068          | 0.0855  | 0.2068 | 0.4547 |
| No log        | 0.6916 | 74   | 0.1841          | 0.1235  | 0.1841 | 0.4291 |
| No log        | 0.7103 | 76   | 0.1691          | 0.0375  | 0.1691 | 0.4112 |
| No log        | 0.7290 | 78   | 0.1636          | 0.0412  | 0.1636 | 0.4044 |
| No log        | 0.7477 | 80   | 0.1598          | 0.0166  | 0.1598 | 0.3997 |
| No log        | 0.7664 | 82   | 0.1613          | 0.0075  | 0.1613 | 0.4017 |
| No log        | 0.7850 | 84   | 0.1641          | 0.0741  | 0.1641 | 0.4051 |
| No log        | 0.8037 | 86   | 0.1622          | 0.0553  | 0.1622 | 0.4028 |
| No log        | 0.8224 | 88   | 0.1675          | 0.1573  | 0.1675 | 0.4093 |
| No log        | 0.8411 | 90   | 0.1692          | 0.1190  | 0.1692 | 0.4114 |
| No log        | 0.8598 | 92   | 0.1640          | 0.1162  | 0.1640 | 0.4050 |
| No log        | 0.8785 | 94   | 0.1815          | -0.0093 | 0.1815 | 0.4260 |
| No log        | 0.8972 | 96   | 0.2071          | 0.0     | 0.2071 | 0.4551 |
| No log        | 0.9159 | 98   | 0.1890          | 0.0     | 0.1890 | 0.4347 |
| No log        | 0.9346 | 100  | 0.1729          | -0.0093 | 0.1729 | 0.4159 |
| No log        | 0.9533 | 102  | 0.1726          | -0.0440 | 0.1726 | 0.4154 |
| No log        | 0.9720 | 104  | 0.1794          | -0.0357 | 0.1794 | 0.4236 |
| No log        | 0.9907 | 106  | 0.1861          | -0.0093 | 0.1861 | 0.4313 |
| No log        | 1.0093 | 108  | 0.1860          | -0.0093 | 0.1860 | 0.4313 |
| No log        | 1.0280 | 110  | 0.1751          | -0.0183 | 0.1751 | 0.4184 |
| No log        | 1.0467 | 112  | 0.2002          | -0.0093 | 0.2002 | 0.4474 |
| No log        | 1.0654 | 114  | 0.2002          | -0.0093 | 0.2002 | 0.4474 |
| No log        | 1.0841 | 116  | 0.1783          | -0.0271 | 0.1783 | 0.4223 |
| No log        | 1.1028 | 118  | 0.1699          | 0.0122  | 0.1699 | 0.4121 |
| No log        | 1.1215 | 120  | 0.2017          | 0.0791  | 0.2017 | 0.4491 |
| No log        | 1.1402 | 122  | 0.2177          | 0.0985  | 0.2177 | 0.4666 |
| No log        | 1.1589 | 124  | 0.2073          | 0.0893  | 0.2073 | 0.4553 |
| No log        | 1.1776 | 126  | 0.1805          | -0.0527 | 0.1805 | 0.4249 |
| No log        | 1.1963 | 128  | 0.1758          | -0.0679 | 0.1758 | 0.4193 |
| No log        | 1.2150 | 130  | 0.1822          | -0.0271 | 0.1822 | 0.4269 |
| No log        | 1.2336 | 132  | 0.1763          | -0.0271 | 0.1763 | 0.4199 |
| No log        | 1.2523 | 134  | 0.1683          | -0.0828 | 0.1683 | 0.4102 |
| No log        | 1.2710 | 136  | 0.1725          | 0.0103  | 0.1725 | 0.4153 |
| No log        | 1.2897 | 138  | 0.1705          | 0.0509  | 0.1705 | 0.4129 |
| No log        | 1.3084 | 140  | 0.1662          | -0.0183 | 0.1662 | 0.4076 |
| No log        | 1.3271 | 142  | 0.1662          | -0.0183 | 0.1662 | 0.4077 |
| No log        | 1.3458 | 144  | 0.1738          | 0.0375  | 0.1738 | 0.4169 |
| No log        | 1.3645 | 146  | 0.1754          | 0.1099  | 0.1754 | 0.4188 |
| No log        | 1.3832 | 148  | 0.1702          | -0.0357 | 0.1702 | 0.4126 |
| No log        | 1.4019 | 150  | 0.1628          | -0.0093 | 0.1628 | 0.4035 |
| No log        | 1.4206 | 152  | 0.1564          | 0.0     | 0.1564 | 0.3955 |
| No log        | 1.4393 | 154  | 0.1551          | 0.0     | 0.1551 | 0.3938 |
| No log        | 1.4579 | 156  | 0.1542          | 0.0     | 0.1542 | 0.3926 |
| No log        | 1.4766 | 158  | 0.1538          | 0.0412  | 0.1538 | 0.3922 |
| No log        | 1.4953 | 160  | 0.1538          | 0.1062  | 0.1538 | 0.3922 |
| No log        | 1.5140 | 162  | 0.1540          | 0.0166  | 0.1540 | 0.3924 |
| No log        | 1.5327 | 164  | 0.1539          | 0.0506  | 0.1539 | 0.3923 |
| No log        | 1.5514 | 166  | 0.1527          | 0.0320  | 0.1527 | 0.3908 |
| No log        | 1.5701 | 168  | 0.1535          | 0.0166  | 0.1535 | 0.3918 |
| No log        | 1.5888 | 170  | 0.1548          | 0.0166  | 0.1548 | 0.3935 |
| No log        | 1.6075 | 172  | 0.1525          | 0.1566  | 0.1525 | 0.3906 |
| No log        | 1.6262 | 174  | 0.1552          | 0.1884  | 0.1552 | 0.3940 |
| No log        | 1.6449 | 176  | 0.1543          | 0.1856  | 0.1543 | 0.3928 |
| No log        | 1.6636 | 178  | 0.1694          | 0.0260  | 0.1694 | 0.4116 |
| No log        | 1.6822 | 180  | 0.1845          | -0.0093 | 0.1845 | 0.4295 |
| No log        | 1.7009 | 182  | 0.1808          | -0.0093 | 0.1808 | 0.4252 |
| No log        | 1.7196 | 184  | 0.1860          | -0.0271 | 0.1860 | 0.4312 |
| No log        | 1.7383 | 186  | 0.1773          | 0.0     | 0.1773 | 0.4211 |
| No log        | 1.7570 | 188  | 0.1697          | 0.0     | 0.1697 | 0.4119 |
| No log        | 1.7757 | 190  | 0.1608          | 0.0     | 0.1608 | 0.4010 |
| No log        | 1.7944 | 192  | 0.1568          | 0.0356  | 0.1568 | 0.3959 |
| No log        | 1.8131 | 194  | 0.1529          | 0.0260  | 0.1529 | 0.3911 |
| No log        | 1.8318 | 196  | 0.1530          | 0.0938  | 0.1530 | 0.3911 |
| No log        | 1.8505 | 198  | 0.1547          | 0.0938  | 0.1547 | 0.3934 |
| No log        | 1.8692 | 200  | 0.1674          | 0.0260  | 0.1674 | 0.4092 |
| No log        | 1.8879 | 202  | 0.1927          | 0.0356  | 0.1927 | 0.4390 |
| No log        | 1.9065 | 204  | 0.1933          | 0.0     | 0.1933 | 0.4397 |
| No log        | 1.9252 | 206  | 0.1711          | 0.0     | 0.1711 | 0.4136 |
| No log        | 1.9439 | 208  | 0.1567          | 0.0     | 0.1567 | 0.3959 |
| No log        | 1.9626 | 210  | 0.1641          | 0.0964  | 0.1641 | 0.4052 |
| No log        | 1.9813 | 212  | 0.1726          | 0.1203  | 0.1726 | 0.4154 |
| No log        | 2.0    | 214  | 0.1636          | 0.0166  | 0.1636 | 0.4045 |
| No log        | 2.0187 | 216  | 0.1593          | 0.0412  | 0.1593 | 0.3991 |
| No log        | 2.0374 | 218  | 0.1527          | 0.0741  | 0.1527 | 0.3908 |
| No log        | 2.0561 | 220  | 0.1491          | 0.0741  | 0.1491 | 0.3862 |
| No log        | 2.0748 | 222  | 0.1512          | 0.0603  | 0.1512 | 0.3888 |
| No log        | 2.0935 | 224  | 0.1802          | 0.0260  | 0.1802 | 0.4244 |
| No log        | 2.1121 | 226  | 0.2324          | 0.0     | 0.2324 | 0.4821 |
| No log        | 2.1308 | 228  | 0.2475          | 0.0     | 0.2475 | 0.4974 |
| No log        | 2.1495 | 230  | 0.2074          | 0.0     | 0.2074 | 0.4554 |
| No log        | 2.1682 | 232  | 0.1672          | 0.0     | 0.1672 | 0.4089 |
| No log        | 2.1869 | 234  | 0.1573          | 0.0     | 0.1573 | 0.3965 |
| No log        | 2.2056 | 236  | 0.1805          | 0.0075  | 0.1805 | 0.4248 |
| No log        | 2.2243 | 238  | 0.1915          | 0.0596  | 0.1915 | 0.4376 |
| No log        | 2.2430 | 240  | 0.2039          | 0.2121  | 0.2039 | 0.4516 |
| No log        | 2.2617 | 242  | 0.2210          | 0.2105  | 0.2210 | 0.4701 |
| No log        | 2.2804 | 244  | 0.2461          | 0.2209  | 0.2461 | 0.4960 |
| No log        | 2.2991 | 246  | 0.2513          | 0.2295  | 0.2513 | 0.5013 |
| No log        | 2.3178 | 248  | 0.2475          | 0.2527  | 0.2475 | 0.4975 |
| No log        | 2.3364 | 250  | 0.2336          | 0.2875  | 0.2336 | 0.4833 |
| No log        | 2.3551 | 252  | 0.1987          | 0.1854  | 0.1987 | 0.4458 |
| No log        | 2.3738 | 254  | 0.1761          | 0.1970  | 0.1761 | 0.4197 |
| No log        | 2.3925 | 256  | 0.1578          | 0.1578  | 0.1578 | 0.3972 |
| No log        | 2.4112 | 258  | 0.1499          | 0.0741  | 0.1499 | 0.3872 |
| No log        | 2.4299 | 260  | 0.1562          | 0.0506  | 0.1562 | 0.3952 |
| No log        | 2.4486 | 262  | 0.1674          | 0.0412  | 0.1674 | 0.4092 |
| No log        | 2.4673 | 264  | 0.1622          | 0.0741  | 0.1622 | 0.4027 |
| No log        | 2.4860 | 266  | 0.1547          | 0.0741  | 0.1547 | 0.3933 |
| No log        | 2.5047 | 268  | 0.1564          | 0.0776  | 0.1564 | 0.3955 |
| No log        | 2.5234 | 270  | 0.1692          | 0.1293  | 0.1692 | 0.4114 |
| No log        | 2.5421 | 272  | 0.1736          | 0.1747  | 0.1736 | 0.4167 |
| No log        | 2.5607 | 274  | 0.1707          | 0.1478  | 0.1707 | 0.4132 |
| No log        | 2.5794 | 276  | 0.1603          | 0.0836  | 0.1603 | 0.4004 |
| No log        | 2.5981 | 278  | 0.1577          | 0.0424  | 0.1577 | 0.3971 |
| No log        | 2.6168 | 280  | 0.1638          | 0.0807  | 0.1638 | 0.4048 |
| No log        | 2.6355 | 282  | 0.1673          | 0.1566  | 0.1673 | 0.4090 |
| No log        | 2.6542 | 284  | 0.1719          | 0.1884  | 0.1719 | 0.4146 |
| No log        | 2.6729 | 286  | 0.1742          | 0.1900  | 0.1742 | 0.4173 |
| No log        | 2.6916 | 288  | 0.1811          | 0.2011  | 0.1811 | 0.4255 |
| No log        | 2.7103 | 290  | 0.2126          | 0.1162  | 0.2126 | 0.4611 |
| No log        | 2.7290 | 292  | 0.2629          | 0.0488  | 0.2629 | 0.5127 |
| No log        | 2.7477 | 294  | 0.2678          | 0.0176  | 0.2678 | 0.5175 |
| No log        | 2.7664 | 296  | 0.2289          | 0.0     | 0.2289 | 0.4784 |
| No log        | 2.7850 | 298  | 0.1808          | 0.0     | 0.1808 | 0.4252 |
| No log        | 2.8037 | 300  | 0.1601          | 0.0685  | 0.1601 | 0.4001 |
| No log        | 2.8224 | 302  | 0.1890          | 0.1541  | 0.1890 | 0.4348 |
| No log        | 2.8411 | 304  | 0.2007          | 0.1353  | 0.2007 | 0.4480 |
| No log        | 2.8598 | 306  | 0.1735          | 0.2016  | 0.1735 | 0.4166 |
| No log        | 2.8785 | 308  | 0.1723          | 0.1225  | 0.1723 | 0.4151 |
| No log        | 2.8972 | 310  | 0.2121          | 0.1583  | 0.2121 | 0.4605 |
| No log        | 2.9159 | 312  | 0.2262          | 0.1162  | 0.2262 | 0.4756 |
| No log        | 2.9346 | 314  | 0.1973          | 0.0967  | 0.1973 | 0.4442 |
| No log        | 2.9533 | 316  | 0.1985          | 0.1320  | 0.1985 | 0.4455 |
| No log        | 2.9720 | 318  | 0.1944          | 0.1401  | 0.1944 | 0.4409 |
| No log        | 2.9907 | 320  | 0.1719          | 0.0551  | 0.1719 | 0.4146 |
| No log        | 3.0093 | 322  | 0.1811          | -0.0014 | 0.1811 | 0.4255 |
| No log        | 3.0280 | 324  | 0.2244          | -0.0093 | 0.2244 | 0.4737 |
| No log        | 3.0467 | 326  | 0.1932          | 0.1099  | 0.1932 | 0.4395 |
| No log        | 3.0654 | 328  | 0.2231          | 0.1908  | 0.2231 | 0.4724 |
| No log        | 3.0841 | 330  | 0.1903          | 0.2240  | 0.1903 | 0.4363 |
| No log        | 3.1028 | 332  | 0.1765          | 0.0838  | 0.1765 | 0.4201 |
| No log        | 3.1215 | 334  | 0.2071          | 0.0     | 0.2071 | 0.4551 |
| No log        | 3.1402 | 336  | 0.1782          | 0.0     | 0.1782 | 0.4221 |
| No log        | 3.1589 | 338  | 0.1569          | 0.0     | 0.1569 | 0.3961 |
| No log        | 3.1776 | 340  | 0.1549          | 0.0260  | 0.1549 | 0.3936 |
| No log        | 3.1963 | 342  | 0.1725          | 0.0260  | 0.1725 | 0.4153 |
| No log        | 3.2150 | 344  | 0.2175          | 0.0     | 0.2175 | 0.4664 |
| No log        | 3.2336 | 346  | 0.2174          | 0.0     | 0.2174 | 0.4663 |
| No log        | 3.2523 | 348  | 0.1857          | 0.0356  | 0.1857 | 0.4309 |
| No log        | 3.2710 | 350  | 0.1526          | 0.0166  | 0.1526 | 0.3906 |
| No log        | 3.2897 | 352  | 0.1655          | 0.1826  | 0.1655 | 0.4068 |
| No log        | 3.3084 | 354  | 0.2096          | 0.1772  | 0.2096 | 0.4579 |
| No log        | 3.3271 | 356  | 0.2115          | 0.2134  | 0.2115 | 0.4599 |
| No log        | 3.3458 | 358  | 0.1761          | 0.1800  | 0.1761 | 0.4196 |
| No log        | 3.3645 | 360  | 0.1540          | 0.1578  | 0.1540 | 0.3925 |
| No log        | 3.3832 | 362  | 0.1656          | 0.0356  | 0.1656 | 0.4069 |
| No log        | 3.4019 | 364  | 0.1818          | 0.0     | 0.1818 | 0.4264 |
| No log        | 3.4206 | 366  | 0.1787          | 0.0356  | 0.1787 | 0.4227 |
| No log        | 3.4393 | 368  | 0.1605          | 0.0356  | 0.1605 | 0.4006 |
| No log        | 3.4579 | 370  | 0.1529          | 0.0685  | 0.1529 | 0.3910 |
| No log        | 3.4766 | 372  | 0.1514          | 0.1300  | 0.1514 | 0.3891 |
| No log        | 3.4953 | 374  | 0.1537          | 0.1569  | 0.1537 | 0.3920 |
| No log        | 3.5140 | 376  | 0.1601          | 0.1388  | 0.1601 | 0.4002 |
| No log        | 3.5327 | 378  | 0.1604          | 0.1384  | 0.1604 | 0.4005 |
| No log        | 3.5514 | 380  | 0.1634          | 0.1099  | 0.1634 | 0.4043 |
| No log        | 3.5701 | 382  | 0.1675          | 0.0506  | 0.1675 | 0.4092 |
| No log        | 3.5888 | 384  | 0.1632          | 0.0703  | 0.1632 | 0.4040 |
| No log        | 3.6075 | 386  | 0.1532          | 0.0412  | 0.1532 | 0.3914 |
| No log        | 3.6262 | 388  | 0.1549          | 0.0964  | 0.1549 | 0.3935 |
| No log        | 3.6449 | 390  | 0.1558          | 0.0646  | 0.1558 | 0.3947 |
| No log        | 3.6636 | 392  | 0.1579          | 0.0646  | 0.1579 | 0.3974 |
| No log        | 3.6822 | 394  | 0.1591          | 0.1578  | 0.1591 | 0.3989 |
| No log        | 3.7009 | 396  | 0.1618          | 0.1671  | 0.1618 | 0.4023 |
| No log        | 3.7196 | 398  | 0.1618          | 0.2133  | 0.1618 | 0.4022 |
| No log        | 3.7383 | 400  | 0.1620          | 0.2133  | 0.1620 | 0.4025 |
| No log        | 3.7570 | 402  | 0.1682          | 0.1956  | 0.1682 | 0.4101 |
| No log        | 3.7757 | 404  | 0.1797          | 0.1956  | 0.1797 | 0.4240 |
| No log        | 3.7944 | 406  | 0.2109          | 0.0506  | 0.2109 | 0.4592 |
| No log        | 3.8131 | 408  | 0.2562          | 0.0260  | 0.2562 | 0.5062 |
| No log        | 3.8318 | 410  | 0.2580          | 0.0260  | 0.2580 | 0.5079 |
| No log        | 3.8505 | 412  | 0.2227          | 0.0166  | 0.2227 | 0.4720 |
| No log        | 3.8692 | 414  | 0.1784          | 0.0230  | 0.1784 | 0.4224 |
| No log        | 3.8879 | 416  | 0.1665          | 0.1663  | 0.1665 | 0.4080 |
| No log        | 3.9065 | 418  | 0.1790          | 0.1395  | 0.1790 | 0.4231 |
| No log        | 3.9252 | 420  | 0.1885          | 0.1401  | 0.1885 | 0.4341 |
| No log        | 3.9439 | 422  | 0.1718          | 0.1562  | 0.1718 | 0.4145 |
| No log        | 3.9626 | 424  | 0.1615          | 0.1190  | 0.1615 | 0.4019 |
| No log        | 3.9813 | 426  | 0.1620          | 0.0897  | 0.1620 | 0.4025 |
| No log        | 4.0    | 428  | 0.1623          | 0.0897  | 0.1623 | 0.4029 |
| No log        | 4.0187 | 430  | 0.1679          | 0.0776  | 0.1679 | 0.4097 |
| No log        | 4.0374 | 432  | 0.1876          | 0.0412  | 0.1876 | 0.4331 |
| No log        | 4.0561 | 434  | 0.2019          | 0.0412  | 0.2019 | 0.4493 |
| No log        | 4.0748 | 436  | 0.1855          | 0.0412  | 0.1855 | 0.4307 |
| No log        | 4.0935 | 438  | 0.1667          | 0.0320  | 0.1667 | 0.4083 |
| No log        | 4.1121 | 440  | 0.1577          | 0.0685  | 0.1577 | 0.3971 |
| No log        | 4.1308 | 442  | 0.1613          | 0.1747  | 0.1613 | 0.4017 |
| No log        | 4.1495 | 444  | 0.1620          | 0.1655  | 0.1620 | 0.4025 |
| No log        | 4.1682 | 446  | 0.1694          | 0.1556  | 0.1694 | 0.4115 |
| No log        | 4.1869 | 448  | 0.1728          | 0.1326  | 0.1728 | 0.4156 |
| No log        | 4.2056 | 450  | 0.1750          | 0.1478  | 0.1750 | 0.4183 |
| No log        | 4.2243 | 452  | 0.1801          | 0.1559  | 0.1801 | 0.4244 |
| No log        | 4.2430 | 454  | 0.2005          | 0.1478  | 0.2005 | 0.4478 |
| No log        | 4.2617 | 456  | 0.2331          | 0.1478  | 0.2331 | 0.4828 |
| No log        | 4.2804 | 458  | 0.2021          | 0.1956  | 0.2021 | 0.4495 |
| No log        | 4.2991 | 460  | 0.1615          | 0.2174  | 0.1615 | 0.4019 |
| No log        | 4.3178 | 462  | 0.1672          | 0.1980  | 0.1672 | 0.4090 |
| No log        | 4.3364 | 464  | 0.1705          | 0.1549  | 0.1705 | 0.4129 |
| No log        | 4.3551 | 466  | 0.1621          | 0.0626  | 0.1621 | 0.4027 |
| No log        | 4.3738 | 468  | 0.1675          | 0.1177  | 0.1675 | 0.4093 |
| No log        | 4.3925 | 470  | 0.1992          | 0.0506  | 0.1992 | 0.4463 |
| No log        | 4.4112 | 472  | 0.1861          | 0.0412  | 0.1861 | 0.4314 |
| No log        | 4.4299 | 474  | 0.1651          | 0.0869  | 0.1651 | 0.4063 |
| No log        | 4.4486 | 476  | 0.1855          | 0.1900  | 0.1855 | 0.4307 |
| No log        | 4.4673 | 478  | 0.2140          | 0.2003  | 0.2140 | 0.4626 |
| No log        | 4.4860 | 480  | 0.1769          | 0.1478  | 0.1769 | 0.4206 |
| No log        | 4.5047 | 482  | 0.1640          | 0.1380  | 0.1640 | 0.4049 |
| No log        | 4.5234 | 484  | 0.1707          | 0.0646  | 0.1707 | 0.4132 |
| No log        | 4.5421 | 486  | 0.1595          | 0.0776  | 0.1595 | 0.3993 |
| No log        | 4.5607 | 488  | 0.1499          | 0.1573  | 0.1499 | 0.3871 |
| No log        | 4.5794 | 490  | 0.1545          | 0.0685  | 0.1545 | 0.3931 |
| No log        | 4.5981 | 492  | 0.1638          | 0.0776  | 0.1638 | 0.4047 |
| No log        | 4.6168 | 494  | 0.1853          | 0.0869  | 0.1853 | 0.4305 |
| No log        | 4.6355 | 496  | 0.1796          | 0.1478  | 0.1796 | 0.4238 |
| No log        | 4.6542 | 498  | 0.1632          | 0.1384  | 0.1632 | 0.4039 |
| 0.2226        | 4.6729 | 500  | 0.1869          | 0.1648  | 0.1869 | 0.4323 |
| 0.2226        | 4.6916 | 502  | 0.2291          | 0.1758  | 0.2291 | 0.4787 |
| 0.2226        | 4.7103 | 504  | 0.2159          | 0.2112  | 0.2159 | 0.4647 |
| 0.2226        | 4.7290 | 506  | 0.1791          | 0.1989  | 0.1791 | 0.4232 |
| 0.2226        | 4.7477 | 508  | 0.1621          | 0.1388  | 0.1621 | 0.4026 |
| 0.2226        | 4.7664 | 510  | 0.1823          | 0.1655  | 0.1823 | 0.4270 |
| 0.2226        | 4.7850 | 512  | 0.1929          | 0.1736  | 0.1929 | 0.4392 |
| 0.2226        | 4.8037 | 514  | 0.1837          | 0.2146  | 0.1837 | 0.4286 |
| 0.2226        | 4.8224 | 516  | 0.1763          | 0.1900  | 0.1763 | 0.4199 |
| 0.2226        | 4.8411 | 518  | 0.1808          | 0.1081  | 0.1808 | 0.4252 |
| 0.2226        | 4.8598 | 520  | 0.1829          | 0.0646  | 0.1829 | 0.4277 |
| 0.2226        | 4.8785 | 522  | 0.1571          | 0.0646  | 0.1571 | 0.3963 |
| 0.2226        | 4.8972 | 524  | 0.1556          | 0.1275  | 0.1556 | 0.3944 |
| 0.2226        | 4.9159 | 526  | 0.1582          | 0.1375  | 0.1582 | 0.3977 |


### Framework versions

- Transformers 4.44.2
- Pytorch 2.4.0+cu118
- Datasets 2.21.0
- Tokenizers 0.19.1