Hugging Face's logo

MayBashendy
/
Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask7_relevance

Text Classification
Transformers
Safetensors
bert
Generated from Trainer
Model card Files
xet
Community
Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask7_relevance / README.md
MayBashendy's picture
MayBashendy
End of training
70f2096 verified
preview code
|
raw
history blame contribute delete
21.9 kB
metadata 
library_name: transformers
base_model: aubmindlab/bert-base-arabertv02
tags:
  - generated_from_trainer
model-index:
  - name: Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask7_relevance
    results: []

Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask7_relevance

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2129
  • Qwk: 0.0682
  • Mse: 0.2129
  • Rmse: 0.4614

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 100

Training results

Training Loss Epoch Step Validation Loss Qwk Mse Rmse
No log 0.0202 2 0.9908 0.0150 0.9908 0.9954
No log 0.0404 4 0.6077 0.0453 0.6077 0.7796
No log 0.0606 6 0.3397 0.0509 0.3397 0.5828
No log 0.0808 8 0.2447 0.1200 0.2447 0.4947
No log 0.1010 10 0.2075 0.1413 0.2075 0.4555
No log 0.1212 12 0.2025 -0.0373 0.2025 0.4500
No log 0.1414 14 0.2035 -0.0854 0.2035 0.4511
No log 0.1616 16 0.2007 -0.0637 0.2007 0.4480
No log 0.1818 18 0.1983 -0.0551 0.1983 0.4453
No log 0.2020 20 0.1958 0.0097 0.1958 0.4425
No log 0.2222 22 0.1952 0.0099 0.1952 0.4419
No log 0.2424 24 0.2136 0.0201 0.2136 0.4621
No log 0.2626 26 0.2103 0.0201 0.2103 0.4586
No log 0.2828 28 0.2011 0.0201 0.2011 0.4484
No log 0.3030 30 0.1910 0.0394 0.1910 0.4370
No log 0.3232 32 0.1881 0.0479 0.1881 0.4337
No log 0.3434 34 0.1907 0.0682 0.1907 0.4367
No log 0.3636 36 0.1964 0.0195 0.1964 0.4432
No log 0.3838 38 0.2114 -0.0548 0.2114 0.4597
No log 0.4040 40 0.2275 -0.0594 0.2275 0.4770
No log 0.4242 42 0.1997 0.0190 0.1997 0.4468
No log 0.4444 44 0.1924 0.0682 0.1924 0.4386
No log 0.4646 46 0.1893 0.0964 0.1893 0.4350
No log 0.4848 48 0.1859 0.0964 0.1859 0.4312
No log 0.5051 50 0.1847 0.0682 0.1847 0.4298
No log 0.5253 52 0.1945 0.0496 0.1945 0.4411
No log 0.5455 54 0.2167 0.0601 0.2167 0.4655
No log 0.5657 56 0.2309 0.0601 0.2309 0.4805
No log 0.5859 58 0.2365 0.0304 0.2365 0.4864
No log 0.6061 60 0.2141 0.0304 0.2141 0.4627
No log 0.6263 62 0.1939 0.0601 0.1939 0.4404
No log 0.6465 64 0.1890 0.0682 0.1890 0.4347
No log 0.6667 66 0.1894 0.0964 0.1894 0.4352
No log 0.6869 68 0.1931 0.0786 0.1931 0.4394
No log 0.7071 70 0.2043 0.0304 0.2043 0.4520
No log 0.7273 72 0.2048 0.0304 0.2048 0.4526
No log 0.7475 74 0.1929 0.0394 0.1929 0.4392
No log 0.7677 76 0.1885 0.0099 0.1885 0.4342
No log 0.7879 78 0.1871 0.0201 0.1871 0.4325
No log 0.8081 80 0.1898 0.0201 0.1898 0.4357
No log 0.8283 82 0.1851 0.0304 0.1851 0.4303
No log 0.8485 84 0.1885 0.0304 0.1885 0.4342
No log 0.8687 86 0.1923 0.0304 0.1923 0.4385
No log 0.8889 88 0.1844 0.0304 0.1844 0.4294
No log 0.9091 90 0.1821 0.0304 0.1821 0.4268
No log 0.9293 92 0.1817 0.0304 0.1817 0.4263
No log 0.9495 94 0.1790 0.0394 0.1790 0.4231
No log 0.9697 96 0.1820 0.0294 0.1820 0.4267
No log 0.9899 98 0.1851 0.0294 0.1851 0.4302
No log 1.0101 100 0.1826 0.0394 0.1826 0.4273
No log 1.0303 102 0.1836 0.0201 0.1836 0.4285
No log 1.0505 104 0.2031 0.0304 0.2031 0.4507
No log 1.0707 106 0.2118 0.0304 0.2118 0.4602
No log 1.0909 108 0.2155 0.0201 0.2155 0.4642
No log 1.1111 110 0.2013 0.0201 0.2013 0.4487
No log 1.1313 112 0.1861 0.0101 0.1861 0.4314
No log 1.1515 114 0.1853 0.0099 0.1853 0.4304
No log 1.1717 116 0.1919 0.0803 0.1919 0.4381
No log 1.1919 118 0.1921 0.0869 0.1921 0.4383
No log 1.2121 120 0.1830 0.0294 0.1830 0.4277
No log 1.2323 122 0.1822 0.0101 0.1822 0.4269
No log 1.2525 124 0.1916 0.0304 0.1916 0.4377
No log 1.2727 126 0.1974 0.0 0.1974 0.4443
No log 1.2929 128 0.1970 0.0 0.1970 0.4438
No log 1.3131 130 0.2045 0.0 0.2045 0.4522
No log 1.3333 132 0.1963 0.0 0.1963 0.4430
No log 1.3535 134 0.1935 0.0 0.1935 0.4399
No log 1.3737 136 0.1947 0.0 0.1947 0.4413
No log 1.3939 138 0.1889 0.0 0.1889 0.4346
No log 1.4141 140 0.1906 0.0 0.1906 0.4366
No log 1.4343 142 0.1879 0.0 0.1879 0.4335
No log 1.4545 144 0.1866 0.0 0.1866 0.4320
No log 1.4747 146 0.1899 0.0201 0.1899 0.4358
No log 1.4949 148 0.1906 -0.0100 0.1906 0.4366
No log 1.5152 150 0.1881 -0.0100 0.1881 0.4337
No log 1.5354 152 0.1882 -0.0100 0.1882 0.4338
No log 1.5556 154 0.1888 -0.0100 0.1888 0.4345
No log 1.5758 156 0.1890 -0.0295 0.1890 0.4347
No log 1.5960 158 0.1876 -0.0100 0.1876 0.4332
No log 1.6162 160 0.1889 0.0 0.1889 0.4346
No log 1.6364 162 0.1939 0.0 0.1939 0.4404
No log 1.6566 164 0.1990 0.0 0.1990 0.4461
No log 1.6768 166 0.2006 0.0 0.2006 0.4479
No log 1.6970 168 0.1884 0.0 0.1884 0.4341
No log 1.7172 170 0.1796 0.0 0.1796 0.4238
No log 1.7374 172 0.1810 0.0101 0.1810 0.4255
No log 1.7576 174 0.1801 -0.0199 0.1801 0.4244
No log 1.7778 176 0.1825 -0.0100 0.1825 0.4272
No log 1.7980 178 0.1814 -0.0100 0.1814 0.4259
No log 1.8182 180 0.1799 0.0580 0.1799 0.4242
No log 1.8384 182 0.1811 0.0394 0.1811 0.4256
No log 1.8586 184 0.1871 0.0201 0.1871 0.4326
No log 1.8788 186 0.1966 0.0201 0.1966 0.4434
No log 1.8990 188 0.2111 0.0201 0.2111 0.4594
No log 1.9192 190 0.2249 0.0201 0.2249 0.4743
No log 1.9394 192 0.2292 0.0201 0.2292 0.4787
No log 1.9596 194 0.2081 0.0201 0.2081 0.4562
No log 1.9798 196 0.1847 0.0682 0.1847 0.4297
No log 2.0 198 0.1835 0.0358 0.1835 0.4284
No log 2.0202 200 0.1830 0.0358 0.1830 0.4278
No log 2.0404 202 0.1854 0.0758 0.1854 0.4306
No log 2.0606 204 0.2001 0.0101 0.2001 0.4473
No log 2.0808 206 0.2334 0.0201 0.2334 0.4832
No log 2.1010 208 0.2569 0.0201 0.2569 0.5069
No log 2.1212 210 0.2324 0.0285 0.2324 0.4820
No log 2.1414 212 0.2054 0.1118 0.2054 0.4532
No log 2.1616 214 0.2012 0.1096 0.2012 0.4486
No log 2.1818 216 0.2080 0.0101 0.2080 0.4561
No log 2.2020 218 0.1908 -0.0095 0.1908 0.4368
No log 2.2222 220 0.1880 0.0195 0.1880 0.4336
No log 2.2424 222 0.1889 0.0101 0.1889 0.4346
No log 2.2626 224 0.1893 0.0101 0.1893 0.4350
No log 2.2828 226 0.1875 0.0101 0.1875 0.4331
No log 2.3030 228 0.1922 0.0101 0.1922 0.4384
No log 2.3232 230 0.2146 0.0201 0.2146 0.4633
No log 2.3434 232 0.2219 0.0201 0.2219 0.4710
No log 2.3636 234 0.2091 0.0101 0.2091 0.4572
No log 2.3838 236 0.1927 0.0101 0.1927 0.4390
No log 2.4040 238 0.1924 0.0101 0.1924 0.4386
No log 2.4242 240 0.1956 0.0195 0.1956 0.4423
No log 2.4444 242 0.1969 -0.0095 0.1969 0.4437
No log 2.4646 244 0.2073 0.0101 0.2073 0.4553
No log 2.4848 246 0.2122 -0.0390 0.2122 0.4606
No log 2.5051 248 0.2207 -0.0512 0.2207 0.4698
No log 2.5253 250 0.2265 -0.0677 0.2265 0.4759
No log 2.5455 252 0.2516 -0.0041 0.2516 0.5016
No log 2.5657 254 0.2417 0.0020 0.2417 0.4917
No log 2.5859 256 0.2204 -0.0623 0.2204 0.4694
No log 2.6061 258 0.2438 -0.0390 0.2438 0.4937
No log 2.6263 260 0.2478 -0.0390 0.2478 0.4978
No log 2.6465 262 0.2250 -0.0483 0.2250 0.4744
No log 2.6667 264 0.2015 0.0006 0.2015 0.4489
No log 2.6869 266 0.2013 -0.0623 0.2013 0.4487
No log 2.7071 268 0.2213 0.0692 0.2213 0.4704
No log 2.7273 270 0.2313 0.1006 0.2313 0.4810
No log 2.7475 272 0.2257 0.1100 0.2257 0.4751
No log 2.7677 274 0.2233 0.1055 0.2233 0.4725
No log 2.7879 276 0.2016 0.0012 0.2016 0.4490
No log 2.8081 278 0.1967 -0.0079 0.1967 0.4435
No log 2.8283 280 0.2028 -0.0084 0.2028 0.4504
No log 2.8485 282 0.2113 0.0004 0.2113 0.4597
No log 2.8687 284 0.2151 0.0195 0.2151 0.4638
No log 2.8889 286 0.2119 0.0479 0.2119 0.4603
No log 2.9091 288 0.2029 0.0185 0.2029 0.4504
No log 2.9293 290 0.1952 0.0358 0.1952 0.4418
No log 2.9495 292 0.1946 0.0803 0.1946 0.4411
No log 2.9697 294 0.1981 0.0097 0.1981 0.4451
No log 2.9899 296 0.2124 -0.0189 0.2124 0.4608
No log 3.0101 298 0.2186 0.0002 0.2186 0.4675
No log 3.0303 300 0.2196 -0.0199 0.2196 0.4686
No log 3.0505 302 0.2133 0.0201 0.2133 0.4619
No log 3.0707 304 0.2110 0.0 0.2110 0.4594
No log 3.0909 306 0.2026 0.0 0.2026 0.4501
No log 3.1111 308 0.1908 0.0394 0.1908 0.4368
No log 3.1313 310 0.1810 0.0004 0.1810 0.4255
No log 3.1515 312 0.1783 0.0560 0.1783 0.4223
No log 3.1717 314 0.1750 0.1135 0.1750 0.4183
No log 3.1919 316 0.1793 0.1311 0.1793 0.4235
No log 3.2121 318 0.1873 0.1280 0.1873 0.4328
No log 3.2323 320 0.1931 0.1590 0.1931 0.4394
No log 3.2525 322 0.1957 0.1419 0.1957 0.4423
No log 3.2727 324 0.1874 0.1856 0.1874 0.4329
No log 3.2929 326 0.1860 0.1856 0.1860 0.4313
No log 3.3131 328 0.1879 0.1891 0.1879 0.4335
No log 3.3333 330 0.1830 0.1191 0.1830 0.4278
No log 3.3535 332 0.1762 0.1410 0.1762 0.4198
No log 3.3737 334 0.1768 0.1096 0.1768 0.4205
No log 3.3939 336 0.1781 0.0732 0.1781 0.4220
No log 3.4141 338 0.1846 0.0004 0.1846 0.4296
No log 3.4343 340 0.1889 0.0185 0.1889 0.4346
No log 3.4545 342 0.1957 0.0276 0.1957 0.4423
No log 3.4747 344 0.1977 0.0185 0.1977 0.4446
No log 3.4949 346 0.1948 0.0422 0.1948 0.4414
No log 3.5152 348 0.1959 0.0338 0.1959 0.4426
No log 3.5354 350 0.1903 0.1214 0.1903 0.4363
No log 3.5556 352 0.1861 0.1083 0.1861 0.4314
No log 3.5758 354 0.1858 0.1025 0.1858 0.4310
No log 3.5960 356 0.1849 0.1025 0.1849 0.4300
No log 3.6162 358 0.1858 0.1256 0.1858 0.4311
No log 3.6364 360 0.1988 -0.0095 0.1988 0.4459
No log 3.6566 362 0.2191 0.0201 0.2191 0.4681
No log 3.6768 364 0.2378 0.0 0.2378 0.4877
No log 3.6970 366 0.2342 0.0 0.2342 0.4840
No log 3.7172 368 0.2226 0.0 0.2226 0.4718
No log 3.7374 370 0.2051 0.0 0.2051 0.4529
No log 3.7576 372 0.1922 0.0101 0.1922 0.4384
No log 3.7778 374 0.1847 0.0101 0.1847 0.4298
No log 3.7980 376 0.1801 0.0732 0.1801 0.4244
No log 3.8182 378 0.1895 0.1229 0.1895 0.4353
No log 3.8384 380 0.1918 0.1019 0.1918 0.4379
No log 3.8586 382 0.1832 0.0869 0.1832 0.4280
No log 3.8788 384 0.1759 0.0464 0.1759 0.4194
No log 3.8990 386 0.1751 0.0496 0.1751 0.4185
No log 3.9192 388 0.1924 0.0 0.1924 0.4386
No log 3.9394 390 0.2048 0.0 0.2048 0.4526
No log 3.9596 392 0.2000 0.0 0.2000 0.4472
No log 3.9798 394 0.1847 0.0496 0.1847 0.4297
No log 4.0 396 0.1752 0.0786 0.1752 0.4185
No log 4.0202 398 0.1755 0.0682 0.1755 0.4190
No log 4.0404 400 0.1771 0.1032 0.1771 0.4208
No log 4.0606 402 0.1843 0.0899 0.1843 0.4293
No log 4.0808 404 0.2080 -0.0079 0.2080 0.4561
No log 4.1010 406 0.2362 0.0268 0.2362 0.4860
No log 4.1212 408 0.2568 0.0411 0.2568 0.5068
No log 4.1414 410 0.2485 0.1375 0.2485 0.4985
No log 4.1616 412 0.2094 0.0422 0.2094 0.4576
No log 4.1818 414 0.1873 0.1268 0.1873 0.4328
No log 4.2020 416 0.1828 0.1268 0.1828 0.4276
No log 4.2222 418 0.1823 0.1118 0.1823 0.4270
No log 4.2424 420 0.1870 0.0869 0.1870 0.4325
No log 4.2626 422 0.1954 0.0422 0.1954 0.4420
No log 4.2828 424 0.2100 0.0962 0.2100 0.4582
No log 4.3030 426 0.2102 0.0883 0.2102 0.4585
No log 4.3232 428 0.2020 0.0963 0.2020 0.4494
No log 4.3434 430 0.1963 0.0686 0.1963 0.4431
No log 4.3636 432 0.1869 0.0285 0.1869 0.4323
No log 4.3838 434 0.1833 0.0786 0.1833 0.4281
No log 4.4040 436 0.1756 0.0101 0.1756 0.4191
No log 4.4242 438 0.1733 -0.0095 0.1733 0.4163
No log 4.4444 440 0.1754 0.0002 0.1754 0.4188
No log 4.4646 442 0.1809 0.0294 0.1809 0.4253
No log 4.4848 444 0.1808 0.1406 0.1808 0.4252
No log 4.5051 446 0.1789 0.0616 0.1789 0.4230
No log 4.5253 448 0.1785 0.0963 0.1785 0.4225
No log 4.5455 450 0.1764 0.1460 0.1764 0.4200
No log 4.5657 452 0.1776 0.1648 0.1776 0.4214
No log 4.5859 454 0.1830 0.1658 0.1830 0.4278
No log 4.6061 456 0.1930 0.1096 0.1930 0.4394
No log 4.6263 458 0.2187 0.0294 0.2187 0.4677
No log 4.6465 460 0.2562 -0.0100 0.2562 0.5061
No log 4.6667 462 0.2549 0.0 0.2549 0.5049
No log 4.6869 464 0.2272 0.0101 0.2272 0.4766
No log 4.7071 466 0.1897 0.0479 0.1897 0.4356
No log 4.7273 468 0.1755 0.0732 0.1755 0.4190
No log 4.7475 470 0.1777 0.0816 0.1777 0.4215
No log 4.7677 472 0.1817 0.1242 0.1817 0.4263
No log 4.7879 474 0.1857 0.1191 0.1857 0.4309
No log 4.8081 476 0.1966 0.1553 0.1966 0.4434
No log 4.8283 478 0.2079 0.1648 0.2079 0.4559
No log 4.8485 480 0.2316 0.1059 0.2316 0.4813
No log 4.8687 482 0.2391 0.0803 0.2391 0.4890
No log 4.8889 484 0.2228 0.0869 0.2228 0.4720
No log 4.9091 486 0.2090 0.1553 0.2090 0.4572
No log 4.9293 488 0.2087 0.1025 0.2087 0.4568
No log 4.9495 490 0.1956 0.1508 0.1956 0.4423
No log 4.9697 492 0.1884 0.1841 0.1884 0.4341
No log 4.9899 494 0.1867 0.1311 0.1867 0.4321
No log 5.0101 496 0.1793 0.1156 0.1793 0.4235
No log 5.0303 498 0.1764 0.0904 0.1764 0.4200
0.214 5.0505 500 0.1801 0.1175 0.1801 0.4243
0.214 5.0707 502 0.2001 0.0658 0.2001 0.4473
0.214 5.0909 504 0.2304 0.0682 0.2304 0.4800
0.214 5.1111 506 0.2379 0.0682 0.2379 0.4877
0.214 5.1313 508 0.2277 0.0682 0.2277 0.4771
0.214 5.1515 510 0.2129 0.0682 0.2129 0.4614

Framework versions

  • Transformers 4.44.2
  • Pytorch 2.4.0+cu118
  • Datasets 2.21.0
  • Tokenizers 0.19.1