Arabic_CrossPrompt_FineTuningAraBERT_noAug_TestTask8_relevance

This model is a fine-tuned version of aubmindlab/bert-base-arabertv02 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.1690
• Qwk: 0.2264
• Mse: 0.1690
• Rmse: 0.4111

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Qwk	Mse	Rmse
No log	0.0196	2	1.1059	0.0217	1.1059	1.0516
No log	0.0392	4	0.7064	0.0202	0.7064	0.8405
No log	0.0588	6	0.2304	0.1225	0.2304	0.4800
No log	0.0784	8	0.2240	0.0299	0.2240	0.4733
No log	0.0980	10	0.2156	0.1127	0.2156	0.4643
No log	0.1176	12	0.2270	-0.0077	0.2270	0.4765
No log	0.1373	14	0.2660	-0.0734	0.2660	0.5157
No log	0.1569	16	0.2882	-0.0252	0.2882	0.5369
No log	0.1765	18	0.2063	0.0997	0.2063	0.4542
No log	0.1961	20	0.1955	0.0109	0.1955	0.4422
No log	0.2157	22	0.2139	0.0	0.2139	0.4625
No log	0.2353	24	0.2119	0.1058	0.2119	0.4603
No log	0.2549	26	0.2118	0.1058	0.2118	0.4602
No log	0.2745	28	0.1884	0.1760	0.1884	0.4341
No log	0.2941	30	0.1931	0.0880	0.1931	0.4395
No log	0.3137	32	0.1831	0.1058	0.1831	0.4279
No log	0.3333	34	0.1744	0.1368	0.1744	0.4177
No log	0.3529	36	0.1930	0.1020	0.1930	0.4393
No log	0.3725	38	0.1831	0.0904	0.1831	0.4279
No log	0.3922	40	0.1924	0.1162	0.1924	0.4387
No log	0.4118	42	0.2152	0.0	0.2152	0.4639
No log	0.4314	44	0.2050	0.0	0.2050	0.4528
No log	0.4510	46	0.1811	0.0201	0.1811	0.4256
No log	0.4706	48	0.1770	0.0018	0.1770	0.4207
No log	0.4902	50	0.1848	0.0972	0.1848	0.4298
No log	0.5098	52	0.1924	0.2351	0.1924	0.4386
No log	0.5294	54	0.1813	0.1368	0.1813	0.4258
No log	0.5490	56	0.1697	0.0299	0.1697	0.4120
No log	0.5686	58	0.1890	0.0	0.1890	0.4348
No log	0.5882	60	0.2168	0.0	0.2168	0.4656
No log	0.6078	62	0.2130	0.0	0.2130	0.4615
No log	0.6275	64	0.2260	0.0	0.2260	0.4754
No log	0.6471	66	0.2160	0.0	0.2160	0.4647
No log	0.6667	68	0.1999	0.0593	0.1999	0.4471
No log	0.6863	70	0.1917	0.1159	0.1917	0.4378
No log	0.7059	72	0.1902	0.1098	0.1902	0.4362
No log	0.7255	74	0.2163	0.0299	0.2163	0.4651
No log	0.7451	76	0.2386	-0.0097	0.2386	0.4885
No log	0.7647	78	0.2022	0.0201	0.2022	0.4496
No log	0.7843	80	0.2070	0.0544	0.2070	0.4549
No log	0.8039	82	0.2203	0.0771	0.2203	0.4694
No log	0.8235	84	0.2118	0.0774	0.2118	0.4603
No log	0.8431	86	0.2129	0.0388	0.2129	0.4614
No log	0.8627	88	0.2198	0.0009	0.2198	0.4688
No log	0.8824	90	0.2424	-0.0097	0.2424	0.4924
No log	0.9020	92	0.2319	0.0	0.2319	0.4815
No log	0.9216	94	0.2057	0.0202	0.2057	0.4536
No log	0.9412	96	0.1924	0.0566	0.1924	0.4387
No log	0.9608	98	0.2119	0.1471	0.2119	0.4603
No log	0.9804	100	0.2124	0.1020	0.2124	0.4608
No log	1.0	102	0.2030	0.1745	0.2030	0.4505
No log	1.0196	104	0.1780	0.1058	0.1780	0.4219
No log	1.0392	106	0.1685	0.0593	0.1685	0.4105
No log	1.0588	108	0.1683	0.1229	0.1683	0.4102
No log	1.0784	110	0.1808	0.0299	0.1808	0.4252
No log	1.0980	112	0.2087	0.0	0.2087	0.4568
No log	1.1176	114	0.1911	0.0	0.1911	0.4371
No log	1.1373	116	0.1700	0.0593	0.1700	0.4124
No log	1.1569	118	0.1777	0.0	0.1777	0.4216
No log	1.1765	120	0.1737	0.0299	0.1737	0.4168
No log	1.1961	122	0.1665	0.0593	0.1665	0.4080
No log	1.2157	124	0.1680	0.1162	0.1680	0.4099
No log	1.2353	126	0.1699	0.1058	0.1699	0.4122
No log	1.2549	128	0.1676	0.0593	0.1676	0.4093
No log	1.2745	130	0.1725	0.0593	0.1725	0.4153
No log	1.2941	132	0.1797	0.0593	0.1797	0.4239
No log	1.3137	134	0.1866	0.0593	0.1866	0.4319
No log	1.3333	136	0.1882	0.0880	0.1882	0.4338
No log	1.3529	138	0.1847	0.1911	0.1847	0.4298
No log	1.3725	140	0.1868	0.3081	0.1868	0.4323
No log	1.3922	142	0.1746	0.2998	0.1746	0.4179
No log	1.4118	144	0.1647	0.2950	0.1647	0.4058
No log	1.4314	146	0.1567	0.2818	0.1567	0.3959
No log	1.4510	148	0.1561	0.2096	0.1561	0.3951
No log	1.4706	150	0.1622	0.2294	0.1622	0.4028
No log	1.4902	152	0.1614	0.1752	0.1614	0.4018
No log	1.5098	154	0.1672	0.0880	0.1672	0.4089
No log	1.5294	156	0.1697	0.0593	0.1697	0.4120
No log	1.5490	158	0.1736	0.0593	0.1736	0.4166
No log	1.5686	160	0.1759	0.0593	0.1759	0.4194
No log	1.5882	162	0.1747	0.0593	0.1747	0.4180
No log	1.6078	164	0.1661	0.1760	0.1661	0.4076
No log	1.6275	166	0.1918	0.1728	0.1918	0.4379
No log	1.6471	168	0.1941	0.1772	0.1941	0.4406
No log	1.6667	170	0.1896	0.0593	0.1896	0.4354
No log	1.6863	172	0.1886	-0.0097	0.1886	0.4343
No log	1.7059	174	0.2004	0.1065	0.2004	0.4477
No log	1.7255	176	0.2176	0.1792	0.2176	0.4665
No log	1.7451	178	0.2071	0.2197	0.2071	0.4551
No log	1.7647	180	0.1846	0.2708	0.1846	0.4296
No log	1.7843	182	0.1989	0.2352	0.1989	0.4460
No log	1.8039	184	0.2186	0.1987	0.2186	0.4675
No log	1.8235	186	0.1817	0.1818	0.1817	0.4263
No log	1.8431	188	0.1640	0.1745	0.1640	0.4049
No log	1.8627	190	0.1686	0.1867	0.1686	0.4106
No log	1.8824	192	0.1791	0.1752	0.1791	0.4232
No log	1.9020	194	0.1679	0.1807	0.1679	0.4097
No log	1.9216	196	0.1713	0.0299	0.1713	0.4139
No log	1.9412	198	0.1940	0.0	0.1940	0.4405
No log	1.9608	200	0.2042	0.0299	0.2042	0.4519
No log	1.9804	202	0.2110	0.0677	0.2110	0.4593
No log	2.0	204	0.2075	0.0299	0.2075	0.4555
No log	2.0196	206	0.2029	0.0	0.2029	0.4504
No log	2.0392	208	0.2131	0.0	0.2131	0.4617
No log	2.0588	210	0.1971	0.0299	0.1971	0.4440
No log	2.0784	212	0.1666	0.1058	0.1666	0.4082
No log	2.0980	214	0.1586	0.1602	0.1586	0.3982
No log	2.1176	216	0.1565	0.2163	0.1565	0.3957
No log	2.1373	218	0.1565	0.2232	0.1565	0.3956
No log	2.1569	220	0.1594	0.2166	0.1594	0.3992
No log	2.1765	222	0.1672	0.2514	0.1672	0.4090
No log	2.1961	224	0.1760	0.2831	0.1760	0.4195
No log	2.2157	226	0.1774	0.2623	0.1774	0.4212
No log	2.2353	228	0.1699	0.1254	0.1699	0.4122
No log	2.2549	230	0.1638	0.1058	0.1638	0.4047
No log	2.2745	232	0.1642	0.0778	0.1642	0.4052
No log	2.2941	234	0.1635	0.0778	0.1635	0.4043
No log	2.3137	236	0.1686	0.0880	0.1686	0.4106
No log	2.3333	238	0.1625	0.1162	0.1625	0.4031
No log	2.3529	240	0.1575	0.1333	0.1575	0.3969
No log	2.3725	242	0.1542	0.2520	0.1542	0.3927
No log	2.3922	244	0.1550	0.2908	0.1550	0.3937
No log	2.4118	246	0.1576	0.3245	0.1576	0.3970
No log	2.4314	248	0.1624	0.2908	0.1624	0.4030
No log	2.4510	250	0.1849	0.1710	0.1849	0.4299
No log	2.4706	252	0.1970	0.1439	0.1970	0.4438
No log	2.4902	254	0.1959	0.1439	0.1959	0.4426
No log	2.5098	256	0.2103	0.0880	0.2103	0.4586
No log	2.5294	258	0.2014	0.0880	0.2014	0.4488
No log	2.5490	260	0.1957	0.0880	0.1957	0.4423
No log	2.5686	262	0.1813	0.0880	0.1813	0.4258
No log	2.5882	264	0.1658	0.1229	0.1658	0.4072
No log	2.6078	266	0.1607	0.1807	0.1607	0.4008
No log	2.6275	268	0.1625	0.1807	0.1625	0.4031
No log	2.6471	270	0.1734	0.1655	0.1734	0.4165
No log	2.6667	272	0.1741	0.1911	0.1741	0.4173
No log	2.6863	274	0.1591	0.2545	0.1591	0.3988
No log	2.7059	276	0.1553	0.2676	0.1553	0.3941
No log	2.7255	278	0.1605	0.1760	0.1605	0.4006
No log	2.7451	280	0.1657	0.1058	0.1657	0.4070
No log	2.7647	282	0.1597	0.1393	0.1597	0.3996
No log	2.7843	284	0.1596	0.1655	0.1596	0.3995
No log	2.8039	286	0.1640	0.1333	0.1640	0.4050
No log	2.8235	288	0.1614	0.2411	0.1614	0.4018
No log	2.8431	290	0.1669	0.3090	0.1669	0.4086
No log	2.8627	292	0.1654	0.2469	0.1654	0.4067
No log	2.8824	294	0.1656	0.1192	0.1656	0.4069
No log	2.9020	296	0.1746	0.0492	0.1746	0.4179
No log	2.9216	298	0.1801	0.0	0.1801	0.4244
No log	2.9412	300	0.1870	0.0299	0.1870	0.4324
No log	2.9608	302	0.1865	0.0201	0.1865	0.4318
No log	2.9804	304	0.1836	0.0492	0.1836	0.4285
No log	3.0	306	0.1757	0.1229	0.1757	0.4192
No log	3.0196	308	0.1718	0.1604	0.1718	0.4145
No log	3.0392	310	0.1669	0.2570	0.1669	0.4086
No log	3.0588	312	0.1607	0.2545	0.1607	0.4009
No log	3.0784	314	0.1627	0.0757	0.1627	0.4033
No log	3.0980	316	0.1816	0.0956	0.1816	0.4261
No log	3.1176	318	0.1991	0.0778	0.1991	0.4462
No log	3.1373	320	0.1772	0.1655	0.1772	0.4210
No log	3.1569	322	0.1683	0.2163	0.1683	0.4102
No log	3.1765	324	0.1622	0.2103	0.1622	0.4027
No log	3.1961	326	0.1732	0.2364	0.1732	0.4161
No log	3.2157	328	0.1967	0.1162	0.1967	0.4435
No log	3.2353	330	0.1936	0.1439	0.1936	0.4400
No log	3.2549	332	0.1785	0.1710	0.1785	0.4225
No log	3.2745	334	0.1729	0.1162	0.1729	0.4158
No log	3.2941	336	0.1626	0.2126	0.1626	0.4033
No log	3.3137	338	0.1640	0.1867	0.1640	0.4050
No log	3.3333	340	0.1611	0.2908	0.1611	0.4014
No log	3.3529	342	0.1619	0.3263	0.1619	0.4023
No log	3.3725	344	0.1649	0.3090	0.1649	0.4060
No log	3.3922	346	0.1648	0.3040	0.1648	0.4059
No log	3.4118	348	0.1860	0.3016	0.1860	0.4313
No log	3.4314	350	0.1740	0.3581	0.1740	0.4172
No log	3.4510	352	0.1766	0.3472	0.1766	0.4203
No log	3.4706	354	0.1880	0.2492	0.1880	0.4335
No log	3.4902	356	0.1840	0.1990	0.1840	0.4289
No log	3.5098	358	0.1904	0.2974	0.1904	0.4363
No log	3.5294	360	0.1705	0.2445	0.1705	0.4130
No log	3.5490	362	0.1883	0.0492	0.1883	0.4339
No log	3.5686	364	0.1794	0.1162	0.1794	0.4236
No log	3.5882	366	0.1693	0.2743	0.1693	0.4114
No log	3.6078	368	0.1635	0.2892	0.1635	0.4043
No log	3.6275	370	0.1639	0.3245	0.1639	0.4048
No log	3.6471	372	0.1645	0.3136	0.1645	0.4056
No log	3.6667	374	0.1679	0.2654	0.1679	0.4097
No log	3.6863	376	0.1914	0.2236	0.1914	0.4375
No log	3.7059	378	0.2001	0.0880	0.2001	0.4474
No log	3.7255	380	0.1969	0.0880	0.1969	0.4437
No log	3.7451	382	0.1841	0.1058	0.1841	0.4291
No log	3.7647	384	0.1725	0.1333	0.1725	0.4154
No log	3.7843	386	0.1570	0.1451	0.1570	0.3962
No log	3.8039	388	0.1583	0.3577	0.1583	0.3979
No log	3.8235	390	0.1695	0.3568	0.1695	0.4117
No log	3.8431	392	0.1841	0.3476	0.1841	0.4290
No log	3.8627	394	0.1613	0.2880	0.1613	0.4017
No log	3.8824	396	0.1569	0.1954	0.1569	0.3961
No log	3.9020	398	0.1576	0.2058	0.1576	0.3970
No log	3.9216	400	0.1622	0.1655	0.1622	0.4027
No log	3.9412	402	0.1620	0.1807	0.1620	0.4025
No log	3.9608	404	0.1628	0.2163	0.1628	0.4035
No log	3.9804	406	0.1598	0.2096	0.1598	0.3998
No log	4.0	408	0.1615	0.2069	0.1615	0.4019
No log	4.0196	410	0.1638	0.2445	0.1638	0.4047
No log	4.0392	412	0.1684	0.1745	0.1684	0.4103
No log	4.0588	414	0.1742	0.1935	0.1742	0.4174
No log	4.0784	416	0.2118	0.2126	0.2118	0.4602
No log	4.0980	418	0.2328	0.0299	0.2328	0.4825
No log	4.1176	420	0.2020	0.1867	0.2020	0.4495
No log	4.1373	422	0.1582	0.2492	0.1582	0.3978
No log	4.1569	424	0.1652	0.4065	0.1652	0.4065
No log	4.1765	426	0.1684	0.3884	0.1684	0.4104
No log	4.1961	428	0.1481	0.3269	0.1481	0.3849
No log	4.2157	430	0.1608	0.3003	0.1608	0.4010
No log	4.2353	432	0.2002	0.1602	0.2002	0.4475
No log	4.2549	434	0.2263	0.0778	0.2263	0.4757
No log	4.2745	436	0.2243	0.0778	0.2243	0.4737
No log	4.2941	438	0.1978	0.0778	0.1978	0.4448
No log	4.3137	440	0.1663	0.1867	0.1663	0.4078
No log	4.3333	442	0.1501	0.2520	0.1501	0.3875
No log	4.3529	444	0.1473	0.3016	0.1473	0.3838
No log	4.3725	446	0.1552	0.3378	0.1552	0.3939
No log	4.3922	448	0.2091	0.3476	0.2091	0.4573
No log	4.4118	450	0.2381	0.3391	0.2381	0.4879
No log	4.4314	452	0.2070	0.2659	0.2070	0.4550
No log	4.4510	454	0.1748	0.1471	0.1748	0.4180
No log	4.4706	456	0.1723	0.1254	0.1723	0.4151
No log	4.4902	458	0.1771	0.1602	0.1771	0.4209
No log	4.5098	460	0.1682	0.1393	0.1682	0.4102
No log	4.5294	462	0.1541	0.2232	0.1541	0.3925
No log	4.5490	464	0.1557	0.3008	0.1557	0.3946
No log	4.5686	466	0.1800	0.3478	0.1800	0.4242
No log	4.5882	468	0.1916	0.3180	0.1916	0.4377
No log	4.6078	470	0.1686	0.2964	0.1686	0.4107
No log	4.6275	472	0.1561	0.2657	0.1561	0.3951
No log	4.6471	474	0.1711	0.2236	0.1711	0.4137
No log	4.6667	476	0.2098	0.0593	0.2098	0.4581
No log	4.6863	478	0.2263	0.0	0.2263	0.4757
No log	4.7059	480	0.2227	0.0	0.2227	0.4719
No log	4.7255	482	0.2112	0.0	0.2112	0.4596
No log	4.7451	484	0.1975	0.0299	0.1975	0.4444
No log	4.7647	486	0.1833	0.0299	0.1833	0.4282
No log	4.7843	488	0.1770	0.1162	0.1770	0.4207
No log	4.8039	490	0.1688	0.1975	0.1688	0.4108
No log	4.8235	492	0.1585	0.1911	0.1585	0.3982
No log	4.8431	494	0.1521	0.3153	0.1521	0.3899
No log	4.8627	496	0.1635	0.3292	0.1635	0.4043
No log	4.8824	498	0.1650	0.3203	0.1650	0.4062
0.2213	4.9020	500	0.1598	0.2894	0.1598	0.3998
0.2213	4.9216	502	0.1659	0.2783	0.1659	0.4073
0.2213	4.9412	504	0.1878	0.2236	0.1878	0.4334
0.2213	4.9608	506	0.1964	0.1439	0.1964	0.4432
0.2213	4.9804	508	0.1860	0.2271	0.1860	0.4313
0.2213	5.0	510	0.1690	0.2264	0.1690	0.4111

Framework versions

• Transformers 4.44.2
• Pytorch 2.4.0+cu118
• Datasets 2.21.0
• Tokenizers 0.19.1