jialicheng/cifar10_swin-tiny

swin-tiny

This model is a fine-tuned version of microsoft/swin-tiny-patch4-window7-224 on the cifar10 dataset. It achieves the following results on the evaluation set:

• Loss: 0.0807
• Accuracy: 0.981

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 128
• eval_batch_size: 256
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	333	0.2584	0.9223
0.9076	2.0	666	0.1637	0.945
0.9076	3.0	999	0.1344	0.9553
0.4797	4.0	1332	0.1206	0.9604
0.4193	5.0	1665	0.1109	0.9635
0.4193	6.0	1998	0.1056	0.9661
0.3846	7.0	2331	0.0951	0.9688
0.3572	8.0	2664	0.0957	0.9689
0.3572	9.0	2997	0.0909	0.9693
0.3409	10.0	3330	0.0862	0.971
0.3319	11.0	3663	0.0856	0.9721
0.3319	12.0	3996	0.0872	0.972
0.3253	13.0	4329	0.0806	0.973
0.3084	14.0	4662	0.0816	0.9738
0.3084	15.0	4995	0.0789	0.9742
0.3022	16.0	5328	0.0767	0.9746
0.2894	17.0	5661	0.0805	0.9725
0.2894	18.0	5994	0.0760	0.9759
0.2842	19.0	6327	0.0742	0.9744
0.2712	20.0	6660	0.0785	0.9738
0.2712	21.0	6993	0.0790	0.9735
0.2729	22.0	7326	0.0751	0.9759
0.2634	23.0	7659	0.0796	0.9737
0.2634	24.0	7992	0.0756	0.9752
0.2591	25.0	8325	0.0755	0.9759
0.253	26.0	8658	0.0793	0.9746
0.253	27.0	8991	0.0728	0.9765
0.2518	28.0	9324	0.0791	0.9748
0.2482	29.0	9657	0.0792	0.9756
0.2482	30.0	9990	0.0742	0.9764
0.2429	31.0	10323	0.0740	0.9757
0.2405	32.0	10656	0.0743	0.9757
0.2405	33.0	10989	0.0743	0.9757
0.234	34.0	11322	0.0749	0.9769
0.2353	35.0	11655	0.0768	0.975
0.2353	36.0	11988	0.0734	0.9771
0.2329	37.0	12321	0.0778	0.9755
0.2289	38.0	12654	0.0762	0.9771
0.2289	39.0	12987	0.0765	0.9761
0.227	40.0	13320	0.0739	0.9768
0.2213	41.0	13653	0.0747	0.9773
0.2213	42.0	13986	0.0720	0.9786
0.217	43.0	14319	0.0766	0.9771
0.22	44.0	14652	0.0764	0.9767
0.22	45.0	14985	0.0728	0.9779
0.2179	46.0	15318	0.0740	0.9785
0.2074	47.0	15651	0.0712	0.9793
0.2074	48.0	15984	0.0759	0.9783
0.2096	49.0	16317	0.0727	0.9791
0.2097	50.0	16650	0.0747	0.9792
0.2097	51.0	16983	0.0755	0.9795
0.2063	52.0	17316	0.0741	0.9788
0.2054	53.0	17649	0.0739	0.9784
0.2054	54.0	17982	0.0755	0.9779
0.2003	55.0	18315	0.0776	0.9784
0.2009	56.0	18648	0.0735	0.9786
0.2009	57.0	18981	0.0772	0.9769
0.1999	58.0	19314	0.0769	0.9789
0.1973	59.0	19647	0.0734	0.9793
0.1973	60.0	19980	0.0741	0.9787
0.1953	61.0	20313	0.0751	0.978
0.1937	62.0	20646	0.0737	0.9786
0.1937	63.0	20979	0.0732	0.9786
0.1946	64.0	21312	0.0759	0.9789
0.1909	65.0	21645	0.0735	0.9798
0.1909	66.0	21978	0.0734	0.9788
0.1935	67.0	22311	0.0734	0.9793
0.1936	68.0	22644	0.0724	0.9795
0.1936	69.0	22977	0.0757	0.9785
0.1858	70.0	23310	0.0710	0.9801
0.1871	71.0	23643	0.0760	0.9799
0.1871	72.0	23976	0.0765	0.9801
0.1836	73.0	24309	0.0771	0.9787
0.1827	74.0	24642	0.0762	0.9782
0.1827	75.0	24975	0.0778	0.9781
0.1847	76.0	25308	0.0814	0.9781
0.1815	77.0	25641	0.0769	0.9788
0.1815	78.0	25974	0.0737	0.9801
0.1786	79.0	26307	0.0740	0.9795
0.1819	80.0	26640	0.0710	0.9807
0.1819	81.0	26973	0.0754	0.9799
0.1767	82.0	27306	0.0772	0.9789
0.1792	83.0	27639	0.0765	0.9799
0.1792	84.0	27972	0.0741	0.9799
0.1752	85.0	28305	0.0741	0.9795
0.1789	86.0	28638	0.0775	0.9802
0.1789	87.0	28971	0.0731	0.9803
0.1755	88.0	29304	0.0725	0.9806
0.1694	89.0	29637	0.0750	0.9795
0.1694	90.0	29970	0.0711	0.9815
0.1739	91.0	30303	0.0767	0.98
0.1726	92.0	30636	0.0771	0.9801
0.1726	93.0	30969	0.0785	0.9786
0.1696	94.0	31302	0.0799	0.9787
0.1723	95.0	31635	0.0776	0.979
0.1723	96.0	31968	0.0774	0.9796
0.1692	97.0	32301	0.0807	0.9797
0.17	98.0	32634	0.0750	0.9798
0.17	99.0	32967	0.0765	0.9805
0.1691	100.0	33300	0.0763	0.9798
0.165	101.0	33633	0.0765	0.9794
0.165	102.0	33966	0.0741	0.9806
0.1678	103.0	34299	0.0728	0.9805
0.1663	104.0	34632	0.0746	0.9803
0.1663	105.0	34965	0.0747	0.9796
0.1697	106.0	35298	0.0743	0.98
0.1637	107.0	35631	0.0769	0.9796
0.1637	108.0	35964	0.0751	0.9802
0.1678	109.0	36297	0.0769	0.9807
0.1674	110.0	36630	0.0739	0.9808
0.1674	111.0	36963	0.0810	0.9795
0.1604	112.0	37296	0.0744	0.9806
0.1583	113.0	37629	0.0741	0.9816
0.1583	114.0	37962	0.0784	0.98
0.1592	115.0	38295	0.0729	0.9818
0.1607	116.0	38628	0.0744	0.9818
0.1607	117.0	38961	0.0736	0.9817
0.1657	118.0	39294	0.0769	0.9805
0.1605	119.0	39627	0.0769	0.9812
0.1605	120.0	39960	0.0787	0.9808
0.1554	121.0	40293	0.0785	0.9801
0.157	122.0	40626	0.0760	0.9796
0.157	123.0	40959	0.0754	0.9805
0.1549	124.0	41292	0.0755	0.9802
0.1578	125.0	41625	0.0765	0.9792
0.1578	126.0	41958	0.0753	0.98
0.1531	127.0	42291	0.0779	0.98
0.1572	128.0	42624	0.0783	0.98
0.1572	129.0	42957	0.0786	0.9796
0.1558	130.0	43290	0.0742	0.9814
0.1515	131.0	43623	0.0776	0.9798
0.1515	132.0	43956	0.0800	0.9793
0.1526	133.0	44289	0.0756	0.9806
0.1523	134.0	44622	0.0789	0.9797
0.1523	135.0	44955	0.0765	0.9801
0.1519	136.0	45288	0.0770	0.9798
0.1491	137.0	45621	0.0794	0.98
0.1491	138.0	45954	0.0790	0.9796
0.1488	139.0	46287	0.0783	0.9796
0.1511	140.0	46620	0.0769	0.98
0.1511	141.0	46953	0.0827	0.9797
0.1475	142.0	47286	0.0770	0.98
0.1449	143.0	47619	0.0780	0.98
0.1449	144.0	47952	0.0771	0.9795
0.146	145.0	48285	0.0751	0.9809
0.1473	146.0	48618	0.0793	0.9797
0.1473	147.0	48951	0.0759	0.9812
0.1466	148.0	49284	0.0821	0.9787
0.1472	149.0	49617	0.0757	0.9813
0.1472	150.0	49950	0.0764	0.9804
0.1437	151.0	50283	0.0816	0.9799
0.1487	152.0	50616	0.0777	0.9818
0.1487	153.0	50949	0.0795	0.9811
0.1455	154.0	51282	0.0784	0.9811
0.1463	155.0	51615	0.0800	0.9801
0.1463	156.0	51948	0.0791	0.9809
0.1449	157.0	52281	0.0777	0.9815
0.1413	158.0	52614	0.0798	0.9802
0.1413	159.0	52947	0.0801	0.9798
0.143	160.0	53280	0.0790	0.9803
0.1462	161.0	53613	0.0785	0.9794
0.1462	162.0	53946	0.0784	0.9799
0.1454	163.0	54279	0.0777	0.9814
0.1404	164.0	54612	0.0768	0.9817
0.1404	165.0	54945	0.0787	0.9795
0.1404	166.0	55278	0.0814	0.9806
0.1438	167.0	55611	0.0802	0.9802
0.1438	168.0	55944	0.0774	0.9807
0.1405	169.0	56277	0.0777	0.9793
0.1465	170.0	56610	0.0783	0.9804
0.1465	171.0	56943	0.0817	0.9799
0.1404	172.0	57276	0.0780	0.9806
0.1367	173.0	57609	0.0790	0.9806
0.1367	174.0	57942	0.0787	0.9816
0.1399	175.0	58275	0.0811	0.9801
0.1418	176.0	58608	0.0804	0.9809
0.1418	177.0	58941	0.0800	0.9806
0.1381	178.0	59274	0.0786	0.9814
0.1357	179.0	59607	0.0798	0.9805
0.1357	180.0	59940	0.0792	0.9813
0.1465	181.0	60273	0.0802	0.9809
0.1366	182.0	60606	0.0788	0.9804
0.1366	183.0	60939	0.0805	0.979
0.139	184.0	61272	0.0822	0.9794
0.1381	185.0	61605	0.0808	0.9807
0.1381	186.0	61938	0.0806	0.9802
0.1367	187.0	62271	0.0785	0.9803
0.1354	188.0	62604	0.0804	0.9803
0.1354	189.0	62937	0.0795	0.98
0.137	190.0	63270	0.0797	0.9805
0.1351	191.0	63603	0.0786	0.9803
0.1351	192.0	63936	0.0778	0.9807
0.1345	193.0	64269	0.0800	0.9812
0.1377	194.0	64602	0.0790	0.9799
0.1377	195.0	64935	0.0816	0.98
0.1339	196.0	65268	0.0813	0.9811
0.1338	197.0	65601	0.0786	0.981
0.1338	198.0	65934	0.0813	0.9805
0.1371	199.0	66267	0.0809	0.9808
0.1339	200.0	66600	0.0797	0.9807
0.1339	201.0	66933	0.0806	0.9808
0.131	202.0	67266	0.0817	0.98
0.1365	203.0	67599	0.0823	0.9801
0.1365	204.0	67932	0.0827	0.9798
0.1358	205.0	68265	0.0804	0.9816
0.132	206.0	68598	0.0825	0.9802
0.132	207.0	68931	0.0798	0.981
0.1396	208.0	69264	0.0809	0.9813
0.1324	209.0	69597	0.0796	0.9815
0.1324	210.0	69930	0.0800	0.9807
0.1324	211.0	70263	0.0812	0.9809
0.1343	212.0	70596	0.0825	0.9811
0.1343	213.0	70929	0.0817	0.9811
0.1322	214.0	71262	0.0813	0.9811
0.133	215.0	71595	0.0825	0.9807
0.133	216.0	71928	0.0829	0.9809
0.1336	217.0	72261	0.0819	0.9802
0.1287	218.0	72594	0.0817	0.9803
0.1287	219.0	72927	0.0810	0.9804
0.1322	220.0	73260	0.0835	0.98
0.1287	221.0	73593	0.0848	0.9798
0.1287	222.0	73926	0.0816	0.9803
0.1317	223.0	74259	0.0824	0.9803
0.1308	224.0	74592	0.0822	0.9811
0.1308	225.0	74925	0.0822	0.9807
0.1247	226.0	75258	0.0812	0.9806
0.129	227.0	75591	0.0819	0.9805
0.129	228.0	75924	0.0824	0.981
0.1315	229.0	76257	0.0829	0.9803
0.1243	230.0	76590	0.0813	0.9808
0.1243	231.0	76923	0.0813	0.9808
0.1244	232.0	77256	0.0829	0.981
0.1286	233.0	77589	0.0840	0.9801
0.1286	234.0	77922	0.0823	0.9805
0.1261	235.0	78255	0.0830	0.9811
0.1238	236.0	78588	0.0820	0.9812
0.1238	237.0	78921	0.0832	0.9807
0.1296	238.0	79254	0.0817	0.9809
0.1278	239.0	79587	0.0815	0.981
0.1278	240.0	79920	0.0827	0.9802
0.1246	241.0	80253	0.0826	0.9805
0.128	242.0	80586	0.0821	0.9797
0.128	243.0	80919	0.0808	0.981
0.1274	244.0	81252	0.0817	0.9806
0.1232	245.0	81585	0.0812	0.9805
0.1232	246.0	81918	0.0813	0.9809
0.1281	247.0	82251	0.0804	0.9801
0.1236	248.0	82584	0.0805	0.9807
0.1236	249.0	82917	0.0825	0.9807
0.1223	250.0	83250	0.0812	0.9804
0.1278	251.0	83583	0.0809	0.9802
0.1278	252.0	83916	0.0784	0.9818
0.1238	253.0	84249	0.0793	0.9808
0.1259	254.0	84582	0.0813	0.9814
0.1259	255.0	84915	0.0803	0.981
0.1261	256.0	85248	0.0805	0.981
0.1312	257.0	85581	0.0816	0.9805
0.1312	258.0	85914	0.0803	0.9807
0.1237	259.0	86247	0.0790	0.9804
0.1234	260.0	86580	0.0793	0.9803
0.1234	261.0	86913	0.0792	0.9806
0.1237	262.0	87246	0.0800	0.9806
0.1257	263.0	87579	0.0824	0.9802
0.1257	264.0	87912	0.0818	0.9807
0.1219	265.0	88245	0.0821	0.9808
0.1298	266.0	88578	0.0817	0.9805
0.1298	267.0	88911	0.0816	0.9805
0.1222	268.0	89244	0.0814	0.9806
0.1268	269.0	89577	0.0816	0.9803
0.1268	270.0	89910	0.0825	0.981
0.1239	271.0	90243	0.0809	0.9802
0.1277	272.0	90576	0.0806	0.9804
0.1277	273.0	90909	0.0812	0.98
0.1235	274.0	91242	0.0814	0.9807
0.1261	275.0	91575	0.0809	0.9801
0.1261	276.0	91908	0.0803	0.9806
0.1219	277.0	92241	0.0807	0.9803
0.1235	278.0	92574	0.0806	0.9812
0.1235	279.0	92907	0.0799	0.9807
0.1232	280.0	93240	0.0801	0.9805
0.1236	281.0	93573	0.0808	0.9812
0.1236	282.0	93906	0.0811	0.9807
0.1195	283.0	94239	0.0814	0.9804
0.1191	284.0	94572	0.0812	0.9804
0.1191	285.0	94905	0.0818	0.9805
0.1205	286.0	95238	0.0814	0.9807
0.1203	287.0	95571	0.0818	0.9808
0.1203	288.0	95904	0.0803	0.9806
0.1197	289.0	96237	0.0810	0.9812
0.1233	290.0	96570	0.0813	0.9811
0.1233	291.0	96903	0.0810	0.9813
0.12	292.0	97236	0.0806	0.9813
0.1219	293.0	97569	0.0810	0.9816
0.1219	294.0	97902	0.0807	0.9815
0.1202	295.0	98235	0.0808	0.9813
0.1228	296.0	98568	0.0808	0.9815
0.1228	297.0	98901	0.0807	0.9813
0.1212	298.0	99234	0.0807	0.9812
0.1214	299.0	99567	0.0807	0.9812
0.1214	300.0	99900	0.0807	0.981

Framework versions

• Transformers 4.39.3
• Pytorch 2.2.2+cu118
• Datasets 2.18.0
• Tokenizers 0.15.2