jialicheng/cifar10_swin-base

swin-base

This model is a fine-tuned version of microsoft/swin-base-patch4-window7-224 on the cifar10 dataset. It achieves the following results on the evaluation set:

• Loss: 0.0510
• Accuracy: 0.9902

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 128
• eval_batch_size: 256
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	333	0.0707	0.9793
0.5232	2.0	666	0.0564	0.9829
0.5232	3.0	999	0.0495	0.9848
0.261	4.0	1332	0.0494	0.9849
0.2382	5.0	1665	0.0464	0.9858
0.2382	6.0	1998	0.0415	0.9874
0.2174	7.0	2331	0.0396	0.988
0.2067	8.0	2664	0.0424	0.9874
0.2067	9.0	2997	0.0376	0.9884
0.1955	10.0	3330	0.0432	0.9872
0.1911	11.0	3663	0.0397	0.988
0.1911	12.0	3996	0.0393	0.9894
0.1864	13.0	4329	0.0401	0.9886
0.1801	14.0	4662	0.0438	0.9869
0.1801	15.0	4995	0.0415	0.9881
0.1736	16.0	5328	0.0429	0.9887
0.1707	17.0	5661	0.0389	0.9892
0.1707	18.0	5994	0.0439	0.9876
0.1708	19.0	6327	0.0450	0.9875
0.1598	20.0	6660	0.0444	0.9881
0.1598	21.0	6993	0.0396	0.9894
0.1598	22.0	7326	0.0425	0.9884
0.1566	23.0	7659	0.0408	0.988
0.1566	24.0	7992	0.0464	0.988
0.1522	25.0	8325	0.0426	0.9888
0.1534	26.0	8658	0.0410	0.9895
0.1534	27.0	8991	0.0398	0.9904
0.1505	28.0	9324	0.0382	0.9906
0.1493	29.0	9657	0.0428	0.9892
0.1493	30.0	9990	0.0452	0.9891
0.1485	31.0	10323	0.0461	0.9891
0.1429	32.0	10656	0.0369	0.9901
0.1429	33.0	10989	0.0384	0.9904
0.1426	34.0	11322	0.0420	0.9896
0.1481	35.0	11655	0.0405	0.9894
0.1481	36.0	11988	0.0391	0.9898
0.1435	37.0	12321	0.0557	0.9875
0.14	38.0	12654	0.0409	0.989
0.14	39.0	12987	0.0416	0.989
0.1365	40.0	13320	0.0415	0.989
0.135	41.0	13653	0.0451	0.9892
0.135	42.0	13986	0.0416	0.9887
0.1348	43.0	14319	0.0412	0.9893
0.1346	44.0	14652	0.0445	0.9883
0.1346	45.0	14985	0.0478	0.9889
0.1357	46.0	15318	0.0403	0.9897
0.1276	47.0	15651	0.0456	0.9888
0.1276	48.0	15984	0.0418	0.9897
0.1285	49.0	16317	0.0404	0.9906
0.1281	50.0	16650	0.0404	0.9907
0.1281	51.0	16983	0.0416	0.9905
0.1265	52.0	17316	0.0394	0.9903
0.1261	53.0	17649	0.0412	0.9908
0.1261	54.0	17982	0.0474	0.9889
0.1247	55.0	18315	0.0409	0.9903
0.1242	56.0	18648	0.0405	0.9906
0.1242	57.0	18981	0.0401	0.99
0.1225	58.0	19314	0.0420	0.9891
0.1218	59.0	19647	0.0423	0.9898
0.1218	60.0	19980	0.0408	0.99
0.1213	61.0	20313	0.0436	0.9898
0.1199	62.0	20646	0.0447	0.9894
0.1199	63.0	20979	0.0440	0.9901
0.1179	64.0	21312	0.0423	0.9905
0.1187	65.0	21645	0.0400	0.9904
0.1187	66.0	21978	0.0411	0.9909
0.1181	67.0	22311	0.0451	0.9898
0.1185	68.0	22644	0.0438	0.9902
0.1185	69.0	22977	0.0447	0.9896
0.1156	70.0	23310	0.0410	0.9909
0.1187	71.0	23643	0.0459	0.9893
0.1187	72.0	23976	0.0513	0.9892
0.1178	73.0	24309	0.0437	0.9896
0.1133	74.0	24642	0.0419	0.9893
0.1133	75.0	24975	0.0464	0.9885
0.1169	76.0	25308	0.0518	0.9882
0.1127	77.0	25641	0.0504	0.9888
0.1127	78.0	25974	0.0413	0.9904
0.1141	79.0	26307	0.0432	0.9906
0.1125	80.0	26640	0.0455	0.9894
0.1125	81.0	26973	0.0494	0.9885
0.1108	82.0	27306	0.0462	0.9895
0.1124	83.0	27639	0.0468	0.9893
0.1124	84.0	27972	0.0445	0.9901
0.1111	85.0	28305	0.0460	0.9899
0.1122	86.0	28638	0.0456	0.99
0.1122	87.0	28971	0.0487	0.9892
0.1095	88.0	29304	0.0462	0.9903
0.1074	89.0	29637	0.0499	0.9889
0.1074	90.0	29970	0.0448	0.9894
0.1094	91.0	30303	0.0492	0.9895
0.109	92.0	30636	0.0487	0.9891
0.109	93.0	30969	0.0483	0.9887
0.1064	94.0	31302	0.0476	0.9889
0.1057	95.0	31635	0.0518	0.9891
0.1057	96.0	31968	0.0490	0.989
0.1048	97.0	32301	0.0452	0.9894
0.1053	98.0	32634	0.0457	0.9898
0.1053	99.0	32967	0.0450	0.99
0.1044	100.0	33300	0.0461	0.9894
0.103	101.0	33633	0.0444	0.9888
0.103	102.0	33966	0.0478	0.9892
0.1068	103.0	34299	0.0444	0.989
0.1027	104.0	34632	0.0457	0.9893
0.1027	105.0	34965	0.0450	0.989
0.1059	106.0	35298	0.0471	0.9889
0.1023	107.0	35631	0.0519	0.9885
0.1023	108.0	35964	0.0470	0.9894
0.1069	109.0	36297	0.0448	0.9898
0.1062	110.0	36630	0.0488	0.9891
0.1062	111.0	36963	0.0531	0.9876
0.0996	112.0	37296	0.0515	0.9891
0.1009	113.0	37629	0.0521	0.9879
0.1009	114.0	37962	0.0496	0.9885
0.0998	115.0	38295	0.0466	0.9895
0.1009	116.0	38628	0.0466	0.9895
0.1009	117.0	38961	0.0527	0.9889
0.1003	118.0	39294	0.0470	0.9892
0.1023	119.0	39627	0.0466	0.9898
0.1023	120.0	39960	0.0491	0.9887
0.0991	121.0	40293	0.0466	0.9894
0.0968	122.0	40626	0.0441	0.9898
0.0968	123.0	40959	0.0478	0.9891
0.0967	124.0	41292	0.0444	0.9896
0.1006	125.0	41625	0.0461	0.9887
0.1006	126.0	41958	0.0475	0.9899
0.0957	127.0	42291	0.0479	0.9891
0.0984	128.0	42624	0.0472	0.9897
0.0984	129.0	42957	0.0451	0.9887
0.0968	130.0	43290	0.0450	0.9897
0.0939	131.0	43623	0.0458	0.9897
0.0939	132.0	43956	0.0456	0.9896
0.0952	133.0	44289	0.0459	0.9893
0.0962	134.0	44622	0.0443	0.9903
0.0962	135.0	44955	0.0440	0.9899
0.0948	136.0	45288	0.0476	0.9904
0.0928	137.0	45621	0.0458	0.99
0.0928	138.0	45954	0.0476	0.9892
0.0923	139.0	46287	0.0462	0.9898
0.095	140.0	46620	0.0476	0.99
0.095	141.0	46953	0.0513	0.9895
0.0918	142.0	47286	0.0484	0.9893
0.0891	143.0	47619	0.0500	0.9895
0.0891	144.0	47952	0.0502	0.9894
0.0936	145.0	48285	0.0472	0.989
0.0926	146.0	48618	0.0477	0.9896
0.0926	147.0	48951	0.0488	0.9894
0.0903	148.0	49284	0.0518	0.9893
0.0911	149.0	49617	0.0422	0.9896
0.0911	150.0	49950	0.0416	0.9908
0.0885	151.0	50283	0.0462	0.9889
0.0913	152.0	50616	0.0522	0.9891
0.0913	153.0	50949	0.0484	0.9898
0.089	154.0	51282	0.0461	0.9897
0.0904	155.0	51615	0.0474	0.9891
0.0904	156.0	51948	0.0487	0.9886
0.0911	157.0	52281	0.0507	0.9891
0.0875	158.0	52614	0.0458	0.9895
0.0875	159.0	52947	0.0493	0.9893
0.0893	160.0	53280	0.0501	0.9889
0.0919	161.0	53613	0.0527	0.9885
0.0919	162.0	53946	0.0486	0.9887
0.0899	163.0	54279	0.0513	0.9886
0.0864	164.0	54612	0.0501	0.9899
0.0864	165.0	54945	0.0486	0.9894
0.0859	166.0	55278	0.0490	0.9894
0.0912	167.0	55611	0.0489	0.9898
0.0912	168.0	55944	0.0534	0.9885
0.0872	169.0	56277	0.0518	0.989
0.0906	170.0	56610	0.0545	0.9881
0.0906	171.0	56943	0.0531	0.989
0.087	172.0	57276	0.0526	0.9893
0.0832	173.0	57609	0.0511	0.9889
0.0832	174.0	57942	0.0492	0.9893
0.0879	175.0	58275	0.0493	0.9892
0.0885	176.0	58608	0.0506	0.9903
0.0885	177.0	58941	0.0508	0.9893
0.0839	178.0	59274	0.0497	0.9895
0.0834	179.0	59607	0.0536	0.9892
0.0834	180.0	59940	0.0515	0.9895
0.0894	181.0	60273	0.0513	0.9896
0.0857	182.0	60606	0.0515	0.9893
0.0857	183.0	60939	0.0529	0.9893
0.0844	184.0	61272	0.0503	0.9897
0.0853	185.0	61605	0.0505	0.9898
0.0853	186.0	61938	0.0565	0.9887
0.0853	187.0	62271	0.0520	0.9894
0.0821	188.0	62604	0.0551	0.9896
0.0821	189.0	62937	0.0553	0.9894
0.0833	190.0	63270	0.0623	0.9887
0.0857	191.0	63603	0.0549	0.9891
0.0857	192.0	63936	0.0537	0.989
0.0848	193.0	64269	0.0524	0.9896
0.0852	194.0	64602	0.0508	0.9897
0.0852	195.0	64935	0.0528	0.9892
0.0828	196.0	65268	0.0517	0.99
0.0807	197.0	65601	0.0503	0.9896
0.0807	198.0	65934	0.0507	0.9899
0.0846	199.0	66267	0.0496	0.9897
0.0813	200.0	66600	0.0514	0.9903
0.0813	201.0	66933	0.0485	0.9902
0.0782	202.0	67266	0.0510	0.9895
0.0835	203.0	67599	0.0492	0.9904
0.0835	204.0	67932	0.0553	0.9894
0.0832	205.0	68265	0.0504	0.9896
0.0822	206.0	68598	0.0522	0.9902
0.0822	207.0	68931	0.0516	0.99
0.0839	208.0	69264	0.0512	0.9903
0.0808	209.0	69597	0.0560	0.9901
0.0808	210.0	69930	0.0475	0.991
0.081	211.0	70263	0.0507	0.9896
0.0818	212.0	70596	0.0522	0.9899
0.0818	213.0	70929	0.0507	0.9908
0.0814	214.0	71262	0.0507	0.9905
0.0807	215.0	71595	0.0504	0.9904
0.0807	216.0	71928	0.0530	0.9893
0.0816	217.0	72261	0.0519	0.9904
0.0778	218.0	72594	0.0529	0.9902
0.0778	219.0	72927	0.0516	0.9903
0.0808	220.0	73260	0.0515	0.9902
0.0789	221.0	73593	0.0504	0.9903
0.0789	222.0	73926	0.0522	0.9903
0.0791	223.0	74259	0.0524	0.9895
0.0797	224.0	74592	0.0529	0.9896
0.0797	225.0	74925	0.0530	0.9894
0.0753	226.0	75258	0.0526	0.9901
0.0791	227.0	75591	0.0532	0.99
0.0791	228.0	75924	0.0549	0.99
0.0799	229.0	76257	0.0524	0.9899
0.0768	230.0	76590	0.0531	0.9899
0.0768	231.0	76923	0.0545	0.9899
0.0765	232.0	77256	0.0523	0.9901
0.08	233.0	77589	0.0529	0.9895
0.08	234.0	77922	0.0527	0.9898
0.0775	235.0	78255	0.0527	0.99
0.0749	236.0	78588	0.0515	0.9895
0.0749	237.0	78921	0.0535	0.9898
0.0791	238.0	79254	0.0521	0.9903
0.0777	239.0	79587	0.0528	0.9898
0.0777	240.0	79920	0.0534	0.9894
0.0773	241.0	80253	0.0521	0.9899
0.0747	242.0	80586	0.0543	0.9903
0.0747	243.0	80919	0.0551	0.9903
0.0761	244.0	81252	0.0528	0.9903
0.0729	245.0	81585	0.0526	0.9903
0.0729	246.0	81918	0.0542	0.9903
0.0774	247.0	82251	0.0527	0.9903
0.0783	248.0	82584	0.0528	0.9897
0.0783	249.0	82917	0.0525	0.9901
0.0738	250.0	83250	0.0511	0.9901
0.0769	251.0	83583	0.0515	0.99
0.0769	252.0	83916	0.0515	0.9905
0.0744	253.0	84249	0.0512	0.9898
0.0769	254.0	84582	0.0513	0.9904
0.0769	255.0	84915	0.0505	0.9902
0.0746	256.0	85248	0.0506	0.9902
0.0802	257.0	85581	0.0518	0.9903
0.0802	258.0	85914	0.0527	0.9903
0.0746	259.0	86247	0.0509	0.9902
0.0751	260.0	86580	0.0499	0.9907
0.0751	261.0	86913	0.0508	0.9903
0.0742	262.0	87246	0.0498	0.9903
0.0756	263.0	87579	0.0509	0.9902
0.0756	264.0	87912	0.0508	0.99
0.0718	265.0	88245	0.0520	0.9897
0.0776	266.0	88578	0.0520	0.9899
0.0776	267.0	88911	0.0524	0.9898
0.073	268.0	89244	0.0520	0.9898
0.0743	269.0	89577	0.0513	0.9899
0.0743	270.0	89910	0.0517	0.9897
0.0747	271.0	90243	0.0507	0.9899
0.0742	272.0	90576	0.0502	0.9905
0.0742	273.0	90909	0.0503	0.9903
0.074	274.0	91242	0.0505	0.9903
0.0753	275.0	91575	0.0509	0.9904
0.0753	276.0	91908	0.0497	0.99
0.0747	277.0	92241	0.0503	0.99
0.0744	278.0	92574	0.0515	0.9901
0.0744	279.0	92907	0.0508	0.9903
0.0739	280.0	93240	0.0500	0.9901
0.0734	281.0	93573	0.0504	0.9901
0.0734	282.0	93906	0.0512	0.99
0.0721	283.0	94239	0.0509	0.9899
0.0701	284.0	94572	0.0506	0.9901
0.0701	285.0	94905	0.0512	0.9902
0.0714	286.0	95238	0.0508	0.9902
0.0728	287.0	95571	0.0509	0.9905
0.0728	288.0	95904	0.0512	0.9905
0.0703	289.0	96237	0.0511	0.9904
0.0728	290.0	96570	0.0506	0.9902
0.0728	291.0	96903	0.0510	0.9907
0.0725	292.0	97236	0.0509	0.9901
0.0723	293.0	97569	0.0511	0.9902
0.0723	294.0	97902	0.0514	0.9903
0.0722	295.0	98235	0.0513	0.9905
0.0726	296.0	98568	0.0512	0.99
0.0726	297.0	98901	0.0512	0.9902
0.0724	298.0	99234	0.0511	0.9902
0.0735	299.0	99567	0.0511	0.9902
0.0735	300.0	99900	0.0510	0.9902

Framework versions

• Transformers 4.39.3
• Pytorch 2.2.2+cu118
• Datasets 2.18.0
• Tokenizers 0.15.2