jialicheng/cifar10_resnet-34

resnet-34

This model is a fine-tuned version of microsoft/resnet-34 on the cifar10 dataset. It achieves the following results on the evaluation set:

• Loss: 0.1354
• Accuracy: 0.9649

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 128
• eval_batch_size: 256
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 300

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	1.0	333	1.2397	0.6286
1.7252	2.0	666	0.6236	0.8451
1.7252	3.0	999	0.3775	0.9051
0.9349	4.0	1332	0.2880	0.9237
0.6819	5.0	1665	0.2449	0.9302
0.6819	6.0	1998	0.2174	0.9384
0.5874	7.0	2331	0.2000	0.9418
0.5334	8.0	2664	0.1854	0.943
0.5334	9.0	2997	0.1676	0.948
0.4936	10.0	3330	0.1612	0.9511
0.4674	11.0	3663	0.1570	0.9503
0.4674	12.0	3996	0.1546	0.9492
0.4498	13.0	4329	0.1437	0.9516
0.4216	14.0	4662	0.1421	0.9542
0.4216	15.0	4995	0.1383	0.954
0.4139	16.0	5328	0.1390	0.9565
0.3961	17.0	5661	0.1321	0.9562
0.3961	18.0	5994	0.1288	0.9588
0.3812	19.0	6327	0.1319	0.9578
0.3696	20.0	6660	0.1291	0.959
0.3696	21.0	6993	0.1314	0.9571
0.3648	22.0	7326	0.1293	0.9574
0.3523	23.0	7659	0.1285	0.9588
0.3523	24.0	7992	0.1245	0.9602
0.3424	25.0	8325	0.1234	0.9606
0.3316	26.0	8658	0.1190	0.9623
0.3316	27.0	8991	0.1215	0.9603
0.3295	28.0	9324	0.1194	0.9626
0.3188	29.0	9657	0.1189	0.9622
0.3188	30.0	9990	0.1181	0.9628
0.316	31.0	10323	0.1191	0.963
0.3062	32.0	10656	0.1215	0.9621
0.3062	33.0	10989	0.1228	0.9607
0.2988	34.0	11322	0.1177	0.9638
0.2973	35.0	11655	0.1189	0.9624
0.2973	36.0	11988	0.1187	0.962
0.3003	37.0	12321	0.1177	0.9632
0.2873	38.0	12654	0.1248	0.9612
0.2873	39.0	12987	0.1266	0.961
0.2823	40.0	13320	0.1221	0.9638
0.28	41.0	13653	0.1274	0.9588
0.28	42.0	13986	0.1231	0.9637
0.2737	43.0	14319	0.1212	0.9632
0.2718	44.0	14652	0.1204	0.9655
0.2718	45.0	14985	0.1199	0.9649
0.2716	46.0	15318	0.1212	0.964
0.2631	47.0	15651	0.1231	0.9628
0.2631	48.0	15984	0.1204	0.9646
0.2609	49.0	16317	0.1212	0.9644
0.2594	50.0	16650	0.1246	0.9633
0.2594	51.0	16983	0.1217	0.9652
0.2551	52.0	17316	0.1222	0.9637
0.2558	53.0	17649	0.1192	0.9652
0.2558	54.0	17982	0.1256	0.9635
0.2432	55.0	18315	0.1214	0.9641
0.2481	56.0	18648	0.1272	0.9621
0.2481	57.0	18981	0.1217	0.9646
0.2432	58.0	19314	0.1213	0.9647
0.2404	59.0	19647	0.1243	0.9649
0.2404	60.0	19980	0.1212	0.9648
0.2391	61.0	20313	0.1221	0.9659
0.242	62.0	20646	0.1241	0.9637
0.242	63.0	20979	0.1219	0.9642
0.2341	64.0	21312	0.1270	0.9641
0.2299	65.0	21645	0.1237	0.964
0.2299	66.0	21978	0.1223	0.9632
0.2374	67.0	22311	0.1205	0.9653
0.2328	68.0	22644	0.1185	0.9652
0.2328	69.0	22977	0.1234	0.9635
0.2331	70.0	23310	0.1213	0.9648
0.231	71.0	23643	0.1232	0.9636
0.231	72.0	23976	0.1215	0.9646
0.2242	73.0	24309	0.1178	0.9666
0.2245	74.0	24642	0.1229	0.9639
0.2245	75.0	24975	0.1218	0.9649
0.2256	76.0	25308	0.1259	0.964
0.2199	77.0	25641	0.1251	0.9652
0.2199	78.0	25974	0.1280	0.9637
0.2211	79.0	26307	0.1237	0.9645
0.2208	80.0	26640	0.1241	0.9664
0.2208	81.0	26973	0.1236	0.9642
0.2108	82.0	27306	0.1240	0.9658
0.2179	83.0	27639	0.1207	0.9668
0.2179	84.0	27972	0.1223	0.9656
0.2172	85.0	28305	0.1225	0.9662
0.2159	86.0	28638	0.1289	0.9643
0.2159	87.0	28971	0.1235	0.9669
0.2087	88.0	29304	0.1304	0.9618
0.2065	89.0	29637	0.1250	0.9645
0.2065	90.0	29970	0.1239	0.9649
0.2095	91.0	30303	0.1221	0.9665
0.2097	92.0	30636	0.1226	0.9663
0.2097	93.0	30969	0.1224	0.9661
0.2066	94.0	31302	0.1273	0.964
0.206	95.0	31635	0.1269	0.9648
0.206	96.0	31968	0.1308	0.9652
0.2049	97.0	32301	0.1279	0.9644
0.2031	98.0	32634	0.1299	0.9653
0.2031	99.0	32967	0.1392	0.9618
0.2064	100.0	33300	0.1282	0.965
0.1965	101.0	33633	0.1306	0.9648
0.1965	102.0	33966	0.1294	0.9643
0.2059	103.0	34299	0.1272	0.9641
0.1974	104.0	34632	0.1306	0.9654
0.1974	105.0	34965	0.1313	0.9629
0.2012	106.0	35298	0.1285	0.965
0.1943	107.0	35631	0.1352	0.9643
0.1943	108.0	35964	0.1304	0.9642
0.1992	109.0	36297	0.1319	0.9653
0.1971	110.0	36630	0.1280	0.9651
0.1971	111.0	36963	0.1324	0.9647
0.1996	112.0	37296	0.1258	0.9669
0.1909	113.0	37629	0.1284	0.9641
0.1909	114.0	37962	0.1277	0.9676
0.1892	115.0	38295	0.1312	0.9636
0.1908	116.0	38628	0.1323	0.9631
0.1908	117.0	38961	0.1310	0.9643
0.1914	118.0	39294	0.1322	0.9626
0.1958	119.0	39627	0.1320	0.9642
0.1958	120.0	39960	0.1318	0.9647
0.1866	121.0	40293	0.1291	0.965
0.1849	122.0	40626	0.1258	0.9649
0.1849	123.0	40959	0.1302	0.9643
0.1865	124.0	41292	0.1291	0.9648
0.1896	125.0	41625	0.1304	0.9658
0.1896	126.0	41958	0.1301	0.9655
0.1849	127.0	42291	0.1360	0.9645
0.1885	128.0	42624	0.1352	0.9637
0.1885	129.0	42957	0.1350	0.9644
0.1867	130.0	43290	0.1321	0.965
0.1807	131.0	43623	0.1350	0.9643
0.1807	132.0	43956	0.1270	0.9661
0.1892	133.0	44289	0.1327	0.9641
0.1795	134.0	44622	0.1340	0.9641
0.1795	135.0	44955	0.1330	0.9639
0.1832	136.0	45288	0.1332	0.9631
0.1808	137.0	45621	0.1304	0.964
0.1808	138.0	45954	0.1325	0.9637
0.1817	139.0	46287	0.1239	0.9651
0.1816	140.0	46620	0.1378	0.9624
0.1816	141.0	46953	0.1262	0.9656
0.1804	142.0	47286	0.1298	0.9636
0.1724	143.0	47619	0.1312	0.9632
0.1724	144.0	47952	0.1350	0.9628
0.1761	145.0	48285	0.1333	0.9643
0.177	146.0	48618	0.1283	0.9645
0.177	147.0	48951	0.1339	0.9631
0.1763	148.0	49284	0.1333	0.9634
0.1722	149.0	49617	0.1315	0.9637
0.1722	150.0	49950	0.1298	0.964
0.1772	151.0	50283	0.1305	0.9641
0.1772	152.0	50616	0.1327	0.9648
0.1772	153.0	50949	0.1296	0.9652
0.1741	154.0	51282	0.1311	0.9638
0.1735	155.0	51615	0.1368	0.9632
0.1735	156.0	51948	0.1309	0.9653
0.1747	157.0	52281	0.1376	0.9638
0.1682	158.0	52614	0.1366	0.9624
0.1682	159.0	52947	0.1338	0.9646
0.1729	160.0	53280	0.1333	0.9639
0.1703	161.0	53613	0.1353	0.9642
0.1703	162.0	53946	0.1289	0.9652
0.1748	163.0	54279	0.1340	0.9653
0.1723	164.0	54612	0.1370	0.963
0.1723	165.0	54945	0.1323	0.9655
0.1714	166.0	55278	0.1324	0.9648
0.1674	167.0	55611	0.1335	0.9634
0.1674	168.0	55944	0.1328	0.9643
0.1664	169.0	56277	0.1336	0.9648
0.1715	170.0	56610	0.1366	0.9636
0.1715	171.0	56943	0.1349	0.9649
0.1683	172.0	57276	0.1386	0.9635
0.1625	173.0	57609	0.1325	0.9639
0.1625	174.0	57942	0.1354	0.9648
0.1642	175.0	58275	0.1331	0.9637
0.1713	176.0	58608	0.1391	0.9622
0.1713	177.0	58941	0.1359	0.9634
0.1612	178.0	59274	0.1350	0.9633
0.1621	179.0	59607	0.1337	0.9643
0.1621	180.0	59940	0.1331	0.9645
0.1704	181.0	60273	0.1334	0.964
0.1664	182.0	60606	0.1376	0.9642
0.1664	183.0	60939	0.1347	0.9633
0.1664	184.0	61272	0.1357	0.964
0.1637	185.0	61605	0.1340	0.9645
0.1637	186.0	61938	0.1359	0.9642
0.1629	187.0	62271	0.1364	0.9649
0.1611	188.0	62604	0.1404	0.9618
0.1611	189.0	62937	0.1368	0.9622
0.1654	190.0	63270	0.1362	0.9645
0.1632	191.0	63603	0.1388	0.9651
0.1632	192.0	63936	0.1387	0.9634
0.165	193.0	64269	0.1360	0.9643
0.166	194.0	64602	0.1349	0.9653
0.166	195.0	64935	0.1390	0.9629
0.157	196.0	65268	0.1364	0.9651
0.1573	197.0	65601	0.1406	0.9625
0.1573	198.0	65934	0.1358	0.9644
0.1633	199.0	66267	0.1323	0.9652
0.1605	200.0	66600	0.1390	0.965
0.1605	201.0	66933	0.1335	0.9658
0.1597	202.0	67266	0.1361	0.9651
0.1599	203.0	67599	0.1407	0.9642
0.1599	204.0	67932	0.1366	0.964
0.1651	205.0	68265	0.1394	0.9636
0.1589	206.0	68598	0.1332	0.9634
0.1589	207.0	68931	0.1290	0.9653
0.1689	208.0	69264	0.1343	0.9631
0.1545	209.0	69597	0.1352	0.9633
0.1545	210.0	69930	0.1375	0.9632
0.1614	211.0	70263	0.1347	0.965
0.1601	212.0	70596	0.1324	0.9648
0.1601	213.0	70929	0.1353	0.9643
0.1602	214.0	71262	0.1335	0.965
0.159	215.0	71595	0.1342	0.9638
0.159	216.0	71928	0.1373	0.9639
0.1601	217.0	72261	0.1352	0.9634
0.1576	218.0	72594	0.1362	0.9629
0.1576	219.0	72927	0.1321	0.9643
0.1607	220.0	73260	0.1349	0.9639
0.1528	221.0	73593	0.1363	0.9642
0.1528	222.0	73926	0.1333	0.9649
0.1585	223.0	74259	0.1351	0.9646
0.1563	224.0	74592	0.1414	0.9631
0.1563	225.0	74925	0.1325	0.9645
0.1488	226.0	75258	0.1346	0.9643
0.152	227.0	75591	0.1337	0.9652
0.152	228.0	75924	0.1362	0.9652
0.156	229.0	76257	0.1371	0.9636
0.1494	230.0	76590	0.1365	0.9639
0.1494	231.0	76923	0.1357	0.965
0.1507	232.0	77256	0.1339	0.9644
0.153	233.0	77589	0.1411	0.9629
0.153	234.0	77922	0.1326	0.9642
0.153	235.0	78255	0.1356	0.9637
0.148	236.0	78588	0.1351	0.9639
0.148	237.0	78921	0.1355	0.964
0.16	238.0	79254	0.1384	0.9632
0.1552	239.0	79587	0.1417	0.9625
0.1552	240.0	79920	0.1400	0.9633
0.1536	241.0	80253	0.1372	0.9634
0.1511	242.0	80586	0.1376	0.965
0.1511	243.0	80919	0.1374	0.963
0.1526	244.0	81252	0.1391	0.9643
0.1488	245.0	81585	0.1360	0.9634
0.1488	246.0	81918	0.1385	0.9629
0.1588	247.0	82251	0.1344	0.9646
0.1494	248.0	82584	0.1349	0.9643
0.1494	249.0	82917	0.1326	0.9651
0.1493	250.0	83250	0.1316	0.9656
0.1518	251.0	83583	0.1393	0.964
0.1518	252.0	83916	0.1374	0.9642
0.1493	253.0	84249	0.1365	0.9648
0.1483	254.0	84582	0.1360	0.9636
0.1483	255.0	84915	0.1360	0.9659
0.1498	256.0	85248	0.1381	0.9645
0.1533	257.0	85581	0.1342	0.9642
0.1533	258.0	85914	0.1355	0.965
0.153	259.0	86247	0.1329	0.9655
0.1517	260.0	86580	0.1300	0.9657
0.1517	261.0	86913	0.1331	0.9643
0.1525	262.0	87246	0.1322	0.965
0.1489	263.0	87579	0.1342	0.9659
0.1489	264.0	87912	0.1363	0.9648
0.1491	265.0	88245	0.1364	0.9664
0.1529	266.0	88578	0.1308	0.9654
0.1529	267.0	88911	0.1319	0.9651
0.1507	268.0	89244	0.1338	0.9639
0.1519	269.0	89577	0.1348	0.9655
0.1519	270.0	89910	0.1319	0.9648
0.1503	271.0	90243	0.1342	0.9646
0.1532	272.0	90576	0.1351	0.9646
0.1532	273.0	90909	0.1342	0.9642
0.1551	274.0	91242	0.1335	0.9653
0.1515	275.0	91575	0.1351	0.9638
0.1515	276.0	91908	0.1326	0.9649
0.1475	277.0	92241	0.1320	0.9649
0.15	278.0	92574	0.1338	0.9658
0.15	279.0	92907	0.1339	0.9653
0.1506	280.0	93240	0.1330	0.9655
0.1507	281.0	93573	0.1336	0.9653
0.1507	282.0	93906	0.1331	0.9647
0.1482	283.0	94239	0.1350	0.9659
0.147	284.0	94572	0.1324	0.9655
0.147	285.0	94905	0.1346	0.9652
0.1467	286.0	95238	0.1363	0.9642
0.1477	287.0	95571	0.1307	0.9654
0.1477	288.0	95904	0.1333	0.9642
0.1471	289.0	96237	0.1334	0.9648
0.1451	290.0	96570	0.1327	0.9648
0.1451	291.0	96903	0.1319	0.9647
0.1478	292.0	97236	0.1356	0.9647
0.1481	293.0	97569	0.1320	0.9658
0.1481	294.0	97902	0.1326	0.9645
0.1425	295.0	98235	0.1340	0.965
0.1465	296.0	98568	0.1338	0.9638
0.1465	297.0	98901	0.1320	0.9651
0.1474	298.0	99234	0.1350	0.9635
0.1496	299.0	99567	0.1352	0.965
0.1496	300.0	99900	0.1354	0.9649

Framework versions

• Transformers 4.39.3
• Pytorch 2.2.2+cu118
• Datasets 2.18.0
• Tokenizers 0.15.2