dfine-telangana-layout

This model is a fine-tuned version of ustc-community/dfine-small-coco on the landeed-labs/telangana-document-layout-od dataset. It achieves the following results on the evaluation set:

• Loss: 2.4961
• Map: 0.2471
• Map 50: 0.3268
• Map 75: 0.2688
• Map Small: 0.0261
• Map Medium: 0.1544
• Map Large: 0.2553
• Mar 1: 0.2619
• Mar 10: 0.596
• Mar 100: 0.6817
• Mar Small: 0.2809
• Mar Medium: 0.518
• Mar Large: 0.7047
• Map Class 0: 0.2094
• Mar 100 Class 0: 0.663
• Map Class 1: 0.0627
• Mar 100 Class 1: 0.4298
• Map Class 2: 0.0146
• Mar 100 Class 2: 0.5317
• Map Class 3: 0.0092
• Mar 100 Class 3: 0.5696
• Map Class 4: 0.045
• Mar 100 Class 4: 0.65
• Map Class 5: 0.4238
• Mar 100 Class 5: 0.8946
• Map Class 6: 0.2007
• Mar 100 Class 6: 0.6006
• Map Class 7: 0.608
• Mar 100 Class 7: 0.7612
• Map Class 8: 0.1505
• Mar 100 Class 8: 0.7021
• Map Class 9: 0.3501
• Mar 100 Class 9: 0.6928
• Map Class 10: 0.2482
• Mar 100 Class 10: 0.6968
• Map Class 11: 0.1286
• Mar 100 Class 11: 0.7846
• Map Class 12: 0.9275
• Mar 100 Class 12: 0.9667
• Map Class 13: 0.0807
• Mar 100 Class 13: 0.6

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 30.0

Training results

Training Loss	Epoch	Step	Validation Loss	Map	Map 50	Map 75	Map Small	Map Medium	Map Large	Mar 1	Mar 10	Mar 100	Mar Small	Mar Medium	Mar Large	Map Class 0	Mar 100 Class 0	Map Class 1	Mar 100 Class 1	Map Class 2	Mar 100 Class 2	Map Class 3	Mar 100 Class 3	Map Class 4	Mar 100 Class 4	Map Class 5	Mar 100 Class 5	Map Class 6	Mar 100 Class 6	Map Class 7	Mar 100 Class 7	Map Class 8	Mar 100 Class 8	Map Class 9	Mar 100 Class 9	Map Class 10	Mar 100 Class 10	Map Class 11	Mar 100 Class 11	Map Class 12	Mar 100 Class 12	Map Class 13	Mar 100 Class 13
19.1208	1.0	240	1.9341	0.1957	0.2728	0.2155	0.0	0.1063	0.202	0.2149	0.4429	0.5133	0.0043	0.3523	0.5305	0.2201	0.5011	0.0503	0.3502	0.0146	0.4935	0.0002	0.087	0.0005	0.3444	0.1862	0.7772	0.1933	0.5044	0.4791	0.6818	0.3742	0.5794	0.09	0.5536	0.2431	0.5816	0.0858	0.7846	0.8025	0.91	0.0001	0.0368
16.9447	2.0	480	2.0329	0.2294	0.3042	0.2488	0.0045	0.0978	0.241	0.2427	0.5236	0.5793	0.0178	0.375	0.6069	0.2452	0.5108	0.0475	0.3133	0.017	0.5338	0.0142	0.2913	0.0409	0.5556	0.3082	0.837	0.1937	0.5291	0.4847	0.6937	0.4557	0.6753	0.1533	0.5768	0.2009	0.584	0.1606	0.8231	0.8884	0.95	0.0011	0.2368
17.5687	3.0	720	2.1501	0.2478	0.3263	0.2716	0.0041	0.0928	0.2605	0.2596	0.5361	0.6094	0.0429	0.3994	0.6375	0.2265	0.5367	0.0547	0.3083	0.0204	0.5698	0.0219	0.3261	0.1271	0.5833	0.349	0.8413	0.1998	0.5258	0.5025	0.7017	0.3918	0.7351	0.2236	0.6174	0.1951	0.6272	0.2847	0.8192	0.8703	0.94	0.0017	0.4
16.8133	4.0	960	2.1815	0.2451	0.3204	0.2693	0.015	0.0866	0.2583	0.2611	0.5557	0.6269	0.2231	0.4337	0.6486	0.2449	0.547	0.0557	0.3378	0.023	0.6115	0.0135	0.4087	0.0455	0.6167	0.3543	0.8402	0.1981	0.5483	0.5246	0.7255	0.2888	0.7309	0.3387	0.6333	0.1705	0.636	0.301	0.85	0.8688	0.9333	0.0043	0.3579
15.7133	5.0	1200	2.2676	0.2416	0.3239	0.2633	0.0092	0.1161	0.254	0.26	0.559	0.6355	0.1445	0.4318	0.6618	0.1929	0.5549	0.0638	0.3787	0.0204	0.5676	0.0121	0.3826	0.0473	0.65	0.3832	0.8478	0.1933	0.5499	0.5345	0.7318	0.2549	0.7299	0.3764	0.6246	0.1852	0.6376	0.2231	0.8115	0.8777	0.9567	0.018	0.4737
15.6635	6.0	1440	2.2170	0.2437	0.3236	0.2647	0.018	0.1126	0.2567	0.2573	0.5661	0.6467	0.2509	0.4725	0.6671	0.244	0.6019	0.0762	0.4003	0.0297	0.605	0.0131	0.4348	0.057	0.6167	0.3703	0.8533	0.214	0.5712	0.5447	0.7353	0.2658	0.7309	0.2464	0.642	0.2113	0.6736	0.2584	0.85	0.8739	0.96	0.0076	0.3789
15.5654	7.0	1680	2.2729	0.2388	0.317	0.2611	0.0187	0.1217	0.2517	0.2644	0.5711	0.6546	0.2866	0.4623	0.6772	0.2301	0.6045	0.0688	0.4054	0.0253	0.6137	0.0134	0.4174	0.0502	0.7	0.3765	0.8391	0.2106	0.576	0.5466	0.735	0.2645	0.7278	0.2868	0.6391	0.1714	0.6456	0.1969	0.8385	0.8889	0.9533	0.0139	0.4684
14.9616	8.0	1920	2.2993	0.2357	0.312	0.2587	0.0191	0.1245	0.2492	0.2569	0.5731	0.6642	0.2811	0.4981	0.6825	0.2632	0.6344	0.0737	0.401	0.0241	0.5727	0.0159	0.5087	0.0451	0.6833	0.4055	0.8554	0.2171	0.581	0.5508	0.7388	0.19	0.7165	0.2828	0.6507	0.1848	0.6936	0.1582	0.8423	0.8741	0.9367	0.0137	0.4842
15.1529	9.0	2160	2.3276	0.2333	0.3059	0.2545	0.0154	0.1038	0.2453	0.2594	0.5672	0.6602	0.258	0.4984	0.6797	0.2502	0.6309	0.0646	0.4067	0.0251	0.6065	0.0125	0.4609	0.0398	0.65	0.4021	0.8696	0.2047	0.5831	0.5558	0.7364	0.2292	0.7093	0.2562	0.6449	0.1708	0.676	0.147	0.8231	0.8916	0.9667	0.0164	0.4789
14.8800	10.0	2400	2.3475	0.2308	0.3046	0.2519	0.0217	0.1037	0.2423	0.2562	0.5704	0.66	0.2719	0.4963	0.6802	0.2598	0.6529	0.0669	0.4187	0.0233	0.6022	0.0127	0.4957	0.0585	0.6389	0.3728	0.8609	0.1872	0.5785	0.5597	0.7378	0.2008	0.7082	0.3176	0.6507	0.1514	0.6704	0.1205	0.7846	0.8787	0.9567	0.0217	0.4842
14.7006	11.0	2640	2.3533	0.2425	0.3186	0.2627	0.0199	0.1169	0.2536	0.2673	0.5745	0.6699	0.2883	0.5324	0.6858	0.2412	0.6525	0.0779	0.4206	0.022	0.6108	0.0127	0.5217	0.0492	0.6667	0.3836	0.8707	0.1998	0.603	0.5777	0.7458	0.2112	0.7072	0.3185	0.6551	0.1931	0.684	0.1812	0.8115	0.8949	0.9133	0.0322	0.5158
14.0547	12.0	2880	2.4016	0.2316	0.3106	0.2502	0.0213	0.1204	0.2424	0.2585	0.5796	0.6723	0.2773	0.5286	0.6897	0.2285	0.659	0.0595	0.4121	0.0197	0.5856	0.0127	0.5304	0.0568	0.6667	0.3718	0.8707	0.1901	0.6045	0.5767	0.7455	0.1353	0.7041	0.3056	0.6594	0.2163	0.7008	0.1424	0.8154	0.8832	0.9367	0.0445	0.5211
13.9901	13.0	3120	2.3947	0.236	0.3101	0.2551	0.0218	0.104	0.2468	0.2585	0.5829	0.6713	0.2811	0.5241	0.6902	0.2288	0.646	0.0609	0.3971	0.0173	0.5914	0.0138	0.5217	0.0566	0.6389	0.3934	0.8576	0.2077	0.6054	0.5824	0.7521	0.1802	0.6907	0.281	0.6739	0.1885	0.6912	0.1598	0.8192	0.9026	0.96	0.0309	0.5526
14.5347	14.0	3360	2.4100	0.226	0.2981	0.2415	0.0218	0.1036	0.2351	0.2518	0.5805	0.6724	0.289	0.4698	0.691	0.2621	0.6762	0.0555	0.4054	0.0175	0.595	0.009	0.5435	0.0371	0.6444	0.3809	0.8772	0.1867	0.6021	0.5771	0.7455	0.1419	0.6495	0.2795	0.6609	0.1699	0.6872	0.1012	0.7923	0.9091	0.9667	0.0363	0.5684
13.6726	15.0	3600	2.4339	0.2319	0.3068	0.2493	0.0293	0.1164	0.2405	0.2606	0.5855	0.6773	0.2957	0.5249	0.6972	0.2181	0.6699	0.062	0.4095	0.0197	0.5856	0.0125	0.5696	0.0384	0.65	0.392	0.8739	0.1789	0.6083	0.5845	0.7538	0.1549	0.6691	0.2848	0.6826	0.2019	0.6952	0.1528	0.8077	0.8983	0.96	0.0475	0.5474
14.1048	16.0	3840	2.4068	0.2354	0.3124	0.2557	0.0255	0.1188	0.2448	0.2611	0.5812	0.6751	0.2764	0.4637	0.6963	0.2323	0.6659	0.0589	0.4051	0.02	0.5683	0.0129	0.5565	0.043	0.65	0.409	0.8641	0.1933	0.6142	0.594	0.7535	0.1422	0.6691	0.3016	0.6826	0.2251	0.6856	0.1239	0.8192	0.9012	0.9433	0.0387	0.5737
13.9051	17.0	4080	2.4447	0.2368	0.314	0.2538	0.0213	0.1169	0.2455	0.2643	0.5915	0.6821	0.3	0.4674	0.7033	0.2378	0.6682	0.0509	0.4273	0.018	0.5504	0.0128	0.5826	0.0493	0.6389	0.3927	0.8739	0.1952	0.6083	0.5886	0.7545	0.1601	0.6784	0.3099	0.687	0.2222	0.7056	0.121	0.8231	0.9101	0.9667	0.0471	0.5842
14.4771	18.0	4320	2.4293	0.2386	0.318	0.2597	0.0277	0.1163	0.2477	0.2743	0.5861	0.6795	0.3021	0.4666	0.7017	0.2402	0.6666	0.0567	0.4149	0.0162	0.5518	0.017	0.6	0.0489	0.6444	0.3939	0.8739	0.2	0.6103	0.5987	0.7545	0.1196	0.6629	0.2935	0.6841	0.2547	0.7024	0.1312	0.8154	0.9049	0.9633	0.0651	0.5684
14.2274	19.0	4560	2.4574	0.2412	0.3197	0.2597	0.0253	0.1364	0.2493	0.2663	0.594	0.6857	0.2994	0.5304	0.7051	0.2315	0.6607	0.0537	0.427	0.0179	0.5734	0.0127	0.6043	0.0593	0.6722	0.4023	0.875	0.2018	0.6149	0.5972	0.7563	0.1575	0.6948	0.2897	0.6768	0.2235	0.6872	0.161	0.8115	0.911	0.9667	0.0573	0.5789
14.1541	20.0	4800	2.4502	0.2486	0.3283	0.2653	0.0296	0.1372	0.2575	0.2704	0.5943	0.6809	0.2889	0.528	0.7009	0.2439	0.6692	0.0623	0.4146	0.0169	0.5554	0.0143	0.5522	0.0439	0.6611	0.4086	0.8891	0.2111	0.6152	0.6007	0.7591	0.1476	0.6722	0.3701	0.6928	0.2237	0.7096	0.1409	0.8154	0.9129	0.9633	0.0828	0.5632
13.9292	21.0	5040	2.4713	0.2415	0.3182	0.2605	0.0276	0.129	0.2509	0.2654	0.582	0.6753	0.2868	0.4953	0.6973	0.2202	0.6689	0.0621	0.4289	0.015	0.536	0.0106	0.5609	0.0401	0.6556	0.4101	0.888	0.1982	0.6077	0.6041	0.7538	0.1392	0.6392	0.3327	0.6884	0.2328	0.6984	0.1284	0.7846	0.9147	0.97	0.073	0.5737
14.1148	22.0	5280	2.4630	0.2441	0.3205	0.2644	0.0241	0.1428	0.2534	0.2732	0.5789	0.681	0.2738	0.4962	0.704	0.2062	0.6546	0.0601	0.4054	0.0158	0.5532	0.0115	0.6043	0.0594	0.6556	0.4138	0.8859	0.2097	0.6044	0.6027	0.7619	0.1193	0.6722	0.3502	0.6812	0.2479	0.6984	0.1287	0.7731	0.9166	0.9633	0.0755	0.6211
14.1265	23.0	5520	2.4764	0.2457	0.3203	0.2677	0.0277	0.1594	0.2529	0.2637	0.5981	0.6831	0.2869	0.522	0.7059	0.2139	0.6695	0.0621	0.433	0.0159	0.546	0.0106	0.5957	0.0503	0.6667	0.4319	0.8815	0.2011	0.6098	0.6059	0.7608	0.138	0.6577	0.3508	0.6942	0.233	0.6952	0.1447	0.7846	0.9217	0.9633	0.0598	0.6053
13.9750	24.0	5760	2.4675	0.247	0.3267	0.2684	0.0265	0.1438	0.2549	0.2659	0.5943	0.6842	0.3	0.5233	0.7052	0.2186	0.6613	0.0646	0.4203	0.0155	0.5295	0.0109	0.5739	0.0564	0.6722	0.429	0.8804	0.2048	0.6087	0.6037	0.7647	0.1374	0.6959	0.322	0.7014	0.2379	0.688	0.164	0.8192	0.922	0.9633	0.0712	0.6
14.9988	25.0	6000	2.4819	0.2442	0.3223	0.2638	0.0258	0.1424	0.2519	0.2645	0.5962	0.6837	0.2972	0.5259	0.7055	0.227	0.6672	0.061	0.433	0.0157	0.5496	0.01	0.587	0.0611	0.6556	0.4135	0.8837	0.1997	0.6021	0.5991	0.7629	0.147	0.7124	0.3238	0.6986	0.2388	0.6936	0.1447	0.8192	0.906	0.96	0.0713	0.5474
14.1697	26.0	6240	2.4843	0.2427	0.3207	0.2642	0.0245	0.1483	0.2508	0.2635	0.5976	0.6843	0.291	0.5313	0.7054	0.2242	0.6646	0.0657	0.4298	0.0152	0.5266	0.0097	0.6	0.0456	0.6722	0.4257	0.8804	0.2039	0.6092	0.6075	0.7601	0.1188	0.6887	0.3341	0.6986	0.2326	0.6944	0.1392	0.7769	0.911	0.9633	0.0645	0.6158
13.8510	27.0	6480	2.4862	0.249	0.3287	0.2693	0.0267	0.1504	0.2576	0.2635	0.6023	0.6811	0.2934	0.5177	0.7041	0.2123	0.6635	0.0628	0.4365	0.0153	0.5388	0.0097	0.5652	0.0442	0.6444	0.4217	0.8946	0.2046	0.6029	0.6078	0.7605	0.1525	0.6948	0.3476	0.6913	0.2506	0.6968	0.1391	0.7846	0.9242	0.9667	0.0932	0.5947
13.9249	28.0	6720	2.4929	0.2455	0.3217	0.2641	0.0269	0.1624	0.2533	0.2623	0.5952	0.6867	0.3012	0.5255	0.7087	0.2166	0.6623	0.0655	0.4324	0.0147	0.541	0.0091	0.5913	0.0448	0.6611	0.426	0.8946	0.1959	0.6037	0.6072	0.7633	0.1371	0.7072	0.3447	0.7087	0.2551	0.6944	0.1166	0.7769	0.9238	0.9667	0.0798	0.6105
13.7922	29.0	6960	2.4953	0.2478	0.327	0.268	0.0273	0.1618	0.2557	0.2659	0.596	0.6875	0.301	0.5279	0.7083	0.2144	0.6627	0.0649	0.4422	0.0153	0.5388	0.0099	0.5652	0.0462	0.6611	0.4279	0.8935	0.1972	0.6029	0.6082	0.7654	0.1459	0.7144	0.3401	0.7101	0.2515	0.6944	0.1448	0.8154	0.916	0.9633	0.0868	0.5947
13.2075	30.0	7200	2.4926	0.2458	0.3239	0.2673	0.0243	0.1623	0.2535	0.2616	0.5946	0.6822	0.3027	0.5284	0.7029	0.2071	0.663	0.0632	0.4425	0.0143	0.5259	0.0092	0.5609	0.0494	0.6556	0.4229	0.8946	0.199	0.6034	0.6104	0.7671	0.1377	0.7041	0.3439	0.6971	0.2627	0.7048	0.1311	0.7769	0.9191	0.96	0.0712	0.5947

Framework versions

• Transformers 5.3.0
• Pytorch 2.11.0+cu130
• Datasets 4.8.4
• Tokenizers 0.22.2