my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.4894
• Rouge1: 0.1519
• Rouge2: 0.0524
• Rougel: 0.1222
• Rougelsum: 0.1223
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.8246	0.0323	2	4.6334	0.1452	0.0501	0.1213	0.1212	20.0
4.906	0.0645	4	4.5100	0.1449	0.0494	0.1209	0.1208	20.0
4.8877	0.0968	6	4.3949	0.145	0.0488	0.1211	0.121	20.0
4.7623	0.1290	8	4.1999	0.144	0.0485	0.1204	0.1204	20.0
4.5735	0.1613	10	4.0610	0.1448	0.0481	0.1201	0.1201	20.0
4.1697	0.1935	12	3.9348	0.1449	0.0488	0.1202	0.1202	20.0
3.9466	0.2258	14	3.7285	0.145	0.0478	0.1199	0.1199	20.0
4.19	0.2581	16	3.6092	0.1432	0.0463	0.1184	0.1185	20.0
3.7991	0.2903	18	3.5140	0.1413	0.0445	0.117	0.117	20.0
3.6421	0.3226	20	3.4145	0.1405	0.0438	0.1167	0.1165	20.0
3.6484	0.3548	22	3.3426	0.1414	0.0447	0.1171	0.1169	20.0
3.7566	0.3871	24	3.2824	0.1404	0.0439	0.1163	0.1162	20.0
3.828	0.4194	26	3.2191	0.1395	0.0429	0.1155	0.1155	20.0
3.505	0.4516	28	3.1688	0.1394	0.0425	0.1155	0.1154	20.0
3.467	0.4839	30	3.1304	0.1382	0.0418	0.1147	0.1146	20.0
3.2724	0.5161	32	3.0968	0.1382	0.0417	0.1147	0.1148	20.0
3.1572	0.5484	34	3.0638	0.1376	0.0411	0.114	0.1141	20.0
3.3082	0.5806	36	3.0362	0.1377	0.0414	0.1138	0.1139	20.0
3.2159	0.6129	38	3.0100	0.1357	0.0405	0.1125	0.1126	20.0
3.3438	0.6452	40	2.9825	0.1347	0.0397	0.1114	0.1115	20.0
3.2587	0.6774	42	2.9580	0.1342	0.0403	0.111	0.1112	20.0
3.0484	0.7097	44	2.9355	0.1331	0.0401	0.1112	0.1112	20.0
3.1701	0.7419	46	2.9146	0.1339	0.0401	0.111	0.1111	20.0
3.1144	0.7742	48	2.8945	0.1323	0.0385	0.1098	0.1099	20.0
3.2611	0.8065	50	2.8756	0.1333	0.0395	0.1105	0.1106	20.0
3.0423	0.8387	52	2.8575	0.1337	0.0397	0.1109	0.1109	20.0
3.1193	0.8710	54	2.8405	0.1332	0.0387	0.111	0.1111	20.0
2.9974	0.9032	56	2.8248	0.1337	0.0392	0.1112	0.1112	20.0
3.0579	0.9355	58	2.8102	0.1338	0.0391	0.1111	0.1112	20.0
3.2434	0.9677	60	2.7964	0.132	0.0386	0.1098	0.1099	20.0
2.9767	1.0	62	2.7832	0.1309	0.038	0.109	0.1091	20.0
2.9854	1.0323	64	2.7704	0.1298	0.0375	0.108	0.1082	20.0
2.8919	1.0645	66	2.7586	0.1305	0.0373	0.1081	0.1083	20.0
2.9225	1.0968	68	2.7472	0.1316	0.0384	0.1092	0.1092	20.0
3.173	1.1290	70	2.7363	0.1309	0.0387	0.1085	0.1088	20.0
3.0448	1.1613	72	2.7258	0.131	0.0383	0.1084	0.1085	20.0
3.0989	1.1935	74	2.7156	0.132	0.0393	0.1093	0.1095	20.0
3.0072	1.2258	76	2.7057	0.1327	0.04	0.1099	0.11	20.0
2.7462	1.2581	78	2.6968	0.1328	0.0399	0.1097	0.1099	20.0
3.0383	1.2903	80	2.6879	0.1334	0.0398	0.1095	0.1096	20.0
3.1326	1.3226	82	2.6793	0.1347	0.0411	0.1109	0.111	20.0
2.9859	1.3548	84	2.6710	0.1335	0.0411	0.1101	0.1103	20.0
2.8721	1.3871	86	2.6630	0.1332	0.0412	0.1097	0.1098	20.0
2.996	1.4194	88	2.6555	0.1345	0.0417	0.1101	0.1103	20.0
2.9725	1.4516	90	2.6484	0.1348	0.0413	0.1106	0.1108	20.0
3.0609	1.4839	92	2.6416	0.1342	0.0413	0.1101	0.1102	20.0
2.7738	1.5161	94	2.6351	0.1356	0.0418	0.1111	0.1112	20.0
2.9562	1.5484	96	2.6290	0.1369	0.0428	0.1121	0.1122	20.0
2.6523	1.5806	98	2.6231	0.1375	0.043	0.1125	0.1126	20.0
3.0343	1.6129	100	2.6174	0.1373	0.0426	0.1123	0.1125	20.0
2.7485	1.6452	102	2.6121	0.1383	0.0431	0.1126	0.1129	20.0
2.9437	1.6774	104	2.6069	0.1381	0.0432	0.113	0.1133	20.0
2.8865	1.7097	106	2.6018	0.1379	0.043	0.1128	0.113	20.0
2.9826	1.7419	108	2.5967	0.1389	0.0435	0.1136	0.1139	20.0
2.8272	1.7742	110	2.5918	0.1384	0.0434	0.1136	0.1137	20.0
2.7165	1.8065	112	2.5874	0.1382	0.0433	0.1134	0.1135	20.0
2.9133	1.8387	114	2.5833	0.138	0.0426	0.1128	0.113	20.0
2.8366	1.8710	116	2.5795	0.1385	0.0435	0.1137	0.1137	20.0
2.8033	1.9032	118	2.5760	0.1384	0.0441	0.1137	0.1139	20.0
2.8846	1.9355	120	2.5723	0.138	0.0436	0.1132	0.1133	20.0
3.0411	1.9677	122	2.5688	0.1381	0.0437	0.1133	0.1134	20.0
2.931	2.0	124	2.5654	0.1389	0.0438	0.1139	0.114	20.0
2.7692	2.0323	126	2.5619	0.1396	0.0434	0.114	0.1141	20.0
2.576	2.0645	128	2.5588	0.1407	0.0437	0.1143	0.1145	20.0
2.9965	2.0968	130	2.5559	0.1416	0.044	0.1149	0.1151	20.0
2.7233	2.1290	132	2.5532	0.1421	0.0438	0.115	0.1151	20.0
2.7718	2.1613	134	2.5507	0.1432	0.0444	0.1157	0.1158	20.0
2.7089	2.1935	136	2.5482	0.1439	0.0453	0.1162	0.1161	20.0
2.9317	2.2258	138	2.5457	0.1437	0.0455	0.1158	0.1157	20.0
2.8748	2.2581	140	2.5432	0.1439	0.0458	0.1161	0.1161	20.0
2.9315	2.2903	142	2.5407	0.1447	0.0463	0.117	0.117	20.0
2.7498	2.3226	144	2.5383	0.1454	0.0471	0.1175	0.1176	20.0
2.9018	2.3548	146	2.5358	0.1454	0.047	0.1174	0.1175	20.0
2.8626	2.3871	148	2.5332	0.1457	0.0472	0.1172	0.1174	20.0
2.8584	2.4194	150	2.5309	0.1453	0.0474	0.1173	0.1175	20.0
2.8144	2.4516	152	2.5288	0.1462	0.0478	0.1175	0.1177	20.0
2.9953	2.4839	154	2.5268	0.1465	0.0483	0.1178	0.1178	20.0
2.8001	2.5161	156	2.5249	0.1464	0.0485	0.1178	0.1178	20.0
2.9155	2.5484	158	2.5232	0.146	0.0484	0.1177	0.1178	20.0
2.8051	2.5806	160	2.5215	0.1465	0.0489	0.1183	0.1183	20.0
2.5662	2.6129	162	2.5199	0.1472	0.0493	0.1186	0.1188	20.0
2.6469	2.6452	164	2.5184	0.1471	0.049	0.1186	0.1188	20.0
2.8197	2.6774	166	2.5169	0.1481	0.0497	0.1197	0.1199	20.0
2.5777	2.7097	168	2.5155	0.1486	0.05	0.12	0.1202	20.0
2.8761	2.7419	170	2.5141	0.1482	0.0495	0.1197	0.1199	20.0
2.5811	2.7742	172	2.5128	0.1483	0.0496	0.1199	0.12	20.0
2.7054	2.8065	174	2.5116	0.1481	0.0495	0.1196	0.1199	20.0
3.0032	2.8387	176	2.5105	0.1478	0.0493	0.1193	0.1195	20.0
2.7478	2.8710	178	2.5093	0.1478	0.0493	0.1193	0.1195	20.0
2.9108	2.9032	180	2.5083	0.148	0.0495	0.1191	0.1193	20.0
2.6513	2.9355	182	2.5072	0.1481	0.0497	0.1195	0.1196	20.0
2.8323	2.9677	184	2.5061	0.1478	0.0494	0.1191	0.1192	20.0
2.8963	3.0	186	2.5051	0.1488	0.0501	0.1197	0.1199	20.0
2.815	3.0323	188	2.5041	0.149	0.0502	0.1198	0.1201	20.0
2.9109	3.0645	190	2.5030	0.1491	0.0502	0.1199	0.1202	20.0
2.6712	3.0968	192	2.5021	0.1501	0.0505	0.1206	0.1208	20.0
2.6606	3.1290	194	2.5011	0.1501	0.0505	0.1206	0.1208	20.0
2.7432	3.1613	196	2.5002	0.1501	0.0505	0.1206	0.1208	20.0
2.9712	3.1935	198	2.4992	0.1501	0.0505	0.1206	0.1208	20.0
2.6893	3.2258	200	2.4985	0.15	0.0502	0.1204	0.1206	20.0
2.8161	3.2581	202	2.4977	0.1494	0.0498	0.1201	0.1203	20.0
3.1472	3.2903	204	2.4969	0.1494	0.0498	0.1201	0.1203	20.0
2.5583	3.3226	206	2.4963	0.1494	0.0499	0.1201	0.1203	20.0
2.7874	3.3548	208	2.4956	0.1501	0.0501	0.1207	0.1208	20.0
2.6359	3.3871	210	2.4950	0.1504	0.0504	0.1209	0.121	20.0
2.8058	3.4194	212	2.4945	0.1502	0.0504	0.1207	0.1208	20.0
2.6235	3.4516	214	2.4939	0.1505	0.0507	0.121	0.1211	20.0
2.6428	3.4839	216	2.4934	0.1509	0.0514	0.1214	0.1216	20.0
2.6676	3.5161	218	2.4929	0.151	0.0518	0.1215	0.1217	20.0
2.5883	3.5484	220	2.4925	0.1513	0.0522	0.1217	0.1219	20.0
2.9245	3.5806	222	2.4921	0.1513	0.0521	0.1217	0.1219	20.0
2.9351	3.6129	224	2.4917	0.1513	0.0521	0.1217	0.1219	20.0
2.9175	3.6452	226	2.4913	0.1513	0.0521	0.1217	0.1218	20.0
2.6997	3.6774	228	2.4910	0.1511	0.0518	0.1216	0.1218	20.0
2.7747	3.7097	230	2.4907	0.1511	0.0517	0.1215	0.1216	20.0
2.5892	3.7419	232	2.4904	0.1511	0.0517	0.1215	0.1216	20.0
2.7554	3.7742	234	2.4902	0.1509	0.0517	0.1214	0.1215	20.0
2.8548	3.8065	236	2.4900	0.1519	0.0524	0.1222	0.1223	20.0
2.7879	3.8387	238	2.4898	0.1519	0.0524	0.1222	0.1223	20.0
2.7142	3.8710	240	2.4896	0.1517	0.0523	0.122	0.1223	20.0
2.7282	3.9032	242	2.4895	0.1515	0.0522	0.122	0.1222	20.0
2.6589	3.9355	244	2.4894	0.1515	0.052	0.122	0.1222	20.0
2.7158	3.9677	246	2.4894	0.1517	0.0524	0.1221	0.1222	20.0
2.7397	4.0	248	2.4894	0.1519	0.0524	0.1222	0.1223	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4