End of training

05f5185 over 2 years ago

20 kB

license: other
base_model: microsoft/phi-1_5
tags:
  - generated_from_trainer
model-index:
  - name: phi-1_5-finetuned-SQL
    results: []

phi-1_5-finetuned-SQL

This model is a fine-tuned version of microsoft/phi-1_5 on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.2630

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
training_steps: 36000

Training results

Training Loss	Epoch	Step	Validation Loss
2.4485	0.4	100	2.0478
2.0521	0.8	200	1.9223
1.9626	1.2	300	1.8386
1.8707	1.6	400	1.7702
1.79	2.0	500	1.7149
1.7197	2.4	600	1.6567
1.6904	2.8	700	1.6055
1.6379	3.2	800	1.5583
1.5794	3.6	900	1.5267
1.5977	4.0	1000	1.4928
1.4773	4.4	1100	1.4638
1.5185	4.8	1200	1.4446
1.4476	5.2	1300	1.4337
1.4321	5.6	1400	1.4287
1.4393	6.0	1500	1.4282
1.4956	6.4	1600	1.4504
1.5252	6.8	1700	1.4311
1.4864	7.2	1800	1.3654
1.4092	7.6	1900	1.3112
1.4063	8.0	2000	1.2925
1.2657	8.4	2100	1.2123
1.312	8.8	2200	1.1824
1.2451	9.2	2300	1.1223
1.1777	9.6	2400	1.0857
1.1913	10.0	2500	1.0422
1.0452	10.4	2600	0.9842
1.082	10.8	2700	0.9442
0.9814	11.2	2800	0.9002
0.9496	11.6	2900	0.8559
0.9639	12.0	3000	0.8163
0.823	12.4	3100	0.7827
0.8395	12.8	3200	0.7384
0.8038	13.2	3300	0.6971
0.7458	13.6	3400	0.6641
0.7495	14.0	3500	0.6328
0.6575	14.4	3600	0.6017
0.6448	14.8	3700	0.5829
0.6268	15.2	3800	0.5412
0.5738	15.6	3900	0.5233
0.5989	16.0	4000	0.5008
0.5033	16.4	4100	0.4781
0.5343	16.8	4200	0.4572
0.4881	17.2	4300	0.4390
0.4676	17.6	4400	0.4254
0.4683	18.0	4500	0.4171
0.4188	18.4	4600	0.3987
0.4245	18.8	4700	0.3869
0.4136	19.2	4800	0.3777
0.3938	19.6	4900	0.3694
0.3986	20.0	5000	0.3627
0.3661	20.4	5100	0.3571
0.3743	20.8	5200	0.3516
0.3668	21.2	5300	0.3482
0.3613	21.6	5400	0.3455
0.3542	22.0	5500	0.3430
0.3505	22.4	5600	0.3419
0.3495	22.8	5700	0.3410
0.3396	23.2	5800	0.3405
0.3481	23.6	5900	0.3403
0.3444	24.0	6000	0.3403
0.4918	24.4	6100	0.4983
0.5913	24.8	6200	0.4897
0.5565	25.2	6300	0.4776
0.5439	25.6	6400	0.4586
0.5586	26.0	6500	0.4355
0.4542	26.4	6600	0.4205
0.4895	26.8	6700	0.3966
0.4576	27.2	6800	0.3798
0.4252	27.6	6900	0.3597
0.4427	28.0	7000	0.3365
0.3589	28.4	7100	0.3258
0.3888	28.8	7200	0.3280
0.3662	29.2	7300	0.3129
0.3422	29.6	7400	0.2991
0.3604	30.0	7500	0.2811
0.3039	30.4	7600	0.2861
0.3268	30.8	7700	0.2752
0.3087	31.2	7800	0.2687
0.3067	31.6	7900	0.2662
0.3044	32.0	8000	0.2558
0.2737	32.4	8100	0.2558
0.2903	32.8	8200	0.2517
0.2744	33.2	8300	0.2482
0.2757	33.6	8400	0.2435
0.2771	34.0	8500	0.2360
0.2488	34.4	8600	0.2393
0.266	34.8	8700	0.2341
0.2536	35.2	8800	0.2312
0.2516	35.6	8900	0.2288
0.2575	36.0	9000	0.2242
0.2358	36.4	9100	0.2268
0.2489	36.8	9200	0.2204
0.2335	37.2	9300	0.2196
0.2381	37.6	9400	0.2170
0.2428	38.0	9500	0.2142
0.2235	38.4	9600	0.2158
0.2392	38.8	9700	0.2126
0.2221	39.2	9800	0.2113
0.2247	39.6	9900	0.2094
0.2341	40.0	10000	0.2067
0.2136	40.4	10100	0.2065
0.2256	40.8	10200	0.2046
0.22	41.2	10300	0.2034
0.2144	41.6	10400	0.2032
0.224	42.0	10500	0.2006
0.2101	42.4	10600	0.2006
0.2136	42.8	10700	0.1992
0.2171	43.2	10800	0.1982
0.2077	43.6	10900	0.2003
0.217	44.0	11000	0.1979
0.2036	44.4	11100	0.1983
0.2083	44.8	11200	0.1970
0.2134	45.2	11300	0.1961
0.2071	45.6	11400	0.1943
0.2115	46.0	11500	0.1937
0.1997	46.4	11600	0.1952
0.2055	46.8	11700	0.1932
0.2057	47.2	11800	0.1926
0.2011	47.6	11900	0.1932
0.2092	48.0	12000	0.1908
0.1934	48.4	12100	0.1918
0.2065	48.8	12200	0.1915
0.2009	49.2	12300	0.1911
0.1995	49.6	12400	0.1904
0.205	50.0	12500	0.1889
0.1925	50.4	12600	0.1892
0.2013	50.8	12700	0.1886
0.1955	51.2	12800	0.1883
0.1989	51.6	12900	0.1880
0.1982	52.0	13000	0.1872
0.1872	52.4	13100	0.1878
0.1984	52.8	13200	0.1868
0.1974	53.2	13300	0.1871
0.188	53.6	13400	0.1871
0.2026	54.0	13500	0.1860
0.1919	54.4	13600	0.1863
0.1946	54.8	13700	0.1852
0.19	55.2	13800	0.1851
0.1915	55.6	13900	0.1852
0.1962	56.0	14000	0.1845
0.1922	56.4	14100	0.1851
0.1901	56.8	14200	0.1851
0.1896	57.2	14300	0.1839
0.1888	57.6	14400	0.1840
0.1921	58.0	14500	0.1838
0.1856	58.4	14600	0.1836
0.1902	58.8	14700	0.1832
0.1879	59.2	14800	0.1830
0.1868	59.6	14900	0.1832
0.1931	60.0	15000	0.1827
0.1881	60.4	15100	0.1830
0.1856	60.8	15200	0.1825
0.1876	61.2	15300	0.1826
0.1851	61.6	15400	0.1823
0.1862	62.0	15500	0.1821
0.1844	62.4	15600	0.1824
0.1879	62.8	15700	0.1819
0.1826	63.2	15800	0.1819
0.1844	63.6	15900	0.1818
0.1861	64.0	16000	0.1816
0.1815	64.4	16100	0.1817
0.1822	64.8	16200	0.1816
0.1861	65.2	16300	0.1816
0.1828	65.6	16400	0.1815
0.1852	66.0	16500	0.1814
0.182	66.4	16600	0.1814
0.1843	66.8	16700	0.1814
0.181	67.2	16800	0.1813
0.1811	67.6	16900	0.1813
0.1846	68.0	17000	0.1813
0.1801	68.4	17100	0.1813
0.1837	68.8	17200	0.1813
0.1826	69.2	17300	0.1812
0.1831	69.6	17400	0.1812
0.1801	70.0	17500	0.1812
0.1789	70.4	17600	0.1812
0.1827	70.8	17700	0.1812
0.1832	71.2	17800	0.1812
0.1818	71.6	17900	0.1812
0.181	72.0	18000	0.1812
2.0915	1.46	18100	1.3624
1.8647	1.47	18200	1.3663
1.8362	1.48	18300	1.3781
1.8216	1.49	18400	1.3598
1.8023	1.5	18500	1.3633
1.7273	1.5	18600	1.3409
1.7835	1.51	18700	1.3696
1.8034	1.52	18800	1.3512
1.7312	1.53	18900	1.3322
1.7479	1.54	19000	1.3300
1.6961	1.54	19100	1.3488
1.7625	1.55	19200	1.3566
1.6767	1.56	19300	1.3311
1.7146	1.57	19400	1.3366
1.7105	1.58	19500	1.3369
1.718	1.59	19600	1.3580
1.7224	1.59	19700	1.3446
1.6981	1.6	19800	1.3481
1.6872	1.61	19900	1.3515
1.6453	1.62	20000	1.3442
1.7233	1.63	20100	1.3501
1.7092	1.63	20200	1.3388
1.6792	1.64	20300	1.3404
1.7033	1.65	20400	1.3280
1.6514	1.66	20500	1.3296
1.6873	1.67	20600	1.3415
1.7064	1.67	20700	1.3384
1.6438	1.68	20800	1.3372
1.6821	1.69	20900	1.3414
1.6491	1.7	21000	1.3356
1.7099	1.71	21100	1.3436
1.6279	1.71	21200	1.3265
1.6267	1.72	21300	1.3454
1.6631	1.73	21400	1.3322
1.6078	1.74	21500	1.3367
1.6165	1.75	21600	1.3439
1.6093	1.76	21700	1.3317
1.6648	1.76	21800	1.3248
1.6071	1.77	21900	1.3200
1.6539	1.78	22000	1.3409
1.6084	1.79	22100	1.3362
1.658	1.8	22200	1.3387
1.5855	1.8	22300	1.3271
1.6351	1.81	22400	1.3281
1.6402	1.82	22500	1.3344
1.5961	1.83	22600	1.3247
1.5894	1.84	22700	1.3266
1.6248	1.84	22800	1.3261
1.6172	1.85	22900	1.3210
1.5944	1.86	23000	1.3255
1.6238	1.87	23100	1.3260
1.6705	1.88	23200	1.3198
1.6116	1.88	23300	1.3202
1.5902	1.89	23400	1.3269
1.649	1.9	23500	1.3240
1.5729	1.91	23600	1.3189
1.6074	1.92	23700	1.3283
1.624	1.92	23800	1.3326
1.6319	1.93	23900	1.3282
1.6507	1.94	24000	1.3336
1.6229	1.95	24100	1.3217
1.6241	1.96	24200	1.3226
1.5927	1.97	24300	1.3293
1.5919	1.97	24400	1.3210
1.5779	1.98	24500	1.3222
1.6048	1.99	24600	1.3135
1.6315	2.0	24700	1.3143
1.6103	2.01	24800	1.3141
1.6211	2.01	24900	1.3122
1.5708	2.02	25000	1.3070
1.5982	2.03	25100	1.3040
1.5622	2.04	25200	1.3017
1.5957	2.05	25300	1.2996
1.5581	2.05	25400	1.3034
1.6162	2.06	25500	1.2977
1.615	2.07	25600	1.3019
1.5554	2.08	25700	1.2912
1.6112	2.09	25800	1.2973
1.5937	2.09	25900	1.2989
1.5605	2.1	26000	1.2956
1.5757	2.11	26100	1.2957
1.5362	2.12	26200	1.2945
1.5558	2.13	26300	1.2869
1.5116	2.14	26400	1.2846
1.5563	2.14	26500	1.2931
1.5356	2.15	26600	1.2876
1.5291	2.16	26700	1.2896
1.5452	2.17	26800	1.2835
1.5688	2.18	26900	1.2876
1.5424	2.18	27000	1.2906
1.5295	2.19	27100	1.2862
1.5344	2.2	27200	1.2795
1.5963	2.21	27300	1.2849
1.5569	2.22	27400	1.2857
1.5413	2.22	27500	1.2849
1.5851	2.23	27600	1.2852
1.5496	2.24	27700	1.2855
1.5375	2.25	27800	1.2841
1.5252	2.26	27900	1.2756
1.5657	2.26	28000	1.2853
1.5236	2.27	28100	1.2793
1.5641	2.28	28200	1.2793
1.5485	2.29	28300	1.2799
1.5419	2.3	28400	1.2758
1.5353	2.31	28500	1.2773
1.5716	2.31	28600	1.2792
1.5427	2.32	28700	1.2805
1.5296	2.33	28800	1.2753
1.5551	2.34	28900	1.2759
1.5204	2.35	29000	1.2743
1.575	2.35	29100	1.2740
1.5585	2.36	29200	1.2749
1.547	2.37	29300	1.2724
1.5661	2.38	29400	1.2700
1.4931	2.39	29500	1.2677
1.5507	2.39	29600	1.2703
1.5798	2.4	29700	1.2693
1.5425	2.41	29800	1.2669
1.5636	2.42	29900	1.2731
1.5488	2.43	30000	1.2717
1.5258	2.43	30100	1.2701
1.5395	2.44	30200	1.2676
1.544	2.45	30300	1.2700
1.5259	2.46	30400	1.2674
1.529	2.47	30500	1.2689
1.5162	2.47	30600	1.2651
1.527	2.48	30700	1.2662
1.5273	2.49	30800	1.2670
1.5462	2.5	30900	1.2672
1.5043	2.51	31000	1.2704
1.5811	2.52	31100	1.2708
1.5619	2.52	31200	1.2706
1.5714	2.53	31300	1.2688
1.5901	2.54	31400	1.2723
1.5845	2.55	31500	1.2674
1.5331	2.56	31600	1.2666
1.5685	2.56	31700	1.2673
1.5114	2.57	31800	1.2668
1.5574	2.58	31900	1.2675
1.527	2.59	32000	1.2678
1.5424	2.6	32100	1.2666
1.5706	2.6	32200	1.2676
1.5407	2.61	32300	1.2667
1.5534	2.62	32400	1.2677
1.5691	2.63	32500	1.2669
1.5223	2.64	32600	1.2662
1.4817	2.64	32700	1.2642
1.5603	2.65	32800	1.2652
1.5072	2.66	32900	1.2641
1.5691	2.67	33000	1.2633
1.5673	2.68	33100	1.2643
1.5433	2.69	33200	1.2645
1.5102	2.69	33300	1.2634
1.497	2.7	33400	1.2639
1.564	2.71	33500	1.2636
1.5131	2.72	33600	1.2637
1.5138	2.73	33700	1.2632
1.5345	2.73	33800	1.2634
1.5539	2.74	33900	1.2631
1.5571	2.75	34000	1.2634
1.5325	2.76	34100	1.2634
1.5434	2.77	34200	1.2635
1.5053	2.77	34300	1.2630
1.5503	2.78	34400	1.2633
1.5414	2.79	34500	1.2632
1.4909	2.8	34600	1.2627
1.5447	2.81	34700	1.2626
1.5897	2.81	34800	1.2630
1.5738	2.82	34900	1.2634
1.5125	2.83	35000	1.2632
1.5532	2.84	35100	1.2633
1.5423	2.85	35200	1.2632
1.4817	2.86	35300	1.2631
1.542	2.86	35400	1.2631
1.5232	2.87	35500	1.2631
1.556	2.88	35600	1.2631
1.5154	2.89	35700	1.2631
1.5174	2.9	35800	1.2631
1.5469	2.9	35900	1.2631
1.5171	2.91	36000	1.2630

Framework versions

Transformers 4.34.1
Pytorch 2.1.0+cu118
Datasets 2.14.6
Tokenizers 0.14.1