| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 1500, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 17.54677963256836, |
| "learning_rate": 6.000000000000001e-07, |
| "loss": 0.5447, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 3.113785982131958, |
| "learning_rate": 1.2666666666666669e-06, |
| "loss": 0.3038, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 9.491909980773926, |
| "learning_rate": 1.9333333333333336e-06, |
| "loss": 0.2218, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 5.375898361206055, |
| "learning_rate": 2.6e-06, |
| "loss": 0.21, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 1.9692988395690918, |
| "learning_rate": 3.266666666666667e-06, |
| "loss": 0.2039, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 3.48242449760437, |
| "learning_rate": 3.9333333333333335e-06, |
| "loss": 0.1949, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 2.1449151039123535, |
| "learning_rate": 4.600000000000001e-06, |
| "loss": 0.1985, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.5350184440612793, |
| "learning_rate": 5.2666666666666665e-06, |
| "loss": 0.19, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 2.6657063961029053, |
| "learning_rate": 5.933333333333335e-06, |
| "loss": 0.1839, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 1.8612362146377563, |
| "learning_rate": 6.600000000000001e-06, |
| "loss": 0.1871, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.07333333333333333, |
| "grad_norm": 1.5347198247909546, |
| "learning_rate": 7.266666666666668e-06, |
| "loss": 0.1895, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.9516715407371521, |
| "learning_rate": 7.933333333333334e-06, |
| "loss": 0.1917, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.08666666666666667, |
| "grad_norm": 0.8878512978553772, |
| "learning_rate": 8.6e-06, |
| "loss": 0.1895, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 1.8423694372177124, |
| "learning_rate": 9.266666666666667e-06, |
| "loss": 0.1835, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 2.3142707347869873, |
| "learning_rate": 9.933333333333334e-06, |
| "loss": 0.186, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.981069028377533, |
| "learning_rate": 9.998903417374228e-06, |
| "loss": 0.1874, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.11333333333333333, |
| "grad_norm": 1.3772141933441162, |
| "learning_rate": 9.995113378907791e-06, |
| "loss": 0.1914, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 0.9696592688560486, |
| "learning_rate": 9.988618398427495e-06, |
| "loss": 0.1842, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.12666666666666668, |
| "grad_norm": 1.5406608581542969, |
| "learning_rate": 9.979421993079853e-06, |
| "loss": 0.1842, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.9628530144691467, |
| "learning_rate": 9.967529142880592e-06, |
| "loss": 0.1824, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 0.8387752175331116, |
| "learning_rate": 9.952946288017899e-06, |
| "loss": 0.1842, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 0.7777760624885559, |
| "learning_rate": 9.93568132536494e-06, |
| "loss": 0.1845, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.15333333333333332, |
| "grad_norm": 1.1656509637832642, |
| "learning_rate": 9.915743604203563e-06, |
| "loss": 0.1821, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 1.2539623975753784, |
| "learning_rate": 9.893143921161501e-06, |
| "loss": 0.1851, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 0.8600898385047913, |
| "learning_rate": 9.867894514365802e-06, |
| "loss": 0.1807, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 1.0086549520492554, |
| "learning_rate": 9.840009056815674e-06, |
| "loss": 0.1807, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 1.3212798833847046, |
| "learning_rate": 9.809502648978311e-06, |
| "loss": 0.1788, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 1.5607751607894897, |
| "learning_rate": 9.776391810611719e-06, |
| "loss": 0.1773, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.19333333333333333, |
| "grad_norm": 1.3933162689208984, |
| "learning_rate": 9.740694471818988e-06, |
| "loss": 0.1812, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 0.6898677945137024, |
| "learning_rate": 9.702429963338812e-06, |
| "loss": 0.1805, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.20666666666666667, |
| "grad_norm": 1.7474408149719238, |
| "learning_rate": 9.661619006077562e-06, |
| "loss": 0.18, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 1.036871314048767, |
| "learning_rate": 9.618283699888543e-06, |
| "loss": 0.1869, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 1.0263549089431763, |
| "learning_rate": 9.572447511604536e-06, |
| "loss": 0.1775, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 1.3214458227157593, |
| "learning_rate": 9.524135262330098e-06, |
| "loss": 0.1775, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 0.9018441438674927, |
| "learning_rate": 9.473373114000493e-06, |
| "loss": 0.1739, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 1.5307382345199585, |
| "learning_rate": 9.420188555214537e-06, |
| "loss": 0.1809, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.24666666666666667, |
| "grad_norm": 0.9330549836158752, |
| "learning_rate": 9.364610386349048e-06, |
| "loss": 0.1807, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 1.5636473894119263, |
| "learning_rate": 9.306668703962927e-06, |
| "loss": 0.178, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 0.858398973941803, |
| "learning_rate": 9.246394884499334e-06, |
| "loss": 0.1745, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.6748374104499817, |
| "learning_rate": 9.18382156729481e-06, |
| "loss": 0.1762, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.2733333333333333, |
| "grad_norm": 0.9848532676696777, |
| "learning_rate": 9.118982636904476e-06, |
| "loss": 0.1731, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 0.8043841123580933, |
| "learning_rate": 9.051913204752972e-06, |
| "loss": 0.1743, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.2866666666666667, |
| "grad_norm": 0.8929668068885803, |
| "learning_rate": 8.982649590120982e-06, |
| "loss": 0.1759, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.5732767581939697, |
| "learning_rate": 8.911229300477716e-06, |
| "loss": 0.1722, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 0.5660396814346313, |
| "learning_rate": 8.837691011169944e-06, |
| "loss": 0.176, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 1.0652278661727905, |
| "learning_rate": 8.762074544478622e-06, |
| "loss": 0.172, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.31333333333333335, |
| "grad_norm": 0.7242267727851868, |
| "learning_rate": 8.68442084805442e-06, |
| "loss": 0.1738, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 1.0984399318695068, |
| "learning_rate": 8.604771972743848e-06, |
| "loss": 0.1723, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.32666666666666666, |
| "grad_norm": 0.6254751086235046, |
| "learning_rate": 8.523171049817974e-06, |
| "loss": 0.1731, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.8320332169532776, |
| "learning_rate": 8.439662267616093e-06, |
| "loss": 0.1721, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 0.8235620856285095, |
| "learning_rate": 8.354290847616954e-06, |
| "loss": 0.1721, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 0.7396617531776428, |
| "learning_rate": 8.267103019950529e-06, |
| "loss": 0.1734, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.35333333333333333, |
| "grad_norm": 0.9322571158409119, |
| "learning_rate": 8.178145998363585e-06, |
| "loss": 0.1729, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 0.8159617185592651, |
| "learning_rate": 8.087467954652608e-06, |
| "loss": 0.1693, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 0.619825541973114, |
| "learning_rate": 7.99511799257793e-06, |
| "loss": 0.1699, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 0.761111319065094, |
| "learning_rate": 7.901146121273165e-06, |
| "loss": 0.1694, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 0.8399138450622559, |
| "learning_rate": 7.80560322816439e-06, |
| "loss": 0.1698, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 0.6915317177772522, |
| "learning_rate": 7.7085410514137e-06, |
| "loss": 0.1675, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.3933333333333333, |
| "grad_norm": 0.7130940556526184, |
| "learning_rate": 7.610012151902091e-06, |
| "loss": 0.1694, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.6355782747268677, |
| "learning_rate": 7.510069884766802e-06, |
| "loss": 0.1695, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.4066666666666667, |
| "grad_norm": 1.0010428428649902, |
| "learning_rate": 7.408768370508577e-06, |
| "loss": 0.173, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 0.4898011088371277, |
| "learning_rate": 7.3061624656844544e-06, |
| "loss": 0.1705, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 0.521531343460083, |
| "learning_rate": 7.2023077332019755e-06, |
| "loss": 0.1683, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.5568660497665405, |
| "learning_rate": 7.0972604122308865e-06, |
| "loss": 0.1682, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 0.7231490612030029, |
| "learning_rate": 6.991077387748643e-06, |
| "loss": 0.1669, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 0.8198909163475037, |
| "learning_rate": 6.883816159736187e-06, |
| "loss": 0.1684, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.44666666666666666, |
| "grad_norm": 0.6875349879264832, |
| "learning_rate": 6.775534812040686e-06, |
| "loss": 0.1672, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 0.9854479432106018, |
| "learning_rate": 6.666291980922122e-06, |
| "loss": 0.1692, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 0.8863165974617004, |
| "learning_rate": 6.556146823300701e-06, |
| "loss": 0.1689, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.9577124714851379, |
| "learning_rate": 6.445158984722358e-06, |
| "loss": 0.1689, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.47333333333333333, |
| "grad_norm": 0.6610674858093262, |
| "learning_rate": 6.3333885670596285e-06, |
| "loss": 0.1725, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.4917869567871094, |
| "learning_rate": 6.220896095965428e-06, |
| "loss": 0.1694, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.4866666666666667, |
| "grad_norm": 0.8424774408340454, |
| "learning_rate": 6.107742488097338e-06, |
| "loss": 0.1727, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 0.6529633402824402, |
| "learning_rate": 5.993989018130173e-06, |
| "loss": 0.1709, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.9219099283218384, |
| "learning_rate": 5.879697285574655e-06, |
| "loss": 0.1703, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 0.552469789981842, |
| "learning_rate": 5.764929181420191e-06, |
| "loss": 0.1684, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.5133333333333333, |
| "grad_norm": 0.6718639731407166, |
| "learning_rate": 5.649746854619814e-06, |
| "loss": 0.1676, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 0.9530379772186279, |
| "learning_rate": 5.5342126784354265e-06, |
| "loss": 0.168, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.5266666666666666, |
| "grad_norm": 0.8372315168380737, |
| "learning_rate": 5.41838921666158e-06, |
| "loss": 0.1659, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.7401282787322998, |
| "learning_rate": 5.3023391897460715e-06, |
| "loss": 0.1674, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 0.642122745513916, |
| "learning_rate": 5.18612544082573e-06, |
| "loss": 0.1664, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 0.7709304690361023, |
| "learning_rate": 5.069810901695727e-06, |
| "loss": 0.1641, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.5533333333333333, |
| "grad_norm": 0.6095881462097168, |
| "learning_rate": 4.953458558730917e-06, |
| "loss": 0.1666, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.7122792601585388, |
| "learning_rate": 4.837131418777595e-06, |
| "loss": 0.1649, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 0.5190916657447815, |
| "learning_rate": 4.720892475034181e-06, |
| "loss": 0.1662, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 0.5275893807411194, |
| "learning_rate": 4.604804672939295e-06, |
| "loss": 0.1684, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 0.5962560772895813, |
| "learning_rate": 4.4889308760856826e-06, |
| "loss": 0.1652, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.835991621017456, |
| "learning_rate": 4.373333832178478e-06, |
| "loss": 0.17, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.5933333333333334, |
| "grad_norm": 0.7409345507621765, |
| "learning_rate": 4.258076139056217e-06, |
| "loss": 0.1688, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.6964478492736816, |
| "learning_rate": 4.143220210792993e-06, |
| "loss": 0.1672, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.6066666666666667, |
| "grad_norm": 0.6698200702667236, |
| "learning_rate": 4.028828243900141e-06, |
| "loss": 0.1642, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.6782805919647217, |
| "learning_rate": 3.914962183645733e-06, |
| "loss": 0.1674, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 0.8768420815467834, |
| "learning_rate": 3.8016836905101157e-06, |
| "loss": 0.1651, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 0.744308352470398, |
| "learning_rate": 3.6890541067956775e-06, |
| "loss": 0.166, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 0.8482574820518494, |
| "learning_rate": 3.577134423408906e-06, |
| "loss": 0.165, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.6626099348068237, |
| "learning_rate": 3.465985246832739e-06, |
| "loss": 0.1625, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.6466666666666666, |
| "grad_norm": 0.5978856086730957, |
| "learning_rate": 3.355666766307084e-06, |
| "loss": 0.1647, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 0.5869330763816833, |
| "learning_rate": 3.246238721235283e-06, |
| "loss": 0.1631, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 0.6246505379676819, |
| "learning_rate": 3.137760368834169e-06, |
| "loss": 0.1685, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.5579615235328674, |
| "learning_rate": 3.030290452045245e-06, |
| "loss": 0.1658, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.6733333333333333, |
| "grad_norm": 0.5744479894638062, |
| "learning_rate": 2.9238871677243354e-06, |
| "loss": 0.1638, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 0.7319228649139404, |
| "learning_rate": 2.818608135126967e-06, |
| "loss": 0.1654, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.6866666666666666, |
| "grad_norm": 0.7516340017318726, |
| "learning_rate": 2.714510364706531e-06, |
| "loss": 0.1658, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.8896828293800354, |
| "learning_rate": 2.611650227242102e-06, |
| "loss": 0.1644, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 0.447769433259964, |
| "learning_rate": 2.5100834233126827e-06, |
| "loss": 0.1654, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 0.7258001565933228, |
| "learning_rate": 2.40986495313435e-06, |
| "loss": 0.1648, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.7133333333333334, |
| "grad_norm": 0.5099372863769531, |
| "learning_rate": 2.3110490867766644e-06, |
| "loss": 0.1643, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.5592735409736633, |
| "learning_rate": 2.213689334774479e-06, |
| "loss": 0.1623, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.7266666666666667, |
| "grad_norm": 0.5292734503746033, |
| "learning_rate": 2.1178384191510344e-06, |
| "loss": 0.1621, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 0.633564293384552, |
| "learning_rate": 2.023548244868051e-06, |
| "loss": 0.1672, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 0.7652982473373413, |
| "learning_rate": 1.9308698717182874e-06, |
| "loss": 0.1632, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.4278891086578369, |
| "learning_rate": 1.8398534866757455e-06, |
| "loss": 0.1634, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.7533333333333333, |
| "grad_norm": 0.7097955942153931, |
| "learning_rate": 1.7505483767185583e-06, |
| "loss": 0.1631, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 1.0551012754440308, |
| "learning_rate": 1.6630029021392007e-06, |
| "loss": 0.165, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 0.6864542365074158, |
| "learning_rate": 1.5772644703565564e-06, |
| "loss": 0.1659, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.6637310981750488, |
| "learning_rate": 1.4933795102439558e-06, |
| "loss": 0.1638, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 0.6281816363334656, |
| "learning_rate": 1.4113934469871166e-06, |
| "loss": 0.1656, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 0.828620195388794, |
| "learning_rate": 1.3313506774856177e-06, |
| "loss": 0.1621, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.7933333333333333, |
| "grad_norm": 0.5727617144584656, |
| "learning_rate": 1.2532945463111856e-06, |
| "loss": 0.1621, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.5017889738082886, |
| "learning_rate": 1.1772673222358421e-06, |
| "loss": 0.1624, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.8066666666666666, |
| "grad_norm": 0.8379151225090027, |
| "learning_rate": 1.1033101753426285e-06, |
| "loss": 0.1636, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.8133333333333334, |
| "grad_norm": 0.8046517372131348, |
| "learning_rate": 1.0314631547312738e-06, |
| "loss": 0.1628, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.82, |
| "grad_norm": 0.841410756111145, |
| "learning_rate": 9.617651668308914e-07, |
| "loss": 0.1612, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.9077194929122925, |
| "learning_rate": 8.942539543314799e-07, |
| "loss": 0.1634, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 0.6952596306800842, |
| "learning_rate": 8.289660757455803e-07, |
| "loss": 0.1616, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 0.6580125689506531, |
| "learning_rate": 7.659368856111926e-07, |
| "loss": 0.1643, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.8466666666666667, |
| "grad_norm": 0.49460309743881226, |
| "learning_rate": 7.052005153466779e-07, |
| "loss": 0.1633, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.7616547346115112, |
| "learning_rate": 6.467898547679913e-07, |
| "loss": 0.1641, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.86, |
| "grad_norm": 0.791519045829773, |
| "learning_rate": 5.9073653427826e-07, |
| "loss": 0.1632, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 0.5162762403488159, |
| "learning_rate": 5.370709077393721e-07, |
| "loss": 0.1598, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.8733333333333333, |
| "grad_norm": 0.6905622482299805, |
| "learning_rate": 4.858220360348187e-07, |
| "loss": 0.1612, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.5769631862640381, |
| "learning_rate": 4.370176713327118e-07, |
| "loss": 0.1624, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.8866666666666667, |
| "grad_norm": 0.6821451187133789, |
| "learning_rate": 3.90684242057498e-07, |
| "loss": 0.1636, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.8933333333333333, |
| "grad_norm": 0.7338942885398865, |
| "learning_rate": 3.468468385785023e-07, |
| "loss": 0.1634, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 0.754893958568573, |
| "learning_rate": 3.055291996230492e-07, |
| "loss": 0.1644, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.688667893409729, |
| "learning_rate": 2.6675369942151864e-07, |
| "loss": 0.1617, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.9133333333333333, |
| "grad_norm": 0.641139805316925, |
| "learning_rate": 2.3054133559131163e-07, |
| "loss": 0.1651, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 0.7201398015022278, |
| "learning_rate": 1.9691171776626882e-07, |
| "loss": 0.1612, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.9266666666666666, |
| "grad_norm": 0.4928625226020813, |
| "learning_rate": 1.6588305697770313e-07, |
| "loss": 0.1636, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.5658037066459656, |
| "learning_rate": 1.374721557928116e-07, |
| "loss": 0.1649, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.94, |
| "grad_norm": 0.6221475601196289, |
| "learning_rate": 1.1169439921578485e-07, |
| "loss": 0.1637, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.9466666666666667, |
| "grad_norm": 0.7598629593849182, |
| "learning_rate": 8.856374635655696e-08, |
| "loss": 0.1626, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.9533333333333334, |
| "grad_norm": 0.5453952550888062, |
| "learning_rate": 6.809272287169988e-08, |
| "loss": 0.1646, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.790744960308075, |
| "learning_rate": 5.029241418156139e-08, |
| "loss": 0.1586, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 0.6331807971000671, |
| "learning_rate": 3.517245946731529e-08, |
| "loss": 0.1628, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.9733333333333334, |
| "grad_norm": 0.7395063042640686, |
| "learning_rate": 2.27410464511707e-08, |
| "loss": 0.1625, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.98, |
| "grad_norm": 0.48738041520118713, |
| "learning_rate": 1.3004906962578723e-08, |
| "loss": 0.1632, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.4548609256744385, |
| "learning_rate": 5.969313292830126e-09, |
| "loss": 0.1641, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.9933333333333333, |
| "grad_norm": 0.8285321593284607, |
| "learning_rate": 1.638075340010814e-09, |
| "loss": 0.1631, |
| "step": 1490 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.6520048379898071, |
| "learning_rate": 1.3538545881042198e-11, |
| "loss": 0.1594, |
| "step": 1500 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 1500, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 9223372036854775807, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3.735104412599714e+18, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
