| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 2.0, |
| "eval_steps": 500, |
| "global_step": 6000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 3.1071953773498535, |
| "learning_rate": 1.6333333333333335e-06, |
| "loss": 0.7889, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 2.6831912994384766, |
| "learning_rate": 3.3000000000000006e-06, |
| "loss": 0.1539, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 1.8503936529159546, |
| "learning_rate": 4.966666666666667e-06, |
| "loss": 0.0876, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 1.479536771774292, |
| "learning_rate": 6.633333333333334e-06, |
| "loss": 0.0617, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 1.2191840410232544, |
| "learning_rate": 8.3e-06, |
| "loss": 0.0433, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 2.2121074199676514, |
| "learning_rate": 9.966666666666667e-06, |
| "loss": 0.0579, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.11666666666666667, |
| "grad_norm": 0.47118788957595825, |
| "learning_rate": 1.1633333333333334e-05, |
| "loss": 0.0476, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.7100841999053955, |
| "learning_rate": 1.3300000000000001e-05, |
| "loss": 0.0373, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 1.8993791341781616, |
| "learning_rate": 1.4966666666666667e-05, |
| "loss": 0.0321, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 0.8746693134307861, |
| "learning_rate": 1.6633333333333336e-05, |
| "loss": 0.032, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "eval_loss": 0.029374774545431137, |
| "eval_runtime": 161.4786, |
| "eval_samples_per_second": 13.624, |
| "eval_steps_per_second": 13.624, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.18333333333333332, |
| "grad_norm": 1.5261262655258179, |
| "learning_rate": 1.83e-05, |
| "loss": 0.0326, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 0.6676681041717529, |
| "learning_rate": 1.9966666666666666e-05, |
| "loss": 0.0312, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.21666666666666667, |
| "grad_norm": 0.8330113887786865, |
| "learning_rate": 1.999593701724414e-05, |
| "loss": 0.0253, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 0.38233622908592224, |
| "learning_rate": 1.9983418166140286e-05, |
| "loss": 0.0256, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 0.5102664232254028, |
| "learning_rate": 1.996245234656734e-05, |
| "loss": 0.0291, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.8901494145393372, |
| "learning_rate": 1.9933057297701808e-05, |
| "loss": 0.0232, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.2833333333333333, |
| "grad_norm": 0.08538495749235153, |
| "learning_rate": 1.9895257890689698e-05, |
| "loss": 0.0225, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 0.37623968720436096, |
| "learning_rate": 1.9849086107603062e-05, |
| "loss": 0.0277, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.31666666666666665, |
| "grad_norm": 0.04148983210325241, |
| "learning_rate": 1.9794581014379987e-05, |
| "loss": 0.0236, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.7128270864486694, |
| "learning_rate": 1.9731788727770885e-05, |
| "loss": 0.0239, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "eval_loss": 0.020014548674225807, |
| "eval_runtime": 161.5701, |
| "eval_samples_per_second": 13.616, |
| "eval_steps_per_second": 13.616, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 0.6076381206512451, |
| "learning_rate": 1.9660762376319133e-05, |
| "loss": 0.0255, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 0.22104893624782562, |
| "learning_rate": 1.9581562055409014e-05, |
| "loss": 0.0189, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.38333333333333336, |
| "grad_norm": 0.5898507237434387, |
| "learning_rate": 1.949425477641904e-05, |
| "loss": 0.026, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.15394699573516846, |
| "learning_rate": 1.93989144100236e-05, |
| "loss": 0.0224, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 0.8136488795280457, |
| "learning_rate": 1.9295621623691033e-05, |
| "loss": 0.0178, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 0.24656730890274048, |
| "learning_rate": 1.9184463813430874e-05, |
| "loss": 0.0213, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 0.8896352648735046, |
| "learning_rate": 1.9065535029848104e-05, |
| "loss": 0.0215, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.45443829894065857, |
| "learning_rate": 1.8938935898566965e-05, |
| "loss": 0.0218, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.48333333333333334, |
| "grad_norm": 0.1960749626159668, |
| "learning_rate": 1.880477353509162e-05, |
| "loss": 0.02, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.2930926978588104, |
| "learning_rate": 1.866316145417575e-05, |
| "loss": 0.0194, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.5, |
| "eval_loss": 0.018893761560320854, |
| "eval_runtime": 161.527, |
| "eval_samples_per_second": 13.62, |
| "eval_steps_per_second": 13.62, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.5166666666666667, |
| "grad_norm": 0.1791691929101944, |
| "learning_rate": 1.8514219473777733e-05, |
| "loss": 0.0219, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.3017595708370209, |
| "learning_rate": 1.8358073613682705e-05, |
| "loss": 0.0197, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 0.7275615930557251, |
| "learning_rate": 1.819485598887721e-05, |
| "loss": 0.0186, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 0.14351941645145416, |
| "learning_rate": 1.8024704697766777e-05, |
| "loss": 0.0187, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 0.024494774639606476, |
| "learning_rate": 1.784776370533083e-05, |
| "loss": 0.02, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.22478097677230835, |
| "learning_rate": 1.7664182721313986e-05, |
| "loss": 0.0153, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.6166666666666667, |
| "grad_norm": 0.20951737463474274, |
| "learning_rate": 1.7474117073556635e-05, |
| "loss": 0.0203, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 0.5272106528282166, |
| "learning_rate": 1.7277727576572108e-05, |
| "loss": 0.0164, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 0.32311293482780457, |
| "learning_rate": 1.7075180395481507e-05, |
| "loss": 0.0234, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.12401324510574341, |
| "learning_rate": 1.6866646905421454e-05, |
| "loss": 0.0192, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "eval_loss": 0.01760736294090748, |
| "eval_runtime": 161.6591, |
| "eval_samples_per_second": 13.609, |
| "eval_steps_per_second": 13.609, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.6833333333333333, |
| "grad_norm": 0.19210423529148102, |
| "learning_rate": 1.665230354654361e-05, |
| "loss": 0.017, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 0.11709281802177429, |
| "learning_rate": 1.6432331674728682e-05, |
| "loss": 0.0195, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.7166666666666667, |
| "grad_norm": 0.23952056467533112, |
| "learning_rate": 1.620691740814125e-05, |
| "loss": 0.0206, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 0.16786327958106995, |
| "learning_rate": 1.5976251469755214e-05, |
| "loss": 0.0164, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 0.3852173089981079, |
| "learning_rate": 1.574052902598312e-05, |
| "loss": 0.0163, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 0.07208467274904251, |
| "learning_rate": 1.5499949521545888e-05, |
| "loss": 0.0177, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.7833333333333333, |
| "grad_norm": 0.08507245033979416, |
| "learning_rate": 1.5254716510722678e-05, |
| "loss": 0.0197, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.26126715540885925, |
| "learning_rate": 1.500503748512363e-05, |
| "loss": 0.0187, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.8166666666666667, |
| "grad_norm": 0.3391565978527069, |
| "learning_rate": 1.4751123698131246e-05, |
| "loss": 0.0154, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 0.03999042883515358, |
| "learning_rate": 1.4493189986158966e-05, |
| "loss": 0.0172, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "eval_loss": 0.01579725742340088, |
| "eval_runtime": 161.5998, |
| "eval_samples_per_second": 13.614, |
| "eval_steps_per_second": 13.614, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.85, |
| "grad_norm": 0.26716721057891846, |
| "learning_rate": 1.4231454586878084e-05, |
| "loss": 0.0205, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 0.14240144193172455, |
| "learning_rate": 1.3966138954566901e-05, |
| "loss": 0.0152, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.8833333333333333, |
| "grad_norm": 0.30735087394714355, |
| "learning_rate": 1.3697467572738294e-05, |
| "loss": 0.0175, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 0.07296834141016006, |
| "learning_rate": 1.3425667764204262e-05, |
| "loss": 0.0169, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 0.27943146228790283, |
| "learning_rate": 1.3150969498738122e-05, |
| "loss": 0.0179, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.44918879866600037, |
| "learning_rate": 1.2873605198497123e-05, |
| "loss": 0.0173, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.95, |
| "grad_norm": 0.362812340259552, |
| "learning_rate": 1.2593809541370096e-05, |
| "loss": 0.0209, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 0.07507365196943283, |
| "learning_rate": 1.2311819262416545e-05, |
| "loss": 0.0196, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.9833333333333333, |
| "grad_norm": 0.278376042842865, |
| "learning_rate": 1.2027872953565125e-05, |
| "loss": 0.0156, |
| "step": 2950 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.19722265005111694, |
| "learning_rate": 1.1742210861741083e-05, |
| "loss": 0.0192, |
| "step": 3000 |
| }, |
| { |
| "epoch": 1.0, |
| "eval_loss": 0.01558533776551485, |
| "eval_runtime": 161.6104, |
| "eval_samples_per_second": 13.613, |
| "eval_steps_per_second": 13.613, |
| "step": 3000 |
| }, |
| { |
| "epoch": 1.0166666666666666, |
| "grad_norm": 0.4600740075111389, |
| "learning_rate": 1.145507468559334e-05, |
| "loss": 0.0095, |
| "step": 3050 |
| }, |
| { |
| "epoch": 1.0333333333333334, |
| "grad_norm": 0.20429494976997375, |
| "learning_rate": 1.1166707370993333e-05, |
| "loss": 0.0088, |
| "step": 3100 |
| }, |
| { |
| "epoch": 1.05, |
| "grad_norm": 0.15123037993907928, |
| "learning_rate": 1.0877352905478538e-05, |
| "loss": 0.0061, |
| "step": 3150 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 1.3598378896713257, |
| "learning_rate": 1.0587256111814655e-05, |
| "loss": 0.009, |
| "step": 3200 |
| }, |
| { |
| "epoch": 1.0833333333333333, |
| "grad_norm": 0.1559704691171646, |
| "learning_rate": 1.0296662440851108e-05, |
| "loss": 0.0043, |
| "step": 3250 |
| }, |
| { |
| "epoch": 1.1, |
| "grad_norm": 0.07238726317882538, |
| "learning_rate": 1.0005817763845132e-05, |
| "loss": 0.0072, |
| "step": 3300 |
| }, |
| { |
| "epoch": 1.1166666666666667, |
| "grad_norm": 0.05410255491733551, |
| "learning_rate": 9.714968164430122e-06, |
| "loss": 0.005, |
| "step": 3350 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 0.022331345826387405, |
| "learning_rate": 9.424359730404329e-06, |
| "loss": 0.0099, |
| "step": 3400 |
| }, |
| { |
| "epoch": 1.15, |
| "grad_norm": 0.13074569404125214, |
| "learning_rate": 9.134238345516003e-06, |
| "loss": 0.006, |
| "step": 3450 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "grad_norm": 0.25548383593559265, |
| "learning_rate": 8.844849481421209e-06, |
| "loss": 0.0076, |
| "step": 3500 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "eval_loss": 0.0158761627972126, |
| "eval_runtime": 161.628, |
| "eval_samples_per_second": 13.611, |
| "eval_steps_per_second": 13.611, |
| "step": 3500 |
| }, |
| { |
| "epoch": 1.1833333333333333, |
| "grad_norm": 0.08952627331018448, |
| "learning_rate": 8.55643798999027e-06, |
| "loss": 0.0061, |
| "step": 3550 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.02353445068001747, |
| "learning_rate": 8.269247896138677e-06, |
| "loss": 0.0074, |
| "step": 3600 |
| }, |
| { |
| "epoch": 1.2166666666666668, |
| "grad_norm": 0.09062716364860535, |
| "learning_rate": 7.983522191357629e-06, |
| "loss": 0.0073, |
| "step": 3650 |
| }, |
| { |
| "epoch": 1.2333333333333334, |
| "grad_norm": 0.15316630899906158, |
| "learning_rate": 7.699502628118958e-06, |
| "loss": 0.0099, |
| "step": 3700 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 0.01516023837029934, |
| "learning_rate": 7.417429515328429e-06, |
| "loss": 0.0105, |
| "step": 3750 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 0.054922379553318024, |
| "learning_rate": 7.137541515000408e-06, |
| "loss": 0.0062, |
| "step": 3800 |
| }, |
| { |
| "epoch": 1.2833333333333332, |
| "grad_norm": 0.13729096949100494, |
| "learning_rate": 6.860075440325951e-06, |
| "loss": 0.0065, |
| "step": 3850 |
| }, |
| { |
| "epoch": 1.3, |
| "grad_norm": 0.06882786750793457, |
| "learning_rate": 6.5852660553052305e-06, |
| "loss": 0.0046, |
| "step": 3900 |
| }, |
| { |
| "epoch": 1.3166666666666667, |
| "grad_norm": 0.02760959044098854, |
| "learning_rate": 6.313345876113725e-06, |
| "loss": 0.0063, |
| "step": 3950 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.009113223291933537, |
| "learning_rate": 6.044544974370352e-06, |
| "loss": 0.007, |
| "step": 4000 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "eval_loss": 0.015427221544086933, |
| "eval_runtime": 161.6577, |
| "eval_samples_per_second": 13.609, |
| "eval_steps_per_second": 13.609, |
| "step": 4000 |
| }, |
| { |
| "epoch": 1.35, |
| "grad_norm": 0.2981986403465271, |
| "learning_rate": 5.779090782473885e-06, |
| "loss": 0.0064, |
| "step": 4050 |
| }, |
| { |
| "epoch": 1.3666666666666667, |
| "grad_norm": 0.2516504228115082, |
| "learning_rate": 5.517207901172441e-06, |
| "loss": 0.0061, |
| "step": 4100 |
| }, |
| { |
| "epoch": 1.3833333333333333, |
| "grad_norm": 0.01275557093322277, |
| "learning_rate": 5.259117909528839e-06, |
| "loss": 0.0066, |
| "step": 4150 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 0.04535749927163124, |
| "learning_rate": 5.005039177442579e-06, |
| "loss": 0.0089, |
| "step": 4200 |
| }, |
| { |
| "epoch": 1.4166666666666667, |
| "grad_norm": 0.010894378647208214, |
| "learning_rate": 4.755186680887106e-06, |
| "loss": 0.0049, |
| "step": 4250 |
| }, |
| { |
| "epoch": 1.4333333333333333, |
| "grad_norm": 0.2023257166147232, |
| "learning_rate": 4.509771820018682e-06, |
| "loss": 0.0059, |
| "step": 4300 |
| }, |
| { |
| "epoch": 1.45, |
| "grad_norm": 0.03465325012803078, |
| "learning_rate": 4.269002240310743e-06, |
| "loss": 0.0081, |
| "step": 4350 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.06963742524385452, |
| "learning_rate": 4.0330816568650925e-06, |
| "loss": 0.0091, |
| "step": 4400 |
| }, |
| { |
| "epoch": 1.4833333333333334, |
| "grad_norm": 0.052938006818294525, |
| "learning_rate": 3.8022096820486023e-06, |
| "loss": 0.0053, |
| "step": 4450 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 0.0981513261795044, |
| "learning_rate": 3.5765816566012034e-06, |
| "loss": 0.0081, |
| "step": 4500 |
| }, |
| { |
| "epoch": 1.5, |
| "eval_loss": 0.015380245633423328, |
| "eval_runtime": 161.5676, |
| "eval_samples_per_second": 13.617, |
| "eval_steps_per_second": 13.617, |
| "step": 4500 |
| }, |
| { |
| "epoch": 1.5166666666666666, |
| "grad_norm": 0.19393162429332733, |
| "learning_rate": 3.3563884843581373e-06, |
| "loss": 0.0079, |
| "step": 4550 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 0.22616566717624664, |
| "learning_rate": 3.1418164707262375e-06, |
| "loss": 0.0074, |
| "step": 4600 |
| }, |
| { |
| "epoch": 1.55, |
| "grad_norm": 0.028851795941591263, |
| "learning_rate": 2.933047165050964e-06, |
| "loss": 0.0078, |
| "step": 4650 |
| }, |
| { |
| "epoch": 1.5666666666666667, |
| "grad_norm": 0.17162653803825378, |
| "learning_rate": 2.730257207007526e-06, |
| "loss": 0.0056, |
| "step": 4700 |
| }, |
| { |
| "epoch": 1.5833333333333335, |
| "grad_norm": 0.18405188620090485, |
| "learning_rate": 2.5336181771460877e-06, |
| "loss": 0.0071, |
| "step": 4750 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.10538286715745926, |
| "learning_rate": 2.3432964517174805e-06, |
| "loss": 0.0089, |
| "step": 4800 |
| }, |
| { |
| "epoch": 1.6166666666666667, |
| "grad_norm": 0.022305432707071304, |
| "learning_rate": 2.159453061902308e-06, |
| "loss": 0.0046, |
| "step": 4850 |
| }, |
| { |
| "epoch": 1.6333333333333333, |
| "grad_norm": 0.31892797350883484, |
| "learning_rate": 1.982243557562461e-06, |
| "loss": 0.0077, |
| "step": 4900 |
| }, |
| { |
| "epoch": 1.65, |
| "grad_norm": 0.005257299169898033, |
| "learning_rate": 1.8118178756304328e-06, |
| "loss": 0.0085, |
| "step": 4950 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.019412141293287277, |
| "learning_rate": 1.6483202132476872e-06, |
| "loss": 0.0035, |
| "step": 5000 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "eval_loss": 0.015112037770450115, |
| "eval_runtime": 161.6806, |
| "eval_samples_per_second": 13.607, |
| "eval_steps_per_second": 13.607, |
| "step": 5000 |
| }, |
| { |
| "epoch": 1.6833333333333333, |
| "grad_norm": 0.0283571295440197, |
| "learning_rate": 1.4918889057594876e-06, |
| "loss": 0.0057, |
| "step": 5050 |
| }, |
| { |
| "epoch": 1.7, |
| "grad_norm": 0.457266241312027, |
| "learning_rate": 1.3426563096693812e-06, |
| "loss": 0.0061, |
| "step": 5100 |
| }, |
| { |
| "epoch": 1.7166666666666668, |
| "grad_norm": 0.12255752831697464, |
| "learning_rate": 1.200748690652388e-06, |
| "loss": 0.0081, |
| "step": 5150 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.016324974596500397, |
| "learning_rate": 1.0662861167216243e-06, |
| "loss": 0.009, |
| "step": 5200 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 0.32331520318984985, |
| "learning_rate": 9.393823566387928e-07, |
| "loss": 0.0064, |
| "step": 5250 |
| }, |
| { |
| "epoch": 1.7666666666666666, |
| "grad_norm": 0.06999611854553223, |
| "learning_rate": 8.201447836544296e-07, |
| "loss": 0.0061, |
| "step": 5300 |
| }, |
| { |
| "epoch": 1.7833333333333332, |
| "grad_norm": 0.046723559498786926, |
| "learning_rate": 7.086742846594385e-07, |
| "loss": 0.0048, |
| "step": 5350 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.040631361305713654, |
| "learning_rate": 6.050651748246949e-07, |
| "loss": 0.0062, |
| "step": 5400 |
| }, |
| { |
| "epoch": 1.8166666666666667, |
| "grad_norm": 0.09716001152992249, |
| "learning_rate": 5.094051178009906e-07, |
| "loss": 0.0063, |
| "step": 5450 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "grad_norm": 1.0018577575683594, |
| "learning_rate": 4.2177505154685215e-07, |
| "loss": 0.0089, |
| "step": 5500 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "eval_loss": 0.015033319592475891, |
| "eval_runtime": 161.6388, |
| "eval_samples_per_second": 13.611, |
| "eval_steps_per_second": 13.611, |
| "step": 5500 |
| }, |
| { |
| "epoch": 1.85, |
| "grad_norm": 0.23170338571071625, |
| "learning_rate": 3.422491198469269e-07, |
| "loss": 0.0068, |
| "step": 5550 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.05159277841448784, |
| "learning_rate": 2.7089460957895555e-07, |
| "loss": 0.0062, |
| "step": 5600 |
| }, |
| { |
| "epoch": 1.8833333333333333, |
| "grad_norm": 0.1756586879491806, |
| "learning_rate": 2.077718937823414e-07, |
| "loss": 0.0049, |
| "step": 5650 |
| }, |
| { |
| "epoch": 1.9, |
| "grad_norm": 0.09454341977834702, |
| "learning_rate": 1.5293438057654707e-07, |
| "loss": 0.0073, |
| "step": 5700 |
| }, |
| { |
| "epoch": 1.9166666666666665, |
| "grad_norm": 0.03369151055812836, |
| "learning_rate": 1.0642846797247586e-07, |
| "loss": 0.0086, |
| "step": 5750 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 0.08879967033863068, |
| "learning_rate": 6.829350461514007e-08, |
| "loss": 0.007, |
| "step": 5800 |
| }, |
| { |
| "epoch": 1.95, |
| "grad_norm": 0.21803218126296997, |
| "learning_rate": 3.856175649076477e-08, |
| "loss": 0.0077, |
| "step": 5850 |
| }, |
| { |
| "epoch": 1.9666666666666668, |
| "grad_norm": 0.20888090133666992, |
| "learning_rate": 1.725837962655019e-08, |
| "loss": 0.0064, |
| "step": 5900 |
| }, |
| { |
| "epoch": 1.9833333333333334, |
| "grad_norm": 0.044381000101566315, |
| "learning_rate": 4.4013988061597515e-09, |
| "loss": 0.0045, |
| "step": 5950 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.024702949449419975, |
| "learning_rate": 1.6923189505302361e-12, |
| "loss": 0.0049, |
| "step": 6000 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_loss": 0.014951130375266075, |
| "eval_runtime": 161.644, |
| "eval_samples_per_second": 13.61, |
| "eval_steps_per_second": 13.61, |
| "step": 6000 |
| }, |
| { |
| "epoch": 2.0, |
| "step": 6000, |
| "total_flos": 1.7614417937065574e+18, |
| "train_loss": 0.023249084991713364, |
| "train_runtime": 14193.5322, |
| "train_samples_per_second": 3.382, |
| "train_steps_per_second": 0.423 |
| } |
| ], |
| "logging_steps": 50, |
| "max_steps": 6000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 2, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.7614417937065574e+18, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
