Fine-tuned Llama 3.1 8B adapter for structured API generation - 40% accuracy (95% better than Azure GPT)
02e3cea
verified
| { | |
| "best_global_step": 76, | |
| "best_metric": 0.5403695702552795, | |
| "best_model_checkpoint": "slm_swap/04_ft/adapter_llama_structured/checkpoint-76", | |
| "epoch": 2.0, | |
| "eval_steps": 500, | |
| "global_step": 76, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 4.145010948181152, | |
| "learning_rate": 0.0, | |
| "loss": 2.4003, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 4.813018321990967, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 2.635, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 2.918339252471924, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 2.1847, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 2.725857734680176, | |
| "learning_rate": 0.0001, | |
| "loss": 1.911, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 2.2376487255096436, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 1.5675, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 4.092291355133057, | |
| "learning_rate": 0.0001666666666666667, | |
| "loss": 1.1603, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 2.9152793884277344, | |
| "learning_rate": 0.0002, | |
| "loss": 1.0053, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 2.2565271854400635, | |
| "learning_rate": 0.0001999576950082201, | |
| "loss": 0.6506, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 1.2920774221420288, | |
| "learning_rate": 0.00019983081582712685, | |
| "loss": 0.5865, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.0141593217849731, | |
| "learning_rate": 0.00019961946980917456, | |
| "loss": 0.7357, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 1.151449203491211, | |
| "learning_rate": 0.00019932383577419432, | |
| "loss": 0.8053, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 1.0362948179244995, | |
| "learning_rate": 0.00019894416385809444, | |
| "loss": 0.6616, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.7722408175468445, | |
| "learning_rate": 0.00019848077530122083, | |
| "loss": 0.6958, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.8130640387535095, | |
| "learning_rate": 0.00019793406217655517, | |
| "loss": 0.7162, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 1.3675695657730103, | |
| "learning_rate": 0.00019730448705798239, | |
| "loss": 0.563, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 1.5960906744003296, | |
| "learning_rate": 0.00019659258262890683, | |
| "loss": 0.58, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 1.072212815284729, | |
| "learning_rate": 0.0001957989512315489, | |
| "loss": 0.5387, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 1.188248872756958, | |
| "learning_rate": 0.0001949242643573034, | |
| "loss": 0.6955, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 1.2778258323669434, | |
| "learning_rate": 0.00019396926207859084, | |
| "loss": 0.4479, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 13.143075942993164, | |
| "learning_rate": 0.00019293475242268223, | |
| "loss": 1.0277, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 186.3747100830078, | |
| "learning_rate": 0.00019182161068802741, | |
| "loss": 0.9025, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.7217215895652771, | |
| "learning_rate": 0.000190630778703665, | |
| "loss": 0.4986, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.8731614947319031, | |
| "learning_rate": 0.00018936326403234125, | |
| "loss": 0.5636, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.6521349549293518, | |
| "learning_rate": 0.00018802013911801112, | |
| "loss": 0.5767, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.8306490182876587, | |
| "learning_rate": 0.00018660254037844388, | |
| "loss": 0.6199, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.6903685331344604, | |
| "learning_rate": 0.00018511166724369997, | |
| "loss": 0.6203, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.6657739281654358, | |
| "learning_rate": 0.00018354878114129367, | |
| "loss": 0.684, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.5936874747276306, | |
| "learning_rate": 0.0001819152044288992, | |
| "loss": 0.5577, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.6139101386070251, | |
| "learning_rate": 0.0001802123192755044, | |
| "loss": 0.6168, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.6266291737556458, | |
| "learning_rate": 0.00017844156649195759, | |
| "loss": 0.6148, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.6175403594970703, | |
| "learning_rate": 0.0001766044443118978, | |
| "loss": 0.4897, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.6125622391700745, | |
| "learning_rate": 0.0001747025071240996, | |
| "loss": 0.6356, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.6166452765464783, | |
| "learning_rate": 0.00017273736415730488, | |
| "loss": 0.4224, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.598992109298706, | |
| "learning_rate": 0.00017071067811865476, | |
| "loss": 0.547, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.6289752721786499, | |
| "learning_rate": 0.0001686241637868734, | |
| "loss": 0.4598, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.8014653921127319, | |
| "learning_rate": 0.00016647958656139378, | |
| "loss": 0.5587, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.5559372305870056, | |
| "learning_rate": 0.00016427876096865394, | |
| "loss": 0.4963, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.7442960143089294, | |
| "learning_rate": 0.000162023549126826, | |
| "loss": 0.457, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.5433598756790161, | |
| "eval_runtime": 4.7841, | |
| "eval_samples_per_second": 12.542, | |
| "eval_steps_per_second": 1.672, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 1.0266666666666666, | |
| "grad_norm": 0.4461791217327118, | |
| "learning_rate": 0.00015971585917027862, | |
| "loss": 0.4713, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 1.0533333333333332, | |
| "grad_norm": 0.431579053401947, | |
| "learning_rate": 0.0001573576436351046, | |
| "loss": 0.4377, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 1.7148072719573975, | |
| "learning_rate": 0.0001549508978070806, | |
| "loss": 0.4454, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 1.1066666666666667, | |
| "grad_norm": 0.5817849040031433, | |
| "learning_rate": 0.000152497658033456, | |
| "loss": 0.3962, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.5576441884040833, | |
| "learning_rate": 0.00015000000000000001, | |
| "loss": 0.5483, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 0.4906015694141388, | |
| "learning_rate": 0.00014746003697476404, | |
| "loss": 0.5422, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 1.1866666666666668, | |
| "grad_norm": 0.5438020825386047, | |
| "learning_rate": 0.00014487991802004623, | |
| "loss": 0.4438, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 1.2133333333333334, | |
| "grad_norm": 0.5641293525695801, | |
| "learning_rate": 0.00014226182617406996, | |
| "loss": 0.5939, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 1.2554056644439697, | |
| "learning_rate": 0.0001396079766039157, | |
| "loss": 0.3962, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.7316768169403076, | |
| "learning_rate": 0.00013692061473126845, | |
| "loss": 0.4658, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 1.2933333333333334, | |
| "grad_norm": 0.5622590780258179, | |
| "learning_rate": 0.00013420201433256689, | |
| "loss": 0.3701, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.48055917024612427, | |
| "learning_rate": 0.00013145447561516138, | |
| "loss": 0.384, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.3466666666666667, | |
| "grad_norm": 0.5410879254341125, | |
| "learning_rate": 0.00012868032327110904, | |
| "loss": 0.312, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 1.3733333333333333, | |
| "grad_norm": 0.5372636318206787, | |
| "learning_rate": 0.00012588190451025207, | |
| "loss": 0.3277, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 1.3009170293807983, | |
| "learning_rate": 0.00012306158707424403, | |
| "loss": 0.3514, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 1.4266666666666667, | |
| "grad_norm": 0.6670292615890503, | |
| "learning_rate": 0.00012022175723320381, | |
| "loss": 0.377, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 1.4533333333333334, | |
| "grad_norm": 0.6945537328720093, | |
| "learning_rate": 0.00011736481776669306, | |
| "loss": 0.4053, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 0.6068922281265259, | |
| "learning_rate": 0.00011449318593072466, | |
| "loss": 0.3305, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 1.5066666666666668, | |
| "grad_norm": 0.7037740349769592, | |
| "learning_rate": 0.00011160929141252303, | |
| "loss": 0.4334, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 1.9757070541381836, | |
| "learning_rate": 0.00010871557427476583, | |
| "loss": 0.3922, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 0.6219176650047302, | |
| "learning_rate": 0.00010581448289104758, | |
| "loss": 0.4529, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 1.5866666666666667, | |
| "grad_norm": 0.6832179427146912, | |
| "learning_rate": 0.00010290847187431113, | |
| "loss": 0.3861, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.6133333333333333, | |
| "grad_norm": 0.701236367225647, | |
| "learning_rate": 0.0001, | |
| "loss": 0.6416, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 0.4630773961544037, | |
| "learning_rate": 9.709152812568886e-05, | |
| "loss": 0.2598, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.643219530582428, | |
| "learning_rate": 9.418551710895243e-05, | |
| "loss": 0.4151, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 1.6933333333333334, | |
| "grad_norm": 1.215836524963379, | |
| "learning_rate": 9.128442572523417e-05, | |
| "loss": 0.4387, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.6036189198493958, | |
| "learning_rate": 8.839070858747697e-05, | |
| "loss": 0.3655, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 1.7466666666666666, | |
| "grad_norm": 0.6869444847106934, | |
| "learning_rate": 8.550681406927535e-05, | |
| "loss": 0.4398, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 1.7733333333333334, | |
| "grad_norm": 0.6205930113792419, | |
| "learning_rate": 8.263518223330697e-05, | |
| "loss": 0.3855, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.730952262878418, | |
| "learning_rate": 7.977824276679623e-05, | |
| "loss": 0.5075, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 1.8266666666666667, | |
| "grad_norm": 0.6464523673057556, | |
| "learning_rate": 7.693841292575598e-05, | |
| "loss": 0.4368, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 1.8533333333333335, | |
| "grad_norm": 1.1483937501907349, | |
| "learning_rate": 7.411809548974792e-05, | |
| "loss": 0.3607, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 0.854091227054596, | |
| "learning_rate": 7.131967672889101e-05, | |
| "loss": 0.5536, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 1.9066666666666667, | |
| "grad_norm": 1.0070300102233887, | |
| "learning_rate": 6.854552438483865e-05, | |
| "loss": 0.3844, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.5010907649993896, | |
| "learning_rate": 6.579798566743314e-05, | |
| "loss": 0.3356, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 0.6241299510002136, | |
| "learning_rate": 6.307938526873157e-05, | |
| "loss": 0.4154, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 1.9866666666666668, | |
| "grad_norm": 0.5649359822273254, | |
| "learning_rate": 6.039202339608432e-05, | |
| "loss": 0.3542, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.756279706954956, | |
| "learning_rate": 5.773817382593008e-05, | |
| "loss": 0.3212, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.5403695702552795, | |
| "eval_runtime": 4.7876, | |
| "eval_samples_per_second": 12.532, | |
| "eval_steps_per_second": 1.671, | |
| "step": 76 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 114, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4318974330421248.0, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |