| { |
| "config": "NVFP4_DEFAULT_CFG", |
| "calibration_prompts": 512, |
| "eval_limit_per_task": 150, |
| "bf16": { |
| "in_task": { |
| "acc": 0.8609087893864014, |
| "nll": 0.3528091052786878, |
| "brier": 0.1940373842391175, |
| "ece": 0.05303316337077771, |
| "aurc": 0.06681307700298869, |
| "acc_at_80": 0.9049253731343283, |
| "chance": 0.32540278764905634 |
| }, |
| "heldout": { |
| "acc": 0.818316326530612, |
| "nll": 0.4924945922102779, |
| "brier": 0.25888958097701625, |
| "ece": 0.08855473946982705, |
| "aurc": 0.08901265866200106, |
| "acc_at_80": 0.8688492063492064, |
| "chance": 0.2876210317460317 |
| }, |
| "n_in": 67, |
| "n_heldout": 28 |
| }, |
| "calibration_seconds": 370.6152937412262, |
| "nvfp4_fake_quant": { |
| "in_task": { |
| "acc": 0.8569850746268657, |
| "nll": 0.3597476924595826, |
| "brier": 0.19966554634208764, |
| "ece": 0.05316929627087579, |
| "aurc": 0.06933453246273688, |
| "acc_at_80": 0.9012728026533997, |
| "chance": 0.32540278764905634 |
| }, |
| "heldout": { |
| "acc": 0.8091836734693877, |
| "nll": 0.5021133321071309, |
| "brier": 0.26491087729976115, |
| "ece": 0.09327989718363598, |
| "aurc": 0.09235152912304556, |
| "acc_at_80": 0.860515873015873, |
| "chance": 0.2876210317460317 |
| }, |
| "n_in": 67, |
| "n_heldout": 28 |
| }, |
| "per_task": { |
| "clinc_oos": { |
| "bf16": 0.9733333333333334, |
| "nvfp4": 0.9733333333333334, |
| "heldout": false |
| }, |
| "banking77": { |
| "bf16": 0.9933333333333333, |
| "nvfp4": 0.9933333333333333, |
| "heldout": false |
| }, |
| "massive_intent": { |
| "bf16": 0.9733333333333334, |
| "nvfp4": 0.98, |
| "heldout": false |
| }, |
| "massive_scenario": { |
| "bf16": 0.84, |
| "nvfp4": 0.84, |
| "heldout": true |
| }, |
| "bitext_support": { |
| "bf16": 0.9966666666666667, |
| "nvfp4": 0.9966666666666667, |
| "heldout": false |
| }, |
| "support_tickets": { |
| "bf16": 0.6155555555555555, |
| "nvfp4": 0.6066666666666667, |
| "heldout": false |
| }, |
| "ag_news": { |
| "bf16": 0.9533333333333334, |
| "nvfp4": 0.9466666666666667, |
| "heldout": false |
| }, |
| "dbpedia": { |
| "bf16": 1.0, |
| "nvfp4": 1.0, |
| "heldout": false |
| }, |
| "yahoo_topics": { |
| "bf16": 0.86, |
| "nvfp4": 0.8533333333333334, |
| "heldout": false |
| }, |
| "newsgroups": { |
| "bf16": 0.82, |
| "nvfp4": 0.8266666666666667, |
| "heldout": false |
| }, |
| "bbc_news": { |
| "bf16": 0.9466666666666667, |
| "nvfp4": 0.94, |
| "heldout": true |
| }, |
| "trec": { |
| "bf16": 0.84, |
| "nvfp4": 0.8333333333333334, |
| "heldout": true |
| }, |
| "student_questions": { |
| "bf16": 0.9466666666666667, |
| "nvfp4": 0.94, |
| "heldout": true |
| }, |
| "dolly_category": { |
| "bf16": 0.32666666666666666, |
| "nvfp4": 0.32666666666666666, |
| "heldout": true |
| }, |
| "imdb": { |
| "bf16": 0.9733333333333334, |
| "nvfp4": 0.98, |
| "heldout": false |
| }, |
| "sst2": { |
| "bf16": 0.9733333333333334, |
| "nvfp4": 0.9666666666666667, |
| "heldout": false |
| }, |
| "sst5": { |
| "bf16": 0.6266666666666667, |
| "nvfp4": 0.6, |
| "heldout": false |
| }, |
| "yelp": { |
| "bf16": 0.78, |
| "nvfp4": 0.7533333333333333, |
| "heldout": false |
| }, |
| "amazon_stars": { |
| "bf16": 0.68, |
| "nvfp4": 0.6533333333333333, |
| "heldout": false |
| }, |
| "emotion": { |
| "bf16": 0.9066666666666666, |
| "nvfp4": 0.8933333333333333, |
| "heldout": false |
| }, |
| "go_emotions": { |
| "bf16": 0.7933333333333333, |
| "nvfp4": 0.7933333333333333, |
| "heldout": false |
| }, |
| "tweet_sentiment": { |
| "bf16": 0.7466666666666667, |
| "nvfp4": 0.78, |
| "heldout": false |
| }, |
| "tweet_emotion": { |
| "bf16": 0.8466666666666667, |
| "nvfp4": 0.8333333333333334, |
| "heldout": false |
| }, |
| "tweet_irony": { |
| "bf16": 0.9066666666666666, |
| "nvfp4": 0.8866666666666667, |
| "heldout": true |
| }, |
| "fin_sentiment": { |
| "bf16": 0.88, |
| "nvfp4": 0.8866666666666667, |
| "heldout": true |
| }, |
| "cr_reviews": { |
| "bf16": 0.8933333333333333, |
| "nvfp4": 0.8933333333333333, |
| "heldout": true |
| }, |
| "counterfactual": { |
| "bf16": 0.9333333333333333, |
| "nvfp4": 0.92, |
| "heldout": false |
| }, |
| "subjectivity": { |
| "bf16": 0.9666666666666667, |
| "nvfp4": 0.96, |
| "heldout": false |
| }, |
| "tweet_offensive": { |
| "bf16": 0.8733333333333333, |
| "nvfp4": 0.8733333333333333, |
| "heldout": false |
| }, |
| "tweet_hate": { |
| "bf16": 0.5266666666666666, |
| "nvfp4": 0.5333333333333333, |
| "heldout": false |
| }, |
| "hate_offensive": { |
| "bf16": 0.9133333333333333, |
| "nvfp4": 0.9133333333333333, |
| "heldout": false |
| }, |
| "civil_comments": { |
| "bf16": 0.9373333333333334, |
| "nvfp4": 0.9346666666666666, |
| "heldout": false |
| }, |
| "toxic_chat": { |
| "bf16": 0.9933333333333333, |
| "nvfp4": 0.9866666666666667, |
| "heldout": false |
| }, |
| "sms_spam": { |
| "bf16": 0.9933333333333333, |
| "nvfp4": 0.9933333333333333, |
| "heldout": false |
| }, |
| "enron_spam": { |
| "bf16": 1.0, |
| "nvfp4": 1.0, |
| "heldout": false |
| }, |
| "insincere_questions": { |
| "bf16": 0.9666666666666667, |
| "nvfp4": 0.96, |
| "heldout": false |
| }, |
| "ade": { |
| "bf16": 0.84, |
| "nvfp4": 0.8333333333333334, |
| "heldout": true |
| }, |
| "snli": { |
| "bf16": 0.98, |
| "nvfp4": 0.9733333333333334, |
| "heldout": false |
| }, |
| "mnli": { |
| "bf16": 0.96, |
| "nvfp4": 0.96, |
| "heldout": false |
| }, |
| "rte": { |
| "bf16": 0.9333333333333333, |
| "nvfp4": 0.9266666666666666, |
| "heldout": false |
| }, |
| "qnli": { |
| "bf16": 0.9866666666666667, |
| "nvfp4": 0.98, |
| "heldout": false |
| }, |
| "qqp": { |
| "bf16": 0.8333333333333334, |
| "nvfp4": 0.8466666666666667, |
| "heldout": false |
| }, |
| "mrpc": { |
| "bf16": 0.9, |
| "nvfp4": 0.8933333333333333, |
| "heldout": false |
| }, |
| "paws": { |
| "bf16": 0.7333333333333333, |
| "nvfp4": 0.72, |
| "heldout": true |
| }, |
| "cola": { |
| "bf16": 0.8466666666666667, |
| "nvfp4": 0.8533333333333334, |
| "heldout": false |
| }, |
| "boolq": { |
| "bf16": 0.9466666666666667, |
| "nvfp4": 0.9266666666666666, |
| "heldout": false |
| }, |
| "strategyqa": { |
| "bf16": 0.74, |
| "nvfp4": 0.6866666666666666, |
| "heldout": true |
| }, |
| "pubmedqa": { |
| "bf16": 0.82, |
| "nvfp4": 0.8466666666666667, |
| "heldout": true |
| }, |
| "arc": { |
| "bf16": 0.98, |
| "nvfp4": 0.9733333333333334, |
| "heldout": false |
| }, |
| "commonsense_qa": { |
| "bf16": 0.88, |
| "nvfp4": 0.88, |
| "heldout": false |
| }, |
| "qasc": { |
| "bf16": 0.88, |
| "nvfp4": 0.8933333333333333, |
| "heldout": false |
| }, |
| "openbookqa": { |
| "bf16": 0.9666666666666667, |
| "nvfp4": 0.9666666666666667, |
| "heldout": false |
| }, |
| "sciq": { |
| "bf16": 0.9933333333333333, |
| "nvfp4": 0.9933333333333333, |
| "heldout": true |
| }, |
| "hellaswag": { |
| "bf16": 0.9666666666666667, |
| "nvfp4": 0.98, |
| "heldout": false |
| }, |
| "piqa": { |
| "bf16": 0.9333333333333333, |
| "nvfp4": 0.92, |
| "heldout": false |
| }, |
| "social_iqa": { |
| "bf16": 0.7733333333333333, |
| "nvfp4": 0.7266666666666667, |
| "heldout": true |
| }, |
| "winogrande": { |
| "bf16": 0.92, |
| "nvfp4": 0.8933333333333333, |
| "heldout": false |
| }, |
| "race": { |
| "bf16": 0.9533333333333334, |
| "nvfp4": 0.9666666666666667, |
| "heldout": false |
| }, |
| "mmlu": { |
| "bf16": 0.8133333333333334, |
| "nvfp4": 0.8133333333333334, |
| "heldout": false |
| }, |
| "medqa": { |
| "bf16": 0.8733333333333333, |
| "nvfp4": 0.8466666666666667, |
| "heldout": false |
| }, |
| "truthfulqa": { |
| "bf16": 0.7266666666666667, |
| "nvfp4": 0.7333333333333333, |
| "heldout": true |
| }, |
| "fin_phrasebank": { |
| "bf16": 0.74, |
| "nvfp4": 0.7266666666666667, |
| "heldout": true |
| }, |
| "bias_in_bios": { |
| "bf16": 0.95, |
| "nvfp4": 0.9433333333333334, |
| "heldout": false |
| }, |
| "helpsteer2": { |
| "bf16": 0.6106666666666667, |
| "nvfp4": 0.5986666666666667, |
| "heldout": false |
| }, |
| "helpsteer3_pref": { |
| "bf16": 0.5533333333333333, |
| "nvfp4": 0.5266666666666666, |
| "heldout": false |
| }, |
| "hate_speech_scales": { |
| "bf16": 0.564, |
| "nvfp4": 0.5613333333333334, |
| "heldout": false |
| }, |
| "liar2": { |
| "bf16": 0.4533333333333333, |
| "nvfp4": 0.41333333333333333, |
| "heldout": false |
| }, |
| "prosocial_safety": { |
| "bf16": 0.5466666666666666, |
| "nvfp4": 0.5533333333333333, |
| "heldout": false |
| }, |
| "ultrafeedback_pref": { |
| "bf16": 0.82, |
| "nvfp4": 0.8266666666666667, |
| "heldout": false |
| }, |
| "shp": { |
| "bf16": 0.7866666666666666, |
| "nvfp4": 0.8066666666666666, |
| "heldout": false |
| }, |
| "hh_rlhf": { |
| "bf16": 0.7133333333333334, |
| "nvfp4": 0.7, |
| "heldout": false |
| }, |
| "arena_pref": { |
| "bf16": 0.5733333333333334, |
| "nvfp4": 0.5666666666666667, |
| "heldout": true |
| }, |
| "reward_bench": { |
| "bf16": 0.88, |
| "nvfp4": 0.8733333333333333, |
| "heldout": true |
| }, |
| "glaive_tools": { |
| "bf16": 0.9466666666666667, |
| "nvfp4": 0.9466666666666667, |
| "heldout": false |
| }, |
| "toolace": { |
| "bf16": 0.9, |
| "nvfp4": 0.9133333333333333, |
| "heldout": false |
| }, |
| "hermes_tools": { |
| "bf16": 0.98, |
| "nvfp4": 0.98, |
| "heldout": true |
| }, |
| "copa": { |
| "bf16": 1.0, |
| "nvfp4": 1.0, |
| "heldout": false |
| }, |
| "wic": { |
| "bf16": 0.76, |
| "nvfp4": 0.7933333333333333, |
| "heldout": false |
| }, |
| "multirc": { |
| "bf16": 0.9266666666666666, |
| "nvfp4": 0.9266666666666666, |
| "heldout": false |
| }, |
| "cb": { |
| "bf16": 0.8928571428571429, |
| "nvfp4": 0.8571428571428571, |
| "heldout": true |
| }, |
| "fever": { |
| "bf16": 0.9, |
| "nvfp4": 0.8866666666666667, |
| "heldout": false |
| }, |
| "wiki_qa": { |
| "bf16": 0.9133333333333333, |
| "nvfp4": 0.9266666666666666, |
| "heldout": false |
| }, |
| "msmarco_rel": { |
| "bf16": 0.68, |
| "nvfp4": 0.6666666666666666, |
| "heldout": false |
| }, |
| "medmcqa": { |
| "bf16": 0.76, |
| "nvfp4": 0.7333333333333333, |
| "heldout": false |
| }, |
| "quality": { |
| "bf16": 0.66, |
| "nvfp4": 0.6666666666666666, |
| "heldout": true |
| }, |
| "xstory_cloze": { |
| "bf16": 1.0, |
| "nvfp4": 1.0, |
| "heldout": true |
| }, |
| "abstain_probe": { |
| "bf16": 0.64, |
| "nvfp4": 0.58, |
| "heldout": true |
| }, |
| "agenttraj": { |
| "bf16": 0.96, |
| "nvfp4": 0.9533333333333334, |
| "heldout": false |
| }, |
| "mind2web": { |
| "bf16": 0.92, |
| "nvfp4": 0.9, |
| "heldout": false |
| }, |
| "synth": { |
| "bf16": 0.8466666666666667, |
| "nvfp4": 0.8433333333333334, |
| "heldout": false |
| }, |
| "offtopic_probe": { |
| "bf16": 0.82, |
| "nvfp4": 0.8066666666666666, |
| "heldout": true |
| }, |
| "hwu64": { |
| "bf16": 0.9733333333333334, |
| "nvfp4": 0.98, |
| "heldout": true |
| }, |
| "dbpedia_l2": { |
| "bf16": 0.9666666666666667, |
| "nvfp4": 0.9733333333333334, |
| "heldout": true |
| }, |
| "dbpedia_l3": { |
| "bf16": 0.9933333333333333, |
| "nvfp4": 0.9933333333333333, |
| "heldout": true |
| }, |
| "quality_full": { |
| "bf16": 0.5866666666666667, |
| "nvfp4": 0.5666666666666667, |
| "heldout": true |
| } |
| }, |
| "export_dir": "/mnt/data/mark/projects/decider/runs/moe_optimizer_ab_v1/muon/model_nvfp4", |
| "export_files": [ |
| "chat_template.jinja", |
| "config.json", |
| "decider_config.json", |
| "generation_config.json", |
| "hf_quant_config.json", |
| "model-00001-of-00005.safetensors", |
| "model-00002-of-00005.safetensors", |
| "model-00003-of-00005.safetensors", |
| "model-00004-of-00005.safetensors", |
| "model-00005-of-00005.safetensors", |
| "model.safetensors.index.json", |
| "tokenizer.json", |
| "tokenizer_config.json" |
| ], |
| "export_gb": 19.601492702029645, |
| "seconds": 2637.9610896110535 |
| } |
