Alpha / training_log.json
SofiTesfay2010's picture
Alpha: System-One-style typed decision model
af6e981 verified
Raw History Blame Contribute Delete
17.8 kB
{"hist": [{"step": 250, "score": 0.42499999999999993, "nll": 1.3864185810089111, "ece": 0.07763973646021138, "tr_score": 0.4333333333333333, "tr_nll": 1.3839653730392456, "fam": {"ag_news": 0.8333333333333334, "banking77": 0.0, "emotion": 0.3958333333333333, "imdb": 0.5, "mrpc": 0.6666666666666666, "news20": 0.125, "sms": 0.8958333333333334, "snli": 0.22916666666666666, "sst2": 0.4583333333333333, "yelp": 0.14583333333333334}, "wd": 0.5, "lam": 0.3, "gn": 4.74530553817749, "loss": 1.4470987440866285, "rho": null, "lr": 4.166666666666667e-05}, {"step": 500, "score": 0.4875, "nll": 1.2226603031158447, "ece": 0.059230080638856944, "tr_score": 0.4645833333333333, "tr_nll": 1.2430381774902344, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.0625, "emotion": 0.3958333333333333, "imdb": 0.5, "mrpc": 0.7291666666666666, "news20": 0.2916666666666667, "sms": 1.0, "snli": 0.375, "sst2": 0.4583333333333333, "yelp": 0.10416666666666667}, "wd": 0.5, "lam": 0.3, "gn": 4.94678258895874, "loss": 1.3388411353066019, "rho": null, "lr": 4.986344023965386e-05}, {"step": 750, "score": 0.5041666666666667, "nll": 1.1497793197631836, "ece": 0.05984721723943949, "tr_score": 0.4937500000000001, "tr_nll": 1.1202466487884521, "fam": {"ag_news": 0.8958333333333334, "banking77": 0.25, "emotion": 0.3958333333333333, "imdb": 0.5208333333333334, "mrpc": 0.6458333333333334, "news20": 0.3541666666666667, "sms": 1.0, "snli": 0.375, "sst2": 0.4583333333333333, "yelp": 0.14583333333333334}, "wd": 0.45, "lam": 0.3, "gn": 3.086398124694824, "loss": 1.2649021407320382, "rho": 1.1620062206951038, "lr": 4.931150598363494e-05}, {"step": 1000, "score": 0.6145833333333333, "nll": 0.9992086291313171, "ece": 0.08922299118712546, "tr_score": 0.5999999999999999, "tr_nll": 0.9506429433822632, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.2916666666666667, "emotion": 0.5625, "imdb": 0.7708333333333334, "mrpc": 0.6666666666666666, "news20": 0.4791666666666667, "sms": 1.0, "snli": 0.25, "sst2": 0.7708333333333334, "yelp": 0.3958333333333333}, "wd": 0.405, "lam": 0.3, "gn": 7.461432456970215, "loss": 1.1085828546282157, "rho": 0.8777702575734148, "lr": 4.834611651233304e-05}, {"step": 1250, "score": 0.7041666666666667, "nll": 0.7773005366325378, "ece": 0.060513773995141164, "tr_score": 0.6979166666666666, "tr_nll": 0.7319567203521729, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.3958333333333333, "emotion": 0.8333333333333334, "imdb": 0.8333333333333334, "mrpc": 0.7083333333333334, "news20": 0.5416666666666666, "sms": 0.9791666666666666, "snli": 0.4166666666666667, "sst2": 0.9375, "yelp": 0.4791666666666667}, "wd": 0.36450000000000005, "lam": 0.3, "gn": 4.511319160461426, "loss": 0.87960810418064, "rho": 0.8827748724431335, "lr": 4.6985571585149876e-05}, {"step": 1500, "score": 0.7229166666666667, "nll": 0.6783604025840759, "ece": 0.036758976274480416, "tr_score": 0.7374999999999999, "tr_nll": 0.627739429473877, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.5208333333333334, "emotion": 0.9166666666666666, "imdb": 0.8541666666666666, "mrpc": 0.6875, "news20": 0.5625, "sms": 1.0, "snli": 0.22916666666666666, "sst2": 0.9583333333333334, "yelp": 0.5416666666666666}, "wd": 0.32805000000000006, "lam": 0.3, "gn": 7.843607425689697, "loss": 0.8132543158575171, "rho": 0.9487538569865493, "lr": 4.5255661461418854e-05}, {"step": 1750, "score": 0.7458333333333333, "nll": 0.6375653743743896, "ece": 0.03906969136248029, "tr_score": 0.75625, "tr_nll": 0.5771324038505554, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.625, "emotion": 0.8958333333333334, "imdb": 0.8541666666666666, "mrpc": 0.7291666666666666, "news20": 0.5833333333333334, "sms": 1.0, "snli": 0.3125, "sst2": 0.9791666666666666, "yelp": 0.5625}, "wd": 0.2952450000000001, "lam": 0.3, "gn": 7.016384601593018, "loss": 0.7663959374513087, "rho": 0.9490588800899795, "lr": 4.3189178024614896e-05}, {"step": 2000, "score": 0.7729166666666666, "nll": 0.5967954397201538, "ece": 0.025282762618735424, "tr_score": 0.7583333333333333, "tr_nll": 0.5407644510269165, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.7291666666666666, "emotion": 0.9166666666666666, "imdb": 0.875, "mrpc": 0.7291666666666666, "news20": 0.5833333333333334, "sms": 1.0, "snli": 0.3958333333333333, "sst2": 0.9583333333333334, "yelp": 0.625}, "wd": 0.2657205000000001, "lam": 0.3, "gn": 9.855315208435059, "loss": 0.7069250917348392, "rho": 0.87758640404572, "lr": 4.0825293184962056e-05}, {"step": 2250, "score": 0.7875, "nll": 0.5712440013885498, "ece": 0.04493665626893442, "tr_score": 0.75625, "tr_nll": 0.5333563685417175, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.8125, "emotion": 0.8958333333333334, "imdb": 0.8541666666666666, "mrpc": 0.75, "news20": 0.5416666666666666, "sms": 1.0, "snli": 0.4791666666666667, "sst2": 0.9583333333333334, "yelp": 0.6666666666666666}, "wd": 0.23914845000000007, "lam": 0.3, "gn": 8.997612953186035, "loss": 0.6946176960095765, "rho": 0.9993132683013181, "lr": 3.8208816343334156e-05}, {"step": 2500, "score": 0.8104166666666666, "nll": 0.5312714576721191, "ece": 0.05300602965677776, "tr_score": 0.78125, "tr_nll": 0.5068899393081665, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.7916666666666666, "emotion": 0.875, "imdb": 0.8541666666666666, "mrpc": 0.7708333333333334, "news20": 0.5833333333333334, "sms": 1.0, "snli": 0.5833333333333334, "sst2": 1.0, "yelp": 0.6875}, "wd": 0.21523360500000008, "lam": 0.3, "gn": 8.83574390411377, "loss": 0.6346616129986626, "rho": 1.499656634150659, "lr": 3.5389344991836974e-05}, {"step": 2750, "score": 0.8083333333333332, "nll": 0.49808335304260254, "ece": 0.04100577929057176, "tr_score": 0.7875, "tr_nll": 0.47457775473594666, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.7708333333333334, "emotion": 0.875, "imdb": 0.8541666666666666, "mrpc": 0.75, "news20": 0.6041666666666666, "sms": 1.0, "snli": 0.6875, "sst2": 0.9583333333333334, "yelp": 0.625}, "wd": 0.19371024450000007, "lam": 0.3, "gn": 6.362133979797363, "loss": 0.58079190026933, "rho": 1.5049839023584053, "lr": 3.242032455214346e-05}, {"step": 3000, "score": 0.8291666666666666, "nll": 0.47499704360961914, "ece": 0.04109802747455738, "tr_score": 0.8020833333333333, "tr_nll": 0.4411352574825287, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.8333333333333334, "emotion": 0.8958333333333334, "imdb": 0.875, "mrpc": 0.7916666666666666, "news20": 0.625, "sms": 1.0, "snli": 0.75, "sst2": 0.9375, "yelp": 0.625}, "wd": 0.17433922005000008, "lam": 0.3, "gn": 9.050947189331055, "loss": 0.5507215846613893, "rho": 1.2660459721916015, "lr": 2.9358035273127483e-05}, {"step": 3250, "score": 0.8229166666666667, "nll": 0.45618176460266113, "ece": 0.03542887705067793, "tr_score": 0.8125, "tr_nll": 0.4283953309059143, "fam": {"ag_news": 0.9375, "banking77": 0.875, "emotion": 0.9166666666666666, "imdb": 0.8541666666666666, "mrpc": 0.7708333333333334, "news20": 0.6041666666666666, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9166666666666666, "yelp": 0.625}, "wd": 0.15690529804500009, "lam": 0.3001, "gn": 7.896519184112549, "loss": 0.5361467864703793, "rho": 0.9781872430895555, "lr": 2.6260525391993023e-05}, {"step": 3500, "score": 0.8229166666666666, "nll": 0.44824162125587463, "ece": 0.04027308725441499, "tr_score": 0.8333333333333333, "tr_nll": 0.41801562905311584, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.8541666666666666, "emotion": 0.9166666666666666, "imdb": 0.8541666666666666, "mrpc": 0.7916666666666666, "news20": 0.5833333333333334, "sms": 1.0, "snli": 0.7708333333333334, "sst2": 0.9375, "yelp": 0.6041666666666666}, "wd": 0.14121476824050008, "lam": 0.3001, "gn": 7.859862804412842, "loss": 0.5212966933069149, "rho": 1.2275311193516978, "lr": 2.3186510781715892e-05}, {"step": 3750, "score": 0.825, "nll": 0.44514527916908264, "ece": 0.0378269159855942, "tr_score": 0.8416666666666668, "tr_nll": 0.41067466139793396, "fam": {"ag_news": 0.9166666666666666, "banking77": 0.8333333333333334, "emotion": 0.9375, "imdb": 0.8541666666666666, "mrpc": 0.7708333333333334, "news20": 0.5833333333333334, "sms": 1.0, "snli": 0.7708333333333334, "sst2": 0.9375, "yelp": 0.6458333333333334}, "wd": 0.12709329141645007, "lam": 0.3001, "gn": 4.868711471557617, "loss": 0.5031073578348193, "rho": 0.9962497321208292, "lr": 2.0194261942894628e-05}, {"step": 4000, "score": 0.83125, "nll": 0.43428102135658264, "ece": 0.04779160485292472, "tr_score": 0.8479166666666667, "tr_nll": 0.4039950370788574, "fam": {"ag_news": 0.9375, "banking77": 0.8333333333333334, "emotion": 0.9375, "imdb": 0.8541666666666666, "mrpc": 0.7708333333333334, "news20": 0.6458333333333334, "sms": 1.0, "snli": 0.75, "sst2": 0.9375, "yelp": 0.6458333333333334}, "wd": 0.12709329141645007, "lam": 0.3001, "gn": 6.261903762817383, "loss": 0.5046875660977973, "rho": 0.709019548630384, "lr": 1.7340499438004994e-05}, {"step": 4250, "score": 0.8375, "nll": 0.4272522032260895, "ece": 0.037357999570667745, "tr_score": 0.8416666666666666, "tr_nll": 0.397662878036499, "fam": {"ag_news": 0.9375, "banking77": 0.8541666666666666, "emotion": 0.9375, "imdb": 0.8541666666666666, "mrpc": 0.7916666666666666, "news20": 0.6458333333333334, "sms": 1.0, "snli": 0.75, "sst2": 0.9583333333333334, "yelp": 0.6458333333333334}, "wd": 0.11438396227480506, "lam": 0.3001, "gn": 10.974567413330078, "loss": 0.47385876453106374, "rho": 1.167748460619184, "lr": 1.4679318706019013e-05}, {"step": 4500, "score": 0.8375, "nll": 0.42399367690086365, "ece": 0.038577316980808976, "tr_score": 0.84375, "tr_nll": 0.39106932282447815, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.8541666666666666, "emotion": 0.9166666666666666, "imdb": 0.8541666666666666, "mrpc": 0.7916666666666666, "news20": 0.6666666666666666, "sms": 1.0, "snli": 0.75, "sst2": 0.9583333333333334, "yelp": 0.625}, "wd": 0.10294556604732455, "lam": 0.3001, "gn": 6.629716396331787, "loss": 0.4687045077363484, "rho": 1.1388838315746999, "lr": 1.2261164638420832e-05}, {"step": 4750, "score": 0.8395833333333332, "nll": 0.42487725615501404, "ece": 0.034516340897728995, "tr_score": 0.84375, "tr_nll": 0.38701558113098145, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.8541666666666666, "mrpc": 0.7916666666666666, "news20": 0.6458333333333334, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6458333333333334}, "wd": 0.0926510094425921, "lam": 0.3001, "gn": 7.820315361022949, "loss": 0.45272200221767106, "rho": 0.8165412590434078, "lr": 1.013187535438278e-05}, {"step": 5000, "score": 0.8395833333333332, "nll": 0.4237828850746155, "ece": 0.0383824546821416, "tr_score": 0.8458333333333334, "tr_nll": 0.3849530816078186, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.875, "mrpc": 0.7916666666666666, "news20": 0.625, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6458333333333334}, "wd": 0.11581376180324011, "lam": 0.3001, "gn": 6.347634315490723, "loss": 0.4564408298368683, "rho": 0.2992874578055718, "lr": 8.331813301137644e-06}, {"step": 5250, "score": 0.8395833333333332, "nll": 0.4211656451225281, "ece": 0.04211962077145778, "tr_score": 0.8541666666666667, "tr_nll": 0.378847599029541, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.8541666666666666, "mrpc": 0.7916666666666666, "news20": 0.6458333333333334, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6458333333333334}, "wd": 0.11581376180324011, "lam": 0.3001, "gn": 6.547802448272705, "loss": 0.4516936281062966, "rho": 0.4149458703356097, "lr": 6.8951001502612065e-06}, {"step": 5500, "score": 0.8416666666666666, "nll": 0.419617235660553, "ece": 0.04883364103734491, "tr_score": 0.85, "tr_nll": 0.37390393018722534, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.875, "mrpc": 0.7916666666666666, "news20": 0.6458333333333334, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6458333333333334}, "wd": 0.11581376180324011, "lam": 0.3001, "gn": 7.733129501342773, "loss": 0.43449673415669426, "rho": 0.42180815916788295, "lr": 5.8489699930418664e-06}, {"step": 5750, "score": 0.84375, "nll": 0.41734427213668823, "ece": 0.042368609768648896, "tr_score": 0.8479166666666668, "tr_nll": 0.37107983231544495, "fam": {"ag_news": 0.9375, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.875, "mrpc": 0.7916666666666666, "news20": 0.6666666666666666, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6666666666666666}, "wd": 0.11581376180324011, "lam": 0.3001, "gn": 9.12564754486084, "loss": 0.430490410395239, "rho": 0.3675093773257097, "lr": 5.213253095656177e-06}, {"step": 6000, "score": 0.84375, "nll": 0.4162411093711853, "ece": 0.04647985563303032, "tr_score": 0.8458333333333334, "tr_nll": 0.36772745847702026, "fam": {"ag_news": 0.9583333333333334, "banking77": 0.875, "emotion": 0.9375, "imdb": 0.875, "mrpc": 0.7708333333333334, "news20": 0.6666666666666666, "sms": 1.0, "snli": 0.7291666666666666, "sst2": 0.9583333333333334, "yelp": 0.6666666666666666}, "wd": 0.11581376180324011, "lam": 0.3001, "gn": 8.71489429473877, "loss": 0.4269631357885679, "rho": 0.5861776263692953, "lr": 5e-06}], "probes": [{"step": 0, "fam": "cola", "curve": {"0": [0.46, 0.6933133602142334], "5": [0.665, 0.6618085503578186], "10": [0.665, 0.6377608776092529], "20": [0.665, 0.6427217721939087], "40": [0.665, 0.6488895416259766]}}, {"step": 0, "fam": "dbpedia", "curve": {"0": [0.115, 2.635910749435425], "5": [0.045, 2.6632566452026367], "10": [0.045, 2.696634531021118], "20": [0.045, 2.638427734375], "40": [0.045, 2.638758897781372]}}, {"step": 0, "fam": "offensive", "curve": {"0": [0.645, 0.6905834674835205], "5": [0.64, 0.6852070093154907], "10": [0.64, 0.6692162156105042], "20": [0.64, 0.6649163961410522], "40": [0.64, 0.7305782437324524]}}, {"step": 1000, "fam": "cola", "curve": {"0": [0.55, 0.6800724864006042], "5": [0.665, 0.6440149545669556], "10": [0.635, 0.6801218390464783], "20": [0.665, 0.6502220630645752], "40": [0.665, 0.6403223276138306]}}, {"step": 1000, "fam": "dbpedia", "curve": {"0": [0.34, 2.2151966094970703], "5": [0.45, 1.7422538995742798], "10": [0.525, 1.1715236902236938], "20": [0.795, 0.5880295634269714], "40": [0.93, 0.17617054283618927]}}, {"step": 1000, "fam": "offensive", "curve": {"0": [0.64, 0.6211206912994385], "5": [0.66, 0.6001800298690796], "10": [0.64, 0.6511775851249695], "20": [0.665, 0.7224280834197998], "40": [0.745, 1.5302973985671997]}}, {"step": 2000, "fam": "cola", "curve": {"0": [0.4, 1.2561464309692383], "5": [0.355, 1.106208324432373], "10": [0.61, 0.6751940846443176], "20": [0.665, 0.6598563194274902], "40": [0.665, 0.6479304432868958]}}, {"step": 2000, "fam": "dbpedia", "curve": {"0": [0.305, 2.196328639984131], "5": [0.575, 1.3923637866973877], "10": [0.7, 0.8865454792976379], "20": [0.86, 0.5139257311820984], "40": [0.955, 0.13148292899131775]}}, {"step": 2000, "fam": "offensive", "curve": {"0": [0.625, 0.6901967525482178], "5": [0.655, 0.6434993743896484], "10": [0.69, 0.5594972372055054], "20": [0.71, 0.6698970198631287], "40": [0.755, 0.5170150995254517]}}, {"step": 3000, "fam": "cola", "curve": {"0": [0.4, 1.342832326889038], "5": [0.62, 0.6754884123802185], "10": [0.665, 0.6443837881088257], "20": [0.665, 0.6436806321144104], "40": [0.665, 0.6559992432594299]}}, {"step": 3000, "fam": "dbpedia", "curve": {"0": [0.245, 2.18424916267395], "5": [0.455, 1.5412259101867676], "10": [0.64, 1.0229398012161255], "20": [0.885, 0.5090384483337402], "40": [0.975, 0.0869322121143341]}}, {"step": 3000, "fam": "offensive", "curve": {"0": [0.59, 0.8314429521560669], "5": [0.66, 0.8946431875228882], "10": [0.685, 0.6292023062705994], "20": [0.68, 0.6085357069969177], "40": [0.65, 0.5966840982437134]}}, {"step": 4000, "fam": "cola", "curve": {"0": [0.41, 1.2136904001235962], "5": [0.635, 0.6475875973701477], "10": [0.665, 0.6374750733375549], "20": [0.665, 0.6445882320404053], "40": [0.665, 0.6596666574478149]}}, {"step": 4000, "fam": "dbpedia", "curve": {"0": [0.305, 2.2257626056671143], "5": [0.575, 1.4236860275268555], "10": [0.71, 0.984937310218811], "20": [0.845, 0.6737918853759766], "40": [0.975, 0.105534628033638]}}, {"step": 4000, "fam": "offensive", "curve": {"0": [0.57, 0.8187274932861328], "5": [0.595, 0.7490072846412659], "10": [0.625, 0.72652268409729], "20": [0.645, 0.619418740272522], "40": [0.74, 0.8135643005371094]}}, {"step": 5000, "fam": "cola", "curve": {"0": [0.4, 1.2741897106170654], "5": [0.64, 0.6492821574211121], "10": [0.665, 0.6398915648460388], "20": [0.665, 0.6444342136383057], "40": [0.665, 0.6411840319633484]}}, {"step": 5000, "fam": "dbpedia", "curve": {"0": [0.355, 2.148179531097412], "5": [0.585, 1.378219485282898], "10": [0.68, 1.0227428674697876], "20": [0.87, 0.4382198750972748], "40": [0.945, 0.20549844205379486]}}, {"step": 5000, "fam": "offensive", "curve": {"0": [0.575, 0.9428966045379639], "5": [0.675, 0.7043898701667786], "10": [0.635, 0.6242003440856934], "20": [0.695, 0.5720301270484924], "40": [0.715, 0.5336439609527588]}}, {"step": 6000, "fam": "cola", "curve": {"0": [0.395, 1.3663846254348755], "5": [0.625, 0.6492061018943787], "10": [0.665, 0.6497192978858948], "20": [0.665, 0.6383249759674072], "40": [0.665, 0.6384083032608032]}}, {"step": 6000, "fam": "dbpedia", "curve": {"0": [0.355, 2.106869697570801], "5": [0.435, 1.3792909383773804], "10": [0.695, 1.0408819913864136], "20": [0.895, 0.3912413418292999], "40": [0.94, 0.190094992518425]}}, {"step": 6000, "fam": "offensive", "curve": {"0": [0.555, 0.9884564280509949], "5": [0.65, 0.7950121164321899], "10": [0.66, 0.5845534801483154], "20": [0.695, 0.9688383340835571], "40": [0.77, 0.5907872319221497]}}]}