amirali1985 commited on
Commit
0af6615
·
verified ·
1 Parent(s): cbf1406

Upload add_sub_baseline_100K_1L3H510d

Browse files
add_sub_baseline_100K_1L3H510d/metrics.json CHANGED
@@ -628,1258 +628,1258 @@
628
  31250
629
  ],
630
  "loss": [
631
- 11.11839485168457,
632
- 8.427899360656738,
633
- 7.3609619140625,
634
- 6.3486714363098145,
635
- 5.370408058166504,
636
- 4.064177513122559,
637
- 2.7810885906219482,
638
- 2.203144073486328,
639
- 1.938811182975769,
640
- 1.7986756563186646,
641
- 1.8317644596099854,
642
- 1.7851682901382446,
643
- 1.830399513244629,
644
- 1.7385815382003784,
645
- 1.7417068481445312,
646
- 1.6712934970855713,
647
- 1.563137412071228,
648
- 1.5382615327835083,
649
- 1.0587735176086426,
650
- 0.8200250267982483,
651
- 0.7077030539512634,
652
- 0.7356970906257629,
653
- 0.669031023979187,
654
- 0.5903364419937134,
655
- 0.5726936459541321,
656
- 0.5206965804100037,
657
- 0.5257585644721985,
658
- 0.4861264228820801,
659
- 0.442385196685791,
660
- 0.4409855902194977,
661
- 0.3833262026309967,
662
- 0.41776010394096375,
663
- 0.3576296269893646,
664
- 0.38591718673706055,
665
- 0.4135063588619232,
666
- 0.4236660599708557,
667
- 0.35100439190864563,
668
- 0.35317856073379517,
669
- 0.32544389367103577,
670
- 0.3349545896053314,
671
- 0.33926287293434143,
672
- 0.3373553454875946,
673
- 0.33083099126815796,
674
- 0.3179628551006317,
675
- 0.30300864577293396,
676
- 0.333486407995224,
677
- 0.285031259059906,
678
- 0.3206850588321686,
679
- 0.2639090418815613,
680
- 0.28189516067504883,
681
- 0.2512745261192322,
682
- 0.30431315302848816,
683
- 0.26925262808799744,
684
- 0.2896355986595154,
685
- 0.2517419457435608,
686
- 0.28490427136421204,
687
- 0.275421679019928,
688
- 0.25181880593299866,
689
- 0.2533263862133026,
690
- 0.26654407382011414,
691
- 0.2266596406698227,
692
- 0.27154502272605896,
693
- 0.24291622638702393,
694
- 0.23381970822811127,
695
- 0.22817371785640717,
696
- 0.24117441475391388,
697
- 0.23780396580696106,
698
- 0.24401094019412994,
699
- 0.23109449446201324,
700
- 0.2333870679140091,
701
- 0.21604947745800018,
702
- 0.22494205832481384,
703
- 0.21946002542972565,
704
- 0.2321300506591797,
705
- 0.21586525440216064,
706
- 0.24475157260894775,
707
- 0.1975216567516327,
708
- 0.23032045364379883,
709
- 0.2225230485200882,
710
- 0.22199657559394836,
711
- 0.1950422078371048,
712
- 0.22875811159610748,
713
- 0.24403047561645508,
714
- 0.1683025062084198,
715
- 0.19112782180309296,
716
- 0.21168626844882965,
717
- 0.20582520961761475,
718
- 0.20434702932834625,
719
- 0.22370505332946777,
720
- 0.21926246583461761,
721
- 0.18500030040740967,
722
- 0.19130638241767883,
723
- 0.20962247252464294,
724
- 0.22062669694423676,
725
- 0.1926611214876175,
726
- 0.18191400170326233,
727
- 0.17787034809589386,
728
- 0.18801410496234894,
729
- 0.2065604031085968,
730
- 0.17396791279315948,
731
- 0.20978224277496338,
732
- 0.20058710873126984,
733
- 0.17121507227420807,
734
- 0.18394412100315094,
735
- 0.21932673454284668,
736
- 0.2162604033946991,
737
- 0.17438837885856628,
738
- 0.21117067337036133,
739
- 0.19871677458286285,
740
- 0.19675780832767487,
741
- 0.19261322915554047,
742
- 0.1711684614419937,
743
- 0.2002096176147461,
744
- 0.21733151376247406,
745
- 0.23311182856559753,
746
- 0.15672942996025085,
747
- 0.1753198355436325,
748
- 0.20431290566921234,
749
- 0.18934519588947296,
750
- 0.17075040936470032,
751
- 0.18396207690238953,
752
- 0.21364782750606537,
753
- 0.16966114938259125,
754
- 0.18462447822093964,
755
- 0.17600472271442413,
756
- 0.17803946137428284,
757
- 0.16771481931209564,
758
- 0.17037060856819153,
759
- 0.15138041973114014,
760
- 0.17943379282951355,
761
- 0.18826565146446228,
762
- 0.2159442901611328,
763
- 0.17263557016849518,
764
- 0.17266519367694855,
765
- 0.19268952310085297,
766
- 0.13150666654109955,
767
- 0.14091412723064423,
768
- 0.14307069778442383,
769
- 0.19396580755710602,
770
- 0.1939288228750229,
771
- 0.19082534313201904,
772
- 0.16703955829143524,
773
- 0.15782935917377472,
774
- 0.15842249989509583,
775
- 0.15540781617164612,
776
- 0.1560518890619278,
777
- 0.1448713093996048,
778
- 0.13244830071926117,
779
- 0.1815178394317627,
780
- 0.1642584651708603,
781
- 0.11491391807794571,
782
- 0.16315270960330963,
783
- 0.16612336039543152,
784
- 0.13353869318962097,
785
- 0.15885217487812042,
786
- 0.20010896027088165,
787
- 0.1344585418701172,
788
- 0.1728297621011734,
789
- 0.15062658488750458,
790
- 0.16975240409374237,
791
- 0.1699458211660385,
792
- 0.1345306932926178,
793
- 0.12010394036769867,
794
- 0.18835900723934174,
795
- 0.13736788928508759,
796
- 0.12282729148864746,
797
- 0.1853708177804947,
798
- 0.12010281533002853,
799
- 0.170367032289505,
800
- 0.1195630431175232,
801
- 0.1477157026529312,
802
- 0.16146107017993927,
803
- 0.14265617728233337,
804
- 0.13030704855918884,
805
- 0.17682108283042908,
806
- 0.16616548597812653,
807
- 0.17226313054561615,
808
- 0.14353367686271667,
809
- 0.17929385602474213,
810
- 0.16393551230430603,
811
- 0.14753754436969757,
812
- 0.14634190499782562,
813
- 0.14995820820331573,
814
- 0.1413031369447708,
815
- 0.136525496840477,
816
- 0.14932869374752045,
817
- 0.10187908262014389,
818
- 0.16394464671611786,
819
- 0.14770320057868958,
820
- 0.14901958405971527,
821
- 0.14660128951072693,
822
- 0.15910287201404572,
823
- 0.14143016934394836,
824
- 0.130326509475708,
825
- 0.17771951854228973,
826
- 0.15079434216022491,
827
- 0.1526353657245636,
828
- 0.1543220728635788,
829
- 0.13387620449066162,
830
- 0.1525963991880417,
831
- 0.13278651237487793,
832
- 0.12807810306549072,
833
- 0.1753796488046646,
834
- 0.10525552183389664,
835
- 0.1487816423177719,
836
- 0.12381751090288162,
837
- 0.16573919355869293,
838
- 0.13450756669044495,
839
- 0.15395012497901917,
840
- 0.163227841258049,
841
- 0.13131913542747498,
842
- 0.13670338690280914,
843
- 0.1307661086320877,
844
- 0.14023582637310028,
845
- 0.15979883074760437,
846
- 0.12731096148490906,
847
- 0.16746000945568085,
848
- 0.16297133266925812,
849
- 0.16579702496528625,
850
- 0.15522387623786926,
851
- 0.12392506748437881,
852
- 0.14057552814483643,
853
- 0.12573173642158508,
854
- 0.14599908888339996,
855
- 0.12626484036445618,
856
- 0.12254782021045685,
857
- 0.11165966093540192,
858
- 0.1770133674144745,
859
- 0.14823968708515167,
860
- 0.12432437390089035,
861
- 0.13327547907829285,
862
- 0.1384315937757492,
863
- 0.12406797707080841,
864
- 0.09383853524923325,
865
- 0.1881585419178009,
866
- 0.11954324692487717,
867
- 0.11237885057926178,
868
- 0.1364464908838272,
869
- 0.10580755770206451,
870
- 0.16531841456890106,
871
- 0.14151829481124878,
872
- 0.14777210354804993,
873
- 0.12111924588680267,
874
- 0.12624536454677582,
875
- 0.09414606541395187,
876
- 0.10262937843799591,
877
- 0.12891702353954315,
878
- 0.1270475685596466,
879
- 0.15484444797039032,
880
- 0.12183304131031036,
881
- 0.12353265285491943,
882
- 0.10166377574205399,
883
- 0.08927492052316666,
884
- 0.11651192605495453,
885
- 0.1296154111623764,
886
- 0.12136626243591309,
887
- 0.1635747104883194,
888
- 0.14931030571460724,
889
- 0.1330423206090927,
890
- 0.10185150057077408,
891
- 0.20662260055541992,
892
- 0.11988593637943268,
893
- 0.11353806406259537,
894
- 0.11414486914873123,
895
- 0.14746257662773132,
896
- 0.12753920257091522,
897
- 0.1913340836763382,
898
- 0.12991707026958466,
899
- 0.14808300137519836,
900
- 0.15054908394813538,
901
- 0.11672741919755936,
902
- 0.14330394566059113,
903
- 0.11079569160938263,
904
- 0.07750505954027176,
905
- 0.13999256491661072,
906
- 0.12903115153312683,
907
- 0.11561668664216995,
908
- 0.1531512439250946,
909
- 0.15478457510471344,
910
- 0.11855246871709824,
911
- 0.11016152799129486,
912
- 0.13827255368232727,
913
- 0.1039164736866951,
914
- 0.1185794249176979,
915
- 0.08655215054750443,
916
- 0.1289532333612442,
917
- 0.11232715845108032,
918
- 0.11755335330963135,
919
- 0.11992810666561127,
920
- 0.11317633092403412,
921
- 0.10527653247117996,
922
- 0.11413371562957764,
923
- 0.12372387945652008,
924
- 0.11626853793859482,
925
- 0.10755721479654312,
926
- 0.1089910939335823,
927
- 0.10732517391443253,
928
- 0.10651059448719025,
929
- 0.13541552424430847,
930
- 0.138026162981987,
931
- 0.12414733320474625,
932
- 0.13927140831947327,
933
- 0.09598711878061295,
934
- 0.10802777856588364,
935
- 0.06764481961727142,
936
- 0.14702041447162628,
937
- 0.11680416017770767,
938
- 0.1153763011097908,
939
- 0.11906731128692627,
940
- 0.15841317176818848,
941
- 0.14450739324092865,
942
- 0.11912249028682709,
943
- 0.11991620063781738,
944
- 0.10092263668775558,
945
- 0.09929629415273666,
946
- 0.0945621058344841,
947
- 0.11213210970163345,
948
- 0.1301761120557785,
949
- 0.09814659506082535,
950
- 0.09697797149419785,
951
- 0.122862808406353,
952
- 0.14476646482944489,
953
- 0.09527849406003952,
954
- 0.11331748962402344,
955
- 0.08847669512033463,
956
- 0.11298049986362457,
957
- 0.08669564872980118,
958
- 0.13130511343479156,
959
- 0.09352321177721024,
960
- 0.123230941593647,
961
- 0.12363738566637039,
962
- 0.11093420535326004,
963
- 0.14478294551372528,
964
- 0.10166876763105392,
965
- 0.07822608202695847,
966
- 0.10786684602499008,
967
- 0.09735528379678726,
968
- 0.12373202294111252,
969
- 0.10842998325824738,
970
- 0.10493884235620499,
971
- 0.10442628711462021,
972
- 0.09708620607852936,
973
- 0.1040225401520729,
974
- 0.09668703377246857,
975
- 0.09623779356479645,
976
- 0.10244948416948318,
977
- 0.10899058729410172,
978
- 0.09232781827449799,
979
- 0.10820984840393066,
980
- 0.1192467212677002,
981
- 0.10579199343919754,
982
- 0.07681405544281006,
983
- 0.10313224792480469,
984
- 0.13998183608055115,
985
- 0.11230035126209259,
986
- 0.07671727240085602,
987
- 0.0935431569814682,
988
- 0.12284693866968155,
989
- 0.09869052469730377,
990
- 0.09566954523324966,
991
- 0.10176495462656021,
992
- 0.10613690316677094,
993
- 0.12968355417251587,
994
- 0.09777873754501343,
995
- 0.1130794957280159,
996
- 0.07686828076839447,
997
- 0.0782780647277832,
998
- 0.13162989914417267,
999
- 0.10809522122144699,
1000
- 0.0849657878279686,
1001
- 0.10303274542093277,
1002
- 0.10012535750865936,
1003
- 0.11796767264604568,
1004
- 0.0975603312253952,
1005
- 0.1018039733171463,
1006
- 0.09352432936429977,
1007
- 0.09059594571590424,
1008
- 0.10475004464387894,
1009
- 0.08261875063180923,
1010
- 0.08569001406431198,
1011
- 0.10027758032083511,
1012
- 0.08359180390834808,
1013
- 0.08425730466842651,
1014
- 0.08400171250104904,
1015
- 0.0842469111084938,
1016
- 0.08376246690750122,
1017
- 0.12127678096294403,
1018
- 0.1251751035451889,
1019
- 0.08786726742982864,
1020
- 0.08203081041574478,
1021
- 0.07925541698932648,
1022
- 0.09982544928789139,
1023
- 0.09115184843540192,
1024
- 0.09123118966817856,
1025
- 0.07952970266342163,
1026
- 0.10561059415340424,
1027
- 0.07821355015039444,
1028
- 0.09571800380945206,
1029
- 0.08591445535421371,
1030
- 0.1194542646408081,
1031
- 0.09572561830282211,
1032
- 0.0921972468495369,
1033
- 0.11618965864181519,
1034
- 0.09649308770895004,
1035
- 0.06739050149917603,
1036
- 0.09669642150402069,
1037
- 0.07912664860486984,
1038
- 0.09455006569623947,
1039
- 0.1078418493270874,
1040
- 0.06198416277766228,
1041
- 0.07588369399309158,
1042
- 0.10690562427043915,
1043
- 0.08771923929452896,
1044
- 0.11090559512376785,
1045
- 0.09272085130214691,
1046
- 0.07950185239315033,
1047
- 0.11086691915988922,
1048
- 0.08567040413618088,
1049
- 0.08270273357629776,
1050
- 0.06919898837804794,
1051
- 0.10045652091503143,
1052
- 0.09465275704860687,
1053
- 0.08883488178253174,
1054
- 0.08056485652923584,
1055
- 0.09579592943191528,
1056
- 0.09177643805742264,
1057
- 0.11239234358072281,
1058
- 0.12302853912115097,
1059
- 0.11172062903642654,
1060
- 0.09303667396306992,
1061
- 0.10139115899801254,
1062
- 0.10838066041469574,
1063
- 0.09139267355203629,
1064
- 0.08583707362413406,
1065
- 0.11474335193634033,
1066
- 0.10116682946681976,
1067
- 0.12238247692584991,
1068
- 0.10897594690322876,
1069
- 0.0946248397231102,
1070
- 0.10107459127902985,
1071
- 0.09430807083845139,
1072
- 0.09848791360855103,
1073
- 0.09124529361724854,
1074
- 0.08409728854894638,
1075
- 0.10711131244897842,
1076
- 0.08580536395311356,
1077
- 0.07766670733690262,
1078
- 0.08948896825313568,
1079
- 0.057524424046278,
1080
- 0.08213011920452118,
1081
- 0.07698078453540802,
1082
- 0.09302236139774323,
1083
- 0.07465190440416336,
1084
- 0.06462670862674713,
1085
- 0.10510656982660294,
1086
- 0.10562115162611008,
1087
- 0.07882259786128998,
1088
- 0.09251639991998672,
1089
- 0.07212359458208084,
1090
- 0.0694994404911995,
1091
- 0.09874655306339264,
1092
- 0.10269371420145035,
1093
- 0.09652930498123169,
1094
- 0.058979637920856476,
1095
- 0.06922821700572968,
1096
- 0.07448006421327591,
1097
- 0.07682029157876968,
1098
- 0.06438625603914261,
1099
- 0.07695455104112625,
1100
- 0.10170768201351166,
1101
- 0.0708334669470787,
1102
- 0.08012665808200836,
1103
- 0.05565420910716057,
1104
- 0.08934511244297028,
1105
- 0.0771021693944931,
1106
- 0.09114611148834229,
1107
- 0.08519017696380615,
1108
- 0.08105063438415527,
1109
- 0.0647086352109909,
1110
- 0.06795068085193634,
1111
- 0.08694565296173096,
1112
- 0.06326678395271301,
1113
- 0.09815574437379837,
1114
- 0.053682077676057816,
1115
- 0.05962565168738365,
1116
- 0.06923038512468338,
1117
- 0.10437844693660736,
1118
- 0.07308030128479004,
1119
- 0.0728122740983963,
1120
- 0.07287715375423431,
1121
- 0.056610219180583954,
1122
- 0.0543728806078434,
1123
- 0.08392190933227539,
1124
- 0.0863489955663681,
1125
- 0.06526612490415573,
1126
- 0.13077107071876526,
1127
- 0.07238368690013885,
1128
- 0.11034343391656876,
1129
- 0.08116918802261353,
1130
- 0.07658930122852325,
1131
- 0.053448598831892014,
1132
- 0.09710860252380371,
1133
- 0.08278708904981613,
1134
- 0.07704998552799225,
1135
- 0.07058905065059662,
1136
- 0.06871799379587173,
1137
- 0.0682482123374939,
1138
- 0.10479012876749039,
1139
- 0.06710556894540787,
1140
- 0.06945259869098663,
1141
- 0.06159816309809685,
1142
- 0.06959687173366547,
1143
- 0.0636778175830841,
1144
- 0.08984892815351486,
1145
- 0.08033660799264908,
1146
- 0.0588507242500782,
1147
- 0.07642599195241928,
1148
- 0.06317326426506042,
1149
- 0.0779118537902832,
1150
- 0.07408265024423599,
1151
- 0.09854310750961304,
1152
- 0.06201625242829323,
1153
- 0.09645771980285645,
1154
- 0.07215417921543121,
1155
- 0.07202819734811783,
1156
- 0.06814408302307129,
1157
- 0.08218542486429214,
1158
- 0.08503732830286026,
1159
- 0.0782889723777771,
1160
- 0.04913833364844322,
1161
- 0.07116540521383286,
1162
- 0.08914339542388916,
1163
- 0.07736246287822723,
1164
- 0.08289395272731781,
1165
- 0.06793908029794693,
1166
- 0.0800367146730423,
1167
- 0.07377763837575912,
1168
- 0.06527978926897049,
1169
- 0.07511867582798004,
1170
- 0.057539038360118866,
1171
- 0.06997139751911163,
1172
- 0.0881662517786026,
1173
- 0.0833011195063591,
1174
- 0.07591407001018524,
1175
- 0.06816934794187546,
1176
- 0.10670076310634613,
1177
- 0.07318811863660812,
1178
- 0.08513517677783966,
1179
- 0.06959819048643112,
1180
- 0.06844763457775116,
1181
- 0.07053332030773163,
1182
- 0.08955152332782745,
1183
- 0.0800524353981018,
1184
- 0.05782897397875786,
1185
- 0.060458507388830185,
1186
- 0.06051924079656601,
1187
- 0.06324134767055511,
1188
- 0.07114838063716888,
1189
- 0.05966997146606445,
1190
- 0.0789886936545372,
1191
- 0.07344167679548264,
1192
- 0.09486573189496994,
1193
- 0.064768485724926,
1194
- 0.08531016111373901,
1195
- 0.06974776089191437,
1196
- 0.07851357012987137,
1197
- 0.055563006550073624,
1198
- 0.06055019423365593,
1199
- 0.07606963068246841,
1200
- 0.07385028898715973,
1201
- 0.09648045152425766,
1202
- 0.07987526804208755,
1203
- 0.08854993432760239,
1204
- 0.07591957598924637,
1205
- 0.07527006417512894,
1206
- 0.07304731756448746,
1207
- 0.08701769262552261,
1208
- 0.08507640659809113,
1209
- 0.06734068691730499,
1210
- 0.0824839398264885,
1211
- 0.06970707327127457,
1212
- 0.07704229652881622,
1213
- 0.07738129049539566,
1214
- 0.06127241626381874,
1215
- 0.06993509829044342,
1216
- 0.06369546055793762,
1217
- 0.0766243189573288,
1218
- 0.06501089781522751,
1219
- 0.05915752798318863,
1220
- 0.07829903811216354,
1221
- 0.05641719698905945,
1222
- 0.06826917082071304,
1223
- 0.07974452525377274,
1224
- 0.06165793910622597,
1225
- 0.07014770060777664,
1226
- 0.06882403045892715,
1227
- 0.06320320069789886,
1228
- 0.08635727316141129,
1229
- 0.05766703560948372,
1230
- 0.053034212440252304,
1231
- 0.07090716809034348,
1232
- 0.07239321619272232,
1233
- 0.06606772541999817,
1234
- 0.059827882796525955,
1235
- 0.0664973258972168,
1236
- 0.0839274600148201,
1237
- 0.07866710424423218,
1238
- 0.07551271468400955,
1239
- 0.05110612511634827,
1240
- 0.07223961502313614,
1241
- 0.09561561793088913,
1242
- 0.0969788208603859,
1243
- 0.07044398039579391,
1244
- 0.06691621243953705,
1245
- 0.06560993194580078,
1246
- 0.08346851915121078,
1247
- 0.06305930763483047,
1248
- 0.07659149169921875,
1249
- 0.0708693414926529,
1250
- 0.07207666337490082,
1251
- 0.06612886488437653,
1252
- 0.0861857607960701,
1253
- 0.06334204971790314,
1254
- 0.06157670542597771,
1255
- 0.07144534587860107
1256
  ],
1257
  "base_loss": [
1258
- 11.11839485168457,
1259
- 8.427899360656738,
1260
- 7.3609619140625,
1261
- 6.3486714363098145,
1262
- 5.370408058166504,
1263
- 4.064177513122559,
1264
- 2.7810885906219482,
1265
- 2.203144073486328,
1266
- 1.938811182975769,
1267
- 1.7986756563186646,
1268
- 1.8317644596099854,
1269
- 1.7851682901382446,
1270
- 1.830399513244629,
1271
- 1.7385815382003784,
1272
- 1.7417068481445312,
1273
- 1.6712934970855713,
1274
- 1.563137412071228,
1275
- 1.5382615327835083,
1276
- 1.0587735176086426,
1277
- 0.8200250267982483,
1278
- 0.7077030539512634,
1279
- 0.7356970906257629,
1280
- 0.669031023979187,
1281
- 0.5903364419937134,
1282
- 0.5726936459541321,
1283
- 0.5206965804100037,
1284
- 0.5257585644721985,
1285
- 0.4861264228820801,
1286
- 0.442385196685791,
1287
- 0.4409855902194977,
1288
- 0.3833262026309967,
1289
- 0.41776010394096375,
1290
- 0.3576296269893646,
1291
- 0.38591718673706055,
1292
- 0.4135063588619232,
1293
- 0.4236660599708557,
1294
- 0.35100439190864563,
1295
- 0.35317856073379517,
1296
- 0.32544389367103577,
1297
- 0.3349545896053314,
1298
- 0.33926287293434143,
1299
- 0.3373553454875946,
1300
- 0.33083099126815796,
1301
- 0.3179628551006317,
1302
- 0.30300864577293396,
1303
- 0.333486407995224,
1304
- 0.285031259059906,
1305
- 0.3206850588321686,
1306
- 0.2639090418815613,
1307
- 0.28189516067504883,
1308
- 0.2512745261192322,
1309
- 0.30431315302848816,
1310
- 0.26925262808799744,
1311
- 0.2896355986595154,
1312
- 0.2517419457435608,
1313
- 0.28490427136421204,
1314
- 0.275421679019928,
1315
- 0.25181880593299866,
1316
- 0.2533263862133026,
1317
- 0.26654407382011414,
1318
- 0.2266596406698227,
1319
- 0.27154502272605896,
1320
- 0.24291622638702393,
1321
- 0.23381970822811127,
1322
- 0.22817371785640717,
1323
- 0.24117441475391388,
1324
- 0.23780396580696106,
1325
- 0.24401094019412994,
1326
- 0.23109449446201324,
1327
- 0.2333870679140091,
1328
- 0.21604947745800018,
1329
- 0.22494205832481384,
1330
- 0.21946002542972565,
1331
- 0.2321300506591797,
1332
- 0.21586525440216064,
1333
- 0.24475157260894775,
1334
- 0.1975216567516327,
1335
- 0.23032045364379883,
1336
- 0.2225230485200882,
1337
- 0.22199657559394836,
1338
- 0.1950422078371048,
1339
- 0.22875811159610748,
1340
- 0.24403047561645508,
1341
- 0.1683025062084198,
1342
- 0.19112782180309296,
1343
- 0.21168626844882965,
1344
- 0.20582520961761475,
1345
- 0.20434702932834625,
1346
- 0.22370505332946777,
1347
- 0.21926246583461761,
1348
- 0.18500030040740967,
1349
- 0.19130638241767883,
1350
- 0.20962247252464294,
1351
- 0.22062669694423676,
1352
- 0.1926611214876175,
1353
- 0.18191400170326233,
1354
- 0.17787034809589386,
1355
- 0.18801410496234894,
1356
- 0.2065604031085968,
1357
- 0.17396791279315948,
1358
- 0.20978224277496338,
1359
- 0.20058710873126984,
1360
- 0.17121507227420807,
1361
- 0.18394412100315094,
1362
- 0.21932673454284668,
1363
- 0.2162604033946991,
1364
- 0.17438837885856628,
1365
- 0.21117067337036133,
1366
- 0.19871677458286285,
1367
- 0.19675780832767487,
1368
- 0.19261322915554047,
1369
- 0.1711684614419937,
1370
- 0.2002096176147461,
1371
- 0.21733151376247406,
1372
- 0.23311182856559753,
1373
- 0.15672942996025085,
1374
- 0.1753198355436325,
1375
- 0.20431290566921234,
1376
- 0.18934519588947296,
1377
- 0.17075040936470032,
1378
- 0.18396207690238953,
1379
- 0.21364782750606537,
1380
- 0.16966114938259125,
1381
- 0.18462447822093964,
1382
- 0.17600472271442413,
1383
- 0.17803946137428284,
1384
- 0.16771481931209564,
1385
- 0.17037060856819153,
1386
- 0.15138041973114014,
1387
- 0.17943379282951355,
1388
- 0.18826565146446228,
1389
- 0.2159442901611328,
1390
- 0.17263557016849518,
1391
- 0.17266519367694855,
1392
- 0.19268952310085297,
1393
- 0.13150666654109955,
1394
- 0.14091412723064423,
1395
- 0.14307069778442383,
1396
- 0.19396580755710602,
1397
- 0.1939288228750229,
1398
- 0.19082534313201904,
1399
- 0.16703955829143524,
1400
- 0.15782935917377472,
1401
- 0.15842249989509583,
1402
- 0.15540781617164612,
1403
- 0.1560518890619278,
1404
- 0.1448713093996048,
1405
- 0.13244830071926117,
1406
- 0.1815178394317627,
1407
- 0.1642584651708603,
1408
- 0.11491391807794571,
1409
- 0.16315270960330963,
1410
- 0.16612336039543152,
1411
- 0.13353869318962097,
1412
- 0.15885217487812042,
1413
- 0.20010896027088165,
1414
- 0.1344585418701172,
1415
- 0.1728297621011734,
1416
- 0.15062658488750458,
1417
- 0.16975240409374237,
1418
- 0.1699458211660385,
1419
- 0.1345306932926178,
1420
- 0.12010394036769867,
1421
- 0.18835900723934174,
1422
- 0.13736788928508759,
1423
- 0.12282729148864746,
1424
- 0.1853708177804947,
1425
- 0.12010281533002853,
1426
- 0.170367032289505,
1427
- 0.1195630431175232,
1428
- 0.1477157026529312,
1429
- 0.16146107017993927,
1430
- 0.14265617728233337,
1431
- 0.13030704855918884,
1432
- 0.17682108283042908,
1433
- 0.16616548597812653,
1434
- 0.17226313054561615,
1435
- 0.14353367686271667,
1436
- 0.17929385602474213,
1437
- 0.16393551230430603,
1438
- 0.14753754436969757,
1439
- 0.14634190499782562,
1440
- 0.14995820820331573,
1441
- 0.1413031369447708,
1442
- 0.136525496840477,
1443
- 0.14932869374752045,
1444
- 0.10187908262014389,
1445
- 0.16394464671611786,
1446
- 0.14770320057868958,
1447
- 0.14901958405971527,
1448
- 0.14660128951072693,
1449
- 0.15910287201404572,
1450
- 0.14143016934394836,
1451
- 0.130326509475708,
1452
- 0.17771951854228973,
1453
- 0.15079434216022491,
1454
- 0.1526353657245636,
1455
- 0.1543220728635788,
1456
- 0.13387620449066162,
1457
- 0.1525963991880417,
1458
- 0.13278651237487793,
1459
- 0.12807810306549072,
1460
- 0.1753796488046646,
1461
- 0.10525552183389664,
1462
- 0.1487816423177719,
1463
- 0.12381751090288162,
1464
- 0.16573919355869293,
1465
- 0.13450756669044495,
1466
- 0.15395012497901917,
1467
- 0.163227841258049,
1468
- 0.13131913542747498,
1469
- 0.13670338690280914,
1470
- 0.1307661086320877,
1471
- 0.14023582637310028,
1472
- 0.15979883074760437,
1473
- 0.12731096148490906,
1474
- 0.16746000945568085,
1475
- 0.16297133266925812,
1476
- 0.16579702496528625,
1477
- 0.15522387623786926,
1478
- 0.12392506748437881,
1479
- 0.14057552814483643,
1480
- 0.12573173642158508,
1481
- 0.14599908888339996,
1482
- 0.12626484036445618,
1483
- 0.12254782021045685,
1484
- 0.11165966093540192,
1485
- 0.1770133674144745,
1486
- 0.14823968708515167,
1487
- 0.12432437390089035,
1488
- 0.13327547907829285,
1489
- 0.1384315937757492,
1490
- 0.12406797707080841,
1491
- 0.09383853524923325,
1492
- 0.1881585419178009,
1493
- 0.11954324692487717,
1494
- 0.11237885057926178,
1495
- 0.1364464908838272,
1496
- 0.10580755770206451,
1497
- 0.16531841456890106,
1498
- 0.14151829481124878,
1499
- 0.14777210354804993,
1500
- 0.12111924588680267,
1501
- 0.12624536454677582,
1502
- 0.09414606541395187,
1503
- 0.10262937843799591,
1504
- 0.12891702353954315,
1505
- 0.1270475685596466,
1506
- 0.15484444797039032,
1507
- 0.12183304131031036,
1508
- 0.12353265285491943,
1509
- 0.10166377574205399,
1510
- 0.08927492052316666,
1511
- 0.11651192605495453,
1512
- 0.1296154111623764,
1513
- 0.12136626243591309,
1514
- 0.1635747104883194,
1515
- 0.14931030571460724,
1516
- 0.1330423206090927,
1517
- 0.10185150057077408,
1518
- 0.20662260055541992,
1519
- 0.11988593637943268,
1520
- 0.11353806406259537,
1521
- 0.11414486914873123,
1522
- 0.14746257662773132,
1523
- 0.12753920257091522,
1524
- 0.1913340836763382,
1525
- 0.12991707026958466,
1526
- 0.14808300137519836,
1527
- 0.15054908394813538,
1528
- 0.11672741919755936,
1529
- 0.14330394566059113,
1530
- 0.11079569160938263,
1531
- 0.07750505954027176,
1532
- 0.13999256491661072,
1533
- 0.12903115153312683,
1534
- 0.11561668664216995,
1535
- 0.1531512439250946,
1536
- 0.15478457510471344,
1537
- 0.11855246871709824,
1538
- 0.11016152799129486,
1539
- 0.13827255368232727,
1540
- 0.1039164736866951,
1541
- 0.1185794249176979,
1542
- 0.08655215054750443,
1543
- 0.1289532333612442,
1544
- 0.11232715845108032,
1545
- 0.11755335330963135,
1546
- 0.11992810666561127,
1547
- 0.11317633092403412,
1548
- 0.10527653247117996,
1549
- 0.11413371562957764,
1550
- 0.12372387945652008,
1551
- 0.11626853793859482,
1552
- 0.10755721479654312,
1553
- 0.1089910939335823,
1554
- 0.10732517391443253,
1555
- 0.10651059448719025,
1556
- 0.13541552424430847,
1557
- 0.138026162981987,
1558
- 0.12414733320474625,
1559
- 0.13927140831947327,
1560
- 0.09598711878061295,
1561
- 0.10802777856588364,
1562
- 0.06764481961727142,
1563
- 0.14702041447162628,
1564
- 0.11680416017770767,
1565
- 0.1153763011097908,
1566
- 0.11906731128692627,
1567
- 0.15841317176818848,
1568
- 0.14450739324092865,
1569
- 0.11912249028682709,
1570
- 0.11991620063781738,
1571
- 0.10092263668775558,
1572
- 0.09929629415273666,
1573
- 0.0945621058344841,
1574
- 0.11213210970163345,
1575
- 0.1301761120557785,
1576
- 0.09814659506082535,
1577
- 0.09697797149419785,
1578
- 0.122862808406353,
1579
- 0.14476646482944489,
1580
- 0.09527849406003952,
1581
- 0.11331748962402344,
1582
- 0.08847669512033463,
1583
- 0.11298049986362457,
1584
- 0.08669564872980118,
1585
- 0.13130511343479156,
1586
- 0.09352321177721024,
1587
- 0.123230941593647,
1588
- 0.12363738566637039,
1589
- 0.11093420535326004,
1590
- 0.14478294551372528,
1591
- 0.10166876763105392,
1592
- 0.07822608202695847,
1593
- 0.10786684602499008,
1594
- 0.09735528379678726,
1595
- 0.12373202294111252,
1596
- 0.10842998325824738,
1597
- 0.10493884235620499,
1598
- 0.10442628711462021,
1599
- 0.09708620607852936,
1600
- 0.1040225401520729,
1601
- 0.09668703377246857,
1602
- 0.09623779356479645,
1603
- 0.10244948416948318,
1604
- 0.10899058729410172,
1605
- 0.09232781827449799,
1606
- 0.10820984840393066,
1607
- 0.1192467212677002,
1608
- 0.10579199343919754,
1609
- 0.07681405544281006,
1610
- 0.10313224792480469,
1611
- 0.13998183608055115,
1612
- 0.11230035126209259,
1613
- 0.07671727240085602,
1614
- 0.0935431569814682,
1615
- 0.12284693866968155,
1616
- 0.09869052469730377,
1617
- 0.09566954523324966,
1618
- 0.10176495462656021,
1619
- 0.10613690316677094,
1620
- 0.12968355417251587,
1621
- 0.09777873754501343,
1622
- 0.1130794957280159,
1623
- 0.07686828076839447,
1624
- 0.0782780647277832,
1625
- 0.13162989914417267,
1626
- 0.10809522122144699,
1627
- 0.0849657878279686,
1628
- 0.10303274542093277,
1629
- 0.10012535750865936,
1630
- 0.11796767264604568,
1631
- 0.0975603312253952,
1632
- 0.1018039733171463,
1633
- 0.09352432936429977,
1634
- 0.09059594571590424,
1635
- 0.10475004464387894,
1636
- 0.08261875063180923,
1637
- 0.08569001406431198,
1638
- 0.10027758032083511,
1639
- 0.08359180390834808,
1640
- 0.08425730466842651,
1641
- 0.08400171250104904,
1642
- 0.0842469111084938,
1643
- 0.08376246690750122,
1644
- 0.12127678096294403,
1645
- 0.1251751035451889,
1646
- 0.08786726742982864,
1647
- 0.08203081041574478,
1648
- 0.07925541698932648,
1649
- 0.09982544928789139,
1650
- 0.09115184843540192,
1651
- 0.09123118966817856,
1652
- 0.07952970266342163,
1653
- 0.10561059415340424,
1654
- 0.07821355015039444,
1655
- 0.09571800380945206,
1656
- 0.08591445535421371,
1657
- 0.1194542646408081,
1658
- 0.09572561830282211,
1659
- 0.0921972468495369,
1660
- 0.11618965864181519,
1661
- 0.09649308770895004,
1662
- 0.06739050149917603,
1663
- 0.09669642150402069,
1664
- 0.07912664860486984,
1665
- 0.09455006569623947,
1666
- 0.1078418493270874,
1667
- 0.06198416277766228,
1668
- 0.07588369399309158,
1669
- 0.10690562427043915,
1670
- 0.08771923929452896,
1671
- 0.11090559512376785,
1672
- 0.09272085130214691,
1673
- 0.07950185239315033,
1674
- 0.11086691915988922,
1675
- 0.08567040413618088,
1676
- 0.08270273357629776,
1677
- 0.06919898837804794,
1678
- 0.10045652091503143,
1679
- 0.09465275704860687,
1680
- 0.08883488178253174,
1681
- 0.08056485652923584,
1682
- 0.09579592943191528,
1683
- 0.09177643805742264,
1684
- 0.11239234358072281,
1685
- 0.12302853912115097,
1686
- 0.11172062903642654,
1687
- 0.09303667396306992,
1688
- 0.10139115899801254,
1689
- 0.10838066041469574,
1690
- 0.09139267355203629,
1691
- 0.08583707362413406,
1692
- 0.11474335193634033,
1693
- 0.10116682946681976,
1694
- 0.12238247692584991,
1695
- 0.10897594690322876,
1696
- 0.0946248397231102,
1697
- 0.10107459127902985,
1698
- 0.09430807083845139,
1699
- 0.09848791360855103,
1700
- 0.09124529361724854,
1701
- 0.08409728854894638,
1702
- 0.10711131244897842,
1703
- 0.08580536395311356,
1704
- 0.07766670733690262,
1705
- 0.08948896825313568,
1706
- 0.057524424046278,
1707
- 0.08213011920452118,
1708
- 0.07698078453540802,
1709
- 0.09302236139774323,
1710
- 0.07465190440416336,
1711
- 0.06462670862674713,
1712
- 0.10510656982660294,
1713
- 0.10562115162611008,
1714
- 0.07882259786128998,
1715
- 0.09251639991998672,
1716
- 0.07212359458208084,
1717
- 0.0694994404911995,
1718
- 0.09874655306339264,
1719
- 0.10269371420145035,
1720
- 0.09652930498123169,
1721
- 0.058979637920856476,
1722
- 0.06922821700572968,
1723
- 0.07448006421327591,
1724
- 0.07682029157876968,
1725
- 0.06438625603914261,
1726
- 0.07695455104112625,
1727
- 0.10170768201351166,
1728
- 0.0708334669470787,
1729
- 0.08012665808200836,
1730
- 0.05565420910716057,
1731
- 0.08934511244297028,
1732
- 0.0771021693944931,
1733
- 0.09114611148834229,
1734
- 0.08519017696380615,
1735
- 0.08105063438415527,
1736
- 0.0647086352109909,
1737
- 0.06795068085193634,
1738
- 0.08694565296173096,
1739
- 0.06326678395271301,
1740
- 0.09815574437379837,
1741
- 0.053682077676057816,
1742
- 0.05962565168738365,
1743
- 0.06923038512468338,
1744
- 0.10437844693660736,
1745
- 0.07308030128479004,
1746
- 0.0728122740983963,
1747
- 0.07287715375423431,
1748
- 0.056610219180583954,
1749
- 0.0543728806078434,
1750
- 0.08392190933227539,
1751
- 0.0863489955663681,
1752
- 0.06526612490415573,
1753
- 0.13077107071876526,
1754
- 0.07238368690013885,
1755
- 0.11034343391656876,
1756
- 0.08116918802261353,
1757
- 0.07658930122852325,
1758
- 0.053448598831892014,
1759
- 0.09710860252380371,
1760
- 0.08278708904981613,
1761
- 0.07704998552799225,
1762
- 0.07058905065059662,
1763
- 0.06871799379587173,
1764
- 0.0682482123374939,
1765
- 0.10479012876749039,
1766
- 0.06710556894540787,
1767
- 0.06945259869098663,
1768
- 0.06159816309809685,
1769
- 0.06959687173366547,
1770
- 0.0636778175830841,
1771
- 0.08984892815351486,
1772
- 0.08033660799264908,
1773
- 0.0588507242500782,
1774
- 0.07642599195241928,
1775
- 0.06317326426506042,
1776
- 0.0779118537902832,
1777
- 0.07408265024423599,
1778
- 0.09854310750961304,
1779
- 0.06201625242829323,
1780
- 0.09645771980285645,
1781
- 0.07215417921543121,
1782
- 0.07202819734811783,
1783
- 0.06814408302307129,
1784
- 0.08218542486429214,
1785
- 0.08503732830286026,
1786
- 0.0782889723777771,
1787
- 0.04913833364844322,
1788
- 0.07116540521383286,
1789
- 0.08914339542388916,
1790
- 0.07736246287822723,
1791
- 0.08289395272731781,
1792
- 0.06793908029794693,
1793
- 0.0800367146730423,
1794
- 0.07377763837575912,
1795
- 0.06527978926897049,
1796
- 0.07511867582798004,
1797
- 0.057539038360118866,
1798
- 0.06997139751911163,
1799
- 0.0881662517786026,
1800
- 0.0833011195063591,
1801
- 0.07591407001018524,
1802
- 0.06816934794187546,
1803
- 0.10670076310634613,
1804
- 0.07318811863660812,
1805
- 0.08513517677783966,
1806
- 0.06959819048643112,
1807
- 0.06844763457775116,
1808
- 0.07053332030773163,
1809
- 0.08955152332782745,
1810
- 0.0800524353981018,
1811
- 0.05782897397875786,
1812
- 0.060458507388830185,
1813
- 0.06051924079656601,
1814
- 0.06324134767055511,
1815
- 0.07114838063716888,
1816
- 0.05966997146606445,
1817
- 0.0789886936545372,
1818
- 0.07344167679548264,
1819
- 0.09486573189496994,
1820
- 0.064768485724926,
1821
- 0.08531016111373901,
1822
- 0.06974776089191437,
1823
- 0.07851357012987137,
1824
- 0.055563006550073624,
1825
- 0.06055019423365593,
1826
- 0.07606963068246841,
1827
- 0.07385028898715973,
1828
- 0.09648045152425766,
1829
- 0.07987526804208755,
1830
- 0.08854993432760239,
1831
- 0.07591957598924637,
1832
- 0.07527006417512894,
1833
- 0.07304731756448746,
1834
- 0.08701769262552261,
1835
- 0.08507640659809113,
1836
- 0.06734068691730499,
1837
- 0.0824839398264885,
1838
- 0.06970707327127457,
1839
- 0.07704229652881622,
1840
- 0.07738129049539566,
1841
- 0.06127241626381874,
1842
- 0.06993509829044342,
1843
- 0.06369546055793762,
1844
- 0.0766243189573288,
1845
- 0.06501089781522751,
1846
- 0.05915752798318863,
1847
- 0.07829903811216354,
1848
- 0.05641719698905945,
1849
- 0.06826917082071304,
1850
- 0.07974452525377274,
1851
- 0.06165793910622597,
1852
- 0.07014770060777664,
1853
- 0.06882403045892715,
1854
- 0.06320320069789886,
1855
- 0.08635727316141129,
1856
- 0.05766703560948372,
1857
- 0.053034212440252304,
1858
- 0.07090716809034348,
1859
- 0.07239321619272232,
1860
- 0.06606772541999817,
1861
- 0.059827882796525955,
1862
- 0.0664973258972168,
1863
- 0.0839274600148201,
1864
- 0.07866710424423218,
1865
- 0.07551271468400955,
1866
- 0.05110612511634827,
1867
- 0.07223961502313614,
1868
- 0.09561561793088913,
1869
- 0.0969788208603859,
1870
- 0.07044398039579391,
1871
- 0.06691621243953705,
1872
- 0.06560993194580078,
1873
- 0.08346851915121078,
1874
- 0.06305930763483047,
1875
- 0.07659149169921875,
1876
- 0.0708693414926529,
1877
- 0.07207666337490082,
1878
- 0.06612886488437653,
1879
- 0.0861857607960701,
1880
- 0.06334204971790314,
1881
- 0.06157670542597771,
1882
- 0.07144534587860107
1883
  ],
1884
  "lr": [
1885
  4.183564567769478e-06,
@@ -2553,595 +2553,595 @@
2553
  20
2554
  ],
2555
  "eval_accuracy": [
2556
- 0.24555555555555555,
2557
- 0.3933333333333333,
2558
- 0.5277777777777778,
2559
- 0.5377777777777778,
2560
- 0.5866666666666667,
2561
- 0.5955555555555555,
2562
- 0.6344444444444445,
2563
- 0.6433333333333333,
2564
- 0.5855555555555556,
2565
- 0.6188888888888889,
2566
- 0.6622222222222223,
2567
- 0.6366666666666667,
2568
- 0.6744444444444444,
2569
- 0.7044444444444444,
2570
- 0.6722222222222223,
2571
- 0.6944444444444444,
2572
- 0.6866666666666666,
2573
- 0.6922222222222222,
2574
- 0.7111111111111111,
2575
- 0.7222222222222222
2576
  ]
2577
  },
2578
- "final_accuracy": 0.6070833333333333,
2579
  "sft_eval": {
2580
  "config": {
2581
  "ops": "add_sub",
2582
  "K": null,
2583
  "mode": "sft",
2584
  "n_digits": 6,
2585
- "n_per_split": 50
2586
  },
2587
  "splits": {
2588
  "add_S0": {
2589
- "full_accuracy": 0.98,
2590
- "digit_accuracy": 0.9971428571428571,
2591
- "n_examples": 50,
2592
  "per_subtask": {
2593
  "SA": {
2594
- "accuracy": 0.9966101694915255,
2595
- "count": 295
2596
  },
2597
  "SS": {
2598
  "accuracy": 1.0,
2599
- "count": 55
2600
  }
2601
  }
2602
  },
2603
  "add_S1": {
2604
  "full_accuracy": 0.94,
2605
  "digit_accuracy": 0.9914285714285714,
2606
- "n_examples": 50,
2607
  "per_subtask": {
2608
  "SA": {
2609
- "accuracy": 1.0,
2610
- "count": 126
2611
  },
2612
  "SC": {
2613
- "accuracy": 0.9746835443037974,
2614
- "count": 79
2615
  },
2616
  "SS": {
2617
  "accuracy": 1.0,
2618
- "count": 21
2619
  },
2620
  "UC": {
2621
- "accuracy": 0.9919354838709677,
2622
- "count": 124
2623
  }
2624
  }
2625
  },
2626
  "add_S2": {
2627
- "full_accuracy": 0.74,
2628
- "digit_accuracy": 0.9542857142857143,
2629
- "n_examples": 50,
2630
  "per_subtask": {
2631
  "SA": {
2632
- "accuracy": 0.9733333333333334,
2633
- "count": 75
2634
  },
2635
  "SC": {
2636
- "accuracy": 0.9838709677419355,
2637
- "count": 62
2638
  },
2639
  "SS": {
2640
- "accuracy": 0.9230769230769231,
2641
- "count": 39
2642
  },
2643
  "UC": {
2644
- "accuracy": 0.9099099099099099,
2645
- "count": 111
2646
  },
2647
  "US": {
2648
  "accuracy": 1.0,
2649
- "count": 63
2650
  }
2651
  }
2652
  },
2653
  "add_S3": {
2654
- "full_accuracy": 0.6,
2655
- "digit_accuracy": 0.9285714285714286,
2656
- "n_examples": 50,
2657
  "per_subtask": {
2658
  "SA": {
2659
  "accuracy": 1.0,
2660
- "count": 60
2661
  },
2662
  "SC": {
2663
- "accuracy": 1.0,
2664
- "count": 57
2665
  },
2666
  "SS": {
2667
  "accuracy": 1.0,
2668
- "count": 19
2669
  },
2670
  "UC": {
2671
- "accuracy": 0.8076923076923077,
2672
- "count": 104
2673
  },
2674
  "US": {
2675
- "accuracy": 0.9545454545454546,
2676
- "count": 110
2677
  }
2678
  }
2679
  },
2680
  "add_S4": {
2681
- "full_accuracy": 0.44,
2682
- "digit_accuracy": 0.8228571428571428,
2683
- "n_examples": 50,
2684
  "per_subtask": {
2685
  "SA": {
2686
  "accuracy": 1.0,
2687
- "count": 48
2688
  },
2689
  "SC": {
2690
  "accuracy": 1.0,
2691
- "count": 52
2692
  },
2693
  "SS": {
2694
  "accuracy": 1.0,
2695
- "count": 7
2696
  },
2697
  "UC": {
2698
- "accuracy": 0.7415730337078652,
2699
- "count": 89
2700
  },
2701
  "US": {
2702
- "accuracy": 0.7467532467532467,
2703
- "count": 154
2704
  }
2705
  }
2706
  },
2707
  "add_S5": {
2708
- "full_accuracy": 0.1,
2709
- "digit_accuracy": 0.58,
2710
- "n_examples": 50,
2711
  "per_subtask": {
2712
  "SA": {
2713
  "accuracy": 1.0,
2714
- "count": 50
2715
  },
2716
  "SC": {
2717
  "accuracy": 1.0,
2718
- "count": 50
2719
  },
2720
  "UC": {
2721
- "accuracy": 0.32,
2722
- "count": 50
2723
  },
2724
  "US": {
2725
- "accuracy": 0.435,
2726
- "count": 200
2727
  }
2728
  }
2729
  },
2730
  "add_S6": {
2731
- "full_accuracy": 0.52,
2732
- "digit_accuracy": 0.7428571428571429,
2733
- "n_examples": 50,
2734
  "per_subtask": {
2735
  "SC": {
2736
  "accuracy": 1.0,
2737
- "count": 50
2738
  },
2739
  "UC": {
2740
- "accuracy": 0.66,
2741
- "count": 50
2742
  },
2743
  "US": {
2744
- "accuracy": 0.708,
2745
- "count": 250
2746
  }
2747
  }
2748
  },
2749
  "add_random": {
2750
- "full_accuracy": 0.94,
2751
- "digit_accuracy": 0.99,
2752
  "n_examples": 200,
2753
  "per_subtask": {
2754
  "SA": {
2755
- "accuracy": 0.9930394431554525,
2756
- "count": 431
2757
  },
2758
  "SC": {
2759
- "accuracy": 0.9968354430379747,
2760
- "count": 316
2761
  },
2762
  "SS": {
2763
- "accuracy": 0.9743589743589743,
2764
- "count": 39
2765
  },
2766
  "UC": {
2767
- "accuracy": 0.9857142857142858,
2768
- "count": 560
2769
  },
2770
  "US": {
2771
- "accuracy": 0.9814814814814815,
2772
- "count": 54
2773
  }
2774
  }
2775
  },
2776
  "add_C1": {
2777
- "full_accuracy": 0.94,
2778
- "digit_accuracy": 0.9914285714285714,
2779
- "n_examples": 50,
2780
  "per_subtask": {
2781
  "SA": {
2782
  "accuracy": 1.0,
2783
- "count": 250
2784
  },
2785
  "SC": {
2786
  "accuracy": 1.0,
2787
- "count": 50
2788
  },
2789
  "UC": {
2790
- "accuracy": 0.94,
2791
- "count": 50
2792
  }
2793
  }
2794
  },
2795
  "add_C2": {
2796
- "full_accuracy": 0.82,
2797
- "digit_accuracy": 0.9657142857142857,
2798
- "n_examples": 50,
2799
  "per_subtask": {
2800
  "SA": {
2801
- "accuracy": 1.0,
2802
- "count": 200
2803
  },
2804
  "SC": {
2805
  "accuracy": 1.0,
2806
- "count": 50
2807
  },
2808
  "UC": {
2809
- "accuracy": 0.891566265060241,
2810
- "count": 83
2811
  },
2812
  "US": {
2813
- "accuracy": 0.8235294117647058,
2814
- "count": 17
2815
  }
2816
  }
2817
  },
2818
  "add_C3": {
2819
- "full_accuracy": 0.68,
2820
- "digit_accuracy": 0.94,
2821
- "n_examples": 50,
2822
  "per_subtask": {
2823
  "SA": {
2824
  "accuracy": 1.0,
2825
- "count": 150
2826
  },
2827
  "SC": {
2828
  "accuracy": 1.0,
2829
- "count": 50
2830
  },
2831
  "UC": {
2832
- "accuracy": 0.86,
2833
- "count": 100
2834
  },
2835
  "US": {
2836
- "accuracy": 0.86,
2837
- "count": 50
2838
  }
2839
  }
2840
  },
2841
  "add_C4": {
2842
- "full_accuracy": 0.76,
2843
- "digit_accuracy": 0.9571428571428572,
2844
- "n_examples": 50,
2845
  "per_subtask": {
2846
  "SA": {
2847
  "accuracy": 1.0,
2848
- "count": 100
2849
  },
2850
  "SC": {
2851
  "accuracy": 1.0,
2852
- "count": 50
2853
  },
2854
  "UC": {
2855
- "accuracy": 0.9166666666666666,
2856
- "count": 132
2857
  },
2858
  "US": {
2859
- "accuracy": 0.9411764705882353,
2860
- "count": 68
2861
  }
2862
  }
2863
  },
2864
  "add_C5": {
2865
- "full_accuracy": 0.62,
2866
- "digit_accuracy": 0.9,
2867
- "n_examples": 50,
2868
  "per_subtask": {
2869
  "SA": {
2870
  "accuracy": 1.0,
2871
- "count": 50
2872
  },
2873
  "SC": {
2874
  "accuracy": 1.0,
2875
- "count": 50
2876
  },
2877
  "UC": {
2878
- "accuracy": 0.8561643835616438,
2879
- "count": 146
2880
  },
2881
  "US": {
2882
- "accuracy": 0.8653846153846154,
2883
- "count": 104
2884
  }
2885
  }
2886
  },
2887
  "add_C6": {
2888
- "full_accuracy": 0.68,
2889
- "digit_accuracy": 0.94,
2890
- "n_examples": 50,
2891
  "per_subtask": {
2892
  "SC": {
2893
  "accuracy": 1.0,
2894
- "count": 50
2895
  },
2896
  "UC": {
2897
- "accuracy": 0.9206349206349206,
2898
- "count": 189
2899
  },
2900
  "US": {
2901
- "accuracy": 0.9459459459459459,
2902
- "count": 111
2903
  }
2904
  }
2905
  },
2906
  "sub_M0": {
2907
- "full_accuracy": 0.92,
2908
- "digit_accuracy": 0.9885714285714285,
2909
- "n_examples": 50,
2910
  "per_subtask": {
2911
  "MD": {
2912
- "accuracy": 0.9867986798679867,
2913
- "count": 303
2914
  },
2915
  "ME": {
2916
  "accuracy": 1.0,
2917
- "count": 47
2918
  }
2919
  }
2920
  },
2921
  "sub_M1": {
2922
- "full_accuracy": 0.98,
2923
- "digit_accuracy": 0.9971428571428571,
2924
- "n_examples": 50,
2925
  "per_subtask": {
2926
  "MD": {
2927
- "accuracy": 1.0,
2928
- "count": 141
2929
  },
2930
  "MB": {
2931
- "accuracy": 0.9861111111111112,
2932
- "count": 72
2933
  },
2934
  "ME": {
2935
  "accuracy": 1.0,
2936
- "count": 18
2937
  },
2938
  "UB": {
2939
- "accuracy": 1.0,
2940
- "count": 119
2941
  }
2942
  }
2943
  },
2944
  "sub_M2": {
2945
- "full_accuracy": 0.6,
2946
- "digit_accuracy": 0.9371428571428572,
2947
- "n_examples": 50,
2948
  "per_subtask": {
2949
  "MD": {
2950
- "accuracy": 0.9910714285714286,
2951
- "count": 112
2952
  },
2953
  "MB": {
2954
- "accuracy": 0.9622641509433962,
2955
- "count": 53
2956
  },
2957
  "ME": {
2958
  "accuracy": 1.0,
2959
- "count": 47
2960
  },
2961
  "UB": {
2962
- "accuracy": 0.788235294117647,
2963
- "count": 85
2964
  },
2965
  "UD": {
2966
- "accuracy": 0.9811320754716981,
2967
- "count": 53
2968
  }
2969
  }
2970
  },
2971
  "sub_M3": {
2972
- "full_accuracy": 0.24,
2973
- "digit_accuracy": 0.86,
2974
- "n_examples": 50,
2975
  "per_subtask": {
2976
  "MD": {
2977
- "accuracy": 0.9896907216494846,
2978
- "count": 97
2979
  },
2980
  "MB": {
2981
- "accuracy": 0.9803921568627451,
2982
- "count": 51
2983
  },
2984
  "ME": {
2985
  "accuracy": 1.0,
2986
- "count": 27
2987
  },
2988
  "UB": {
2989
- "accuracy": 0.581081081081081,
2990
- "count": 74
2991
  },
2992
  "UD": {
2993
- "accuracy": 0.8415841584158416,
2994
- "count": 101
2995
  }
2996
  }
2997
  },
2998
  "sub_M4": {
2999
- "full_accuracy": 0.04,
3000
- "digit_accuracy": 0.6742857142857143,
3001
- "n_examples": 50,
3002
  "per_subtask": {
3003
  "MD": {
3004
  "accuracy": 1.0,
3005
- "count": 100
3006
  },
3007
  "MB": {
3008
  "accuracy": 1.0,
3009
- "count": 50
3010
  },
3011
  "UB": {
3012
- "accuracy": 0.34,
3013
- "count": 50
3014
  },
3015
  "UD": {
3016
- "accuracy": 0.46,
3017
- "count": 150
3018
  }
3019
  }
3020
  },
3021
  "sub_M5": {
3022
- "full_accuracy": 0.12,
3023
- "digit_accuracy": 0.6314285714285715,
3024
- "n_examples": 50,
3025
  "per_subtask": {
3026
  "MD": {
3027
  "accuracy": 1.0,
3028
- "count": 50
3029
  },
3030
  "MB": {
3031
  "accuracy": 1.0,
3032
- "count": 50
3033
  },
3034
  "UB": {
3035
- "accuracy": 0.52,
3036
- "count": 50
3037
  },
3038
  "UD": {
3039
- "accuracy": 0.475,
3040
- "count": 200
3041
  }
3042
  }
3043
  },
3044
  "sub_random": {
3045
- "full_accuracy": 0.94,
3046
- "digit_accuracy": 0.9914285714285714,
3047
  "n_examples": 200,
3048
  "per_subtask": {
3049
  "MD": {
3050
- "accuracy": 0.9982456140350877,
3051
- "count": 570
3052
  },
3053
  "MB": {
3054
- "accuracy": 0.9927797833935018,
3055
- "count": 277
3056
  },
3057
  "ME": {
3058
  "accuracy": 1.0,
3059
  "count": 53
3060
  },
3061
  "UB": {
3062
- "accuracy": 0.9808917197452229,
3063
- "count": 471
3064
  },
3065
  "UD": {
3066
  "accuracy": 1.0,
3067
- "count": 29
3068
  }
3069
  }
3070
  },
3071
  "sub_B3": {
3072
- "full_accuracy": 0.56,
3073
- "digit_accuracy": 0.9228571428571428,
3074
- "n_examples": 50,
3075
  "per_subtask": {
3076
  "MD": {
3077
- "accuracy": 1.0,
3078
- "count": 150
3079
  },
3080
  "MB": {
3081
  "accuracy": 1.0,
3082
- "count": 50
3083
  },
3084
  "UB": {
3085
- "accuracy": 0.8118811881188119,
3086
- "count": 101
3087
  },
3088
  "UD": {
3089
- "accuracy": 0.8367346938775511,
3090
- "count": 49
3091
  }
3092
  }
3093
  },
3094
  "sub_B4": {
3095
- "full_accuracy": 0.36,
3096
- "digit_accuracy": 0.8628571428571429,
3097
- "n_examples": 50,
3098
  "per_subtask": {
3099
  "MD": {
3100
  "accuracy": 1.0,
3101
- "count": 100
3102
  },
3103
  "MB": {
3104
  "accuracy": 1.0,
3105
- "count": 50
3106
  },
3107
  "UB": {
3108
- "accuracy": 0.7768595041322314,
3109
- "count": 121
3110
  },
3111
  "UD": {
3112
- "accuracy": 0.7341772151898734,
3113
- "count": 79
3114
  }
3115
  }
3116
  },
3117
  "sub_B5": {
3118
- "full_accuracy": 0.18,
3119
- "digit_accuracy": 0.8314285714285714,
3120
- "n_examples": 50,
3121
  "per_subtask": {
3122
  "MD": {
3123
  "accuracy": 1.0,
3124
- "count": 50
3125
  },
3126
  "MB": {
3127
  "accuracy": 1.0,
3128
- "count": 50
3129
  },
3130
  "UB": {
3131
- "accuracy": 0.7631578947368421,
3132
- "count": 152
3133
  },
3134
  "UD": {
3135
- "accuracy": 0.7653061224489796,
3136
- "count": 98
3137
  }
3138
  }
3139
  }
3140
  },
3141
  "summary": {
3142
- "overall_accuracy": 0.678,
3143
- "digit_accuracy": 0.9113333333333333,
3144
- "total_examples": 1500,
3145
  "n_splits": 24
3146
  }
3147
  }
 
628
  31250
629
  ],
630
  "loss": [
631
+ 11.142255783081055,
632
+ 8.392091751098633,
633
+ 7.0777997970581055,
634
+ 5.984164714813232,
635
+ 5.16294002532959,
636
+ 3.9709956645965576,
637
+ 2.70247220993042,
638
+ 2.144266128540039,
639
+ 2.014392614364624,
640
+ 1.9209439754486084,
641
+ 1.872484564781189,
642
+ 1.7957217693328857,
643
+ 1.8033000230789185,
644
+ 1.783395528793335,
645
+ 1.7579981088638306,
646
+ 1.6982762813568115,
647
+ 1.525511384010315,
648
+ 1.435781717300415,
649
+ 1.123242974281311,
650
+ 0.837518036365509,
651
+ 0.7737845182418823,
652
+ 0.646454930305481,
653
+ 0.615808367729187,
654
+ 0.5971598029136658,
655
+ 0.5662897825241089,
656
+ 0.56067955493927,
657
+ 0.538499653339386,
658
+ 0.5265912413597107,
659
+ 0.4889581501483917,
660
+ 0.39696142077445984,
661
+ 0.45114564895629883,
662
+ 0.4038923680782318,
663
+ 0.39226558804512024,
664
+ 0.4105985462665558,
665
+ 0.33978012204170227,
666
+ 0.35018712282180786,
667
+ 0.3803560435771942,
668
+ 0.3818214535713196,
669
+ 0.33991923928260803,
670
+ 0.28878194093704224,
671
+ 0.33055615425109863,
672
+ 0.29696983098983765,
673
+ 0.3424994647502899,
674
+ 0.3241174519062042,
675
+ 0.3183588981628418,
676
+ 0.28974246978759766,
677
+ 0.27319565415382385,
678
+ 0.29536470770835876,
679
+ 0.3119714558124542,
680
+ 0.27621856331825256,
681
+ 0.28224319219589233,
682
+ 0.3222463130950928,
683
+ 0.28760868310928345,
684
+ 0.28899356722831726,
685
+ 0.2932419776916504,
686
+ 0.22801907360553741,
687
+ 0.23849330842494965,
688
+ 0.2453184425830841,
689
+ 0.24024271965026855,
690
+ 0.2376585304737091,
691
+ 0.32335925102233887,
692
+ 0.2668038010597229,
693
+ 0.25090885162353516,
694
+ 0.25386175513267517,
695
+ 0.22854606807231903,
696
+ 0.263999342918396,
697
+ 0.21533724665641785,
698
+ 0.2304992973804474,
699
+ 0.2258889377117157,
700
+ 0.2721981108188629,
701
+ 0.2484675496816635,
702
+ 0.2268359512090683,
703
+ 0.2152973711490631,
704
+ 0.21576550602912903,
705
+ 0.22760581970214844,
706
+ 0.24839842319488525,
707
+ 0.20460990071296692,
708
+ 0.22047030925750732,
709
+ 0.22898077964782715,
710
+ 0.22572937607765198,
711
+ 0.19748330116271973,
712
+ 0.2425518035888672,
713
+ 0.24796856939792633,
714
+ 0.1766509711742401,
715
+ 0.23381440341472626,
716
+ 0.21415291726589203,
717
+ 0.2167121022939682,
718
+ 0.2093585580587387,
719
+ 0.33246421813964844,
720
+ 0.28504231572151184,
721
+ 0.22664542496204376,
722
+ 0.17961883544921875,
723
+ 0.21405652165412903,
724
+ 0.21966083347797394,
725
+ 0.21306724846363068,
726
+ 0.18754057586193085,
727
+ 0.207694873213768,
728
+ 0.20547440648078918,
729
+ 0.21546785533428192,
730
+ 0.1860676109790802,
731
+ 0.1769462376832962,
732
+ 0.22553245723247528,
733
+ 0.18677417933940887,
734
+ 0.1810862272977829,
735
+ 0.19834201037883759,
736
+ 0.226967915892601,
737
+ 0.1790085732936859,
738
+ 0.21650156378746033,
739
+ 0.19830165803432465,
740
+ 0.1853330284357071,
741
+ 0.1603109985589981,
742
+ 0.15787439048290253,
743
+ 0.20750924944877625,
744
+ 0.18983374536037445,
745
+ 0.1541714370250702,
746
+ 0.20704463124275208,
747
+ 0.17434348165988922,
748
+ 0.19395801424980164,
749
+ 0.15410636365413666,
750
+ 0.15836834907531738,
751
+ 0.1963592767715454,
752
+ 0.19680823385715485,
753
+ 0.18580712378025055,
754
+ 0.1621880829334259,
755
+ 0.20177611708641052,
756
+ 0.2014484703540802,
757
+ 0.1452762335538864,
758
+ 0.13019908964633942,
759
+ 0.18028245866298676,
760
+ 0.1820332109928131,
761
+ 0.20065085589885712,
762
+ 0.15792305767536163,
763
+ 0.16364796459674835,
764
+ 0.15937604010105133,
765
+ 0.159526064991951,
766
+ 0.15514186024665833,
767
+ 0.17760615050792694,
768
+ 0.1728307157754898,
769
+ 0.16246438026428223,
770
+ 0.17308463156223297,
771
+ 0.1510038673877716,
772
+ 0.17492644488811493,
773
+ 0.18236146867275238,
774
+ 0.20211057364940643,
775
+ 0.1665169894695282,
776
+ 0.16341818869113922,
777
+ 0.21073518693447113,
778
+ 0.15831460058689117,
779
+ 0.153250053524971,
780
+ 0.18132825195789337,
781
+ 0.14806798100471497,
782
+ 0.18275007605552673,
783
+ 0.1898818016052246,
784
+ 0.1510714441537857,
785
+ 0.14258278906345367,
786
+ 0.15746386349201202,
787
+ 0.1346050202846527,
788
+ 0.15604384243488312,
789
+ 0.13381874561309814,
790
+ 0.16714991629123688,
791
+ 0.1359330415725708,
792
+ 0.12970466911792755,
793
+ 0.1608051359653473,
794
+ 0.16099870204925537,
795
+ 0.19148039817810059,
796
+ 0.1661462038755417,
797
+ 0.18259403109550476,
798
+ 0.1714480072259903,
799
+ 0.14542131125926971,
800
+ 0.12405256181955338,
801
+ 0.16897861659526825,
802
+ 0.15248195827007294,
803
+ 0.16540689766407013,
804
+ 0.13697856664657593,
805
+ 0.15507180988788605,
806
+ 0.13012461364269257,
807
+ 0.18361060321331024,
808
+ 0.16004852950572968,
809
+ 0.10577326267957687,
810
+ 0.17485249042510986,
811
+ 0.15808050334453583,
812
+ 0.19461455941200256,
813
+ 0.14154809713363647,
814
+ 0.14252208173274994,
815
+ 0.11947737634181976,
816
+ 0.1405322104692459,
817
+ 0.12401629984378815,
818
+ 0.15540634095668793,
819
+ 0.1331135779619217,
820
+ 0.12463986128568649,
821
+ 0.15096494555473328,
822
+ 0.14513608813285828,
823
+ 0.1688997745513916,
824
+ 0.12102080881595612,
825
+ 0.1153382658958435,
826
+ 0.14423418045043945,
827
+ 0.1292373239994049,
828
+ 0.16141094267368317,
829
+ 0.16356125473976135,
830
+ 0.13393139839172363,
831
+ 0.1437564194202423,
832
+ 0.14583396911621094,
833
+ 0.12810811400413513,
834
+ 0.14661777019500732,
835
+ 0.18160614371299744,
836
+ 0.13595807552337646,
837
+ 0.11613881587982178,
838
+ 0.13157115876674652,
839
+ 0.1284339874982834,
840
+ 0.1306500881910324,
841
+ 0.08965393155813217,
842
+ 0.13015910983085632,
843
+ 0.13507013022899628,
844
+ 0.15997245907783508,
845
+ 0.15109118819236755,
846
+ 0.17046524584293365,
847
+ 0.11881322413682938,
848
+ 0.19547411799430847,
849
+ 0.1216890960931778,
850
+ 0.17923219501972198,
851
+ 0.13498273491859436,
852
+ 0.14519773423671722,
853
+ 0.15581238269805908,
854
+ 0.11111188679933548,
855
+ 0.15358363091945648,
856
+ 0.1397331953048706,
857
+ 0.1312682181596756,
858
+ 0.1497134119272232,
859
+ 0.14034317433834076,
860
+ 0.09959305077791214,
861
+ 0.1364564448595047,
862
+ 0.11465443670749664,
863
+ 0.11677626520395279,
864
+ 0.1428474485874176,
865
+ 0.13692300021648407,
866
+ 0.1663278192281723,
867
+ 0.11361340433359146,
868
+ 0.13310417532920837,
869
+ 0.1285843700170517,
870
+ 0.1266637146472931,
871
+ 0.11788598448038101,
872
+ 0.10866444557905197,
873
+ 0.127799391746521,
874
+ 0.13490094244480133,
875
+ 0.12550444900989532,
876
+ 0.11079616099596024,
877
+ 0.11661093682050705,
878
+ 0.1671469658613205,
879
+ 0.11261497437953949,
880
+ 0.11359424144029617,
881
+ 0.1229560598731041,
882
+ 0.10997661203145981,
883
+ 0.11904646456241608,
884
+ 0.11317948997020721,
885
+ 0.11848366260528564,
886
+ 0.14257849752902985,
887
+ 0.10918893665075302,
888
+ 0.13573022186756134,
889
+ 0.13097047805786133,
890
+ 0.12364263832569122,
891
+ 0.11127301305532455,
892
+ 0.11855717748403549,
893
+ 0.145314559340477,
894
+ 0.14001375436782837,
895
+ 0.1304871141910553,
896
+ 0.16558732092380524,
897
+ 0.11242642253637314,
898
+ 0.14841890335083008,
899
+ 0.09656519442796707,
900
+ 0.1072985976934433,
901
+ 0.10752637684345245,
902
+ 0.1276925653219223,
903
+ 0.1281038522720337,
904
+ 0.12953495979309082,
905
+ 0.12740251421928406,
906
+ 0.13414080440998077,
907
+ 0.1307947188615799,
908
+ 0.0937066450715065,
909
+ 0.1319095641374588,
910
+ 0.10326405614614487,
911
+ 0.14668312668800354,
912
+ 0.07730797678232193,
913
+ 0.07187050580978394,
914
+ 0.11443635076284409,
915
+ 0.10003893822431564,
916
+ 0.08620066195726395,
917
+ 0.11478956043720245,
918
+ 0.07785359770059586,
919
+ 0.12481372058391571,
920
+ 0.09869395196437836,
921
+ 0.07111691683530807,
922
+ 0.08310679346323013,
923
+ 0.09771133959293365,
924
+ 0.12395107746124268,
925
+ 0.09180144220590591,
926
+ 0.08857595920562744,
927
+ 0.1118665412068367,
928
+ 0.12036208063364029,
929
+ 0.12392421811819077,
930
+ 0.11436700820922852,
931
+ 0.1099211648106575,
932
+ 0.11187342554330826,
933
+ 0.10894028097391129,
934
+ 0.09335199743509293,
935
+ 0.10699658840894699,
936
+ 0.15169692039489746,
937
+ 0.09998451173305511,
938
+ 0.10411231219768524,
939
+ 0.11858776956796646,
940
+ 0.09087247401475906,
941
+ 0.09352012723684311,
942
+ 0.09533145278692245,
943
+ 0.09718804061412811,
944
+ 0.14410234987735748,
945
+ 0.1086292490363121,
946
+ 0.11122824251651764,
947
+ 0.10921448469161987,
948
+ 0.11887281388044357,
949
+ 0.11077587306499481,
950
+ 0.09798913449048996,
951
+ 0.08180880546569824,
952
+ 0.0898948535323143,
953
+ 0.11801491677761078,
954
+ 0.08695102483034134,
955
+ 0.09183650463819504,
956
+ 0.11820358783006668,
957
+ 0.08196768909692764,
958
+ 0.10264311730861664,
959
+ 0.1061573475599289,
960
+ 0.09642177820205688,
961
+ 0.09354647248983383,
962
+ 0.08640491217374802,
963
+ 0.1232934445142746,
964
+ 0.08621183782815933,
965
+ 0.10472685843706131,
966
+ 0.10462428629398346,
967
+ 0.06685487926006317,
968
+ 0.07672567665576935,
969
+ 0.10076017677783966,
970
+ 0.12594163417816162,
971
+ 0.1277834177017212,
972
+ 0.07213345915079117,
973
+ 0.06665901094675064,
974
+ 0.10343389213085175,
975
+ 0.09900332242250443,
976
+ 0.09608189016580582,
977
+ 0.0798540711402893,
978
+ 0.07838799059391022,
979
+ 0.10769534111022949,
980
+ 0.07937916368246078,
981
+ 0.09548711031675339,
982
+ 0.11403731256723404,
983
+ 0.10628917068243027,
984
+ 0.1122916117310524,
985
+ 0.0715094581246376,
986
+ 0.09049397706985474,
987
+ 0.09084992855787277,
988
+ 0.12130431830883026,
989
+ 0.07148998975753784,
990
+ 0.08628036826848984,
991
+ 0.08045460283756256,
992
+ 0.08223044872283936,
993
+ 0.08108220249414444,
994
+ 0.08889835327863693,
995
+ 0.1039186641573906,
996
+ 0.06507741659879684,
997
+ 0.1267872154712677,
998
+ 0.0938020795583725,
999
+ 0.08764053136110306,
1000
+ 0.08689238131046295,
1001
+ 0.10352552682161331,
1002
+ 0.10767080634832382,
1003
+ 0.10112951695919037,
1004
+ 0.08746908605098724,
1005
+ 0.06849295645952225,
1006
+ 0.10700880736112595,
1007
+ 0.0750436782836914,
1008
+ 0.06697970628738403,
1009
+ 0.058788664638996124,
1010
+ 0.07686998695135117,
1011
+ 0.09081656485795975,
1012
+ 0.08958851546049118,
1013
+ 0.09647256135940552,
1014
+ 0.08599065989255905,
1015
+ 0.07048079371452332,
1016
+ 0.0860287994146347,
1017
+ 0.07073599845170975,
1018
+ 0.08226127922534943,
1019
+ 0.09625133126974106,
1020
+ 0.12204886227846146,
1021
+ 0.0745932012796402,
1022
+ 0.07187288254499435,
1023
+ 0.07823581248521805,
1024
+ 0.09818929433822632,
1025
+ 0.08053664863109589,
1026
+ 0.09855727106332779,
1027
+ 0.08629196137189865,
1028
+ 0.08498680591583252,
1029
+ 0.0798415020108223,
1030
+ 0.07865480333566666,
1031
+ 0.08414013683795929,
1032
+ 0.07917243242263794,
1033
+ 0.06755270063877106,
1034
+ 0.09574282914400101,
1035
+ 0.08093088120222092,
1036
+ 0.05501314252614975,
1037
+ 0.08193425089120865,
1038
+ 0.08343063294887543,
1039
+ 0.08848099410533905,
1040
+ 0.0837426707148552,
1041
+ 0.1031167134642601,
1042
+ 0.09371747821569443,
1043
+ 0.0721096470952034,
1044
+ 0.09048998355865479,
1045
+ 0.06716399639844894,
1046
+ 0.10160741955041885,
1047
+ 0.08319229632616043,
1048
+ 0.0746954008936882,
1049
+ 0.06925086677074432,
1050
+ 0.09754403680562973,
1051
+ 0.0639529824256897,
1052
+ 0.09356347471475601,
1053
+ 0.12145455926656723,
1054
+ 0.09375695139169693,
1055
+ 0.07997678220272064,
1056
+ 0.07078906148672104,
1057
+ 0.07677604258060455,
1058
+ 0.07553928345441818,
1059
+ 0.07551916688680649,
1060
+ 0.059632688760757446,
1061
+ 0.09679297357797623,
1062
+ 0.07769431173801422,
1063
+ 0.10014213621616364,
1064
+ 0.0866757482290268,
1065
+ 0.07145080715417862,
1066
+ 0.06969957798719406,
1067
+ 0.07286279648542404,
1068
+ 0.0914197638630867,
1069
+ 0.08136852830648422,
1070
+ 0.05964931845664978,
1071
+ 0.1091199740767479,
1072
+ 0.075323186814785,
1073
+ 0.053365033119916916,
1074
+ 0.06555844843387604,
1075
+ 0.08462885767221451,
1076
+ 0.097462959587574,
1077
+ 0.06348437815904617,
1078
+ 0.10757970809936523,
1079
+ 0.045760273933410645,
1080
+ 0.06786467134952545,
1081
+ 0.08760327845811844,
1082
+ 0.07260358333587646,
1083
+ 0.0714811235666275,
1084
+ 0.06850960105657578,
1085
+ 0.09141229838132858,
1086
+ 0.08324313163757324,
1087
+ 0.07806507498025894,
1088
+ 0.10558610409498215,
1089
+ 0.08190369606018066,
1090
+ 0.06819944083690643,
1091
+ 0.0827748253941536,
1092
+ 0.08583308756351471,
1093
+ 0.052272338420152664,
1094
+ 0.061148498207330704,
1095
+ 0.07115451991558075,
1096
+ 0.07127413898706436,
1097
+ 0.0704750120639801,
1098
+ 0.07089775055646896,
1099
+ 0.055738452821969986,
1100
+ 0.07341034710407257,
1101
+ 0.08593029528856277,
1102
+ 0.07548115402460098,
1103
+ 0.0767984464764595,
1104
+ 0.054623063653707504,
1105
+ 0.08070505410432816,
1106
+ 0.0726887509226799,
1107
+ 0.0854249820113182,
1108
+ 0.07438261061906815,
1109
+ 0.0683208778500557,
1110
+ 0.06615912169218063,
1111
+ 0.0844513550400734,
1112
+ 0.09180953353643417,
1113
+ 0.06764061003923416,
1114
+ 0.0686463862657547,
1115
+ 0.06297098845243454,
1116
+ 0.06372587382793427,
1117
+ 0.06351496279239655,
1118
+ 0.09671341627836227,
1119
+ 0.062724269926548,
1120
+ 0.06880006939172745,
1121
+ 0.06514435261487961,
1122
+ 0.07300271093845367,
1123
+ 0.0638117864727974,
1124
+ 0.0779242068529129,
1125
+ 0.07947627454996109,
1126
+ 0.05927758663892746,
1127
+ 0.06220719963312149,
1128
+ 0.08087371289730072,
1129
+ 0.06955031305551529,
1130
+ 0.08436179161071777,
1131
+ 0.05800190195441246,
1132
+ 0.052773017436265945,
1133
+ 0.07786910980939865,
1134
+ 0.05637967213988304,
1135
+ 0.0577319860458374,
1136
+ 0.0826069787144661,
1137
+ 0.08892273157835007,
1138
+ 0.0598796121776104,
1139
+ 0.05169800668954849,
1140
+ 0.07193943113088608,
1141
+ 0.0739004984498024,
1142
+ 0.07532141357660294,
1143
+ 0.054397884756326675,
1144
+ 0.04115178808569908,
1145
+ 0.06077955290675163,
1146
+ 0.055013589560985565,
1147
+ 0.06961464136838913,
1148
+ 0.07975976914167404,
1149
+ 0.07953741401433945,
1150
+ 0.0686776265501976,
1151
+ 0.06738127022981644,
1152
+ 0.058640845119953156,
1153
+ 0.06704795360565186,
1154
+ 0.06659897416830063,
1155
+ 0.07140708714723587,
1156
+ 0.061547230929136276,
1157
+ 0.08439814299345016,
1158
+ 0.0883214995265007,
1159
+ 0.09460939466953278,
1160
+ 0.06338821351528168,
1161
+ 0.07644397765398026,
1162
+ 0.07007456570863724,
1163
+ 0.05494070053100586,
1164
+ 0.0755937471985817,
1165
+ 0.07113979756832123,
1166
+ 0.05236219987273216,
1167
+ 0.0816115289926529,
1168
+ 0.06657212972640991,
1169
+ 0.04921133071184158,
1170
+ 0.06966421753168106,
1171
+ 0.0656009316444397,
1172
+ 0.0608198307454586,
1173
+ 0.06331111490726471,
1174
+ 0.06039551645517349,
1175
+ 0.07569581270217896,
1176
+ 0.057909417897462845,
1177
+ 0.05929108336567879,
1178
+ 0.0639948695898056,
1179
+ 0.059920698404312134,
1180
+ 0.07870141416788101,
1181
+ 0.06145377829670906,
1182
+ 0.05674570053815842,
1183
+ 0.06903517991304398,
1184
+ 0.06131824105978012,
1185
+ 0.05787726119160652,
1186
+ 0.051456958055496216,
1187
+ 0.0727662518620491,
1188
+ 0.05704193934798241,
1189
+ 0.0659167692065239,
1190
+ 0.05456031113862991,
1191
+ 0.0621221661567688,
1192
+ 0.030267778784036636,
1193
+ 0.06332433968782425,
1194
+ 0.07653301954269409,
1195
+ 0.055967073887586594,
1196
+ 0.06902151554822922,
1197
+ 0.0590251088142395,
1198
+ 0.05252640321850777,
1199
+ 0.04273724555969238,
1200
+ 0.0675697922706604,
1201
+ 0.07873761653900146,
1202
+ 0.044423673301935196,
1203
+ 0.04869184270501137,
1204
+ 0.06190628558397293,
1205
+ 0.04107106104493141,
1206
+ 0.05906297639012337,
1207
+ 0.057215772569179535,
1208
+ 0.06135198101401329,
1209
+ 0.0403430238366127,
1210
+ 0.045430682599544525,
1211
+ 0.05944081395864487,
1212
+ 0.08049578964710236,
1213
+ 0.05776336416602135,
1214
+ 0.07538755238056183,
1215
+ 0.05956441909074783,
1216
+ 0.06504030525684357,
1217
+ 0.08326540142297745,
1218
+ 0.06284049898386002,
1219
+ 0.060640450567007065,
1220
+ 0.06543754786252975,
1221
+ 0.053152136504650116,
1222
+ 0.07359129935503006,
1223
+ 0.07201488316059113,
1224
+ 0.050285134464502335,
1225
+ 0.048280127346515656,
1226
+ 0.05612489953637123,
1227
+ 0.046236541122198105,
1228
+ 0.046872250735759735,
1229
+ 0.06235929951071739,
1230
+ 0.05474840849637985,
1231
+ 0.07264767587184906,
1232
+ 0.03565438464283943,
1233
+ 0.06158501282334328,
1234
+ 0.05048424005508423,
1235
+ 0.06234138458967209,
1236
+ 0.04287523403763771,
1237
+ 0.08360723406076431,
1238
+ 0.06000962480902672,
1239
+ 0.0602361224591732,
1240
+ 0.062102168798446655,
1241
+ 0.06639088690280914,
1242
+ 0.052677664905786514,
1243
+ 0.0680750384926796,
1244
+ 0.09498775005340576,
1245
+ 0.07053764909505844,
1246
+ 0.04956977814435959,
1247
+ 0.05875078961253166,
1248
+ 0.05435701459646225,
1249
+ 0.034368447959423065,
1250
+ 0.07225817441940308,
1251
+ 0.051409441977739334,
1252
+ 0.06354834884405136,
1253
+ 0.05168512836098671,
1254
+ 0.05985720828175545,
1255
+ 0.04286810755729675
1256
  ],
1257
  "base_loss": [
1258
+ 11.142255783081055,
1259
+ 8.392091751098633,
1260
+ 7.0777997970581055,
1261
+ 5.984164714813232,
1262
+ 5.16294002532959,
1263
+ 3.9709956645965576,
1264
+ 2.70247220993042,
1265
+ 2.144266128540039,
1266
+ 2.014392614364624,
1267
+ 1.9209439754486084,
1268
+ 1.872484564781189,
1269
+ 1.7957217693328857,
1270
+ 1.8033000230789185,
1271
+ 1.783395528793335,
1272
+ 1.7579981088638306,
1273
+ 1.6982762813568115,
1274
+ 1.525511384010315,
1275
+ 1.435781717300415,
1276
+ 1.123242974281311,
1277
+ 0.837518036365509,
1278
+ 0.7737845182418823,
1279
+ 0.646454930305481,
1280
+ 0.615808367729187,
1281
+ 0.5971598029136658,
1282
+ 0.5662897825241089,
1283
+ 0.56067955493927,
1284
+ 0.538499653339386,
1285
+ 0.5265912413597107,
1286
+ 0.4889581501483917,
1287
+ 0.39696142077445984,
1288
+ 0.45114564895629883,
1289
+ 0.4038923680782318,
1290
+ 0.39226558804512024,
1291
+ 0.4105985462665558,
1292
+ 0.33978012204170227,
1293
+ 0.35018712282180786,
1294
+ 0.3803560435771942,
1295
+ 0.3818214535713196,
1296
+ 0.33991923928260803,
1297
+ 0.28878194093704224,
1298
+ 0.33055615425109863,
1299
+ 0.29696983098983765,
1300
+ 0.3424994647502899,
1301
+ 0.3241174519062042,
1302
+ 0.3183588981628418,
1303
+ 0.28974246978759766,
1304
+ 0.27319565415382385,
1305
+ 0.29536470770835876,
1306
+ 0.3119714558124542,
1307
+ 0.27621856331825256,
1308
+ 0.28224319219589233,
1309
+ 0.3222463130950928,
1310
+ 0.28760868310928345,
1311
+ 0.28899356722831726,
1312
+ 0.2932419776916504,
1313
+ 0.22801907360553741,
1314
+ 0.23849330842494965,
1315
+ 0.2453184425830841,
1316
+ 0.24024271965026855,
1317
+ 0.2376585304737091,
1318
+ 0.32335925102233887,
1319
+ 0.2668038010597229,
1320
+ 0.25090885162353516,
1321
+ 0.25386175513267517,
1322
+ 0.22854606807231903,
1323
+ 0.263999342918396,
1324
+ 0.21533724665641785,
1325
+ 0.2304992973804474,
1326
+ 0.2258889377117157,
1327
+ 0.2721981108188629,
1328
+ 0.2484675496816635,
1329
+ 0.2268359512090683,
1330
+ 0.2152973711490631,
1331
+ 0.21576550602912903,
1332
+ 0.22760581970214844,
1333
+ 0.24839842319488525,
1334
+ 0.20460990071296692,
1335
+ 0.22047030925750732,
1336
+ 0.22898077964782715,
1337
+ 0.22572937607765198,
1338
+ 0.19748330116271973,
1339
+ 0.2425518035888672,
1340
+ 0.24796856939792633,
1341
+ 0.1766509711742401,
1342
+ 0.23381440341472626,
1343
+ 0.21415291726589203,
1344
+ 0.2167121022939682,
1345
+ 0.2093585580587387,
1346
+ 0.33246421813964844,
1347
+ 0.28504231572151184,
1348
+ 0.22664542496204376,
1349
+ 0.17961883544921875,
1350
+ 0.21405652165412903,
1351
+ 0.21966083347797394,
1352
+ 0.21306724846363068,
1353
+ 0.18754057586193085,
1354
+ 0.207694873213768,
1355
+ 0.20547440648078918,
1356
+ 0.21546785533428192,
1357
+ 0.1860676109790802,
1358
+ 0.1769462376832962,
1359
+ 0.22553245723247528,
1360
+ 0.18677417933940887,
1361
+ 0.1810862272977829,
1362
+ 0.19834201037883759,
1363
+ 0.226967915892601,
1364
+ 0.1790085732936859,
1365
+ 0.21650156378746033,
1366
+ 0.19830165803432465,
1367
+ 0.1853330284357071,
1368
+ 0.1603109985589981,
1369
+ 0.15787439048290253,
1370
+ 0.20750924944877625,
1371
+ 0.18983374536037445,
1372
+ 0.1541714370250702,
1373
+ 0.20704463124275208,
1374
+ 0.17434348165988922,
1375
+ 0.19395801424980164,
1376
+ 0.15410636365413666,
1377
+ 0.15836834907531738,
1378
+ 0.1963592767715454,
1379
+ 0.19680823385715485,
1380
+ 0.18580712378025055,
1381
+ 0.1621880829334259,
1382
+ 0.20177611708641052,
1383
+ 0.2014484703540802,
1384
+ 0.1452762335538864,
1385
+ 0.13019908964633942,
1386
+ 0.18028245866298676,
1387
+ 0.1820332109928131,
1388
+ 0.20065085589885712,
1389
+ 0.15792305767536163,
1390
+ 0.16364796459674835,
1391
+ 0.15937604010105133,
1392
+ 0.159526064991951,
1393
+ 0.15514186024665833,
1394
+ 0.17760615050792694,
1395
+ 0.1728307157754898,
1396
+ 0.16246438026428223,
1397
+ 0.17308463156223297,
1398
+ 0.1510038673877716,
1399
+ 0.17492644488811493,
1400
+ 0.18236146867275238,
1401
+ 0.20211057364940643,
1402
+ 0.1665169894695282,
1403
+ 0.16341818869113922,
1404
+ 0.21073518693447113,
1405
+ 0.15831460058689117,
1406
+ 0.153250053524971,
1407
+ 0.18132825195789337,
1408
+ 0.14806798100471497,
1409
+ 0.18275007605552673,
1410
+ 0.1898818016052246,
1411
+ 0.1510714441537857,
1412
+ 0.14258278906345367,
1413
+ 0.15746386349201202,
1414
+ 0.1346050202846527,
1415
+ 0.15604384243488312,
1416
+ 0.13381874561309814,
1417
+ 0.16714991629123688,
1418
+ 0.1359330415725708,
1419
+ 0.12970466911792755,
1420
+ 0.1608051359653473,
1421
+ 0.16099870204925537,
1422
+ 0.19148039817810059,
1423
+ 0.1661462038755417,
1424
+ 0.18259403109550476,
1425
+ 0.1714480072259903,
1426
+ 0.14542131125926971,
1427
+ 0.12405256181955338,
1428
+ 0.16897861659526825,
1429
+ 0.15248195827007294,
1430
+ 0.16540689766407013,
1431
+ 0.13697856664657593,
1432
+ 0.15507180988788605,
1433
+ 0.13012461364269257,
1434
+ 0.18361060321331024,
1435
+ 0.16004852950572968,
1436
+ 0.10577326267957687,
1437
+ 0.17485249042510986,
1438
+ 0.15808050334453583,
1439
+ 0.19461455941200256,
1440
+ 0.14154809713363647,
1441
+ 0.14252208173274994,
1442
+ 0.11947737634181976,
1443
+ 0.1405322104692459,
1444
+ 0.12401629984378815,
1445
+ 0.15540634095668793,
1446
+ 0.1331135779619217,
1447
+ 0.12463986128568649,
1448
+ 0.15096494555473328,
1449
+ 0.14513608813285828,
1450
+ 0.1688997745513916,
1451
+ 0.12102080881595612,
1452
+ 0.1153382658958435,
1453
+ 0.14423418045043945,
1454
+ 0.1292373239994049,
1455
+ 0.16141094267368317,
1456
+ 0.16356125473976135,
1457
+ 0.13393139839172363,
1458
+ 0.1437564194202423,
1459
+ 0.14583396911621094,
1460
+ 0.12810811400413513,
1461
+ 0.14661777019500732,
1462
+ 0.18160614371299744,
1463
+ 0.13595807552337646,
1464
+ 0.11613881587982178,
1465
+ 0.13157115876674652,
1466
+ 0.1284339874982834,
1467
+ 0.1306500881910324,
1468
+ 0.08965393155813217,
1469
+ 0.13015910983085632,
1470
+ 0.13507013022899628,
1471
+ 0.15997245907783508,
1472
+ 0.15109118819236755,
1473
+ 0.17046524584293365,
1474
+ 0.11881322413682938,
1475
+ 0.19547411799430847,
1476
+ 0.1216890960931778,
1477
+ 0.17923219501972198,
1478
+ 0.13498273491859436,
1479
+ 0.14519773423671722,
1480
+ 0.15581238269805908,
1481
+ 0.11111188679933548,
1482
+ 0.15358363091945648,
1483
+ 0.1397331953048706,
1484
+ 0.1312682181596756,
1485
+ 0.1497134119272232,
1486
+ 0.14034317433834076,
1487
+ 0.09959305077791214,
1488
+ 0.1364564448595047,
1489
+ 0.11465443670749664,
1490
+ 0.11677626520395279,
1491
+ 0.1428474485874176,
1492
+ 0.13692300021648407,
1493
+ 0.1663278192281723,
1494
+ 0.11361340433359146,
1495
+ 0.13310417532920837,
1496
+ 0.1285843700170517,
1497
+ 0.1266637146472931,
1498
+ 0.11788598448038101,
1499
+ 0.10866444557905197,
1500
+ 0.127799391746521,
1501
+ 0.13490094244480133,
1502
+ 0.12550444900989532,
1503
+ 0.11079616099596024,
1504
+ 0.11661093682050705,
1505
+ 0.1671469658613205,
1506
+ 0.11261497437953949,
1507
+ 0.11359424144029617,
1508
+ 0.1229560598731041,
1509
+ 0.10997661203145981,
1510
+ 0.11904646456241608,
1511
+ 0.11317948997020721,
1512
+ 0.11848366260528564,
1513
+ 0.14257849752902985,
1514
+ 0.10918893665075302,
1515
+ 0.13573022186756134,
1516
+ 0.13097047805786133,
1517
+ 0.12364263832569122,
1518
+ 0.11127301305532455,
1519
+ 0.11855717748403549,
1520
+ 0.145314559340477,
1521
+ 0.14001375436782837,
1522
+ 0.1304871141910553,
1523
+ 0.16558732092380524,
1524
+ 0.11242642253637314,
1525
+ 0.14841890335083008,
1526
+ 0.09656519442796707,
1527
+ 0.1072985976934433,
1528
+ 0.10752637684345245,
1529
+ 0.1276925653219223,
1530
+ 0.1281038522720337,
1531
+ 0.12953495979309082,
1532
+ 0.12740251421928406,
1533
+ 0.13414080440998077,
1534
+ 0.1307947188615799,
1535
+ 0.0937066450715065,
1536
+ 0.1319095641374588,
1537
+ 0.10326405614614487,
1538
+ 0.14668312668800354,
1539
+ 0.07730797678232193,
1540
+ 0.07187050580978394,
1541
+ 0.11443635076284409,
1542
+ 0.10003893822431564,
1543
+ 0.08620066195726395,
1544
+ 0.11478956043720245,
1545
+ 0.07785359770059586,
1546
+ 0.12481372058391571,
1547
+ 0.09869395196437836,
1548
+ 0.07111691683530807,
1549
+ 0.08310679346323013,
1550
+ 0.09771133959293365,
1551
+ 0.12395107746124268,
1552
+ 0.09180144220590591,
1553
+ 0.08857595920562744,
1554
+ 0.1118665412068367,
1555
+ 0.12036208063364029,
1556
+ 0.12392421811819077,
1557
+ 0.11436700820922852,
1558
+ 0.1099211648106575,
1559
+ 0.11187342554330826,
1560
+ 0.10894028097391129,
1561
+ 0.09335199743509293,
1562
+ 0.10699658840894699,
1563
+ 0.15169692039489746,
1564
+ 0.09998451173305511,
1565
+ 0.10411231219768524,
1566
+ 0.11858776956796646,
1567
+ 0.09087247401475906,
1568
+ 0.09352012723684311,
1569
+ 0.09533145278692245,
1570
+ 0.09718804061412811,
1571
+ 0.14410234987735748,
1572
+ 0.1086292490363121,
1573
+ 0.11122824251651764,
1574
+ 0.10921448469161987,
1575
+ 0.11887281388044357,
1576
+ 0.11077587306499481,
1577
+ 0.09798913449048996,
1578
+ 0.08180880546569824,
1579
+ 0.0898948535323143,
1580
+ 0.11801491677761078,
1581
+ 0.08695102483034134,
1582
+ 0.09183650463819504,
1583
+ 0.11820358783006668,
1584
+ 0.08196768909692764,
1585
+ 0.10264311730861664,
1586
+ 0.1061573475599289,
1587
+ 0.09642177820205688,
1588
+ 0.09354647248983383,
1589
+ 0.08640491217374802,
1590
+ 0.1232934445142746,
1591
+ 0.08621183782815933,
1592
+ 0.10472685843706131,
1593
+ 0.10462428629398346,
1594
+ 0.06685487926006317,
1595
+ 0.07672567665576935,
1596
+ 0.10076017677783966,
1597
+ 0.12594163417816162,
1598
+ 0.1277834177017212,
1599
+ 0.07213345915079117,
1600
+ 0.06665901094675064,
1601
+ 0.10343389213085175,
1602
+ 0.09900332242250443,
1603
+ 0.09608189016580582,
1604
+ 0.0798540711402893,
1605
+ 0.07838799059391022,
1606
+ 0.10769534111022949,
1607
+ 0.07937916368246078,
1608
+ 0.09548711031675339,
1609
+ 0.11403731256723404,
1610
+ 0.10628917068243027,
1611
+ 0.1122916117310524,
1612
+ 0.0715094581246376,
1613
+ 0.09049397706985474,
1614
+ 0.09084992855787277,
1615
+ 0.12130431830883026,
1616
+ 0.07148998975753784,
1617
+ 0.08628036826848984,
1618
+ 0.08045460283756256,
1619
+ 0.08223044872283936,
1620
+ 0.08108220249414444,
1621
+ 0.08889835327863693,
1622
+ 0.1039186641573906,
1623
+ 0.06507741659879684,
1624
+ 0.1267872154712677,
1625
+ 0.0938020795583725,
1626
+ 0.08764053136110306,
1627
+ 0.08689238131046295,
1628
+ 0.10352552682161331,
1629
+ 0.10767080634832382,
1630
+ 0.10112951695919037,
1631
+ 0.08746908605098724,
1632
+ 0.06849295645952225,
1633
+ 0.10700880736112595,
1634
+ 0.0750436782836914,
1635
+ 0.06697970628738403,
1636
+ 0.058788664638996124,
1637
+ 0.07686998695135117,
1638
+ 0.09081656485795975,
1639
+ 0.08958851546049118,
1640
+ 0.09647256135940552,
1641
+ 0.08599065989255905,
1642
+ 0.07048079371452332,
1643
+ 0.0860287994146347,
1644
+ 0.07073599845170975,
1645
+ 0.08226127922534943,
1646
+ 0.09625133126974106,
1647
+ 0.12204886227846146,
1648
+ 0.0745932012796402,
1649
+ 0.07187288254499435,
1650
+ 0.07823581248521805,
1651
+ 0.09818929433822632,
1652
+ 0.08053664863109589,
1653
+ 0.09855727106332779,
1654
+ 0.08629196137189865,
1655
+ 0.08498680591583252,
1656
+ 0.0798415020108223,
1657
+ 0.07865480333566666,
1658
+ 0.08414013683795929,
1659
+ 0.07917243242263794,
1660
+ 0.06755270063877106,
1661
+ 0.09574282914400101,
1662
+ 0.08093088120222092,
1663
+ 0.05501314252614975,
1664
+ 0.08193425089120865,
1665
+ 0.08343063294887543,
1666
+ 0.08848099410533905,
1667
+ 0.0837426707148552,
1668
+ 0.1031167134642601,
1669
+ 0.09371747821569443,
1670
+ 0.0721096470952034,
1671
+ 0.09048998355865479,
1672
+ 0.06716399639844894,
1673
+ 0.10160741955041885,
1674
+ 0.08319229632616043,
1675
+ 0.0746954008936882,
1676
+ 0.06925086677074432,
1677
+ 0.09754403680562973,
1678
+ 0.0639529824256897,
1679
+ 0.09356347471475601,
1680
+ 0.12145455926656723,
1681
+ 0.09375695139169693,
1682
+ 0.07997678220272064,
1683
+ 0.07078906148672104,
1684
+ 0.07677604258060455,
1685
+ 0.07553928345441818,
1686
+ 0.07551916688680649,
1687
+ 0.059632688760757446,
1688
+ 0.09679297357797623,
1689
+ 0.07769431173801422,
1690
+ 0.10014213621616364,
1691
+ 0.0866757482290268,
1692
+ 0.07145080715417862,
1693
+ 0.06969957798719406,
1694
+ 0.07286279648542404,
1695
+ 0.0914197638630867,
1696
+ 0.08136852830648422,
1697
+ 0.05964931845664978,
1698
+ 0.1091199740767479,
1699
+ 0.075323186814785,
1700
+ 0.053365033119916916,
1701
+ 0.06555844843387604,
1702
+ 0.08462885767221451,
1703
+ 0.097462959587574,
1704
+ 0.06348437815904617,
1705
+ 0.10757970809936523,
1706
+ 0.045760273933410645,
1707
+ 0.06786467134952545,
1708
+ 0.08760327845811844,
1709
+ 0.07260358333587646,
1710
+ 0.0714811235666275,
1711
+ 0.06850960105657578,
1712
+ 0.09141229838132858,
1713
+ 0.08324313163757324,
1714
+ 0.07806507498025894,
1715
+ 0.10558610409498215,
1716
+ 0.08190369606018066,
1717
+ 0.06819944083690643,
1718
+ 0.0827748253941536,
1719
+ 0.08583308756351471,
1720
+ 0.052272338420152664,
1721
+ 0.061148498207330704,
1722
+ 0.07115451991558075,
1723
+ 0.07127413898706436,
1724
+ 0.0704750120639801,
1725
+ 0.07089775055646896,
1726
+ 0.055738452821969986,
1727
+ 0.07341034710407257,
1728
+ 0.08593029528856277,
1729
+ 0.07548115402460098,
1730
+ 0.0767984464764595,
1731
+ 0.054623063653707504,
1732
+ 0.08070505410432816,
1733
+ 0.0726887509226799,
1734
+ 0.0854249820113182,
1735
+ 0.07438261061906815,
1736
+ 0.0683208778500557,
1737
+ 0.06615912169218063,
1738
+ 0.0844513550400734,
1739
+ 0.09180953353643417,
1740
+ 0.06764061003923416,
1741
+ 0.0686463862657547,
1742
+ 0.06297098845243454,
1743
+ 0.06372587382793427,
1744
+ 0.06351496279239655,
1745
+ 0.09671341627836227,
1746
+ 0.062724269926548,
1747
+ 0.06880006939172745,
1748
+ 0.06514435261487961,
1749
+ 0.07300271093845367,
1750
+ 0.0638117864727974,
1751
+ 0.0779242068529129,
1752
+ 0.07947627454996109,
1753
+ 0.05927758663892746,
1754
+ 0.06220719963312149,
1755
+ 0.08087371289730072,
1756
+ 0.06955031305551529,
1757
+ 0.08436179161071777,
1758
+ 0.05800190195441246,
1759
+ 0.052773017436265945,
1760
+ 0.07786910980939865,
1761
+ 0.05637967213988304,
1762
+ 0.0577319860458374,
1763
+ 0.0826069787144661,
1764
+ 0.08892273157835007,
1765
+ 0.0598796121776104,
1766
+ 0.05169800668954849,
1767
+ 0.07193943113088608,
1768
+ 0.0739004984498024,
1769
+ 0.07532141357660294,
1770
+ 0.054397884756326675,
1771
+ 0.04115178808569908,
1772
+ 0.06077955290675163,
1773
+ 0.055013589560985565,
1774
+ 0.06961464136838913,
1775
+ 0.07975976914167404,
1776
+ 0.07953741401433945,
1777
+ 0.0686776265501976,
1778
+ 0.06738127022981644,
1779
+ 0.058640845119953156,
1780
+ 0.06704795360565186,
1781
+ 0.06659897416830063,
1782
+ 0.07140708714723587,
1783
+ 0.061547230929136276,
1784
+ 0.08439814299345016,
1785
+ 0.0883214995265007,
1786
+ 0.09460939466953278,
1787
+ 0.06338821351528168,
1788
+ 0.07644397765398026,
1789
+ 0.07007456570863724,
1790
+ 0.05494070053100586,
1791
+ 0.0755937471985817,
1792
+ 0.07113979756832123,
1793
+ 0.05236219987273216,
1794
+ 0.0816115289926529,
1795
+ 0.06657212972640991,
1796
+ 0.04921133071184158,
1797
+ 0.06966421753168106,
1798
+ 0.0656009316444397,
1799
+ 0.0608198307454586,
1800
+ 0.06331111490726471,
1801
+ 0.06039551645517349,
1802
+ 0.07569581270217896,
1803
+ 0.057909417897462845,
1804
+ 0.05929108336567879,
1805
+ 0.0639948695898056,
1806
+ 0.059920698404312134,
1807
+ 0.07870141416788101,
1808
+ 0.06145377829670906,
1809
+ 0.05674570053815842,
1810
+ 0.06903517991304398,
1811
+ 0.06131824105978012,
1812
+ 0.05787726119160652,
1813
+ 0.051456958055496216,
1814
+ 0.0727662518620491,
1815
+ 0.05704193934798241,
1816
+ 0.0659167692065239,
1817
+ 0.05456031113862991,
1818
+ 0.0621221661567688,
1819
+ 0.030267778784036636,
1820
+ 0.06332433968782425,
1821
+ 0.07653301954269409,
1822
+ 0.055967073887586594,
1823
+ 0.06902151554822922,
1824
+ 0.0590251088142395,
1825
+ 0.05252640321850777,
1826
+ 0.04273724555969238,
1827
+ 0.0675697922706604,
1828
+ 0.07873761653900146,
1829
+ 0.044423673301935196,
1830
+ 0.04869184270501137,
1831
+ 0.06190628558397293,
1832
+ 0.04107106104493141,
1833
+ 0.05906297639012337,
1834
+ 0.057215772569179535,
1835
+ 0.06135198101401329,
1836
+ 0.0403430238366127,
1837
+ 0.045430682599544525,
1838
+ 0.05944081395864487,
1839
+ 0.08049578964710236,
1840
+ 0.05776336416602135,
1841
+ 0.07538755238056183,
1842
+ 0.05956441909074783,
1843
+ 0.06504030525684357,
1844
+ 0.08326540142297745,
1845
+ 0.06284049898386002,
1846
+ 0.060640450567007065,
1847
+ 0.06543754786252975,
1848
+ 0.053152136504650116,
1849
+ 0.07359129935503006,
1850
+ 0.07201488316059113,
1851
+ 0.050285134464502335,
1852
+ 0.048280127346515656,
1853
+ 0.05612489953637123,
1854
+ 0.046236541122198105,
1855
+ 0.046872250735759735,
1856
+ 0.06235929951071739,
1857
+ 0.05474840849637985,
1858
+ 0.07264767587184906,
1859
+ 0.03565438464283943,
1860
+ 0.06158501282334328,
1861
+ 0.05048424005508423,
1862
+ 0.06234138458967209,
1863
+ 0.04287523403763771,
1864
+ 0.08360723406076431,
1865
+ 0.06000962480902672,
1866
+ 0.0602361224591732,
1867
+ 0.062102168798446655,
1868
+ 0.06639088690280914,
1869
+ 0.052677664905786514,
1870
+ 0.0680750384926796,
1871
+ 0.09498775005340576,
1872
+ 0.07053764909505844,
1873
+ 0.04956977814435959,
1874
+ 0.05875078961253166,
1875
+ 0.05435701459646225,
1876
+ 0.034368447959423065,
1877
+ 0.07225817441940308,
1878
+ 0.051409441977739334,
1879
+ 0.06354834884405136,
1880
+ 0.05168512836098671,
1881
+ 0.05985720828175545,
1882
+ 0.04286810755729675
1883
  ],
1884
  "lr": [
1885
  4.183564567769478e-06,
 
2553
  20
2554
  ],
2555
  "eval_accuracy": [
2556
+ 0.15052631578947367,
2557
+ 0.3968421052631579,
2558
+ 0.5263157894736842,
2559
+ 0.5273684210526316,
2560
+ 0.5631578947368421,
2561
+ 0.6421052631578947,
2562
+ 0.6484210526315789,
2563
+ 0.6926315789473684,
2564
+ 0.6231578947368421,
2565
+ 0.671578947368421,
2566
+ 0.7210526315789474,
2567
+ 0.6442105263157895,
2568
+ 0.7010526315789474,
2569
+ 0.728421052631579,
2570
+ 0.7421052631578947,
2571
+ 0.7652631578947369,
2572
+ 0.7568421052631579,
2573
+ 0.7494736842105263,
2574
+ 0.748421052631579,
2575
+ 0.751578947368421
2576
  ]
2577
  },
2578
+ "final_accuracy": 0.666923076923077,
2579
  "sft_eval": {
2580
  "config": {
2581
  "ops": "add_sub",
2582
  "K": null,
2583
  "mode": "sft",
2584
  "n_digits": 6,
2585
+ "n_per_split": 100
2586
  },
2587
  "splits": {
2588
  "add_S0": {
2589
+ "full_accuracy": 0.97,
2590
+ "digit_accuracy": 0.9957142857142857,
2591
+ "n_examples": 100,
2592
  "per_subtask": {
2593
  "SA": {
2594
+ "accuracy": 0.9950413223140496,
2595
+ "count": 605
2596
  },
2597
  "SS": {
2598
  "accuracy": 1.0,
2599
+ "count": 95
2600
  }
2601
  }
2602
  },
2603
  "add_S1": {
2604
  "full_accuracy": 0.94,
2605
  "digit_accuracy": 0.9914285714285714,
2606
+ "n_examples": 100,
2607
  "per_subtask": {
2608
  "SA": {
2609
+ "accuracy": 0.9901960784313726,
2610
+ "count": 204
2611
  },
2612
  "SC": {
2613
+ "accuracy": 0.9881656804733728,
2614
+ "count": 169
2615
  },
2616
  "SS": {
2617
  "accuracy": 1.0,
2618
+ "count": 31
2619
  },
2620
  "UC": {
2621
+ "accuracy": 0.9932432432432432,
2622
+ "count": 296
2623
  }
2624
  }
2625
  },
2626
  "add_S2": {
2627
+ "full_accuracy": 0.83,
2628
+ "digit_accuracy": 0.9728571428571429,
2629
+ "n_examples": 100,
2630
  "per_subtask": {
2631
  "SA": {
2632
+ "accuracy": 0.9938650306748467,
2633
+ "count": 163
2634
  },
2635
  "SC": {
2636
+ "accuracy": 0.9846153846153847,
2637
+ "count": 130
2638
  },
2639
  "SS": {
2640
+ "accuracy": 0.9540229885057471,
2641
+ "count": 87
2642
  },
2643
  "UC": {
2644
+ "accuracy": 0.9408866995073891,
2645
+ "count": 203
2646
  },
2647
  "US": {
2648
  "accuracy": 1.0,
2649
+ "count": 117
2650
  }
2651
  }
2652
  },
2653
  "add_S3": {
2654
+ "full_accuracy": 0.57,
2655
+ "digit_accuracy": 0.9271428571428572,
2656
+ "n_examples": 100,
2657
  "per_subtask": {
2658
  "SA": {
2659
  "accuracy": 1.0,
2660
+ "count": 121
2661
  },
2662
  "SC": {
2663
+ "accuracy": 0.9834710743801653,
2664
+ "count": 121
2665
  },
2666
  "SS": {
2667
  "accuracy": 1.0,
2668
+ "count": 49
2669
  },
2670
  "UC": {
2671
+ "accuracy": 0.8064516129032258,
2672
+ "count": 186
2673
  },
2674
  "US": {
2675
+ "accuracy": 0.9417040358744395,
2676
+ "count": 223
2677
  }
2678
  }
2679
  },
2680
  "add_S4": {
2681
+ "full_accuracy": 0.43,
2682
+ "digit_accuracy": 0.8528571428571429,
2683
+ "n_examples": 100,
2684
  "per_subtask": {
2685
  "SA": {
2686
  "accuracy": 1.0,
2687
+ "count": 104
2688
  },
2689
  "SC": {
2690
  "accuracy": 1.0,
2691
+ "count": 106
2692
  },
2693
  "SS": {
2694
  "accuracy": 1.0,
2695
+ "count": 23
2696
  },
2697
  "UC": {
2698
+ "accuracy": 0.7125,
2699
+ "count": 160
2700
  },
2701
  "US": {
2702
+ "accuracy": 0.8143322475570033,
2703
+ "count": 307
2704
  }
2705
  }
2706
  },
2707
  "add_S5": {
2708
+ "full_accuracy": 0.17,
2709
+ "digit_accuracy": 0.6142857142857143,
2710
+ "n_examples": 100,
2711
  "per_subtask": {
2712
  "SA": {
2713
  "accuracy": 1.0,
2714
+ "count": 100
2715
  },
2716
  "SC": {
2717
  "accuracy": 1.0,
2718
+ "count": 100
2719
  },
2720
  "UC": {
2721
+ "accuracy": 0.35,
2722
+ "count": 100
2723
  },
2724
  "US": {
2725
+ "accuracy": 0.4875,
2726
+ "count": 400
2727
  }
2728
  }
2729
  },
2730
  "add_S6": {
2731
+ "full_accuracy": 0.54,
2732
+ "digit_accuracy": 0.72,
2733
+ "n_examples": 100,
2734
  "per_subtask": {
2735
  "SC": {
2736
  "accuracy": 1.0,
2737
+ "count": 100
2738
  },
2739
  "UC": {
2740
+ "accuracy": 0.62,
2741
+ "count": 100
2742
  },
2743
  "US": {
2744
+ "accuracy": 0.684,
2745
+ "count": 500
2746
  }
2747
  }
2748
  },
2749
  "add_random": {
2750
+ "full_accuracy": 0.925,
2751
+ "digit_accuracy": 0.9885714285714285,
2752
  "n_examples": 200,
2753
  "per_subtask": {
2754
  "SA": {
2755
+ "accuracy": 0.9865771812080537,
2756
+ "count": 447
2757
  },
2758
  "SC": {
2759
+ "accuracy": 0.9875,
2760
+ "count": 320
2761
  },
2762
  "SS": {
2763
+ "accuracy": 0.9821428571428571,
2764
+ "count": 56
2765
  },
2766
  "UC": {
2767
+ "accuracy": 0.9905482041587902,
2768
+ "count": 529
2769
  },
2770
  "US": {
2771
+ "accuracy": 1.0,
2772
+ "count": 48
2773
  }
2774
  }
2775
  },
2776
  "add_C1": {
2777
+ "full_accuracy": 0.97,
2778
+ "digit_accuracy": 0.9957142857142857,
2779
+ "n_examples": 100,
2780
  "per_subtask": {
2781
  "SA": {
2782
  "accuracy": 1.0,
2783
+ "count": 500
2784
  },
2785
  "SC": {
2786
  "accuracy": 1.0,
2787
+ "count": 100
2788
  },
2789
  "UC": {
2790
+ "accuracy": 0.97,
2791
+ "count": 100
2792
  }
2793
  }
2794
  },
2795
  "add_C2": {
2796
+ "full_accuracy": 0.89,
2797
+ "digit_accuracy": 0.9842857142857143,
2798
+ "n_examples": 100,
2799
  "per_subtask": {
2800
  "SA": {
2801
+ "accuracy": 0.995,
2802
+ "count": 400
2803
  },
2804
  "SC": {
2805
  "accuracy": 1.0,
2806
+ "count": 100
2807
  },
2808
  "UC": {
2809
+ "accuracy": 0.9423076923076923,
2810
+ "count": 156
2811
  },
2812
  "US": {
2813
+ "accuracy": 1.0,
2814
+ "count": 44
2815
  }
2816
  }
2817
  },
2818
  "add_C3": {
2819
+ "full_accuracy": 0.69,
2820
+ "digit_accuracy": 0.9471428571428572,
2821
+ "n_examples": 100,
2822
  "per_subtask": {
2823
  "SA": {
2824
  "accuracy": 1.0,
2825
+ "count": 300
2826
  },
2827
  "SC": {
2828
  "accuracy": 1.0,
2829
+ "count": 100
2830
  },
2831
  "UC": {
2832
+ "accuracy": 0.8492462311557789,
2833
+ "count": 199
2834
  },
2835
  "US": {
2836
+ "accuracy": 0.9306930693069307,
2837
+ "count": 101
2838
  }
2839
  }
2840
  },
2841
  "add_C4": {
2842
+ "full_accuracy": 0.72,
2843
+ "digit_accuracy": 0.9485714285714286,
2844
+ "n_examples": 100,
2845
  "per_subtask": {
2846
  "SA": {
2847
  "accuracy": 1.0,
2848
+ "count": 200
2849
  },
2850
  "SC": {
2851
  "accuracy": 1.0,
2852
+ "count": 100
2853
  },
2854
  "UC": {
2855
+ "accuracy": 0.8977272727272727,
2856
+ "count": 264
2857
  },
2858
  "US": {
2859
+ "accuracy": 0.9338235294117647,
2860
+ "count": 136
2861
  }
2862
  }
2863
  },
2864
  "add_C5": {
2865
+ "full_accuracy": 0.56,
2866
+ "digit_accuracy": 0.8942857142857142,
2867
+ "n_examples": 100,
2868
  "per_subtask": {
2869
  "SA": {
2870
  "accuracy": 1.0,
2871
+ "count": 100
2872
  },
2873
  "SC": {
2874
  "accuracy": 1.0,
2875
+ "count": 100
2876
  },
2877
  "UC": {
2878
+ "accuracy": 0.8709677419354839,
2879
+ "count": 310
2880
  },
2881
  "US": {
2882
+ "accuracy": 0.8210526315789474,
2883
+ "count": 190
2884
  }
2885
  }
2886
  },
2887
  "add_C6": {
2888
+ "full_accuracy": 0.65,
2889
+ "digit_accuracy": 0.9128571428571428,
2890
+ "n_examples": 100,
2891
  "per_subtask": {
2892
  "SC": {
2893
  "accuracy": 1.0,
2894
+ "count": 100
2895
  },
2896
  "UC": {
2897
+ "accuracy": 0.9243243243243243,
2898
+ "count": 370
2899
  },
2900
  "US": {
2901
+ "accuracy": 0.8565217391304348,
2902
+ "count": 230
2903
  }
2904
  }
2905
  },
2906
  "sub_M0": {
2907
+ "full_accuracy": 0.98,
2908
+ "digit_accuracy": 0.9971428571428571,
2909
+ "n_examples": 100,
2910
  "per_subtask": {
2911
  "MD": {
2912
+ "accuracy": 0.9967479674796748,
2913
+ "count": 615
2914
  },
2915
  "ME": {
2916
  "accuracy": 1.0,
2917
+ "count": 85
2918
  }
2919
  }
2920
  },
2921
  "sub_M1": {
2922
+ "full_accuracy": 0.95,
2923
+ "digit_accuracy": 0.9928571428571429,
2924
+ "n_examples": 100,
2925
  "per_subtask": {
2926
  "MD": {
2927
+ "accuracy": 0.9965753424657534,
2928
+ "count": 292
2929
  },
2930
  "MB": {
2931
+ "accuracy": 0.9791666666666666,
2932
+ "count": 144
2933
  },
2934
  "ME": {
2935
  "accuracy": 1.0,
2936
+ "count": 25
2937
  },
2938
  "UB": {
2939
+ "accuracy": 0.99581589958159,
2940
+ "count": 239
2941
  }
2942
  }
2943
  },
2944
  "sub_M2": {
2945
+ "full_accuracy": 0.84,
2946
+ "digit_accuracy": 0.9771428571428571,
2947
+ "n_examples": 100,
2948
  "per_subtask": {
2949
  "MD": {
2950
+ "accuracy": 0.990521327014218,
2951
+ "count": 211
2952
  },
2953
  "MB": {
2954
+ "accuracy": 1.0,
2955
+ "count": 115
2956
  },
2957
  "ME": {
2958
  "accuracy": 1.0,
2959
+ "count": 85
2960
  },
2961
  "UB": {
2962
+ "accuracy": 0.9226519337016574,
2963
+ "count": 181
2964
  },
2965
  "UD": {
2966
+ "accuracy": 1.0,
2967
+ "count": 108
2968
  }
2969
  }
2970
  },
2971
  "sub_M3": {
2972
+ "full_accuracy": 0.22,
2973
+ "digit_accuracy": 0.8585714285714285,
2974
+ "n_examples": 100,
2975
  "per_subtask": {
2976
  "MD": {
2977
+ "accuracy": 1.0,
2978
+ "count": 179
2979
  },
2980
  "MB": {
2981
+ "accuracy": 0.9805825242718447,
2982
+ "count": 103
2983
  },
2984
  "ME": {
2985
  "accuracy": 1.0,
2986
+ "count": 56
2987
  },
2988
  "UB": {
2989
+ "accuracy": 0.5100671140939598,
2990
+ "count": 149
2991
  },
2992
  "UD": {
2993
+ "accuracy": 0.8873239436619719,
2994
+ "count": 213
2995
  }
2996
  }
2997
  },
2998
  "sub_M4": {
2999
+ "full_accuracy": 0.01,
3000
+ "digit_accuracy": 0.7014285714285714,
3001
+ "n_examples": 100,
3002
  "per_subtask": {
3003
  "MD": {
3004
  "accuracy": 1.0,
3005
+ "count": 200
3006
  },
3007
  "MB": {
3008
  "accuracy": 1.0,
3009
+ "count": 100
3010
  },
3011
  "UB": {
3012
+ "accuracy": 0.43,
3013
+ "count": 100
3014
  },
3015
  "UD": {
3016
+ "accuracy": 0.49333333333333335,
3017
+ "count": 300
3018
  }
3019
  }
3020
  },
3021
  "sub_M5": {
3022
+ "full_accuracy": 0.08,
3023
+ "digit_accuracy": 0.6028571428571429,
3024
+ "n_examples": 100,
3025
  "per_subtask": {
3026
  "MD": {
3027
  "accuracy": 1.0,
3028
+ "count": 100
3029
  },
3030
  "MB": {
3031
  "accuracy": 1.0,
3032
+ "count": 100
3033
  },
3034
  "UB": {
3035
+ "accuracy": 0.47,
3036
+ "count": 100
3037
  },
3038
  "UD": {
3039
+ "accuracy": 0.4375,
3040
+ "count": 400
3041
  }
3042
  }
3043
  },
3044
  "sub_random": {
3045
+ "full_accuracy": 0.93,
3046
+ "digit_accuracy": 0.99,
3047
  "n_examples": 200,
3048
  "per_subtask": {
3049
  "MD": {
3050
+ "accuracy": 0.9933333333333333,
3051
+ "count": 600
3052
  },
3053
  "MB": {
3054
+ "accuracy": 0.9962546816479401,
3055
+ "count": 267
3056
  },
3057
  "ME": {
3058
  "accuracy": 1.0,
3059
  "count": 53
3060
  },
3061
  "UB": {
3062
+ "accuracy": 0.979498861047836,
3063
+ "count": 439
3064
  },
3065
  "UD": {
3066
  "accuracy": 1.0,
3067
+ "count": 41
3068
  }
3069
  }
3070
  },
3071
  "sub_B3": {
3072
+ "full_accuracy": 0.68,
3073
+ "digit_accuracy": 0.9485714285714286,
3074
+ "n_examples": 100,
3075
  "per_subtask": {
3076
  "MD": {
3077
+ "accuracy": 0.9933333333333333,
3078
+ "count": 300
3079
  },
3080
  "MB": {
3081
  "accuracy": 1.0,
3082
+ "count": 100
3083
  },
3084
  "UB": {
3085
+ "accuracy": 0.8730964467005076,
3086
+ "count": 197
3087
  },
3088
  "UD": {
3089
+ "accuracy": 0.912621359223301,
3090
+ "count": 103
3091
  }
3092
  }
3093
  },
3094
  "sub_B4": {
3095
+ "full_accuracy": 0.5,
3096
+ "digit_accuracy": 0.9057142857142857,
3097
+ "n_examples": 100,
3098
  "per_subtask": {
3099
  "MD": {
3100
  "accuracy": 1.0,
3101
+ "count": 200
3102
  },
3103
  "MB": {
3104
  "accuracy": 1.0,
3105
+ "count": 100
3106
  },
3107
  "UB": {
3108
+ "accuracy": 0.8299595141700404,
3109
+ "count": 247
3110
  },
3111
  "UD": {
3112
+ "accuracy": 0.8431372549019608,
3113
+ "count": 153
3114
  }
3115
  }
3116
  },
3117
  "sub_B5": {
3118
+ "full_accuracy": 0.45,
3119
+ "digit_accuracy": 0.8728571428571429,
3120
+ "n_examples": 100,
3121
  "per_subtask": {
3122
  "MD": {
3123
  "accuracy": 1.0,
3124
+ "count": 100
3125
  },
3126
  "MB": {
3127
  "accuracy": 1.0,
3128
+ "count": 100
3129
  },
3130
  "UB": {
3131
+ "accuracy": 0.8322147651006712,
3132
+ "count": 298
3133
  },
3134
  "UD": {
3135
+ "accuracy": 0.806930693069307,
3136
+ "count": 202
3137
  }
3138
  }
3139
  }
3140
  },
3141
  "summary": {
3142
+ "overall_accuracy": 0.666923076923077,
3143
+ "digit_accuracy": 0.9065934065934066,
3144
+ "total_examples": 2600,
3145
  "n_splits": 24
3146
  }
3147
  }
add_sub_baseline_100K_1L3H510d/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0b85ef5533b228f5e46463fbed81a2b2470589d326d11ab23624303456dfb058
3
  size 634642298
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:df040a739091446ea4e3b977fb85010d7acc5b0da4f5d6ca6fa3c597e4c641b7
3
  size 634642298
add_sub_baseline_100K_1L3H510d/train_config.json CHANGED
@@ -69,16 +69,20 @@
69
  "no_wandb": false,
70
  "n_params": 158584246,
71
  "run_name": "add_sub_baseline_100K_1L3H510d",
72
- "git_commit": "8d5ee5420119746ef4e2c87570eb250c9718f643",
73
- "timestamp": "2026-04-12T23:07:20.411593+00:00",
74
  "tokenizer": "Qwen/Qwen3-0.6B",
75
  "dataset_repo": "thoughtworks/arithmetic-sorl-data",
76
  "dataset_config": "add_sub_6digit",
 
77
  "model_repo": "thoughtworks/arithmetic-sorl",
78
  "trainer_version": "sft",
79
- "wandb_run_id": "8b7rrjnk",
80
- "wandb_url": "https://wandb.ai/nlp_and_interpretability/sorl-arithmetic/runs/8b7rrjnk",
81
- "final_accuracy": 0.6070833333333333,
82
- "sft_accuracy": 0.6070833333333333,
 
 
 
83
  "eval_method": "ArithmeticEvaluator"
84
  }
 
69
  "no_wandb": false,
70
  "n_params": 158584246,
71
  "run_name": "add_sub_baseline_100K_1L3H510d",
72
+ "git_commit": "f835493c19eb98267697007042c9d440cad2afbb",
73
+ "timestamp": "2026-04-15T11:45:07.518581+00:00",
74
  "tokenizer": "Qwen/Qwen3-0.6B",
75
  "dataset_repo": "thoughtworks/arithmetic-sorl-data",
76
  "dataset_config": "add_sub_6digit",
77
+ "train_dataset": "fixed_train/train_100K_seed42.pt",
78
  "model_repo": "thoughtworks/arithmetic-sorl",
79
  "trainer_version": "sft",
80
+ "wandb_run_id": "kpyvkcok",
81
+ "wandb_url": "https://wandb.ai/nlp_and_interpretability/sorl-arithmetic/runs/kpyvkcok",
82
+ "eval_final_dataset": "eval_sets/eval_add_sub_6d_N100_seed42.json",
83
+ "eval_epoch_dataset": "eval_sets/eval_add_sub_6d_N25_seed42.json",
84
+ "eval_hf_repo": "thoughtworks/arithmetic-sorl-data",
85
+ "final_accuracy": 0.666923076923077,
86
+ "sft_accuracy": 0.666923076923077,
87
  "eval_method": "ArithmeticEvaluator"
88
  }