File size: 1,299 Bytes
e99e55d | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 | {
"WebOrganizer (TopicClassifier-NoURL + FormatClassifier-NoURL)": {
"en_llama405b": {
"topic": {
"n": 3000,
"acc": 0.8623333333333333,
"macro_f1": 0.8561460355652138,
"lang_mean_acc": 0.8623333333333333
},
"format": {
"n": 3000,
"acc": 0.7886666666666666,
"macro_f1": 0.7535412284578477,
"lang_mean_acc": 0.7886666666666666
}
},
"fw2_judged": {
"topic": {
"n": 9750,
"acc": 0.39456410256410257,
"macro_f1": 0.38842200677599825,
"lang_mean_acc": 0.39456410256410257
},
"format": {
"n": 9750,
"acc": 0.2517948717948718,
"macro_f1": 0.18445818627974567,
"lang_mean_acc": 0.25179487179487176
}
}
},
"Qwen3.8-27B (teacher, prompted)": {
"en_llama405b": {
"topic": {
"n": 3000,
"acc": 0.864,
"macro_f1": 0.8564019295781896,
"lang_mean_acc": 0.864
},
"format": {
"n": 3000,
"acc": 0.743,
"macro_f1": 0.6900647917234136,
"lang_mean_acc": 0.743
}
},
"fw2_judged": {
"topic": {
"n": 9750,
"acc": 0.8854358974358975,
"macro_f1": 0.8763422586931987,
"lang_mean_acc": 0.8854358974358976
},
"format": {
"n": 9750,
"acc": 0.7733333333333333,
"macro_f1": 0.7421096918808819,
"lang_mean_acc": 0.7733333333333334
}
}
}
} |