| { | |
| "weights": "artifacts/alben-scorer.pt", | |
| "results": { | |
| "massive_en": 0.6975, | |
| "massive_others": 0.38833333333333336, | |
| "banking77": 0.8816666666666667, | |
| "sst5": 0.31333333333333335, | |
| "clean_avg": 0.6465, | |
| "clean_min": 0.6178 | |
| }, | |
| "lines": { | |
| "massive_en": 0.6, | |
| "massive_others": 0.3, | |
| "banking77": 0.7, | |
| "sst5": 0.25, | |
| "clean_avg": 0.6, | |
| "clean_min": 0.58 | |
| }, | |
| "extra": { | |
| "massive_per_lang": { | |
| "en-US": 0.6975, | |
| "zh-CN": 0.8025, | |
| "de-DE": 0.46, | |
| "fr-FR": 0.455, | |
| "es-ES": 0.505, | |
| "ja-JP": 0.635, | |
| "ar-SA": 0.2125, | |
| "hi-IN": 0.1125, | |
| "th-TH": 0.165, | |
| "ko-KR": 0.1475 | |
| }, | |
| "banking77_majority": 0.06666666666666667, | |
| "sst5_majority": 0.2733333333333333, | |
| "clean_per_ruler": { | |
| "tpl": 0.6243, | |
| "free": 0.6178, | |
| "diverse": 0.6375, | |
| "real": 0.7064 | |
| } | |
| }, | |
| "fails": [], | |
| "passed": true | |
| } |