adgw commited on
Commit
8564264
Β·
verified Β·
1 Parent(s): 1ea85dd

Update benchmark leaderboard

Browse files
Files changed (1) hide show
  1. index.html +254 -18
index.html CHANGED
@@ -1,19 +1,255 @@
1
- <!doctype html>
2
- <html>
3
- <head>
4
- <meta charset="utf-8" />
5
- <meta name="viewport" content="width=device-width" />
6
- <title>My static Space</title>
7
- <link rel="stylesheet" href="style.css" />
8
- </head>
9
- <body>
10
- <div class="card">
11
- <h1>Welcome to your static Space!</h1>
12
- <p>You can modify this app directly by editing <i>index.html</i> in the Files and versions tab.</p>
13
- <p>
14
- Also don't forget to check the
15
- <a href="https://huggingface.co/docs/hub/spaces" target="_blank">Spaces documentation</a>.
16
- </p>
17
- </div>
18
- </body>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
19
  </html>
 
1
+ <!DOCTYPE html>
2
+ <html lang="en">
3
+ <head>
4
+ <meta charset="UTF-8"/>
5
+ <meta name="viewport" content="width=device-width, initial-scale=1.0"/>
6
+ <title>Text Quality Rating Benchmark</title>
7
+ <link rel="preconnect" href="https://fonts.googleapis.com"/>
8
+ <link href="https://fonts.googleapis.com/css2?family=JetBrains+Mono:wght@400;600;700&family=Syne:wght@700;800&display=swap" rel="stylesheet"/>
9
+ <style>
10
+ *, *::before, *::after { box-sizing: border-box; margin: 0; padding: 0; }
11
+ body {
12
+ background: #0d1117;
13
+ color: #e2e8f0;
14
+ font-family: 'JetBrains Mono', monospace;
15
+ padding: 36px 28px 60px;
16
+ min-height: 100vh;
17
+ }
18
+ h1 {
19
+ font-family: 'Syne', sans-serif;
20
+ font-size: clamp(20px, 3vw, 30px);
21
+ font-weight: 800;
22
+ letter-spacing: -0.02em;
23
+ color: #f1f5f9;
24
+ margin-bottom: 8px;
25
+ }
26
+ .subtitle {
27
+ color: #64748b;
28
+ font-size: 13px;
29
+ margin-bottom: 28px;
30
+ }
31
+ /* ── language filter chips ── */
32
+ .filter-label {
33
+ font-size: 10px;
34
+ text-transform: uppercase;
35
+ letter-spacing: 0.1em;
36
+ color: #475569;
37
+ margin-bottom: 10px;
38
+ }
39
+ #chips {
40
+ display: flex;
41
+ flex-wrap: wrap;
42
+ gap: 6px;
43
+ margin-bottom: 28px;
44
+ }
45
+ .chip {
46
+ padding: 4px 11px;
47
+ border-radius: 20px;
48
+ font-size: 11px;
49
+ font-family: 'JetBrains Mono', monospace;
50
+ cursor: pointer;
51
+ border: 1px solid #2d3748;
52
+ background: #161b26;
53
+ color: #94a3b8;
54
+ transition: border-color .15s, color .15s, background .15s;
55
+ user-select: none;
56
+ }
57
+ .chip:hover { border-color: #7dd3fc; color: #e2e8f0; }
58
+ .chip.active { background: #1e3a5f; border-color: #38bdf8; color: #7dd3fc; }
59
+ /* ── table wrapper ── */
60
+ .table-wrap {
61
+ overflow-x: auto;
62
+ border-radius: 10px;
63
+ border: 1px solid #1e2a3a;
64
+ }
65
+ table {
66
+ border-collapse: collapse;
67
+ width: 100%;
68
+ font-size: 12.5px;
69
+ }
70
+ thead tr {
71
+ background: #111827;
72
+ border-bottom: 2px solid #1e2a3a;
73
+ }
74
+ th {
75
+ padding: 11px 8px;
76
+ white-space: nowrap;
77
+ }
78
+ th.rank-col { width: 44px; padding-left: 14px; }
79
+ th.model-col { text-align: left; min-width: 200px; padding-left: 14px; }
80
+ th.avg-col { min-width: 110px; }
81
+ th.lang-col { min-width: 80px; }
82
+ .sort-btn {
83
+ background: none;
84
+ border: none;
85
+ color: #64748b;
86
+ cursor: pointer;
87
+ font: inherit;
88
+ font-size: 10px;
89
+ font-weight: 700;
90
+ text-transform: uppercase;
91
+ letter-spacing: 0.08em;
92
+ display: inline-flex;
93
+ align-items: center;
94
+ gap: 3px;
95
+ padding: 0;
96
+ white-space: nowrap;
97
+ }
98
+ .sort-btn:hover { color: #7dd3fc; }
99
+ .sort-btn.active { color: #e2e8f0; }
100
+ tbody tr {
101
+ border-bottom: 1px solid #0f1520;
102
+ transition: filter .1s;
103
+ }
104
+ tbody tr:hover { filter: brightness(1.15); }
105
+ td { padding: 9px 8px; white-space: nowrap; }
106
+ td.rank { padding-left: 14px; color: #475569; font-weight: 700; font-size: 13px; }
107
+ td.model { padding-left: 14px; color: #cbd5e1; font-weight: 600; max-width: 280px; overflow: hidden; text-overflow: ellipsis; }
108
+ td.score {
109
+ text-align: center;
110
+ font-weight: 700;
111
+ font-size: 12px;
112
+ border-right: 1px solid rgba(255,255,255,0.04);
113
+ }
114
+ td.empty { text-align: center; color: #2d3748; background: #111520; border-right: 1px solid rgba(255,255,255,0.04); }
115
+ .footer {
116
+ margin-top: 16px;
117
+ font-size: 11px;
118
+ color: #2d3748;
119
+ text-align: right;
120
+ }
121
+ </style>
122
+ </head>
123
+ <body>
124
+ <h1>Text Quality Rating Benchmark</h1>
125
+ <p class="subtitle">Accuracy of LLMs at rating text quality on a 1–6 scale &middot; across multiple languages</p>
126
+
127
+ <div class="filter-label">Filter by language</div>
128
+ <div id="chips"></div>
129
+
130
+ <div class="table-wrap">
131
+ <table id="lb-table">
132
+ <thead id="lb-head"></thead>
133
+ <tbody id="lb-body"></tbody>
134
+ </table>
135
+ </div>
136
+ <div class="footer" id="footer"></div>
137
+
138
+ <script>
139
+ (function() {
140
+ const ALL_ROWS = [{"model": "Qwen/Qwen3.5-397B-A17B-FP8", "avg": 0.6479480432226639, "total": 17861, "lang_scores": {"ar": 0.675, "az": 0.7025, "be": 0.785, "bg": 0.7596685082872928, "bo": 0.735, "ca": 0.7325905292479109, "cn": 0.6283333333333333, "cs": 0.7425, "da": 0.565, "de": 0.67, "el": 0.6075, "en": 0.46, "es": 0.7777777777777778, "et": 0.6575, "eu": 0.474036850921273, "fa": 0.565, "fi": 0.77, "fr": 0.7696335078534031, "gl": 0.5216666666666666, "hu": 0.6475, "hv": 0.7175, "is": 0.715, "it": 0.78, "ka": 0.6886792452830188, "la": 0.6627680311890838, "li": 0.6, "lv": 0.725, "mk": 0.54, "mt": 0.74, "nl": 0.58, "no": 0.695, "pl": 0.4868651488616462, "pt": 0.695, "ro": 0.625, "ru": 0.759075907590759, "sk": 0.63, "sl": 0.715, "sq": 0.8025, "sr": 0.5625, "stack": 0.3843351548269581, "sv": 0.66, "tr": 0.55, "uk": 0.7647058823529411}}, {"model": "openai/gpt-4o-mini", "avg": 0.5879781420765028, "total": 1830, "lang_scores": {"ar": 0.6153846153846154, "az": 0.5, "be": 0.725, "bg": 0.675, "bo": 0.675, "ca": 0.475, "cn": 0.7, "cs": 0.6, "da": 0.525, "de": 0.55, "el": 0.525, "en": 0.425, "es": 0.8, "et": 0.875, "eu": 0.35, "fa": 0.5333333333333333, "fi": 0.65, "fr": 0.575, "gl": 0.43333333333333335, "hu": 0.65, "hv": 0.7, "is": 0.6, "it": 0.725, "ka": 0.475, "la": 0.4, "li": 0.675, "lv": 0.725, "mk": 0.4, "mt": 0.6, "nl": 0.475, "no": 0.675, "pl": 0.38333333333333336, "pt": 0.75, "ro": 0.5, "ru": 0.8484848484848485, "sk": 0.7, "sl": 0.7, "sq": 0.7, "sr": 0.475, "stack": 0.36666666666666664, "sv": 0.725, "tr": 0.65, "uk": 0.6842105263157895}}, {"model": "google/gemini-3-flash-preview", "avg": 0.5766503000545554, "total": 1833, "lang_scores": {"ar": 0.575, "az": 0.55, "be": 0.625, "bg": 0.75, "bo": 0.575, "ca": 0.725, "cn": 0.5666666666666667, "cs": 0.525, "da": 0.475, "de": 0.65, "el": 0.575, "en": 0.4, "es": 0.825, "et": 0.625, "eu": 0.4166666666666667, "fa": 0.5166666666666667, "fi": 0.625, "fr": 0.675, "gl": 0.5333333333333333, "hu": 0.575, "hv": 0.7, "is": 0.55, "it": 0.725, "ka": 0.6, "la": 0.5, "li": 0.5, "lv": 0.6, "mk": 0.525, "mt": 0.7, "nl": 0.45, "no": 0.6, "pl": 0.36666666666666664, "pt": 0.525, "ro": 0.625, "ru": 0.696969696969697, "sk": 0.525, "sl": 0.7, "sq": 0.675, "sr": 0.475, "stack": 0.5333333333333333, "sv": 0.6, "tr": 0.6, "uk": 0.6}}, {"model": "qwen/qwen3-235b-a22b-2507", "avg": 0.49318057828696127, "total": 1833, "lang_scores": {"ar": 0.6, "az": 0.475, "be": 0.55, "bg": 0.65, "bo": 0.55, "ca": 0.525, "cn": 0.43333333333333335, "cs": 0.425, "da": 0.45, "de": 0.65, "el": 0.55, "en": 0.425, "es": 0.525, "et": 0.5, "eu": 0.4166666666666667, "fa": 0.6166666666666667, "fi": 0.55, "fr": 0.6, "gl": 0.43333333333333335, "hu": 0.65, "hv": 0.625, "is": 0.475, "it": 0.65, "ka": 0.325, "la": 0.43333333333333335, "li": 0.4, "lv": 0.575, "mk": 0.35, "mt": 0.475, "nl": 0.35, "no": 0.4, "pl": 0.31666666666666665, "pt": 0.575, "ro": 0.5, "ru": 0.45454545454545453, "sk": 0.45, "sl": 0.575, "sq": 0.6, "sr": 0.5, "stack": 0.35, "sv": 0.475, "tr": 0.45, "uk": 0.625}}, {"model": "z-ai/glm-4-32b", "avg": 0.4249863611565739, "total": 1833, "lang_scores": {"ar": 0.375, "az": 0.5, "be": 0.625, "bg": 0.375, "bo": 0.625, "ca": 0.35, "cn": 0.38333333333333336, "cs": 0.625, "da": 0.35, "de": 0.4, "el": 0.55, "en": 0.3, "es": 0.35, "et": 0.525, "eu": 0.3, "fa": 0.38333333333333336, "fi": 0.525, "fr": 0.525, "gl": 0.25, "hu": 0.5, "hv": 0.625, "is": 0.35, "it": 0.4, "ka": 0.5, "la": 0.43333333333333335, "li": 0.425, "lv": 0.525, "mk": 0.225, "mt": 0.35, "nl": 0.425, "no": 0.475, "pl": 0.35, "pt": 0.25, "ro": 0.3, "ru": 0.5151515151515151, "sk": 0.525, "sl": 0.475, "sq": 0.7, "sr": 0.375, "stack": 0.21666666666666667, "sv": 0.4, "tr": 0.425, "uk": 0.525}}, {"model": "speakleash/Bielik-11B-v3.0-Instruct", "avg": 0.417804478427089, "total": 1831, "lang_scores": {"ar": 0.025, "az": 0.525, "be": 0.2, "bg": 0.525, "bo": 0.675, "ca": 0.325, "cn": 0.2711864406779661, "cs": 0.5, "da": 0.425, "de": 0.95, "el": 0.325, "en": 0.5, "es": 0.475, "et": 0.55, "eu": 0.25, "fa": 0.36666666666666664, "fi": 0.425, "fr": 0.5, "gl": 0.4, "hu": 0.475, "hv": 0.525, "is": 0.225, "it": 0.475, "ka": 0.23076923076923078, "la": 0.3, "li": 0.45, "lv": 0.425, "mk": 0.275, "mt": 0.375, "nl": 0.45, "no": 0.475, "pl": 0.36666666666666664, "pt": 0.475, "ro": 0.425, "ru": 0.6060606060606061, "sk": 0.475, "sl": 0.55, "sq": 0.5, "sr": 0.45, "stack": 0.3333333333333333, "sv": 0.425, "tr": 0.45, "uk": 0.625}}, {"model": "deepseek/deepseek-v3.2", "avg": 0.4064375340971086, "total": 1833, "lang_scores": {"ar": 0.375, "az": 0.325, "be": 0.475, "bg": 0.475, "bo": 0.475, "ca": 0.425, "cn": 0.5333333333333333, "cs": 0.5, "da": 0.275, "de": 0.6, "el": 0.25, "en": 0.525, "es": 0.425, "et": 0.425, "eu": 0.3333333333333333, "fa": 0.35, "fi": 0.375, "fr": 0.45, "gl": 0.48333333333333334, "hu": 0.4, "hv": 0.475, "is": 0.575, "it": 0.425, "ka": 0.35, "la": 0.3, "li": 0.375, "lv": 0.4, "mk": 0.325, "mt": 0.375, "nl": 0.325, "no": 0.4, "pl": 0.36666666666666664, "pt": 0.475, "ro": 0.25, "ru": 0.48484848484848486, "sk": 0.375, "sl": 0.6, "sq": 0.375, "sr": 0.3, "stack": 0.4166666666666667, "sv": 0.375, "tr": 0.375, "uk": 0.425}}, {"model": "google/gemini-2.0-flash-lite-001", "avg": 0.3791598472449536, "total": 1833, "lang_scores": {"ar": 0.325, "az": 0.325, "be": 0.55, "bg": 0.6, "bo": 0.4, "ca": 0.275, "cn": 0.45, "cs": 0.3, "da": 0.4, "de": 0.35, "el": 0.225, "en": 0.525, "es": 0.4, "et": 0.55, "eu": 0.3333333333333333, "fa": 0.5166666666666667, "fi": 0.4, "fr": 0.425, "gl": 0.38333333333333336, "hu": 0.45, "hv": 0.425, "is": 0.2, "it": 0.425, "ka": 0.3, "la": 0.21666666666666667, "li": 0.425, "lv": 0.475, "mk": 0.2, "mt": 0.425, "nl": 0.4, "no": 0.325, "pl": 0.36666666666666664, "pt": 0.375, "ro": 0.275, "ru": 0.6060606060606061, "sk": 0.425, "sl": 0.375, "sq": 0.425, "sr": 0.25, "stack": 0.21666666666666667, "sv": 0.425, "tr": 0.4, "uk": 0.275}}, {"model": "meta-llama/llama-4-scout", "avg": 0.3768432550518842, "total": 1831, "lang_scores": {"ar": 0.325, "az": 0.475, "be": 0.3, "bg": 0.375, "bo": 0.425, "ca": 0.3, "cn": 0.25, "cs": 0.525, "da": 0.375, "de": 0.6, "el": 0.275, "en": 0.225, "es": 0.475, "et": 0.425, "eu": 0.2542372881355932, "fa": 0.4, "fi": 0.5, "fr": 0.375, "gl": 0.2, "hu": 0.45, "hv": 0.45, "is": 0.55, "it": 0.425, "ka": 0.3, "la": 0.31666666666666665, "li": 0.35, "lv": 0.45, "mk": 0.275, "mt": 0.35, "nl": 0.325, "no": 0.475, "pl": 0.35, "pt": 0.5, "ro": 0.325, "ru": 0.5454545454545454, "sk": 0.5, "sl": 0.4, "sq": 0.575, "sr": 0.275, "stack": 0.21666666666666667, "sv": 0.425, "tr": 0.425, "uk": 0.3333333333333333}}, {"model": "meta-llama/llama-3.3-70b-instruct", "avg": 0.3669623059866962, "total": 1804, "lang_scores": {"ar": 0.38461538461538464, "az": 0.39473684210526316, "be": 0.475, "bg": 0.4, "bo": 0.45, "ca": 0.25, "cn": 0.3050847457627119, "cs": 0.525, "da": 0.358974358974359, "de": 0.45, "el": 0.4473684210526316, "en": 0.2564102564102564, "es": 0.32432432432432434, "et": 0.5128205128205128, "eu": 0.29310344827586204, "fa": 0.3103448275862069, "fi": 0.5384615384615384, "fr": 0.38461538461538464, "gl": 0.18333333333333332, "hu": 0.45, "hv": 0.4, "is": 0.45, "it": 0.38461538461538464, "ka": 0.35, "la": 0.3103448275862069, "li": 0.2564102564102564, "lv": 0.425, "mk": 0.225, "mt": 0.275, "nl": 0.425, "no": 0.375, "pl": 0.4, "pt": 0.358974358974359, "ro": 0.13157894736842105, "ru": 0.5151515151515151, "sk": 0.425, "sl": 0.4358974358974359, "sq": 0.28205128205128205, "sr": 0.3333333333333333, "stack": 0.35, "sv": 0.41025641025641024, "tr": 0.475, "uk": 0.35}}, {"model": "z-ai/glm-4.5-air", "avg": 0.36224768139661756, "total": 1833, "lang_scores": {"ar": 0.325, "az": 0.4, "be": 0.525, "bg": 0.475, "bo": 0.45, "ca": 0.375, "cn": 0.4, "cs": 0.35, "da": 0.325, "de": 0.4, "el": 0.325, "en": 0.275, "es": 0.35, "et": 0.6, "eu": 0.3, "fa": 0.2833333333333333, "fi": 0.45, "fr": 0.3, "gl": 0.38333333333333336, "hu": 0.375, "hv": 0.175, "is": 0.25, "it": 0.125, "ka": 0.35, "la": 0.15, "li": 0.175, "lv": 0.1, "mk": 0.2, "mt": 0.275, "nl": 0.225, "no": 0.375, "pl": 0.35, "pt": 0.525, "ro": 0.4, "ru": 0.48484848484848486, "sk": 0.55, "sl": 0.625, "sq": 0.65, "sr": 0.325, "stack": 0.35, "sv": 0.5, "tr": 0.45, "uk": 0.5}}, {"model": "google/gemma-3-12b-it", "avg": 0.337152209492635, "total": 1833, "lang_scores": {"ar": 0.275, "az": 0.35, "be": 0.35, "bg": 0.475, "bo": 0.45, "ca": 0.225, "cn": 0.38333333333333336, "cs": 0.45, "da": 0.375, "de": 0.5, "el": 0.275, "en": 0.45, "es": 0.325, "et": 0.4, "eu": 0.23333333333333334, "fa": 0.25, "fi": 0.4, "fr": 0.425, "gl": 0.16666666666666666, "hu": 0.35, "hv": 0.4, "is": 0.475, "it": 0.325, "ka": 0.3, "la": 0.3, "li": 0.25, "lv": 0.425, "mk": 0.275, "mt": 0.25, "nl": 0.45, "no": 0.375, "pl": 0.36666666666666664, "pt": 0.25, "ro": 0.25, "ru": 0.5757575757575758, "sk": 0.275, "sl": 0.35, "sq": 0.35, "sr": 0.325, "stack": 0.26666666666666666, "sv": 0.175, "tr": 0.325, "uk": 0.375}}, {"model": "mistralai/mistral-nemo", "avg": 0.3109656301145663, "total": 1833, "lang_scores": {"ar": 0.325, "az": 0.45, "be": 0.475, "bg": 0.325, "bo": 0.375, "ca": 0.25, "cn": 0.38333333333333336, "cs": 0.425, "da": 0.375, "de": 0.4, "el": 0.3, "en": 0.25, "es": 0.35, "et": 0.225, "eu": 0.21666666666666667, "fa": 0.26666666666666666, "fi": 0.35, "fr": 0.275, "gl": 0.2833333333333333, "hu": 0.2, "hv": 0.425, "is": 0.3, "it": 0.2, "ka": 0.425, "la": 0.18333333333333332, "li": 0.325, "lv": 0.425, "mk": 0.375, "mt": 0.325, "nl": 0.35, "no": 0.375, "pl": 0.25, "pt": 0.35, "ro": 0.2, "ru": 0.21212121212121213, "sk": 0.375, "sl": 0.35, "sq": 0.3, "sr": 0.25, "stack": 0.3333333333333333, "sv": 0.175, "tr": 0.275, "uk": 0.25}}, {"model": "openai/gpt-4.1-nano", "avg": 0.2898471615720524, "total": 1832, "lang_scores": {"ar": 0.2564102564102564, "az": 0.275, "be": 0.25, "bg": 0.35, "bo": 0.325, "ca": 0.125, "cn": 0.4, "cs": 0.35, "da": 0.375, "de": 0.0, "el": 0.225, "en": 0.1, "es": 0.275, "et": 0.45, "eu": 0.2, "fa": 0.36666666666666664, "fi": 0.5, "fr": 0.325, "gl": 0.3, "hu": 0.25, "hv": 0.35, "is": 0.3, "it": 0.3, "ka": 0.125, "la": 0.2, "li": 0.275, "lv": 0.425, "mk": 0.125, "mt": 0.25, "nl": 0.3, "no": 0.275, "pl": 0.3, "pt": 0.225, "ro": 0.25, "ru": 0.3939393939393939, "sk": 0.275, "sl": 0.3, "sq": 0.325, "sr": 0.325, "stack": 0.2833333333333333, "sv": 0.375, "tr": 0.325, "uk": 0.325}}, {"model": "qwen/qwen-2.5-7b-instruct", "avg": 0.2618657937806874, "total": 1833, "lang_scores": {"ar": 0.2, "az": 0.15, "be": 0.25, "bg": 0.35, "bo": 0.4, "ca": 0.225, "cn": 0.31666666666666665, "cs": 0.3, "da": 0.325, "de": 0.25, "el": 0.2, "en": 0.4, "es": 0.325, "et": 0.25, "eu": 0.21666666666666667, "fa": 0.3, "fi": 0.275, "fr": 0.35, "gl": 0.36666666666666664, "hu": 0.225, "hv": 0.3, "is": 0.325, "it": 0.3, "ka": 0.125, "la": 0.18333333333333332, "li": 0.2, "lv": 0.35, "mk": 0.15, "mt": 0.225, "nl": 0.275, "no": 0.3, "pl": 0.21666666666666667, "pt": 0.25, "ro": 0.2, "ru": 0.3939393939393939, "sk": 0.325, "sl": 0.275, "sq": 0.1, "sr": 0.05, "stack": 0.16666666666666666, "sv": 0.35, "tr": 0.3, "uk": 0.275}}, {"model": "google/gemma-3-27b-it", "avg": 0.25368248772504093, "total": 1833, "lang_scores": {"ar": 0.3, "az": 0.15, "be": 0.225, "bg": 0.3, "bo": 0.325, "ca": 0.175, "cn": 0.3333333333333333, "cs": 0.325, "da": 0.1, "de": 0.3, "el": 0.15, "en": 0.5, "es": 0.3, "et": 0.225, "eu": 0.23333333333333334, "fa": 0.26666666666666666, "fi": 0.225, "fr": 0.2, "gl": 0.25, "hu": 0.25, "hv": 0.25, "is": 0.375, "it": 0.225, "ka": 0.175, "la": 0.36666666666666664, "li": 0.1, "lv": 0.325, "mk": 0.15, "mt": 0.225, "nl": 0.325, "no": 0.175, "pl": 0.4166666666666667, "pt": 0.25, "ro": 0.05, "ru": 0.45454545454545453, "sk": 0.2, "sl": 0.275, "sq": 0.25, "sr": 0.1, "stack": 0.2833333333333333, "sv": 0.025, "tr": 0.325, "uk": 0.325}}, {"model": "mistralai/mistral-small-3.2-24b-instruct", "avg": 0.2524972253052164, "total": 1802, "lang_scores": {"ar": 0.2, "az": 0.25, "be": 0.275, "bg": 0.225, "bo": 0.275, "ca": 0.225, "cn": 0.31666666666666665, "cs": 0.225, "da": 0.35, "de": 0.5, "el": 0.25, "en": 0.3, "es": 0.3, "et": 0.15, "eu": 0.18333333333333332, "fa": 0.3333333333333333, "fi": 0.275, "fr": 0.25, "gl": 0.16666666666666666, "hu": 0.275, "hv": 0.275, "is": 0.375, "it": 0.275, "ka": 0.2, "la": 0.4, "li": 0.20512820512820512, "lv": 0.325, "mk": 0.2, "mt": 0.1, "nl": 0.225, "no": 0.25, "pl": 0.3, "pt": 0.25, "ro": 0.2222222222222222, "ru": 0.3, "sk": 0.14285714285714285, "sl": 0.1935483870967742, "sq": 0.15789473684210525, "sr": 0.2, "stack": 0.23333333333333334, "sv": 0.3, "tr": 0.175, "uk": 0.225}}, {"model": "mistralai/mixtral-8x7b-instruct", "avg": 0.25136612021857924, "total": 1830, "lang_scores": {"ar": 0.175, "az": 0.2, "be": 0.15, "bg": 0.225, "bo": 0.25, "ca": 0.175, "cn": 0.2542372881355932, "cs": 0.4, "da": 0.25, "de": 0.5, "el": 0.2, "en": 0.3, "es": 0.3, "et": 0.275, "eu": 0.25, "fa": 0.18333333333333332, "fi": 0.275, "fr": 0.25, "gl": 0.21666666666666667, "hu": 0.25, "hv": 0.225, "is": 0.15, "it": 0.225, "ka": 0.15384615384615385, "la": 0.2833333333333333, "li": 0.2, "lv": 0.25, "mk": 0.225, "mt": 0.225, "nl": 0.3, "no": 0.325, "pl": 0.2833333333333333, "pt": 0.225, "ro": 0.3, "ru": 0.34375, "sk": 0.225, "sl": 0.325, "sq": 0.2, "sr": 0.25, "stack": 0.35, "sv": 0.225, "tr": 0.275, "uk": 0.275}}, {"model": "mistralai/mistral-7b-instruct", "avg": 0.24472049689440994, "total": 1610, "lang_scores": {"ar": 0.058823529411764705, "az": 0.2702702702702703, "be": 0.38235294117647056, "bg": 0.24324324324324326, "bo": 0.3142857142857143, "ca": 0.2857142857142857, "cn": 0.3392857142857143, "cs": 0.42857142857142855, "da": 0.28, "de": 0.25, "el": 0.19444444444444445, "en": 0.125, "es": 0.2413793103448276, "et": 0.4827586206896552, "eu": 0.22641509433962265, "fa": 0.3559322033898305, "fi": 0.2692307692307692, "fr": 0.18421052631578946, "gl": 0.20689655172413793, "hu": 0.1388888888888889, "hv": 0.3611111111111111, "is": 0.16666666666666666, "it": 0.28125, "ka": 0.2777777777777778, "la": 0.2413793103448276, "li": 0.17142857142857143, "lv": 0.14285714285714285, "mk": 0.20512820512820512, "mt": 0.16216216216216217, "nl": 0.2857142857142857, "no": 0.20512820512820512, "pl": 0.2727272727272727, "pt": 0.1891891891891892, "ro": 0.1388888888888889, "ru": 0.3548387096774194, "sk": 0.23684210526315788, "sl": 0.2894736842105263, "sq": 0.2702702702702703, "sr": 0.28205128205128205, "stack": 0.2692307692307692, "sv": 0.21052631578947367, "tr": 0.10256410256410256, "uk": 0.175}}, {"model": "CYFRAGOVPL/Llama-PLLuM-70B-chat-250801", "avg": 0.23253275109170304, "total": 1832, "lang_scores": {"ar": 0.15, "az": 0.275, "be": 0.25, "bg": 0.175, "bo": 0.25, "ca": 0.175, "cn": 0.15254237288135594, "cs": 0.225, "da": 0.175, "de": 0.5, "el": 0.225, "en": 0.225, "es": 0.125, "et": 0.25, "eu": 0.1, "fa": 0.35, "fi": 0.25, "fr": 0.225, "gl": 0.13333333333333333, "hu": 0.175, "hv": 0.375, "is": 0.4, "it": 0.2, "ka": 0.175, "la": 0.3, "li": 0.25, "lv": 0.325, "mk": 0.225, "mt": 0.275, "nl": 0.25, "no": 0.25, "pl": 0.1, "pt": 0.25, "ro": 0.25, "ru": 0.30303030303030304, "sk": 0.2, "sl": 0.175, "sq": 0.25, "sr": 0.325, "stack": 0.3, "sv": 0.25, "tr": 0.275, "uk": 0.15}}, {"model": "google/gemma-3-4b-it", "avg": 0.21941854086670323, "total": 1823, "lang_scores": {"ar": 0.1, "az": 0.15, "be": 0.225, "bg": 0.2, "bo": 0.125, "ca": 0.05128205128205128, "cn": 0.2982456140350877, "cs": 0.39473684210526316, "da": 0.25, "de": 0.0, "el": 0.175, "en": 0.425, "es": 0.225, "et": 0.375, "eu": 0.21666666666666667, "fa": 0.21666666666666667, "fi": 0.25, "fr": 0.125, "gl": 0.25, "hu": 0.125, "hv": 0.225, "is": 0.15, "it": 0.275, "ka": 0.1, "la": 0.16666666666666666, "li": 0.175, "lv": 0.2, "mk": 0.15, "mt": 0.025, "nl": 0.2, "no": 0.25, "pl": 0.31666666666666665, "pt": 0.46153846153846156, "ro": 0.125, "ru": 0.2727272727272727, "sk": 0.2631578947368421, "sl": 0.225, "sq": 0.358974358974359, "sr": 0.225, "stack": 0.21666666666666667, "sv": 0.25, "tr": 0.2, "uk": 0.275}}, {"model": "meta-llama/llama-3.1-8b-instruct", "avg": 0.21104428649535265, "total": 1829, "lang_scores": {"ar": 0.13513513513513514, "az": 0.2, "be": 0.3, "bg": 0.175, "bo": 0.2, "ca": 0.225, "cn": 0.3, "cs": 0.25, "da": 0.25, "de": 0.35, "el": 0.225, "en": 0.275, "es": 0.075, "et": 0.275, "eu": 0.11666666666666667, "fa": 0.08333333333333333, "fi": 0.3333333333333333, "fr": 0.1, "gl": 0.13333333333333333, "hu": 0.175, "hv": 0.375, "is": 0.25, "it": 0.2, "ka": 0.225, "la": 0.11666666666666667, "li": 0.2, "lv": 0.225, "mk": 0.275, "mt": 0.2, "nl": 0.225, "no": 0.225, "pl": 0.08333333333333333, "pt": 0.225, "ro": 0.075, "ru": 0.24242424242424243, "sk": 0.225, "sl": 0.25, "sq": 0.225, "sr": 0.25, "stack": 0.21666666666666667, "sv": 0.375, "tr": 0.275, "uk": 0.225}}, {"model": "mistralai/ministral-14b-2512", "avg": 0.19694489907255866, "total": 1833, "lang_scores": {"ar": 0.15, "az": 0.225, "be": 0.175, "bg": 0.2, "bo": 0.25, "ca": 0.225, "cn": 0.23333333333333334, "cs": 0.25, "da": 0.175, "de": 0.25, "el": 0.25, "en": 0.275, "es": 0.175, "et": 0.075, "eu": 0.26666666666666666, "fa": 0.21666666666666667, "fi": 0.125, "fr": 0.25, "gl": 0.21666666666666667, "hu": 0.175, "hv": 0.2, "is": 0.325, "it": 0.125, "ka": 0.05, "la": 0.4166666666666667, "li": 0.125, "lv": 0.1, "mk": 0.175, "mt": 0.05, "nl": 0.1, "no": 0.125, "pl": 0.23333333333333334, "pt": 0.15, "ro": 0.175, "ru": 0.18181818181818182, "sk": 0.175, "sl": 0.125, "sq": 0.175, "sr": 0.225, "stack": 0.2, "sv": 0.275, "tr": 0.225, "uk": 0.2}}, {"model": "mistralai/mistral-small-24b-instruct-2501", "avg": 0.18569087930092845, "total": 1831, "lang_scores": {"ar": 0.05, "az": 0.25, "be": 0.075, "bg": 0.2, "bo": 0.25, "ca": 0.25, "cn": 0.2542372881355932, "cs": 0.15, "da": 0.225, "de": 0.5, "el": 0.2, "en": 0.25, "es": 0.25, "et": 0.25, "eu": 0.2, "fa": 0.2, "fi": 0.225, "fr": 0.225, "gl": 0.18333333333333332, "hu": 0.125, "hv": 0.175, "is": 0.15, "it": 0.25, "ka": 0.025, "la": 0.35, "li": 0.05, "lv": 0.125, "mk": 0.225, "mt": 0.25, "nl": 0.175, "no": 0.225, "pl": 0.23333333333333334, "pt": 0.225, "ro": 0.1, "ru": 0.0, "sk": 0.15, "sl": 0.225, "sq": 0.025, "sr": 0.0, "stack": 0.25, "sv": 0.25, "tr": 0.075, "uk": 0.075}}, {"model": "speakleash/Bielik-11B-v2.6-Instruct", "avg": 0.15245901639344261, "total": 1830, "lang_scores": {"ar": 0.05, "az": 0.075, "be": 0.0, "bg": 0.175, "bo": 0.2, "ca": 0.175, "cn": 0.1864406779661017, "cs": 0.1, "da": 0.225, "de": 0.0, "el": 0.275, "en": 0.025, "es": 0.2, "et": 0.2, "eu": 0.16666666666666666, "fa": 0.26666666666666666, "fi": 0.125, "fr": 0.225, "gl": 0.21666666666666667, "hu": 0.2, "hv": 0.225, "is": 0.0, "it": 0.125, "ka": 0.0, "la": 0.2, "li": 0.225, "lv": 0.125, "mk": 0.2, "mt": 0.15, "nl": 0.225, "no": 0.15, "pl": 0.18333333333333332, "pt": 0.075, "ro": 0.075, "ru": 0.09090909090909091, "sk": 0.125, "sl": 0.225, "sq": 0.0, "sr": 0.05, "stack": 0.26666666666666666, "sv": 0.15, "tr": 0.225, "uk": 0.07692307692307693}}, {"model": "CYFRAGOVPL/pllum-12b-nc-chat-250715", "avg": 0.14465065502183405, "total": 1832, "lang_scores": {"ar": 0.075, "az": 0.175, "be": 0.275, "bg": 0.125, "bo": 0.325, "ca": 0.275, "cn": 0.1016949152542373, "cs": 0.075, "da": 0.125, "de": 0.15, "el": 0.175, "en": 0.15, "es": 0.2, "et": 0.075, "eu": 0.08333333333333333, "fa": 0.21666666666666667, "fi": 0.075, "fr": 0.25, "gl": 0.1, "hu": 0.025, "hv": 0.325, "is": 0.15, "it": 0.125, "ka": 0.075, "la": 0.13333333333333333, "li": 0.15, "lv": 0.1, "mk": 0.075, "mt": 0.1, "nl": 0.075, "no": 0.2, "pl": 0.11666666666666667, "pt": 0.1, "ro": 0.35, "ru": 0.21212121212121213, "sk": 0.15, "sl": 0.15, "sq": 0.075, "sr": 0.175, "stack": 0.08333333333333333, "sv": 0.125, "tr": 0.15, "uk": 0.075}}];
141
+ const ALL_LANGS = ["ar", "az", "be", "bg", "bo", "ca", "cn", "cs", "da", "de", "el", "en", "es", "et", "eu", "fa", "fi", "fr", "gl", "hu", "hv", "is", "it", "ka", "la", "li", "lv", "mk", "mt", "nl", "no", "pl", "pt", "ro", "ru", "sk", "sl", "sq", "sr", "stack", "sv", "tr", "uk"];
142
+ const LANG_NAMES = {"af": "Afrikaans", "ar": "Arabic", "az": "Azerbaijani", "be": "Belarusian", "bg": "Bulgarian", "bn": "Bengali", "ca": "Catalan", "cs": "Czech", "cy": "Welsh", "da": "Danish", "de": "German", "el": "Greek", "en": "English", "eo": "Esperanto", "es": "Spanish", "et": "Estonian", "eu": "Basque", "fa": "Persian", "fi": "Finnish", "fr": "French", "ga": "Irish", "gl": "Galician", "gu": "Gujarati", "he": "Hebrew", "hi": "Hindi", "hr": "Croatian", "hu": "Hungarian", "hy": "Armenian", "id": "Indonesian", "is": "Icelandic", "it": "Italian", "ja": "Japanese", "ka": "Georgian", "kk": "Kazakh", "km": "Khmer", "kn": "Kannada", "ko": "Korean", "lt": "Lithuanian", "lv": "Latvian", "mk": "Macedonian", "ml": "Malayalam", "mn": "Mongolian", "mr": "Marathi", "ms": "Malay", "mt": "Maltese", "my": "Burmese", "ne": "Nepali", "nl": "Dutch", "no": "Norwegian", "pa": "Punjabi", "pl": "Polish", "pt": "Portuguese", "ro": "Romanian", "ru": "Russian", "si": "Sinhala", "sk": "Slovak", "sl": "Slovenian", "sq": "Albanian", "sr": "Serbian", "sv": "Swedish", "sw": "Swahili", "ta": "Tamil", "te": "Telugu", "th": "Thai", "tl": "Filipino", "tr": "Turkish", "uk": "Ukrainian", "ur": "Urdu", "uz": "Uzbek", "vi": "Vietnamese", "zh": "Chinese", "zu": "Zulu"};
143
+
144
+ function langName(c) { return LANG_NAMES[c] || c.toUpperCase(); }
145
+
146
+ // ── colour helpers ──
147
+ function scoreColor(v) {
148
+ const r = v < 0.5 ? 220 : Math.round(220 - (v-0.5)*2*160);
149
+ const g = v > 0.5 ? 160 : Math.round(v*2*160);
150
+ return `rgb(${r},${g},40)`;
151
+ }
152
+ function textColor(v) { return v > 0.35 ? '#fff' : '#ccc'; }
153
+
154
+ // ── state ──
155
+ let selLangs = [];
156
+ let sortCol = 'avg';
157
+ let sortDir = -1; // -1 = desc
158
+
159
+ // ── chips ──
160
+ const chipsEl = document.getElementById('chips');
161
+
162
+ function renderChips() {
163
+ chipsEl.innerHTML = '';
164
+ const mkChip = (label, key, active) => {
165
+ const s = document.createElement('span');
166
+ s.className = 'chip' + (active ? ' active' : '');
167
+ s.textContent = label;
168
+ s.addEventListener('click', () => {
169
+ if (key === '__all__') { selLangs = []; }
170
+ else {
171
+ const idx = selLangs.indexOf(key);
172
+ if (idx >= 0) selLangs.splice(idx, 1); else selLangs.push(key);
173
+ }
174
+ render();
175
+ });
176
+ chipsEl.appendChild(s);
177
+ };
178
+ mkChip('All', '__all__', selLangs.length === 0);
179
+ ALL_LANGS.forEach(l => mkChip(langName(l), l, selLangs.includes(l)));
180
+ }
181
+
182
+ // ── main render ──
183
+ function render() {
184
+ renderChips();
185
+
186
+ // visible langs
187
+ const visLangs = selLangs.length > 0 ? [...selLangs].sort() : [...ALL_LANGS];
188
+
189
+ // filter rows to only include data for visible langs
190
+ let rows = ALL_ROWS.map(row => {
191
+ const ls = {};
192
+ visLangs.forEach(l => { if (row.lang_scores[l] !== undefined) ls[l] = row.lang_scores[l]; });
193
+ const vals = Object.values(ls);
194
+ const avg = selLangs.length === 0 ? row.avg :
195
+ (vals.length ? vals.reduce((a,b)=>a+b,0)/vals.length : null);
196
+ return { ...row, _avg: avg, _ls: ls };
197
+ }).filter(r => r._avg !== null);
198
+
199
+ // sort
200
+ rows.sort((a, b) => {
201
+ const va = sortCol === 'avg' ? a._avg : (a._ls[sortCol] ?? -1);
202
+ const vb = sortCol === 'avg' ? b._avg : (b._ls[sortCol] ?? -1);
203
+ return sortDir * (vb - va);
204
+ });
205
+
206
+ // ── header ──
207
+ const head = document.getElementById('lb-head');
208
+ const mkSortBtn = (label, col) => {
209
+ const active = sortCol === col;
210
+ const arrow = active ? (sortDir === -1 ? ' ↓' : ' ↑') : '';
211
+ return `<button class="sort-btn${active?' active':''}" data-col="${col}">${label}${arrow}</button>`;
212
+ };
213
+ head.innerHTML = `<tr>
214
+ <th class="rank-col"></th>
215
+ <th class="model-col"><span style="font-size:10px;text-transform:uppercase;letter-spacing:.08em;color:#475569">Model</span></th>
216
+ <th class="avg-col">${mkSortBtn('Avg Acc', 'avg')}</th>
217
+ ${visLangs.map(l => `<th class="lang-col">${mkSortBtn(langName(l), l)}</th>`).join('')}
218
+ </tr>`;
219
+
220
+ head.querySelectorAll('.sort-btn').forEach(btn => {
221
+ btn.addEventListener('click', () => {
222
+ const col = btn.dataset.col;
223
+ if (sortCol === col) sortDir = -sortDir;
224
+ else { sortCol = col; sortDir = -1; }
225
+ render();
226
+ });
227
+ });
228
+
229
+ // ── body ──
230
+ const body = document.getElementById('lb-body');
231
+ body.innerHTML = rows.map((row, i) => {
232
+ const avgPct = (row._avg * 100).toFixed(1) + '%';
233
+ const langCells = visLangs.map(l => {
234
+ const v = row._ls[l];
235
+ if (v === undefined) return `<td class="empty">β€”</td>`;
236
+ return `<td class="score" style="background:${scoreColor(v)};color:${textColor(v)}">${(v*100).toFixed(1)}%</td>`;
237
+ }).join('');
238
+ return `<tr>
239
+ <td class="rank">${i+1}</td>
240
+ <td class="model" title="${row.model}">${row.model}</td>
241
+ <td class="score" style="background:${scoreColor(row._avg)};color:${textColor(row._avg)};font-size:13px">${avgPct}</td>
242
+ ${langCells}
243
+ </tr>`;
244
+ }).join('');
245
+
246
+ // ── footer ──
247
+ document.getElementById('footer').textContent =
248
+ `${ALL_ROWS.reduce((s,r)=>s+r.total,0)} predictions Β· ${ALL_LANGS.length} languages Β· click column headers to sort`;
249
+ }
250
+
251
+ render();
252
+ })();
253
+ </script>
254
+ </body>
255
  </html>