toksuite/toksuite_turkish
Viewer
•
Updated
•
621
•
117
TokSuite Tokenization Robustness Benchmark
-
-
toksuite/toksuite_chinese
Viewer • Updated • 485 • 2.05k -
toksuite/toksuite_math
Viewer • Updated • 189 • 174 -
toksuite/toksuite_farsi
Viewer • Updated • 747 • 107 -
toksuite/toksuite_english
Viewer • Updated • 1.14k • 1.55k -
toksuite/toksuite_italian
Viewer • Updated • 1.09k • 1.41k -
toksuite/toksuite_stem
Viewer • Updated • 613 • 834 -
toksuite/toksuite_general
Viewer • Updated • 68 • 84