{ "coverage": {}, "complexity": {}, "language_analysis": {}, "edge_cases": { "hindi": { "script_test": { "tokens": [ "नम", "सà¥įतà¥ĩ", ",", "Ġमà¥Īà¤Ĥ", "Ġà¤Ńारत", "Ġसà¥ĩ", "Ġहà¥Ĥà¤ģ", "।", "Ġदिलà¥įलà¥Ģ", "Ġबहà¥ģत", "Ġबड़ा", "Ġशहर", "Ġहà¥Ī", "।" ], "token_count": 14, "unique_tokens": 13 }, "unicode_test": { "tokens": [ "हिनà¥įद", "à¥Ģ", "Ġ", "१", "२", "३", "४", "५", "६", "à¥Ń", "८", "९", "Ġvow", "els", ":", "Ġà¤ħ", "Ġà¤Ĩ", "Ġà¤ĩ", "Ġà¤Ī", "Ġà¤ī", "Ġà¤Ĭ" ], "token_count": 21, "unique_tokens": 21 }, "special_chars": { "tokens": [ "हिनà¥įद", "à¥Ģ", "!", "Ġ@", "Ġ#", "Ġ$", "Ġ%", "Ġ^", "Ġ&", "Ġ*", "Ġ(", "Ġ)", "Ġ_", "Ġ+", "Ġ=", "Ġ[", "Ġ]", "Ġ{", "Ġ}" ], "token_count": 19, "unique_tokens": 19 } }, "english": { "script_test": { "tokens": [ "Hello", ",", "ĠI", "Ġam", "Ġfrom", "Ġthe", "ĠUnited", "ĠStates", ".", "ĠNew", "ĠYork", "Ġis", "Ġa", "Ġbeautiful", "Ġcity", "." ], "token_count": 16, "unique_tokens": 15 }, "unicode_test": { "tokens": [ "English", "Ġ", "012", "345", "678", "9", "Ġvow", "els", ":", "Ġa", "Ġe", "Ġi", "Ġo", "Ġu" ], "token_count": 14, "unique_tokens": 14 }, "special_chars": { "tokens": [ "English", "!", "Ġ@", "Ġ#", "Ġ$", "Ġ%", "Ġ^", "Ġ&", "Ġ*", "Ġ(", "Ġ)", "Ġ_", "Ġ+", "Ġ=", "Ġ[", "Ġ]", "Ġ{", "Ġ}" ], "token_count": 18, "unique_tokens": 18 } } }, "unicode_coverage": { "hindi": { "original_text": "हिन्दी १२३४५६७८९ vowels: अ आ इ ई उ ऊ", "tokens": [ "हिनà¥įद", "à¥Ģ", "Ġ", "१", "२", "३", "४", "५", "६", "à¥Ń", "८", "९", "Ġvow", "els", ":", "Ġà¤ħ", "Ġà¤Ĩ", "Ġà¤ĩ", "Ġà¤Ī", "Ġà¤ī", "Ġà¤Ĭ" ], "token_count": 21, "unique_tokens": 21, "coverage_ratio": 1.0 }, "english": { "original_text": "English 0123456789 vowels: a e i o u", "tokens": [ "English", "Ġ", "012", "345", "678", "9", "Ġvow", "els", ":", "Ġa", "Ġe", "Ġi", "Ġo", "Ġu" ], "token_count": 14, "unique_tokens": 14, "coverage_ratio": 1.0 } }, "script_complexity": { "hindi": { "original_text_length": 49, "tokens": [ "नम", "सà¥įतà¥ĩ", ",", "Ġमà¥Īà¤Ĥ", "Ġà¤Ńारत", "Ġसà¥ĩ", "Ġहà¥Ĥà¤ģ", "।", "Ġदिलà¥įलà¥Ģ", "Ġबहà¥ģत", "Ġबड़ा", "Ġशहर", "Ġहà¥Ī", "।" ], "token_count": 14, "avg_token_length": 9.071428571428571, "token_diversity": 0.9285714285714286 }, "english": { "original_text_length": 65, "tokens": [ "Hello", ",", "ĠI", "Ġam", "Ġfrom", "Ġthe", "ĠUnited", "ĠStates", ".", "ĠNew", "ĠYork", "Ġis", "Ġa", "Ġbeautiful", "Ġcity", "." ], "token_count": 16, "avg_token_length": 4.0625, "token_diversity": 0.9375 } } }