Commit ·
ae73362
1
Parent(s): d58c074
Upload tokenizer
Browse files- tokenizer.json +130 -1
tokenizer.json
CHANGED
|
@@ -51528,7 +51528,136 @@
|
|
| 51528 |
"වර් තමා",
|
| 51529 |
"ඇතුළ ු",
|
| 51530 |
"එ යට",
|
| 51531 |
-
"ත ්යා"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 51532 |
]
|
| 51533 |
}
|
| 51534 |
}
|
|
|
|
| 51528 |
"වර් තමා",
|
| 51529 |
"ඇතුළ ු",
|
| 51530 |
"එ යට",
|
| 51531 |
+
"ත ්යා",
|
| 51532 |
+
"නි න්",
|
| 51533 |
+
"පි ත",
|
| 51534 |
+
"ඇම රිකානු",
|
| 51535 |
+
"විද්යා ඥ",
|
| 51536 |
+
"බල පෑ",
|
| 51537 |
+
"ජ ලය",
|
| 51538 |
+
"එක ම",
|
| 51539 |
+
"සේ වා",
|
| 51540 |
+
"යට ත්",
|
| 51541 |
+
"දෙ මළ",
|
| 51542 |
+
"ශ ය",
|
| 51543 |
+
"p ro",
|
| 51544 |
+
"අප ේ",
|
| 51545 |
+
"සාර්ථ ක",
|
| 51546 |
+
"w as",
|
| 51547 |
+
"පරි සර",
|
| 51548 |
+
"මි ලියන",
|
| 51549 |
+
"එසේ ම",
|
| 51550 |
+
"මැතිවර ණය",
|
| 51551 |
+
"ක් ස්",
|
| 51552 |
+
"සැ ක",
|
| 51553 |
+
"බු දු",
|
| 51554 |
+
"අ ංග",
|
| 51555 |
+
"වුව ද",
|
| 51556 |
+
"ජී වි",
|
| 51557 |
+
"දර්ශ නය",
|
| 51558 |
+
"සංවි ධානය",
|
| 51559 |
+
"වි නාශ",
|
| 51560 |
+
"i f",
|
| 51561 |
+
"ඉන්දිය ාවේ",
|
| 51562 |
+
"එ ල්",
|
| 51563 |
+
"තැ න්",
|
| 51564 |
+
"තෝ රා",
|
| 51565 |
+
"ච ල",
|
| 51566 |
+
"ක ියා",
|
| 51567 |
+
"ප්රති ඵල",
|
| 51568 |
+
"හඳු නා",
|
| 51569 |
+
"u p",
|
| 51570 |
+
"භාෂ ාව",
|
| 51571 |
+
"ම යක්",
|
| 51572 |
+
"භ ෞ",
|
| 51573 |
+
"වී ය",
|
| 51574 |
+
"ගෝ ල",
|
| 51575 |
+
"රට වල්",
|
| 51576 |
+
"යු ම්",
|
| 51577 |
+
"ස ෑ",
|
| 51578 |
+
"u d",
|
| 51579 |
+
"ජ ිත",
|
| 51580 |
+
"ත ත්ව",
|
| 51581 |
+
"ක ෙන",
|
| 51582 |
+
"ම ෘ",
|
| 51583 |
+
"දෙ නා",
|
| 51584 |
+
"දැ ඩි",
|
| 51585 |
+
"ක්ෂේ ත්ර",
|
| 51586 |
+
"මුහු ණ",
|
| 51587 |
+
"අමතර ව",
|
| 51588 |
+
"ම ස්",
|
| 51589 |
+
"ක ර්මාන්ත",
|
| 51590 |
+
"කර න්න",
|
| 51591 |
+
"පද නම්",
|
| 51592 |
+
"හොඳ ම",
|
| 51593 |
+
"2 4",
|
| 51594 |
+
"ක ීය",
|
| 51595 |
+
"ලාංකි ක",
|
| 51596 |
+
"c l",
|
| 51597 |
+
"මු ළු",
|
| 51598 |
+
"ලැ බු",
|
| 51599 |
+
"දෙන ෙකු",
|
| 51600 |
+
"වැ ර",
|
| 51601 |
+
"ක ාව",
|
| 51602 |
+
"e v",
|
| 51603 |
+
"නො ව",
|
| 51604 |
+
"චා ර්ය",
|
| 51605 |
+
"ද න",
|
| 51606 |
+
"අධ ික",
|
| 51607 |
+
"ගු රු",
|
| 51608 |
+
"දි නය",
|
| 51609 |
+
"එ න්",
|
| 51610 |
+
"e x",
|
| 51611 |
+
"ප ෞ",
|
| 51612 |
+
"ත ල",
|
| 51613 |
+
"ද ත්ත",
|
| 51614 |
+
"න ර්",
|
| 51615 |
+
"ත ර්",
|
| 51616 |
+
"ද ීමට",
|
| 51617 |
+
"ප ත්ර",
|
| 51618 |
+
"කණ්ඩා යම්",
|
| 51619 |
+
"ශක් ති",
|
| 51620 |
+
"කිරීම ෙන්",
|
| 51621 |
+
"හැකිය ාව",
|
| 51622 |
+
"අන තුරුව",
|
| 51623 |
+
"ල ක",
|
| 51624 |
+
"වි හාර",
|
| 51625 |
+
"in e",
|
| 51626 |
+
"| -",
|
| 51627 |
+
"අ ද",
|
| 51628 |
+
"න් යා",
|
| 51629 |
+
"ලැ යි",
|
| 51630 |
+
"මෙ සේ",
|
| 51631 |
+
"රත් න",
|
| 51632 |
+
"ප ස",
|
| 51633 |
+
"එහෙ ත්",
|
| 51634 |
+
"ල ක්ෂණ",
|
| 51635 |
+
"ලෙ ක්",
|
| 51636 |
+
"නැගෙන හිර",
|
| 51637 |
+
"හ ල්",
|
| 51638 |
+
"සාහි ත්ය",
|
| 51639 |
+
"වි කාශ",
|
| 51640 |
+
"ආ ණ්ඩ",
|
| 51641 |
+
"ඝ ා",
|
| 51642 |
+
"එරෙහි ව",
|
| 51643 |
+
"මා ර",
|
| 51644 |
+
"මු ද්ර",
|
| 51645 |
+
"භාෂ ා",
|
| 51646 |
+
"p r",
|
| 51647 |
+
"i an",
|
| 51648 |
+
"ට ො",
|
| 51649 |
+
"පුව ත්",
|
| 51650 |
+
"රෝ ධ",
|
| 51651 |
+
"සට න්",
|
| 51652 |
+
"ක්ෂ ි",
|
| 51653 |
+
"භා ණ්ඩ",
|
| 51654 |
+
"ත බා",
|
| 51655 |
+
"ගණ න",
|
| 51656 |
+
"ගම නය",
|
| 51657 |
+
"වේ ග",
|
| 51658 |
+
"ජන ප්රිය",
|
| 51659 |
+
"සට හ",
|
| 51660 |
+
"තර ු"
|
| 51661 |
]
|
| 51662 |
}
|
| 51663 |
}
|