Upload tokenizer

added_tokens.json

@@ -1,9 +1,24 @@
 {
-  "(": 504,
-  ")": 505,
-  "-": 500,
-  "...": 506,
-  "/": 503,
-  ":": 501,
-  ";": 502
+  "!": 502,
+  "\"": 511,
+  "'": 510,
+  "(": 508,
+  ")": 509,
+  ",": 501,
+  "-": 504,
+  ".": 500,
+  "...": 512,
+  "/": 507,
+  "0": 513,
+  "1": 514,
+  "2": 515,
+  "3": 516,
+  "4": 517,
+  "5": 518,
+  "6": 519,
+  "7": 520,
+  "8": 521,
+  ":": 505,
+  ";": 506,
+  "?": 503
 }

tokenizer.json

@@ -49,8 +49,8 @@
       "special": true
     },
     {
-      "id": 5,
-      "content": "!",
+      "id": 500,
+      "content": ".",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -58,8 +58,8 @@
       "special": false
     },
     {
-      "id": 6,
-      "content": "\"",
+      "id": 501,
+      "content": ",",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -67,8 +67,8 @@
       "special": false
     },
     {
-      "id": 7,
-      "content": "'",
+      "id": 502,
+      "content": "!",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -76,8 +76,8 @@
       "special": false
     },
     {
-      "id": 8,
-      "content": ",",
+      "id": 503,
+      "content": "?",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -85,8 +85,8 @@
       "special": false
     },
     {
-      "id": 9,
-      "content": ".",
+      "id": 504,
+      "content": "-",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -94,8 +94,8 @@
       "special": false
     },
     {
-      "id": 10,
-      "content": "0",
+      "id": 505,
+      "content": ":",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -103,8 +103,8 @@
       "special": false
     },
     {
-      "id": 11,
-      "content": "1",
+      "id": 506,
+      "content": ";",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -112,8 +112,8 @@
       "special": false
     },
     {
-      "id": 12,
-      "content": "2",
+      "id": 507,
+      "content": "/",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -121,8 +121,8 @@
       "special": false
     },
     {
-      "id": 13,
-      "content": "3",
+      "id": 508,
+      "content": "(",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -130,8 +130,8 @@
       "special": false
     },
     {
-      "id": 14,
-      "content": "4",
+      "id": 509,
+      "content": ")",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -139,8 +139,8 @@
       "special": false
     },
     {
-      "id": 15,
-      "content": "5",
+      "id": 510,
+      "content": "'",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -148,8 +148,8 @@
       "special": false
     },
     {
-      "id": 16,
-      "content": "6",
+      "id": 511,
+      "content": "\"",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -157,8 +157,8 @@
       "special": false
     },
     {
-      "id": 17,
-      "content": "7",
+      "id": 512,
+      "content": "...",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -166,8 +166,8 @@
       "special": false
     },
     {
-      "id": 18,
-      "content": "8",
+      "id": 513,
+      "content": "0",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -175,8 +175,8 @@
       "special": false
     },
     {
-      "id": 20,
-      "content": "?",
+      "id": 514,
+      "content": "1",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -184,8 +184,8 @@
       "special": false
     },
     {
-      "id": 500,
-      "content": "-",
+      "id": 515,
+      "content": "2",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -193,8 +193,8 @@
       "special": false
     },
     {
-      "id": 501,
-      "content": ":",
+      "id": 516,
+      "content": "3",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -202,8 +202,8 @@
       "special": false
     },
     {
-      "id": 502,
-      "content": ";",
+      "id": 517,
+      "content": "4",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -211,8 +211,8 @@
       "special": false
     },
     {
-      "id": 503,
-      "content": "/",
+      "id": 518,
+      "content": "5",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -220,8 +220,8 @@
       "special": false
     },
     {
-      "id": 504,
-      "content": "(",
+      "id": 519,
+      "content": "6",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -229,8 +229,8 @@
       "special": false
     },
     {
-      "id": 505,
-      "content": ")",
+      "id": 520,
+      "content": "7",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -238,8 +238,8 @@
       "special": false
     },
     {
-      "id": 506,
-      "content": "...",
+      "id": 521,
+      "content": "8",
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
@@ -348,501 +348,501 @@
       "[CLS]": 2,
       "[SEP]": 3,
       "[MASK]": 4,
-      "!": 5,
-      "\"": 6,
-      "'": 7,
-      ",": 8,
-      ".": 9,
-      "0": 10,
-      "1": 11,
-      "2": 12,
-      "3": 13,
-      "4": 14,
-      "5": 15,
-      "6": 16,
-      "7": 17,
-      "8": 18,
-      "9": 19,
-      "?": 20,
-      "஁": 21,
-      "ஂ": 22,
-      "ஃ": 23,
-      "அ": 24,
-      "ஆ": 25,
-      "இ": 26,
-      "ஈ": 27,
-      "உ": 28,
-      "ஊ": 29,
-      "஋": 30,
-      "எ": 31,
-      "ஏ": 32,
-      "ஐ": 33,
-      "஑": 34,
-      "ஒ": 35,
-      "ஓ": 36,
-      "ஔ": 37,
-      "க": 38,
-      "஖": 39,
-      "஗": 40,
-      "ங": 41,
-      "ச": 42,
-      "ஜ": 43,
-      "ஞ": 44,
-      "ட": 45,
-      "஠": 46,
-      "஡": 47,
-      "஢": 48,
-      "ண": 49,
-      "த": 50,
-      "஥": 51,
-      "஦": 52,
-      "஧": 53,
-      "ந": 54,
-      "ன": 55,
-      "ப": 56,
-      "஫": 57,
-      "஬": 58,
-      "஭": 59,
-      "ம": 60,
-      "ய": 61,
-      "ர": 62,
-      "ற": 63,
-      "ல": 64,
-      "ள": 65,
-      "ழ": 66,
-      "வ": 67,
-      "ஶ": 68,
-      "ஷ": 69,
-      "ஸ": 70,
-      "ஹ": 71,
-      "஽": 72,
-      "ா": 73,
-      "ி": 74,
-      "ீ": 75,
-      "ு": 76,
-      "ூ": 77,
-      "௃": 78,
-      "ெ": 79,
-      "ே": 80,
-      "ை": 81,
-      "௉": 82,
-      "ொ": 83,
-      "ோ": 84,
-      "ௌ": 85,
-      "்": 86,
-      "ௐ": 87,
-      "ௗ": 88,
-      "௠": 89,
-      "௦": 90,
-      "௧": 91,
-      "௨": 92,
-      "௩": 93,
-      "௪": 94,
-      "௫": 95,
-      "௬": 96,
-      "௭": 97,
-      "௮": 98,
-      "௯": 99,
-      "௰": 100,
-      "௱": 101,
-      "௲": 102,
-      "௳": 103,
-      "௴": 104,
-      "௵": 105,
-      "௶": 106,
-      "௷": 107,
-      "௸": 108,
-      "௹": 109,
-      "௺": 110,
-      "௼": 111,
-      "௿": 112,
-      "##ீ": 113,
-      "##ர": 114,
-      "##்": 115,
-      "##ம": 116,
-      "##ை": 117,
-      "##ய": 118,
-      "##ி": 119,
-      "##க": 120,
-      "##ல": 121,
-      "##ச": 122,
-      "##வ": 123,
-      "##ெ": 124,
-      "##ட": 125,
-      "##ா": 126,
-      "##ு": 127,
-      "##ப": 128,
-      "##ூ": 129,
-      "##ஜ": 130,
-      "##ன": 131,
-      "##ொ": 132,
-      "##ந": 133,
-      "##த": 134,
-      "##ோ": 135,
-      "##ள": 136,
-      "##ற": 137,
-      "##ங": 138,
-      "##ே": 139,
-      "##ண": 140,
-      "##உ": 141,
-      "##ழ": 142,
-      "##4": 143,
-      "##8": 144,
-      "##7": 145,
-      "##0": 146,
-      "##5": 147,
-      "##ஷ": 148,
-      "##ஹ": 149,
-      "##ஸ": 150,
-      "##அ": 151,
-      "##எ": 152,
-      "##1": 153,
-      "##9": 154,
-      "##ஞ": 155,
-      "##இ": 156,
-      "##ஃ": 157,
-      "##ஈ": 158,
-      "##2": 159,
-      "##3": 160,
-      "##6": 161,
-      "##ஶ": 162,
-      "##ஆ": 163,
-      "##ௌ": 164,
-      "##ஒ": 165,
-      "##௮": 166,
-      "##ஏ": 167,
-      "##ஊ": 168,
-      "##௧": 169,
-      "##ஐ": 170,
-      "##ஓ": 171,
-      "##ௗ": 172,
-      "##௦": 173,
-      "##௲": 174,
-      "##௰": 175,
-      "##௯": 176,
-      "##௫": 177,
-      "##ஂ": 178,
-      "##஢": 179,
-      "##௩": 180,
-      "##௨": 181,
-      "##஡": 182,
-      "##௪": 183,
-      "##ஔ": 184,
-      "##௉": 185,
-      "##௱": 186,
-      "##௵": 187,
-      "##௸": 188,
-      "##௿": 189,
-      "##ௐ": 190,
-      "##௶": 191,
-      "##௬": 192,
-      "##௭": 193,
-      "##஁": 194,
-      "##஭": 195,
-      "##஧": 196,
-      "##஽": 197,
-      "##஑": 198,
-      "##஫": 199,
-      "##௳": 200,
-      "##஖": 201,
-      "##௴": 202,
-      "##஬": 203,
-      "##௹": 204,
-      "##஠": 205,
-      "##௠": 206,
-      "##௼": 207,
-      "##௃": 208,
-      "##஦": 209,
-      "##஥": 210,
-      "##்க": 211,
-      "##்த": 212,
-      "##ம்": 213,
-      "##ன்": 214,
-      "##ல்": 215,
-      "##க்க": 216,
-      "##்ட": 217,
-      "##ப்": 218,
-      "##த்த": 219,
-      "##ள்": 220,
-      "##ும்": 221,
-      "##ர்": 222,
-      "##ிய": 223,
-      "##ப்ப": 224,
-      "##ரு": 225,
-      "##ந்த": 226,
-      "##ட்ட": 227,
-      "##து": 228,
-      "##ில்": 229,
-      "##ங்க": 230,
-      "##ைய": 231,
-      "##ற்": 232,
-      "##ின்": 233,
-      "##ாக": 234,
-      "##று": 235,
-      "##ிர": 236,
-      "##டு": 237,
-      "##ிக": 238,
-      "20": 239,
-      "##ண்ட": 240,
-      "##்ச": 241,
-      "##க்கு": 242,
-      "##ர்க": 243,
-      "##ிற": 244,
-      "##ில": 245,
-      "மு": 246,
-      "##ான": 247,
-      "##த்து": 248,
-      "செ": 249,
-      "என்": 250,
-      "##டி": 251,
-      "வி": 252,
-      "##லை": 253,
-      "##ற்ற": 254,
-      "##ள்ள": 255,
-      "##ார": 256,
-      "##தி": 257,
-      "##ார்": 258,
-      "##ப்பு": 259,
-      "201": 260,
-      "##ிரு": 261,
-      "##வு": 262,
-      "##ட்டு": 263,
-      "##ல்ல": 264,
-      "##ரி": 265,
-      "##வி": 266,
-      "##க்": 267,
-      "கு": 268,
-      "##ான்": 269,
-      "##ந்து": 270,
-      "##ால்": 271,
-      "##ளை": 272,
-      "##ய்": 273,
-      "##ச்ச": 274,
-      "கொ": 275,
-      "##த்": 276,
-      "போ": 277,
-      "இரு": 278,
-      "##னை": 279,
-      "அவ": 280,
-      "கா": 281,
-      "##ர்கள்": 282,
-      "##ங்கள்": 283,
-      "பெ": 284,
-      "##ண்": 285,
-      "##ம்ப": 286,
-      "##றி": 287,
-      "##ஸ்": 288,
-      "##ாத": 289,
-      "##மி": 290,
-      "பு": 291,
-      "##கள்": 292,
-      "##கு": 293,
-      "##ாவ": 294,
-      "##மை": 295,
-      "##ளு": 296,
-      "வே": 297,
-      "ஒரு": 298,
-      "##க்கும்": 299,
-      "##ின": 300,
-      "##ழு": 301,
-      "பா": 302,
-      "அத": 303,
-      "தொ": 304,
-      "இந்த": 305,
-      "வெ": 306,
-      "##ண்டு": 307,
-      "##ாம்": 308,
-      "வா": 309,
-      "##ற்க": 310,
-      "##த்தில்": 311,
-      "##டை": 312,
-      "##ன்ன": 313,
-      "செய": 314,
-      "##ன்ற": 315,
-      "##ழ்": 316,
-      "##மா": 317,
-      "##ிக்க": 318,
-      "##டிய": 319,
-      "நா": 320,
-      "மா": 321,
-      "##ச்": 322,
-      "##ரை": 323,
-      "##ரா": 324,
-      "##வா": 325,
-      "##ரிய": 326,
-      "##தை": 327,
-      "##ையில்": 328,
-      "##ட்": 329,
-      "##ளி": 330,
-      "கூ": 331,
-      "பொ": 332,
-      "##வே": 333,
-      "##ால": 334,
-      "சு": 335,
-      "##்த்த": 336,
-      "தமி": 337,
-      "மே": 338,
-      "என": 339,
-      "##றை": 340,
-      "தே": 341,
-      "சொ": 342,
-      "பிர": 343,
-      "##ங்கள": 344,
-      "##வை": 345,
-      "##ாம": 346,
-      "சி": 347,
-      "##ப்பட்ட": 348,
-      "##ற்ப": 349,
-      "##ையும்": 350,
-      "##மாக": 351,
-      "நி": 352,
-      "##மு": 353,
-      "##ண்ண": 354,
-      "பே": 355,
-      "##த்தை": 356,
-      "##கிற": 357,
-      "##திய": 358,
-      "##ளுக்கு": 359,
-      "தெ": 360,
-      "என்று": 361,
-      "##ட்ச": 362,
-      "202": 363,
-      "கோ": 364,
-      "நீ": 365,
-      "செய்த": 366,
-      "##ிகள்": 367,
-      "##வர்": 368,
-      "##னி": 369,
-      "##மான": 370,
-      "##பு": 371,
-      "என்ற": 372,
-      "##வும்": 373,
-      "##சு": 374,
-      "##ன்று": 375,
-      "##கள": 376,
-      "##டுத்த": 377,
-      "##னு": 378,
-      "##டன்": 379,
-      "மற்ற": 380,
-      "##லி": 381,
-      "##்கள்": 382,
-      "##ர்கள": 383,
-      "உள்ள": 384,
-      "##ரும்": 385,
-      "பகு": 386,
-      "##சி": 387,
-      "##ற்று": 388,
-      "##ப்பட": 389,
-      "##ாள": 390,
-      "அர": 391,
-      "செய்": 392,
-      "பி": 393,
-      "இத": 394,
-      "##வத": 395,
-      "##ணி": 396,
-      "##வில்": 397,
-      "##ின்ற": 398,
-      "##ழி": 399,
-      "##ாய": 400,
-      "கே": 401,
-      "##க்கிற": 402,
-      "என்ப": 403,
-      "##ேன்": 404,
-      "நட": 405,
-      "து": 406,
-      "கி": 407,
-      "##சிய": 408,
-      "##னர்": 409,
-      "##்கு": 410,
-      "##ஞ்ச": 411,
-      "திரு": 412,
-      "மற்றும்": 413,
-      "##டைய": 414,
-      "##ண்டும்": 415,
-      "##ிக்": 416,
-      "தொட": 417,
-      "வை": 418,
-      "##பா": 419,
-      "முத": 420,
-      "##டம்": 421,
-      "##கம்": 422,
-      "மூ": 423,
-      "##ங்கு": 424,
-      "##லா": 425,
-      "கரு": 426,
-      "சே": 427,
-      "##ியா": 428,
-      "பய": 429,
-      "செய்ய": 430,
-      "வீ": 431,
-      "பல": 432,
-      "ஆக": 433,
-      "##மைய": 434,
-      "வரு": 435,
-      "##வர": 436,
-      "10": 437,
-      "##ட்டி": 438,
-      "மீ": 439,
-      "##களை": 440,
-      "##னால்": 441,
-      "##வ்": 442,
-      "##ப்பா": 443,
-      "##ளிய": 444,
-      "2021": 445,
-      "இது": 446,
-      "எழு": 447,
-      "இருந்த": 448,
-      "பகுப்பு": 449,
-      "அறி": 450,
-      "தி": 451,
-      "தமிழ்": 452,
-      "##ப்பி": 453,
-      "நில": 454,
-      "200": 455,
-      "##மே": 456,
-      "அந்த": 457,
-      "##ும்ப": 458,
-      "வர": 459,
-      "பதி": 460,
-      "##ப்போ": 461,
-      "##க்கிய": 462,
-      "நே": 463,
-      "தலை": 464,
-      "தமிழ": 465,
-      "##கை": 466,
-      "##ணை": 467,
-      "##லாம்": 468,
-      "பார": 469,
-      "##த்தின்": 470,
-      "##விய": 471,
-      "வழ": 472,
-      "##ிருந்த": 473,
-      "##டுத்து": 474,
-      "கொண்ட": 475,
-      "##ர்க்க": 476,
-      "##ம்பர்": 477,
-      "குறி": 478,
-      "##ையை": 479,
-      "கட": 480,
-      "என்ன": 481,
-      "##ூர்": 482,
-      "##வது": 483,
-      "அமை": 484,
-      "##ற்கு": 485,
-      "##ரம்": 486,
-      "##லு": 487,
-      "##நா": 488,
-      "##ன்ப": 489,
-      "##கிறது": 490,
-      "##ிலும்": 491,
-      "தீ": 492,
-      "##ழை": 493,
-      "##க்கள்": 494,
-      "##லம்": 495,
-      "12": 496,
-      "##ங்களை": 497,
-      "##ார்கள்": 498,
-      "வெளிய": 499
+      "஁": 5,
+      "ஂ": 6,
+      "ஃ": 7,
+      "அ": 8,
+      "ஆ": 9,
+      "இ": 10,
+      "ஈ": 11,
+      "உ": 12,
+      "ஊ": 13,
+      "஋": 14,
+      "எ": 15,
+      "ஏ": 16,
+      "ஐ": 17,
+      "஑": 18,
+      "ஒ": 19,
+      "ஓ": 20,
+      "ஔ": 21,
+      "க": 22,
+      "஖": 23,
+      "஗": 24,
+      "ங": 25,
+      "ச": 26,
+      "ஜ": 27,
+      "ஞ": 28,
+      "ட": 29,
+      "஠": 30,
+      "஡": 31,
+      "஢": 32,
+      "ண": 33,
+      "த": 34,
+      "஥": 35,
+      "஦": 36,
+      "஧": 37,
+      "ந": 38,
+      "ன": 39,
+      "ப": 40,
+      "஫": 41,
+      "஬": 42,
+      "஭": 43,
+      "ம": 44,
+      "ய": 45,
+      "ர": 46,
+      "ற": 47,
+      "ல": 48,
+      "ள": 49,
+      "ழ": 50,
+      "வ": 51,
+      "ஶ": 52,
+      "ஷ": 53,
+      "ஸ": 54,
+      "ஹ": 55,
+      "஽": 56,
+      "ா": 57,
+      "ி": 58,
+      "ீ": 59,
+      "ு": 60,
+      "ூ": 61,
+      "௃": 62,
+      "ெ": 63,
+      "ே": 64,
+      "ை": 65,
+      "௉": 66,
+      "ொ": 67,
+      "ோ": 68,
+      "ௌ": 69,
+      "்": 70,
+      "ௐ": 71,
+      "ௗ": 72,
+      "௠": 73,
+      "௦": 74,
+      "௧": 75,
+      "௨": 76,
+      "௩": 77,
+      "௪": 78,
+      "௫": 79,
+      "௬": 80,
+      "௭": 81,
+      "௮": 82,
+      "௯": 83,
+      "௰": 84,
+      "௱": 85,
+      "௲": 86,
+      "௳": 87,
+      "௴": 88,
+      "௵": 89,
+      "௶": 90,
+      "௷": 91,
+      "௸": 92,
+      "௹": 93,
+      "௺": 94,
+      "௼": 95,
+      "௿": 96,
+      "##ல": 97,
+      "##ை": 98,
+      "##க": 99,
+      "##்": 100,
+      "##ு": 101,
+      "##த": 102,
+      "##ர": 103,
+      "##வ": 104,
+      "##ே": 105,
+      "##ற": 106,
+      "##ம": 107,
+      "##ப": 108,
+      "##ன": 109,
+      "##ட": 110,
+      "##ி": 111,
+      "##ா": 112,
+      "##ச": 113,
+      "##ூ": 114,
+      "##ழ": 115,
+      "##ந": 116,
+      "##ோ": 117,
+      "##ொ": 118,
+      "##ெ": 119,
+      "##ள": 120,
+      "##ங": 121,
+      "##ய": 122,
+      "##ஞ": 123,
+      "##ண": 124,
+      "##ஸ": 125,
+      "##ஜ": 126,
+      "##ஷ": 127,
+      "##ீ": 128,
+      "##ஹ": 129,
+      "##உ": 130,
+      "##ஃ": 131,
+      "##அ": 132,
+      "##ஓ": 133,
+      "##எ": 134,
+      "##ஆ": 135,
+      "##ஊ": 136,
+      "##இ": 137,
+      "##ௌ": 138,
+      "##ஏ": 139,
+      "##ஒ": 140,
+      "##ஐ": 141,
+      "##௫": 142,
+      "##ஶ": 143,
+      "##௯": 144,
+      "##஑": 145,
+      "##ஈ": 146,
+      "##஢": 147,
+      "##ஔ": 148,
+      "##௦": 149,
+      "##௧": 150,
+      "##௰": 151,
+      "##௪": 152,
+      "##ஂ": 153,
+      "##௱": 154,
+      "##ௗ": 155,
+      "##௬": 156,
+      "##஡": 157,
+      "##஭": 158,
+      "##௩": 159,
+      "##௿": 160,
+      "##ௐ": 161,
+      "##௲": 162,
+      "##௭": 163,
+      "##஧": 164,
+      "##௮": 165,
+      "##௨": 166,
+      "##௃": 167,
+      "##௵": 168,
+      "##஦": 169,
+      "##஬": 170,
+      "##௶": 171,
+      "##஽": 172,
+      "##௹": 173,
+      "##௸": 174,
+      "##஖": 175,
+      "##௴": 176,
+      "##௉": 177,
+      "##௳": 178,
+      "##஫": 179,
+      "##௠": 180,
+      "##஠": 181,
+      "##௼": 182,
+      "##஁": 183,
+      "##஥": 184,
+      "##்க": 185,
+      "##்த": 186,
+      "##ம்": 187,
+      "##ன்": 188,
+      "##ல்": 189,
+      "##க்க": 190,
+      "##்ட": 191,
+      "##ப்": 192,
+      "##த்த": 193,
+      "##ள்": 194,
+      "##ும்": 195,
+      "##ர்": 196,
+      "##ிய": 197,
+      "##ப்ப": 198,
+      "##ரு": 199,
+      "##ந்த": 200,
+      "##ட்ட": 201,
+      "##து": 202,
+      "##ில்": 203,
+      "##ங்க": 204,
+      "##ைய": 205,
+      "##ற்": 206,
+      "##ின்": 207,
+      "##ாக": 208,
+      "##று": 209,
+      "##ிர": 210,
+      "##டு": 211,
+      "##ிக": 212,
+      "##ண்ட": 213,
+      "##்ச": 214,
+      "##க்கு": 215,
+      "##ர்க": 216,
+      "##ிற": 217,
+      "##ில": 218,
+      "மு": 219,
+      "##ான": 220,
+      "##த்து": 221,
+      "செ": 222,
+      "என்": 223,
+      "##டி": 224,
+      "வி": 225,
+      "##லை": 226,
+      "##ற்ற": 227,
+      "##ள்ள": 228,
+      "##ார": 229,
+      "##தி": 230,
+      "##ார்": 231,
+      "##ப்பு": 232,
+      "##ிரு": 233,
+      "##வு": 234,
+      "##ட்டு": 235,
+      "##ல்ல": 236,
+      "##ரி": 237,
+      "##வி": 238,
+      "##க்": 239,
+      "கு": 240,
+      "##ான்": 241,
+      "##ந்து": 242,
+      "##ால்": 243,
+      "##ளை": 244,
+      "##ய்": 245,
+      "##ச்ச": 246,
+      "கொ": 247,
+      "##த்": 248,
+      "போ": 249,
+      "இரு": 250,
+      "##னை": 251,
+      "அவ": 252,
+      "கா": 253,
+      "##ர்கள்": 254,
+      "##ங்கள்": 255,
+      "பெ": 256,
+      "##ண்": 257,
+      "##ம்ப": 258,
+      "##றி": 259,
+      "##ஸ்": 260,
+      "##ாத": 261,
+      "##மி": 262,
+      "பு": 263,
+      "##கள்": 264,
+      "##கு": 265,
+      "##ாவ": 266,
+      "##மை": 267,
+      "##ளு": 268,
+      "வே": 269,
+      "ஒரு": 270,
+      "##க்கும்": 271,
+      "##ின": 272,
+      "##ழு": 273,
+      "பா": 274,
+      "அத": 275,
+      "தொ": 276,
+      "இந்த": 277,
+      "வெ": 278,
+      "##ண்டு": 279,
+      "##ாம்": 280,
+      "வா": 281,
+      "##ற்க": 282,
+      "##த்தில்": 283,
+      "##டை": 284,
+      "##ன்ன": 285,
+      "செய": 286,
+      "##ன்ற": 287,
+      "##ழ்": 288,
+      "##மா": 289,
+      "##ிக்க": 290,
+      "##டிய": 291,
+      "நா": 292,
+      "மா": 293,
+      "##ச்": 294,
+      "##ரை": 295,
+      "##ரா": 296,
+      "##வா": 297,
+      "##ரிய": 298,
+      "##தை": 299,
+      "##ையில்": 300,
+      "##ட்": 301,
+      "##ளி": 302,
+      "கூ": 303,
+      "பொ": 304,
+      "##வே": 305,
+      "சு": 306,
+      "##ால": 307,
+      "##்த்த": 308,
+      "தமி": 309,
+      "மே": 310,
+      "என": 311,
+      "##றை": 312,
+      "தே": 313,
+      "சொ": 314,
+      "பிர": 315,
+      "##ங்கள": 316,
+      "##வை": 317,
+      "##ாம": 318,
+      "சி": 319,
+      "##ப்பட்ட": 320,
+      "##ற்ப": 321,
+      "##ையும்": 322,
+      "##மாக": 323,
+      "நி": 324,
+      "##மு": 325,
+      "##ண்ண": 326,
+      "பே": 327,
+      "##த்தை": 328,
+      "##கிற": 329,
+      "##திய": 330,
+      "##ளுக்கு": 331,
+      "தெ": 332,
+      "என்று": 333,
+      "##ட்ச": 334,
+      "கோ": 335,
+      "நீ": 336,
+      "செய்த": 337,
+      "##ிகள்": 338,
+      "##வர்": 339,
+      "##னி": 340,
+      "##மான": 341,
+      "##பு": 342,
+      "என்ற": 343,
+      "##வும்": 344,
+      "##சு": 345,
+      "##ன்று": 346,
+      "##டுத்த": 347,
+      "##னு": 348,
+      "##கள": 349,
+      "##டன்": 350,
+      "மற்ற": 351,
+      "##லி": 352,
+      "##்கள்": 353,
+      "##ர்கள": 354,
+      "உள்ள": 355,
+      "##ரும்": 356,
+      "பகு": 357,
+      "##சி": 358,
+      "##ற்று": 359,
+      "##ப்பட": 360,
+      "##ாள": 361,
+      "அர": 362,
+      "செய்": 363,
+      "பி": 364,
+      "இத": 365,
+      "##வத": 366,
+      "##ணி": 367,
+      "##வில்": 368,
+      "##ின்ற": 369,
+      "##ழி": 370,
+      "##ாய": 371,
+      "கே": 372,
+      "##க்கிற": 373,
+      "என்ப": 374,
+      "##ேன்": 375,
+      "நட": 376,
+      "து": 377,
+      "கி": 378,
+      "##்கு": 379,
+      "##சிய": 380,
+      "##னர்": 381,
+      "திரு": 382,
+      "##ஞ்ச": 383,
+      "மற்றும்": 384,
+      "##டைய": 385,
+      "##ண்டும்": 386,
+      "##ிக்": 387,
+      "தொட": 388,
+      "வை": 389,
+      "##பா": 390,
+      "முத": 391,
+      "##கம்": 392,
+      "##டம்": 393,
+      "மூ": 394,
+      "##ங்கு": 395,
+      "##லா": 396,
+      "கரு": 397,
+      "சே": 398,
+      "##ியா": 399,
+      "பய": 400,
+      "செய்ய": 401,
+      "வீ": 402,
+      "பல": 403,
+      "ஆக": 404,
+      "##மைய": 405,
+      "வரு": 406,
+      "##வர": 407,
+      "##ட்டி": 408,
+      "மீ": 409,
+      "##களை": 410,
+      "##னால்": 411,
+      "##வ்": 412,
+      "##ப்பா": 413,
+      "##ளிய": 414,
+      "இது": 415,
+      "எழு": 416,
+      "இருந்த": 417,
+      "பகுப்பு": 418,
+      "அறி": 419,
+      "தி": 420,
+      "தமிழ்": 421,
+      "##ப்பி": 422,
+      "நில": 423,
+      "##மே": 424,
+      "அந்த": 425,
+      "##ும்ப": 426,
+      "வர": 427,
+      "பதி": 428,
+      "##ப்போ": 429,
+      "##க்கிய": 430,
+      "நே": 431,
+      "தலை": 432,
+      "தமிழ": 433,
+      "##கை": 434,
+      "##ணை": 435,
+      "##லாம்": 436,
+      "பார": 437,
+      "##த்தின்": 438,
+      "##விய": 439,
+      "வழ": 440,
+      "##ிருந்த": 441,
+      "##டுத்து": 442,
+      "கொண்ட": 443,
+      "##ர்க்க": 444,
+      "##ம்பர்": 445,
+      "குறி": 446,
+      "##ையை": 447,
+      "கட": 448,
+      "என்ன": 449,
+      "##ூர்": 450,
+      "அமை": 451,
+      "##ற்கு": 452,
+      "##ரம்": 453,
+      "##லு": 454,
+      "##ன்ப": 455,
+      "##நா": 456,
+      "##கிறது": 457,
+      "##ிலும்": 458,
+      "தீ": 459,
+      "##ழை": 460,
+      "##க்கள்": 461,
+      "##வது": 462,
+      "##லம்": 463,
+      "##ங்களை": 464,
+      "##ார்கள்": 465,
+      "வெளிய": 466,
+      "இய": 467,
+      "##ிகள": 468,
+      "இர": 469,
+      "##ற்றி": 470,
+      "##யர்": 471,
+      "##ணம்": 472,
+      "சம": 473,
+      "##ங்கில": 474,
+      "சா": 475,
+      "##த்திய": 476,
+      "சொல்ல": 477,
+      "##க்கி": 478,
+      "அதிக": 479,
+      "வேண்டும்": 480,
+      "##ாது": 481,
+      "##னா": 482,
+      "பத": 483,
+      "நான்": 484,
+      "அல்ல": 485,
+      "இல்": 486,
+      "பின்": 487,
+      "இல": 488,
+      "##ரோ": 489,
+      "##பி": 490,
+      "சிற": 491,
+      "திர": 492,
+      "##க்கம்": 493,
+      "##ஸ்ட": 494,
+      "வந்த": 495,
+      "##போ": 496,
+      "##ிற்கு": 497,
+      "##டிக்க": 498,
+      "பிற": 499
     }
   }
 }

vocab.txt

@@ -3,22 +3,6 @@
 [CLS]
 [SEP]
 [MASK]
-!
-"
-'
-,
-.
-0
-1
-2
-3
-4
-5
-6
-7
-8
-9
-?
 ஁
 ஂ
 ஃ
@@ -111,103 +95,93 @@
 ௺
 ௼
 ௿
-##ீ
-##ர
-##்
-##ம
+##ல
 ##ை
-##ய
-##ி
 ##க
-##ல
-##ச
+##்
+##ு
+##த
+##ர
 ##வ
-##ெ
+##ே
+##ற
+##ம
+##ப
+##ன
 ##ட
+##ி
 ##ா
-##ு
-##ப
+##ச
 ##ூ
-##ஜ
-##ன
-##ொ
+##ழ
 ##ந
-##த
 ##ோ
+##ொ
+##ெ
 ##ள
-##ற
 ##ங
-##ே
+##ய
+##ஞ
 ##ண
-##உ
-##ழ
-##4
-##8
-##7
-##0
-##5
+##ஸ
+##ஜ
 ##ஷ
+##ீ
 ##ஹ
-##ஸ
+##உ
+##ஃ
 ##அ
+##ஓ
 ##எ
-##1
-##9
-##ஞ
-##இ
-##ஃ
-##ஈ
-##2
-##3
-##6
-##ஶ
 ##ஆ
+##ஊ
+##இ
 ##ௌ
-##ஒ
-##௮
 ##ஏ
-##ஊ
-##௧
+##ஒ
 ##ஐ
-##ஓ
-##ௗ
-##௦
-##௲
-##௰
-##௯
 ##௫
-##ஂ
+##ஶ
+##௯
+##஑
+##ஈ
 ##஢
-##௩
-##௨
-##஡
-##௪
 ##ஔ
-##௉
+##௦
+##௧
+##௰
+##௪
+##ஂ
 ##௱
-##௵
-##௸
+##ௗ
+##௬
+##஡
+##஭
+##௩
 ##௿
 ##ௐ
-##௶
-##௬
+##௲
 ##௭
-##஁
-##஭
 ##஧
+##௮
+##௨
+##௃
+##௵
+##஦
+##஬
+##௶
 ##஽
-##஑
-##஫
-##௳
+##௹
+##௸
 ##஖
 ##௴
-##஬
-##௹
-##஠
+##௉
+##௳
+##஫
 ##௠
+##஠
 ##௼
-##௃
-##஦
+##஁
 ##஥
 ##்க
 ##்த
@@ -237,7 +211,6 @@
 ##ிர
 ##டு
 ##ிக
-20
 ##ண்ட
 ##்ச
 ##க்கு
@@ -258,7 +231,6 @@
 ##தி
 ##ார்
 ##ப்பு
-201
 ##ிரு
 ##வு
 ##ட்டு
@@ -332,8 +304,8 @@
 கூ
 பொ
 ##வே
-##ால
 சு
+##ால
 ##்த்த
 தமி
 மே
@@ -361,7 +333,6 @@
 தெ
 என்று
 ##ட்ச
-202
 கோ
 நீ
 செய்த
@@ -374,9 +345,9 @@
 ##வும்
 ##சு
 ##ன்று
-##கள
 ##டுத்த
 ##னு
+##கள
 ##டன்
 மற்ற
 ##லி
@@ -406,11 +377,11 @@
 நட
 து
 கி
+##்கு
 ##சிய
 ##னர்
-##்கு
-##ஞ்ச
 திரு
+##ஞ்ச
 மற்றும்
 ##டைய
 ##ண்டும்
@@ -419,8 +390,8 @@
 வை
 ##பா
 முத
-##டம்
 ##கம்
+##டம்
 மூ
 ##ங்கு
 ##லா
@@ -435,7 +406,6 @@
 ##மைய
 வரு
 ##வர
-10
 ##ட்டி
 மீ
 ##களை
@@ -443,7 +413,6 @@
 ##வ்
 ##ப்பா
 ##ளிய
-2021
 இது
 எழு
 இருந்த
@@ -453,7 +422,6 @@
 தமிழ்
 ##ப்பி
 நில
-200
 ##மே
 அந்த
 ##ும்ப
@@ -481,20 +449,52 @@
 கட
 என்ன
 ##ூர்
-##வது
 அமை
 ##ற்கு
 ##ரம்
 ##லு
-##நா
 ##ன்ப
+##நா
 ##கிறது
 ##ிலும்
 தீ
 ##ழை
 ##க்கள்
+##வது
 ##லம்
-12
 ##ங்களை
 ##ார்கள்
 வெளிய
+இய
+##ிகள
+இர
+##ற்றி
+##யர்
+##ணம்
+சம
+##ங்கில
+சா
+##த்திய
+சொல்ல
+##க்கி
+அதிக
+வேண்டும்
+##ாது
+##னா
+பத
+நான்
+அல்ல
+இல்
+பின்
+இல
+##ரோ
+##பி
+சிற
+திர
+##க்கம்
+##ஸ்ட
+வந்த
+##போ
+##ிற்கு
+##டிக்க
+பிற