Upload tokenizer

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer.json

@@ -0,0 +1,1150 @@
+{
+  "version": "1.0",
+  "truncation": null,
+  "padding": null,
+  "added_tokens": [
+    {
+      "id": 0,
+      "content": "[PAD]",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 1,
+      "content": "[UNK]",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 2,
+      "content": "[CLS]",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 3,
+      "content": "[SEP]",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    {
+      "id": 4,
+      "content": "[MASK]",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    }
+  ],
+  "normalizer": {
+    "type": "BertNormalizer",
+    "clean_text": true,
+    "handle_chinese_chars": true,
+    "strip_accents": null,
+    "lowercase": false
+  },
+  "pre_tokenizer": {
+    "type": "BertPreTokenizer"
+  },
+  "post_processor": {
+    "type": "TemplateProcessing",
+    "single": [
+      {
+        "SpecialToken": {
+          "id": "[CLS]",
+          "type_id": 0
+        }
+      },
+      {
+        "Sequence": {
+          "id": "A",
+          "type_id": 0
+        }
+      },
+      {
+        "SpecialToken": {
+          "id": "[SEP]",
+          "type_id": 0
+        }
+      }
+    ],
+    "pair": [
+      {
+        "SpecialToken": {
+          "id": "[CLS]",
+          "type_id": 0
+        }
+      },
+      {
+        "Sequence": {
+          "id": "A",
+          "type_id": 0
+        }
+      },
+      {
+        "SpecialToken": {
+          "id": "[SEP]",
+          "type_id": 0
+        }
+      },
+      {
+        "Sequence": {
+          "id": "B",
+          "type_id": 1
+        }
+      },
+      {
+        "SpecialToken": {
+          "id": "[SEP]",
+          "type_id": 1
+        }
+      }
+    ],
+    "special_tokens": {
+      "[CLS]": {
+        "id": "[CLS]",
+        "ids": [
+          2
+        ],
+        "tokens": [
+          "[CLS]"
+        ]
+      },
+      "[SEP]": {
+        "id": "[SEP]",
+        "ids": [
+          3
+        ],
+        "tokens": [
+          "[SEP]"
+        ]
+      }
+    }
+  },
+  "decoder": {
+    "type": "WordPiece",
+    "prefix": "##",
+    "cleanup": true
+  },
+  "model": {
+    "type": "WordPiece",
+    "unk_token": "[UNK]",
+    "continuing_subword_prefix": "##",
+    "max_input_chars_per_word": 100,
+    "vocab": {
+      "[PAD]": 0,
+      "[UNK]": 1,
+      "[CLS]": 2,
+      "[SEP]": 3,
+      "[MASK]": 4,
+      "ஂ": 5,
+      "ஃ": 6,
+      "அ": 7,
+      "ஆ": 8,
+      "இ": 9,
+      "ஈ": 10,
+      "உ": 11,
+      "ஊ": 12,
+      "எ": 13,
+      "ஏ": 14,
+      "ஐ": 15,
+      "ஒ": 16,
+      "ஓ": 17,
+      "ஔ": 18,
+      "க": 19,
+      "ங": 20,
+      "ச": 21,
+      "ஜ": 22,
+      "ஞ": 23,
+      "ட": 24,
+      "஠": 25,
+      "஡": 26,
+      "஢": 27,
+      "ண": 28,
+      "த": 29,
+      "஦": 30,
+      "஧": 31,
+      "ந": 32,
+      "ன": 33,
+      "ப": 34,
+      "ம": 35,
+      "ய": 36,
+      "ர": 37,
+      "ற": 38,
+      "ல": 39,
+      "ள": 40,
+      "ழ": 41,
+      "வ": 42,
+      "ஶ": 43,
+      "ஷ": 44,
+      "ஸ": 45,
+      "ஹ": 46,
+      "ா": 47,
+      "ி": 48,
+      "ீ": 49,
+      "ு": 50,
+      "ூ": 51,
+      "ெ": 52,
+      "ே": 53,
+      "ை": 54,
+      "௉": 55,
+      "ொ": 56,
+      "ோ": 57,
+      "ௌ": 58,
+      "்": 59,
+      "ௐ": 60,
+      "ௗ": 61,
+      "௦": 62,
+      "௧": 63,
+      "௨": 64,
+      "௩": 65,
+      "௪": 66,
+      "௫": 67,
+      "௬": 68,
+      "௭": 69,
+      "௮": 70,
+      "௯": 71,
+      "௰": 72,
+      "௱": 73,
+      "௲": 74,
+      "௳": 75,
+      "௴": 76,
+      "௵": 77,
+      "௶": 78,
+      "௸": 79,
+      "௹": 80,
+      "##ர": 81,
+      "##ு": 82,
+      "##ப": 83,
+      "##வ": 84,
+      "##ற": 85,
+      "##ி": 86,
+      "##ீ": 87,
+      "##ட": 88,
+      "##ை": 89,
+      "##ய": 90,
+      "##ள": 91,
+      "##ா": 92,
+      "##க": 93,
+      "##ச": 94,
+      "##்": 95,
+      "##ொ": 96,
+      "##ங": 97,
+      "##ந": 98,
+      "##த": 99,
+      "##ழ": 100,
+      "##ம": 101,
+      "##ூ": 102,
+      "##ே": 103,
+      "##ல": 104,
+      "##ன": 105,
+      "##ஸ": 106,
+      "##ஷ": 107,
+      "##ோ": 108,
+      "##ெ": 109,
+      "##ண": 110,
+      "##அ": 111,
+      "##ஞ": 112,
+      "##ஜ": 113,
+      "##எ": 114,
+      "##இ": 115,
+      "##உ": 116,
+      "##ௌ": 117,
+      "##ஐ": 118,
+      "##ஹ": 119,
+      "##ஏ": 120,
+      "##ஃ": 121,
+      "##ஓ": 122,
+      "##���": 123,
+      "##ஊ": 124,
+      "##ஆ": 125,
+      "##௫": 126,
+      "##௯": 127,
+      "##ஈ": 128,
+      "##ஶ": 129,
+      "##௦": 130,
+      "##௬": 131,
+      "##஢": 132,
+      "##௧": 133,
+      "##௪": 134,
+      "##௭": 135,
+      "##௲": 136,
+      "##௨": 137,
+      "##ௐ": 138,
+      "##ஂ": 139,
+      "##஡": 140,
+      "##௩": 141,
+      "##ஔ": 142,
+      "##௱": 143,
+      "##௶": 144,
+      "##஧": 145,
+      "##௰": 146,
+      "##௮": 147,
+      "##௸": 148,
+      "##௵": 149,
+      "##ௗ": 150,
+      "##௉": 151,
+      "##௳": 152,
+      "##்க": 153,
+      "##ம்": 154,
+      "##்த": 155,
+      "##்ப": 156,
+      "##ல்": 157,
+      "##ன்": 158,
+      "##ப்ப": 159,
+      "##்ட": 160,
+      "##ள்": 161,
+      "##ிய": 162,
+      "##க்க": 163,
+      "##ர்": 164,
+      "##த்த": 165,
+      "##ும்": 166,
+      "##ரு": 167,
+      "##ட்ட": 168,
+      "##ங்க": 169,
+      "##ந்த": 170,
+      "##து": 171,
+      "##ில்": 172,
+      "##ப்பு": 173,
+      "##ில": 174,
+      "##கு": 175,
+      "##ைய": 176,
+      "##ின்": 177,
+      "பகு": 178,
+      "##்ச": 179,
+      "##ற்": 180,
+      "பகுப்பு": 181,
+      "##ாக": 182,
+      "##ற்ற": 183,
+      "##ண்ட": 184,
+      "##டு": 185,
+      "##ிர": 186,
+      "##ிற": 187,
+      "##ான": 188,
+      "##ிக": 189,
+      "##ள்ள": 190,
+      "##்கள்": 191,
+      "##ன்ற": 192,
+      "##ப்": 193,
+      "##ங்கில": 194,
+      "ஆங்கில": 195,
+      "##ுக": 196,
+      "##ார": 197,
+      "ஆங்கிலம்": 198,
+      "##லை": 199,
+      "##ார்": 200,
+      "மு": 201,
+      "##க்கு": 202,
+      "##ெய": 203,
+      "##ின": 204,
+      "##ச்ச": 205,
+      "##த்": 206,
+      "##ட்டு": 207,
+      "##டி": 208,
+      "##ிரு": 209,
+      "##ாவ": 210,
+      "##த்து": 211,
+      "கு": 212,
+      "##ந்து": 213,
+      "##ைக": 214,
+      "##வர": 215,
+      "கொ": 216,
+      "வி": 217,
+      "##மை": 218,
+      "##தி": 219,
+      "##ரி": 220,
+      "பொ": 221,
+      "கா": 222,
+      "##ல்ல": 223,
+      "தொ": 224,
+      "##ியல்": 225,
+      "##று": 226,
+      "##்கள": 227,
+      "##ரா": 228,
+      "பெ": 229,
+      "##வு": 230,
+      "##ச்": 231,
+      "##ன்ன": 232,
+      "##ால்": 233,
+      "இந்த": 234,
+      "போ": 235,
+      "##ற்க": 236,
+      "##மி": 237,
+      "##ாய": 238,
+      "##ம்ப": 239,
+      "##வி": 240,
+      "##ண்": 241,
+      "இரு": 242,
+      "##த்தில்": 243,
+      "##ன்ப": 244,
+      "##டை": 245,
+      "##வர்": 246,
+      "##றி": 247,
+      "##ங்கள": 248,
+      "##கள்": 249,
+      "##ண்டு": 250,
+      "மே": 251,
+      "##க்": 252,
+      "ஒரு": 253,
+      "சொ": 254,
+      "மற்ற": 255,
+      "##ப்பட்ட": 256,
+      "கூ": 257,
+      "##ழு": 258,
+      "வெ": 259,
+      "##ங்கள்": 260,
+      "##ாத": 261,
+      "பு": 262,
+      "##ான்": 263,
+      "##ட்ச": 264,
+      "என்ற": 265,
+      "##ால": 266,
+      "மற்றும்": 267,
+      "வே": 268,
+      "##ப்பட": 269,
+      "செய": 270,
+      "உள்ள": 271,
+      "##ாள": 272,
+      "##ழ்": 273,
+      "கோ": 274,
+      "சு": 275,
+      "##ப்புகள்": 276,
+      "செ": 277,
+      "##ற்கள்": 278,
+      "##ழி": 279,
+      "##ாட்ட": 280,
+      "##டுக": 281,
+      "தலை": 282,
+      "##ச்சொ": 283,
+      "##ிக்க": 284,
+      "##ிறது": 285,
+      "##ுவ": 286,
+      "தமி": 287,
+      "##லா": 288,
+      "பொரு": 289,
+      "ஆக": 290,
+      "##ஸ்": 291,
+      "##மு": 292,
+      "##திய": 293,
+      "பிர": 294,
+      "##றை": 295,
+      "##க்கும்": 296,
+      "##வை": 297,
+      "##ிட": 298,
+      "மா": 299,
+      "##ளை": 300,
+      "அத": 301,
+      "##சு": 302,
+      "##ேர": 303,
+      "து": 304,
+      "பா": 305,
+      "##ின்ற": 306,
+      "##ற்ப": 307,
+      "##ைக்": 308,
+      "##ர்கள்": 309,
+      "##ையில்": 310,
+      "##ுகள்": 311,
+      "##மாக": 312,
+      "##னர்": 313,
+      "##ளி": 314,
+      "##ரை": 315,
+      "அமை": 316,
+      "மொ": 317,
+      "##மான": 318,
+      "##ணை": 319,
+      "##ரிய": 320,
+      "##ையும்": 321,
+      "சி": 322,
+      "##டுத்த": 323,
+      "##டிய": 324,
+      "##்ப்ப": 325,
+      "நா": 326,
+      "தே": 327,
+      "##வே": 328,
+      "முத": 329,
+      "##ுக்கு": 330,
+      "##ிகள்": 331,
+      "##றிய": 332,
+      "##வா": 333,
+      "##னை": 334,
+      "##கர": 335,
+      "##ணி": 336,
+      "##னி": 337,
+      "##்க்க": 338,
+      "##த்தின்": 339,
+      "அர": 340,
+      "வா": 341,
+      "##வும்": 342,
+      "மூ": 343,
+      "##டைய": 344,
+      "இந்திய": 345,
+      "திரு": 346,
+      "நீ": 347,
+      "ஆம்": 348,
+      "சொற்கள்": 349,
+      "என": 350,
+      "என்ப": 351,
+      "##ிகள": 352,
+      "##ட்சி": 353,
+      "##லி": 354,
+      "##ற்று": 355,
+      "பொருள்": 356,
+      "பெய": 357,
+      "பல": 358,
+      "பய": 359,
+      "##ைகள்": 360,
+      "##ும்ப": 361,
+      "##்த்த": 362,
+      "##ழக": 363,
+      "##ாம": 364,
+      "இய": 365,
+      "##ண்ண": 366,
+      "இத": 367,
+      "##ஞ்ச": 368,
+      "திர": 369,
+      "##ன்று": 370,
+      "##த்தை": 371,
+      "தலைப்புகள்": 372,
+      "##ச்சொல்": 373,
+      "##ூர்": 374,
+      "தொட": 375,
+      "பிற": 376,
+      "##டன்": 377,
+      "##ப்படுக": 378,
+      "அவ": 379,
+      "கூட்டு": 380,
+      "கி": 381,
+      "தெ": 382,
+      "##ங்கு": 383,
+      "நில": 384,
+      "##க்கிய": 385,
+      "##சிய": 386,
+      "##மா": 387,
+      "##ட்": 388,
+      "வர": 389,
+      "##்கு": 390,
+      "பி": 391,
+      "இர": 392,
+      "தமிழ்": 393,
+      "இது": 394,
+      "##ர்கள": 395,
+      "##வில்": 396,
+      "சிற": 397,
+      "##வத": 398,
+      "மக்க": 399,
+      "##கை": 400,
+      "##ாவட்ட": 401,
+      "கொண்ட": 402,
+      "சே": 403,
+      "நட": 404,
+      "நிற": 405,
+      "##ுள்ள": 406,
+      "##லிய": 407,
+      "மீ": 408,
+      "மாவட்ட": 409,
+      "##ாய்": 410,
+      "##ையின்": 411,
+      "கூட்டுச்சொல்": 412,
+      "குறி": 413,
+      "##நில": 414,
+      "மேற்க": 415,
+      "##ிலும்": 416,
+      "##ானிய": 417,
+      "தி": 418,
+      "மொழி": 419,
+      "##்ய": 420,
+      "என்று": 421,
+      "##ிக்": 422,
+      "##ாகும்": 423,
+      "##ள்ளது": 424,
+      "அவர": 425,
+      "##ர்ப்ப": 426,
+      "##ாம்": 427,
+      "ஆண்ட": 428,
+      "##ுக்": 429,
+      "##ங்கி": 430,
+      "##வ்": 431,
+      "##ோய": 432,
+      "##விய": 433,
+      "பார": 434,
+      "பெயர்": 435,
+      "##மைய": 436,
+      "##சி": 437,
+      "அல்ல": 438,
+      "வழ": 439,
+      "##ாடு": 440,
+      "ஊரா": 441,
+      "##ைகள": 442,
+      "##ைப்": 443,
+      "##லம்": 444,
+      "நூ": 445,
+      "உய": 446,
+      "##ைப்பட": 447,
+      "##ர்ந்த": 448,
+      "அறி": 449,
+      "பூ": 450,
+      "கோய": 451,
+      "கரு": 452,
+      "விள": 453,
+      "##ப்பட்டு": 454,
+      "##ப்பட்டது": 455,
+      "கட": 456,
+      "இருந்த": 457,
+      "இவர்": 458,
+      "இல": 459,
+      "##க்கம்": 460,
+      "##ுகள": 461,
+      "##ளிய": 462,
+      "வீ": 463,
+      "சம": 464,
+      "##ிருந்த": 465,
+      "##வாக": 466,
+      "எழு": 467,
+      "இல்": 468,
+      "ஆண்டு": 469,
+      "##லக": 470,
+      "##பு": 471,
+      "பே": 472,
+      "##பெய": 473,
+      "##த்துவ": 474,
+      "இட": 475,
+      "##சை": 476,
+      "தொகு": 477,
+      "உரு": 478,
+      "##வியல்": 479,
+      "##ியில்": 480,
+      "செய்த": 481,
+      "##த்திர": 482,
+      "##ச்சொற்கள்": 483,
+      "ஆகும்": 484,
+      "##ிருந்து": 485,
+      "திரைப்பட": 486,
+      "அம": 487,
+      "மொழிபெய": 488,
+      "உட": 489,
+      "##ழை": 490,
+      "பின்": 491,
+      "##ப்பின": 492,
+      "##ோள": 493,
+      "மொழிபெயர்ப்ப": 494,
+      "சா": 495,
+      "##ப்படுகிறது": 496,
+      "##ுக்க": 497,
+      "##ின்றன": 498,
+      "மரு": 499,
+      "##லும்": 500,
+      "ஆகிய": 501,
+      "அரச": 502,
+      "கால": 503,
+      "என்ன": 504,
+      "கொண்டு": 505,
+      "##ிற்கு": 506,
+      "சட்ட": 507,
+      "இணை": 508,
+      "தோ": 509,
+      "பொறிய": 510,
+      "பயன்ப": 511,
+      "##ொரு": 512,
+      "##ப்பாட்ட": 513,
+      "முதல்": 514,
+      "ஊராட்சி": 515,
+      "காண": 516,
+      "மொழிபெயர்ப்புகள்": 517,
+      "##ப்படும்": 518,
+      "வேண்ட": 519,
+      "தீ": 520,
+      "##க்கி": 521,
+      "அல்லது": 522,
+      "என்பது": 523,
+      "பொறியியல்": 524,
+      "##மே": 525,
+      "##ற்கு": 526,
+      "##ரோ": 527,
+      "##ய்": 528,
+      "##ங்களில்": 529,
+      "நி": 530,
+      "##ட்டி": 531,
+      "##தாக": 532,
+      "##ாவின்": 533,
+      "##தை": 534,
+      "அதிக": 535,
+      "##திர": 536,
+      "கே": 537,
+      "##த்திய": 538,
+      "கழக": 539,
+      "##ினை": 540,
+      "மேற்கோள": 541,
+      "##ருக": 542,
+      "கண": 543,
+      "வெளி": 544,
+      "சில": 545,
+      "தானிய": 546,
+      "மக": 547,
+      "மேற்கோள்கள்": 548,
+      "செய்ய": 549,
+      "கிர": 550,
+      "தமிழ": 551,
+      "##ரம்": 552,
+      "சூ": 553,
+      "##தல்": 554,
+      "பெயர்ச்சொற்கள்": 555,
+      "பெற்ற": 556,
+      "##ரிக்க": 557,
+      "##ினார்": 558,
+      "அடி": 559,
+      "##ெடு": 560,
+      "##ராக": 561,
+      "கார": 562,
+      "பட": 563,
+      "##வன்": 564,
+      "##னால்": 565,
+      "##ங்": 566,
+      "##ந்தர்": 567,
+      "அமைந்து": 568,
+      "பர": 569,
+      "பட்ட": 570,
+      "##வற்ற": 571,
+      "வள": 572,
+      "வெளிய": 573,
+      "இவர": 574,
+      "மக்கள்": 575,
+      "கட்டு": 576,
+      "##ம்ம": 577,
+      "##ோது": 578,
+      "##முத": 579,
+      "##ிலிருந்து": 580,
+      "சீ": 581,
+      "##ியா": 582,
+      "அக": 583,
+      "கொடை": 584,
+      "பண": 585,
+      "உறு": 586,
+      "பேர": 587,
+      "##ாட்டு": 588,
+      "##ைத்": 589,
+      "நகர": 590,
+      "கட்ட": 591,
+      "போன்ற": 592,
+      "உள்ளது": 593,
+      "##னு": 594,
+      "##த்தி": 595,
+      "தமிழ்ந": 596,
+      "வை": 597,
+      "வாழ": 598,
+      "##ப்பி": 599,
+      "##லாம்": 600,
+      "நிறுவ": 601,
+      "##க்கப்பட்ட": 602,
+      "தா": 603,
+      "மிக": 604,
+      "இக்க": 605,
+      "தன": 606,
+      "##லைக்க": 607,
+      "##சா": 608,
+      "##ல்ப": 609,
+      "வந்த": 610,
+      "##ந்திர": 611,
+      "##லில்": 612,
+      "##ியின்": 613,
+      "இருந்து": 614,
+      "##ரும்": 615,
+      "##ாள்": 616,
+      "கீ": 617,
+      "அள": 618,
+      "##ேச": 619,
+      "##ணம்": 620,
+      "##ச்சி": 621,
+      "மேலும்": 622,
+      "##பி": 623,
+      "கழகச்": 624,
+      "##ற்றி": 625,
+      "நிக": 626,
+      "சுந்தர்": 627,
+      "ஒன்ற": 628,
+      "தானியங்கி": 629,
+      "##கக": 630,
+      "##மன்ற": 631,
+      "##ார்கள்": 632,
+      "தஇ": 633,
+      "தஇகக": 634,
+      "மருத்துவ": 635,
+      "##லு": 636,
+      "##கம்": 637,
+      "பாட": 638,
+      "##ித்த": 639,
+      "##ையை": 640,
+      "அந்த": 641,
+      "முன்ன": 642,
+      "##மும்": 643,
+      "##தா": 644,
+      "##பெ": 645,
+      "##னம்": 646,
+      "##டித்த": 647,
+      "இரா": 648,
+      "##ேய": 649,
+      "தொழ": 650,
+      "##ர்வ": 651,
+      "##கரமுத": 652,
+      "##ருக்கு": 653,
+      "அவர்": 654,
+      "இற": 655,
+      "##ாவில்": 656,
+      "##ர்ப": 657,
+      "##ரில்": 658,
+      "கல்": 659,
+      "##ுடன்": 660,
+      "##ோர்": 661,
+      "வரலா": 662,
+      "##ிரி": 663,
+      "பொது": 664,
+      "##ோத": 665,
+      "கல": 666,
+      "துடு": 667,
+      "சொல்ல": 668,
+      "##ட்ப": 669,
+      "நெ": 670,
+      "##கா": 671,
+      "##ாலும்": 672,
+      "கோயில்": 673,
+      "##ங்கிய": 674,
+      "##டிவ": 675,
+      "##ர்ம": 676,
+      "##டுத்து": 677,
+      "##தம்": 678,
+      "ஏற்ப": 679,
+      "துடுப்பாட்ட": 680,
+      "##வ்வ": 681,
+      "தூ": 682,
+      "##ாட": 683,
+      "விரு": 684,
+      "மக்கள": 685,
+      "மெ": 686,
+      "உலக": 687,
+      "போட்ட": 688,
+      "##வெ": 689,
+      "##ாண்ட": 690,
+      "வரை": 691,
+      "##ஷ்": 692,
+      "##ரின்": 693,
+      "திட்ட": 694,
+      "நாட": 695,
+      "##்சி": 696,
+      "எதிர": 697,
+      "மல": 698,
+      "##த்திற்கு": 699,
+      "##ெரிக்க": 700,
+      "பெரு": 701,
+      "ஆவ": 702,
+      "##ற்றிய": 703,
+      "மர": 704,
+      "பத": 705,
+      "##ாளர்": 706,
+      "##ளம்": 707,
+      "மாத": 708,
+      "அமெரிக்க": 709,
+      "##ிரிய": 710,
+      "வில": 711,
+      "##ந்": 712,
+      "##ேன்": 713,
+      "##ாவது": 714,
+      "##ர்த்த": 715,
+      "மாநில": 716,
+      "பயன்படுத்த": 717,
+      "##ிறார்": 718,
+      "உண": 719,
+      "##ப்பத": 720,
+      "##்ட்": 721,
+      "மன": 722,
+      "##வர்கள்": 723,
+      "##ிருக்க": 724,
+      "##ங்களை": 725,
+      "##ஸ்த": 726,
+      "உறுப்பின": 727,
+      "##ியம்": 728,
+      "ஆண்டில்": 729,
+      "தர": 730,
+      "##ப்படுத்த": 731,
+      "##திகள": 732,
+      "முக்கிய": 733,
+      "சோ": 734,
+      "வரு": 735,
+      "இருக்க": 736,
+      "##ணைய": 737,
+      "##ண்கள்": 738,
+      "##ியாக": 739,
+      "##வர்கள": 740,
+      "##ானது": 741,
+      "##ரே": 742,
+      "என்னும்": 743,
+      "##டும்": 744,
+      "##ாரி": 745,
+      "ரா": 746,
+      "##தியில்": 747,
+      "இக்கோய": 748,
+      "##டிக்க": 749,
+      "##மீ": 750,
+      "##ிலுள்ள": 751,
+      "##ட்டை": 752,
+      "வட": 753,
+      "சேர்ந்த": 754,
+      "##கள": 755,
+      "தனது": 756,
+      "##ள்ளி": 757,
+      "தக": 758,
+      "##ல்கள": 759,
+      "##ல்கள்": 760,
+      "அண": 761,
+      "கை": 762,
+      "##றைய": 763,
+      "##ளா": 764,
+      "கூற": 765,
+      "##பா": 766,
+      "##டுகள": 767,
+      "நடை": 768,
+      "##கரமுதலிய": 769,
+      "##வன": 770,
+      "##ுகிறது": 771,
+      "அழை": 772,
+      "##ின்றனர்": 773,
+      "பல்க": 774,
+      "##னித": 775,
+      "பழ": 776,
+      "நேர": 777,
+      "##ைச்": 778,
+      "நூற்ற": 779,
+      "குறை": 780,
+      "##ின்ப": 781,
+      "பின்னர்": 782,
+      "##வில்லை": 783,
+      "##ிற்க": 784,
+      "##ின்றது": 785,
+      "##ோக": 786,
+      "உருவா": 787,
+      "##ண்மை": 788,
+      "அகரமுதலிய": 789,
+      "கோயில": 790,
+      "வக": 791,
+      "##க்கூ": 792,
+      "ஆனால்": 793,
+      "இப்ப": 794,
+      "குழ": 795,
+      "நோ": 796,
+      "பிரி": 797,
+      "##ப்பட்டுள்ளது": 798,
+      "##முக": 799,
+      "##ச்சு": 800,
+      "மருத்துவம்": 801,
+      "##ினர்": 802,
+      "##ர்ந்து": 803,
+      "டி": 804,
+      "பதி": 805,
+      "##க்கள்": 806,
+      "வகை": 807,
+      "மூலம்": 808,
+      "வேண்டிய": 809,
+      "உத": 810,
+      "##ிடம்": 811,
+      "அமைந்துள்ள": 812,
+      "##ம்பர்": 813,
+      "தய": 814,
+      "##ன்மை": 815,
+      "##வீ": 816,
+      "##ொண்ட": 817,
+      "##சிரிய": 818,
+      "அவர்கள": 819,
+      "##ைகளை": 820,
+      "##லைக்கழக": 821,
+      "ஆர": 822,
+      "வழங்க": 823,
+      "##ுடைய": 824,
+      "##ப்பா": 825,
+      "பால": 826,
+      "இரண்ட": 827,
+      "பெரிய": 828,
+      "தகவ": 829,
+      "தொகை": 830,
+      "##கர்": 831,
+      "பரி": 832,
+      "பார்க்க": 833,
+      "பல்கலைக்கழக": 834,
+      "அரு": 835,
+      "##டம்": 836,
+      "##னா": 837,
+      "முக": 838,
+      "கண்ட": 839,
+      "அல": 840,
+      "அற": 841,
+      "ஆய்": 842,
+      "இலங்க": 843,
+      "கல்ல": 844,
+      "##திகள்": 845,
+      "##தும்": 846,
+      "இதன்": 847,
+      "##வரி": 848,
+      "இரண்டு": 849,
+      "குட": 850,
+      "##க்கோ": 851,
+      "என்": 852,
+      "மாவட்டம்": 853,
+      "சட்டமன்ற": 854,
+      "பொருள": 855,
+      "இல்ல": 856,
+      "மொத���த": 857,
+      "##கி": 858,
+      "##ாரம்": 859,
+      "விர": 860,
+      "உயிர": 861,
+      "வரலாறு": 862,
+      "சந்த": 863,
+      "பெர": 864,
+      "அது": 865,
+      "நிலைய": 866,
+      "அனை": 867,
+      "##ாண": 868,
+      "##வது": 869,
+      "அதன்": 870,
+      "வட்ட": 871,
+      "##ென": 872,
+      "##வைய": 873,
+      "##ாளர்கள்": 874,
+      "அட": 875,
+      "##ந்தது": 876,
+      "இருக்கும்": 877,
+      "விருது": 878,
+      "மி": 879,
+      "##ாகவும்": 880,
+      "##ெய்": 881,
+      "கிராம": 882,
+      "உள்ளன": 883,
+      "வச": 884,
+      "விளைய": 885,
+      "தமிழ்நாட்ட": 886,
+      "வழி": 887,
+      "போது": 888,
+      "அனு": 889,
+      "தனி": 890,
+      "##ாது": 891,
+      "##ிகளை": 892,
+      "##ட்சிய": 893,
+      "##ந்தார்": 894,
+      "நிறுவன": 895,
+      "எண்ண": 896,
+      "தொகுதி": 897,
+      "குறிப்ப": 898,
+      "மொழ": 899,
+      "அமைப்பு": 900,
+      "அரசியல்": 901,
+      "நான": 902,
+      "ஆத": 903,
+      "நு": 904,
+      "தேசிய": 905,
+      "கொள்ள": 906,
+      "##்க்": 907,
+      "##க்கள": 908,
+      "##த்தொ": 909,
+      "மூல": 910,
+      "வேண்டும்": 911,
+      "தொடர்ப": 912,
+      "வய": 913,
+      "##ோடு": 914,
+      "வான": 915,
+      "##வின்": 916,
+      "திரைப்படங்கள்": 917,
+      "##ர்ச்சி": 918,
+      "முழு": 919,
+      "முடிய": 920,
+      "##ிட்ட": 921,
+      "காரண": 922,
+      "##க்கார": 923,
+      "தன்": 924,
+      "இணைப்புகள்": 925,
+      "இயற்ப": 926,
+      "அப்ப": 927,
+      "தொழில்": 928,
+      "திற": 929,
+      "##வான": 930,
+      "அமைந்துள்ளது": 931,
+      "வடிவ": 932,
+      "அகரமுதலியின்": 933,
+      "##ம்பு": 934,
+      "கலை": 935,
+      "சொற்க": 936,
+      "பிரத": 937,
+      "##ர்வு": 938,
+      "நப": 939,
+      "##முறை": 940,
+      "##யம்": 941,
+      "நிலை": 942,
+      "##ுவையின்": 943,
+      "##ாமல்": 944,
+      "சொற்குவையின்": 945,
+      "##மாகும்": 946,
+      "சங்க": 947,
+      "##ர்களின்": 948,
+      "##னே": 949,
+      "சரி": 950,
+      "##ன்னை": 951,
+      "முடி": 952,
+      "##ல்க": 953,
+      "படி": 954,
+      "உட்ப": 955,
+      "ஆவார்": 956,
+      "நடிக": 957,
+      "##டுக்க": 958,
+      "##ிகளில்": 959,
+      "இன": 960,
+      "நடைபெ": 961,
+      "புற": 962,
+      "நோய": 963,
+      "##ரச": 964,
+      "என்றும்": 965,
+      "குழு": 966,
+      "நாட்ட": 967,
+      "வாய": 968,
+      "இவற்ற": 969,
+      "முறை": 970,
+      "நே": 971,
+      "நான்": 972,
+      "மின்": 973,
+      "##ஸ்ட": 974,
+      "##்த்": 975,
+      "மாற்ற": 976,
+      "வருக": 977,
+      "சிற்ற": 978,
+      "##்ச்ச": 979,
+      "சிவ": 980,
+      "அரசு": 981,
+      "##நிலை": 982,
+      "மன்ற": 983,
+      "இணைய": 984,
+      "இந்து": 985,
+      "##ரீ": 986,
+      "##வாத": 987,
+      "##லின்": 988,
+      "வேளா": 989,
+      "மனித": 990,
+      "நூற்றாண்ட": 991,
+      "அவர்கள்": 992,
+      "தவ": 993,
+      "##ங்களின்": 994,
+      "ஆய": 995,
+      "முதல": 996,
+      "புக": 997,
+      "தமிழ்நாடு": 998,
+      "கிழ": 999
+    }
+  }
+}

tokenizer_config.json

@@ -0,0 +1,13 @@
+{
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "mask_token": "[MASK]",
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "special_tokens_map_file": null,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "DistilBertTokenizer",
+  "unk_token": "[UNK]"
+}

vocab.txt

@@ -0,0 +1,1000 @@
+[PAD]
+[UNK]
+[CLS]
+[SEP]
+[MASK]
+ஂ
+ஃ
+அ
+ஆ
+இ
+ஈ
+உ
+ஊ
+எ
+ஏ
+ஐ
+ஒ
+ஓ
+ஔ
+க
+ங
+ச
+ஜ
+ஞ
+ட
+஠
+஡
+஢
+ண
+த
+஦
+஧
+ந
+ன
+ப
+ம
+ய
+ர
+ற
+ல
+ள
+ழ
+வ
+ஶ
+ஷ
+ஸ
+ஹ
+ா
+ி
+ீ
+ு
+ூ
+ெ
+ே
+ை
+௉
+ொ
+ோ
+ௌ
+்
+ௐ
+ௗ
+௦
+௧
+௨
+௩
+௪
+௫
+௬
+௭
+௮
+௯
+௰
+௱
+௲
+௳
+௴
+௵
+௶
+௸
+௹
+##ர
+##ு
+##ப
+##வ
+##ற
+##ி
+##ீ
+##ட
+##ை
+##ய
+##ள
+##ா
+##க
+##ச
+##்
+##ொ
+##ங
+##ந
+##த
+##ழ
+##ம
+##ூ
+##ே
+##ல
+##ன
+##ஸ
+##ஷ
+##ோ
+##ெ
+##ண
+##அ
+##ஞ
+##ஜ
+##எ
+##இ
+##உ
+##ௌ
+##ஐ
+##ஹ
+##ஏ
+##ஃ
+##ஓ
+##ஒ
+##ஊ
+##ஆ
+##௫
+##௯
+##ஈ
+##ஶ
+##௦
+##௬
+##஢
+##௧
+##௪
+##௭
+##௲
+##௨
+##ௐ
+##ஂ
+##஡
+##௩
+##ஔ
+##௱
+##௶
+##஧
+##௰
+##௮
+##௸
+##௵
+##ௗ
+##௉
+##௳
+##்க
+##ம்
+##்த
+##்ப
+##ல்
+##ன்
+##ப்ப
+##்ட
+##ள்
+##ிய
+##க்க
+##ர்
+##த்த
+##ும்
+##ரு
+##ட்ட
+##ங்க
+##ந்த
+##து
+##ில்
+##ப்பு
+##ில
+##கு
+##ைய
+##ின்
+பகு
+##்ச
+##ற்
+பகுப்பு
+##ாக
+##ற்ற
+##ண்ட
+##டு
+##ிர
+##ிற
+##ான
+##ிக
+##ள்ள
+##்கள்
+##ன்ற
+##ப்
+##ங்கில
+ஆங்கில
+##ுக
+##ார
+ஆங்கிலம்
+##லை
+##ார்
+மு
+##க்கு
+##ெய
+##ின
+##ச்ச
+##த்
+##ட்டு
+##டி
+##ிரு
+##ாவ
+##த்து
+கு
+##ந்து
+##ைக
+##வர
+கொ
+வி
+##மை
+##தி
+##ரி
+பொ
+கா
+##ல்ல
+தொ
+##ியல்
+##று
+##்கள
+##ரா
+பெ
+##வு
+##ச்
+##ன்ன
+##ால்
+இந்த
+போ
+##ற்க
+##மி
+##ாய
+##ம்ப
+##வி
+##ண்
+இரு
+##த்தில்
+##ன்ப
+##டை
+##வர்
+##றி
+##ங்கள
+##கள்
+##ண்டு
+மே
+##க்
+ஒரு
+சொ
+மற்ற
+##ப்பட்ட
+கூ
+##ழு
+வெ
+##ங்கள்
+##ாத
+பு
+##ான்
+##ட்ச
+என்ற
+##ால
+மற்றும்
+வே
+##ப்பட
+செய
+உள்ள
+##ாள
+##ழ்
+கோ
+சு
+##ப்புகள்
+செ
+##ற்கள்
+##ழி
+##ாட்ட
+##டுக
+தலை
+##ச்சொ
+##ிக்க
+##ிறது
+##ுவ
+தமி
+##லா
+பொரு
+ஆக
+##ஸ்
+##மு
+##திய
+பிர
+##றை
+##க்கும்
+##வை
+##ிட
+மா
+##ளை
+அத
+##சு
+##ேர
+து
+பா
+##ின்ற
+##ற்ப
+##ைக்
+##ர்கள்
+##ையில்
+##ுகள்
+##மாக
+##னர்
+##ளி
+##ரை
+அமை
+மொ
+##மான
+##ணை
+##ரிய
+##ையும்
+சி
+##டுத்த
+##டிய
+##்ப்ப
+நா
+தே
+##வே
+முத
+##ுக்கு
+##ிகள்
+##றிய
+##வா
+##னை
+##கர
+##ணி
+##னி
+##்க்க
+##த்தின்
+அர
+வா
+##வும்
+மூ
+##டைய
+இந்திய
+திரு
+நீ
+ஆம்
+சொற்கள்
+என
+என்ப
+##ிகள
+##ட்சி
+##லி
+##ற்று
+பொருள்
+பெய
+பல
+பய
+##ைகள்
+##ும்ப
+##்த்த
+##ழக
+##ாம
+இய
+##ண்ண
+இத
+##ஞ்ச
+திர
+##ன்று
+##த்தை
+தலைப்புகள்
+##ச்சொல்
+##ூர்
+தொட
+பிற
+##டன்
+##ப்படுக
+அவ
+கூட்டு
+கி
+தெ
+##ங்கு
+நில
+##க்கிய
+##சிய
+##மா
+##ட்
+வர
+##்கு
+பி
+இர
+தமிழ்
+இது
+##ர்கள
+##வில்
+சிற
+##வத
+மக்க
+##கை
+##ாவட்ட
+கொண்ட
+சே
+நட
+நிற
+##ுள்ள
+##லிய
+மீ
+மாவட்ட
+##ாய்
+##ையின்
+கூட்டுச்சொல்
+குறி
+##நில
+மேற்க
+##ிலும்
+##ானிய
+தி
+மொழி
+##்ய
+என்று
+##ிக்
+##ாகும்
+##ள்ளது
+அவர
+##ர்ப்ப
+##ாம்
+ஆண்ட
+##ுக்
+##ங்கி
+##வ்
+##ோய
+##விய
+பார
+பெயர்
+##மைய
+##சி
+அல்ல
+வழ
+##ாடு
+ஊரா
+##ைகள
+##ைப்
+##லம்
+நூ
+உய
+##ைப்பட
+##ர்ந்த
+அறி
+பூ
+கோய
+கரு
+விள
+##ப்பட்டு
+##ப்பட்டது
+கட
+இருந்த
+இவர்
+இல
+##க்கம்
+##ுகள
+##ளிய
+வீ
+சம
+##ிருந்த
+##வாக
+எழு
+இல்
+ஆண்டு
+##லக
+##பு
+பே
+##பெய
+##த்துவ
+இட
+##சை
+தொகு
+உரு
+##வியல்
+##ியில்
+செய்த
+##த்திர
+##ச்சொற்கள்
+ஆகும்
+##ிருந்து
+திரைப்பட
+அம
+மொழிபெய
+உட
+##ழை
+பின்
+##ப்பின
+##ோள
+மொழிபெயர்ப்ப
+சா
+##ப்படுகிறது
+##ுக்க
+##ின்றன
+மரு
+##லும்
+ஆகிய
+அரச
+கால
+என்ன
+கொண்டு
+##ிற்கு
+சட்ட
+இணை
+தோ
+பொறிய
+பயன்ப
+##ொரு
+##ப்பாட்ட
+முதல்
+ஊராட்சி
+காண
+மொழிபெயர்ப்புகள்
+##ப்படும்
+வேண்ட
+தீ
+##க்கி
+அல்லது
+என்பது
+பொறியியல்
+##மே
+##ற்கு
+##ரோ
+##ய்
+##ங்களில்
+நி
+##ட்டி
+##தாக
+##ாவின்
+##தை
+அதிக
+##திர
+கே
+##த்திய
+கழக
+##ினை
+மேற்கோள
+##ருக
+கண
+வெளி
+சில
+தானிய
+மக
+மேற்கோள்கள்
+செய்ய
+கிர
+தமிழ
+##ரம்
+சூ
+##தல்
+பெயர்ச்சொற்கள்
+பெற்ற
+##ரிக்க
+##ினார்
+அடி
+##ெடு
+##ராக
+கார
+பட
+##வன்
+##னால்
+##ங்
+##ந்தர்
+அமைந்து
+பர
+பட்ட
+##வற்ற
+வள
+வெளிய
+இவர
+மக்கள்
+கட்டு
+##ம்ம
+##ோது
+##முத
+##ிலிருந்து
+சீ
+##ியா
+அக
+கொடை
+பண
+உறு
+பேர
+##ாட்டு
+##ைத்
+நகர
+கட்ட
+போன்ற
+உள்ளது
+##னு
+##த்தி
+தமிழ்ந
+வை
+வாழ
+##ப்பி
+##லாம்
+நிறுவ
+##க்கப்பட்ட
+தா
+மிக
+இக்க
+தன
+##லைக்க
+##சா
+##ல்ப
+வந்த
+##ந்திர
+##லில்
+##ியின்
+இருந்து
+##ரும்
+##ாள்
+கீ
+அள
+##ேச
+##ணம்
+##ச்சி
+மேலும்
+##பி
+கழகச்
+##ற்றி
+நிக
+சுந்தர்
+ஒன்ற
+தானியங்கி
+##கக
+##மன்ற
+##ார்கள்
+தஇ
+தஇகக
+மருத்துவ
+##லு
+##கம்
+பாட
+##ித்த
+##ையை
+அந்த
+முன்ன
+##மும்
+##தா
+##பெ
+##னம்
+##டித்த
+இரா
+##ேய
+தொழ
+##ர்வ
+##கரமுத
+##ருக்கு
+அவர்
+இற
+##ாவில்
+##ர்ப
+##ரில்
+கல்
+##ுடன்
+##ோர்
+வரலா
+##ிரி
+பொது
+##ோத
+கல
+துடு
+சொல்ல
+##ட்ப
+நெ
+##கா
+##ாலும்
+கோயில்
+##ங்கிய
+##டிவ
+##ர்ம
+##டுத்து
+##தம்
+ஏற்ப
+துடுப்பாட்ட
+##வ்வ
+தூ
+##ாட
+விரு
+மக்கள
+மெ
+உலக
+போட்ட
+##வெ
+##ாண்ட
+வரை
+##ஷ்
+##ரின்
+திட்ட
+நாட
+##்சி
+எதிர
+மல
+##த்திற்கு
+##ெரிக்க
+பெரு
+ஆவ
+##ற்றிய
+மர
+பத
+##ாளர்
+##ளம்
+மாத
+அமெரிக்க
+##ிரிய
+வில
+##ந்
+##ேன்
+##ாவது
+##ர்த்த
+மாநில
+பயன்படுத்த
+##ிறார்
+உண
+##ப்பத
+##்ட்
+மன
+##வர்கள்
+##ிருக்க
+##ங்களை
+##ஸ்த
+உறுப்பின
+##ியம்
+ஆண்டில்
+தர
+##ப்படுத்த
+##திகள
+முக்கிய
+சோ
+வரு
+இருக்க
+##ணைய
+##ண்கள்
+##ியாக
+##வர்கள
+##ானது
+##ரே
+என்னும்
+##டும்
+##ாரி
+ரா
+##தியில்
+இக்கோய
+##டிக்க
+##மீ
+##ிலுள்ள
+##ட்டை
+வட
+சேர்ந்த
+##கள
+தனது
+##ள்ளி
+தக
+##ல்கள
+##ல்கள்
+அண
+கை
+##றைய
+##ளா
+கூற
+##பா
+##டுகள
+நடை
+##கரமுதலிய
+##வன
+##ுகிறது
+அழை
+##ின்றனர்
+பல்க
+##னித
+பழ
+நேர
+##ைச்
+நூற்ற
+குறை
+##ின்ப
+பின்னர்
+##வில்லை
+##ிற்க
+##ின்றது
+##ோக
+உருவா
+##ண்மை
+அகரமுதலிய
+கோயில
+வக
+##க்கூ
+ஆனால்
+இப்ப
+குழ
+நோ
+பிரி
+##ப்பட்டுள்ளது
+##முக
+##ச்சு
+மருத்துவம்
+##ினர்
+##ர்ந்து
+டி
+பதி
+##க்கள்
+வகை
+மூலம்
+வேண்டிய
+உத
+##ிடம்
+அமைந்து��்ள
+##ம்பர்
+தய
+##ன்மை
+##வீ
+##ொண்ட
+##சிரிய
+அவர்கள
+##ைகளை
+##லைக்கழக
+ஆர
+வழங்க
+##ுடைய
+##ப்பா
+பால
+இரண்ட
+பெரிய
+தகவ
+தொகை
+##கர்
+பரி
+பார்க்க
+பல்கலைக்கழக
+அரு
+##டம்
+##னா
+முக
+கண்ட
+அல
+அற
+ஆய்
+இலங்க
+கல்ல
+##திகள்
+##தும்
+இதன்
+##வரி
+இரண்டு
+குட
+##க்கோ
+என்
+மாவட்டம்
+சட்டமன்ற
+பொருள
+இல்ல
+மொத்த
+##கி
+##ாரம்
+விர
+உயிர
+வரலாறு
+சந்த
+பெர
+அது
+நிலைய
+அனை
+##ாண
+##வது
+அதன்
+வட்ட
+##ென
+##வைய
+##ாளர்கள்
+அட
+##ந்தது
+இருக்கும்
+விருது
+மி
+##ாகவும்
+##ெய்
+கிராம
+உள்ளன
+வச
+விளைய
+தமிழ்நாட்ட
+வழி
+போது
+அனு
+தனி
+##ாது
+##ிகளை
+##ட்சிய
+##ந்தார்
+நிறுவன
+எண்ண
+தொகுதி
+குறிப்ப
+மொழ
+அமைப்பு
+அரசியல்
+நான
+ஆத
+நு
+தேசிய
+கொள்ள
+##்க்
+##க்கள
+##த்தொ
+மூல
+வேண்டும்
+தொடர்ப
+வய
+##ோடு
+வான
+##வின்
+திரைப்படங்கள்
+##ர்ச்சி
+முழு
+முடிய
+##ிட்ட
+காரண
+##க்கார
+தன்
+இணைப்புகள்
+இயற்ப
+அப்ப
+தொழில்
+திற
+##வான
+அமைந்துள்ளது
+வடிவ
+அகரமுதலியின்
+##ம்பு
+கலை
+சொற்க
+பிரத
+##ர்வு
+நப
+##முறை
+##யம்
+நிலை
+##ுவையின்
+##ாமல்
+சொற்குவையின்
+##மாகும்
+சங்க
+##ர்களின்
+##னே
+சரி
+##ன்னை
+முடி
+##ல்க
+படி
+உட்ப
+ஆவார்
+நடிக
+##டுக்க
+##ிகளில்
+இன
+நடைபெ
+புற
+நோய
+##ரச
+என்றும்
+குழு
+நாட்ட
+வாய
+இவற்ற
+முறை
+நே
+நான்
+மின்
+##ஸ்ட
+##்த்
+மாற்ற
+வருக
+சிற்ற
+##்ச்ச
+சிவ
+அரசு
+##நிலை
+மன்ற
+இணைய
+இந்து
+##ரீ
+##வாத
+##லின்
+வேளா
+மனித
+நூற்றாண்ட
+அவர்கள்
+தவ
+##ங்களின்
+ஆய
+முதல
+புக
+தமிழ்நாடு
+கிழ