SimpleTokenizer

Token

@@ -0,0 +1,9 @@
+import re
+from typing import List
+
+class SimpleTokenizer:
+    def __init__(self):
+        self.regex = re.compile(r'\w+')
+
+    def tokenize(self, text: str) -> List[str]:
+        return self.regex.findall(text)