Update file tokenizer.py

tokenizer.py

@@ -163,7 +163,7 @@ class Tokenizer:
         subprocess.run(['./a.out', c_data, c_vocab], cwd=c_dir)
 
 
-    def c_encode(self, text): #TODO: Implement
+    def c_encode(self, text): 
         script_dir = os.path.dirname(__file__)
         c_dir = os.path.join(script_dir, 'c_tokenizer/')
 
@@ -174,7 +174,7 @@ class Tokenizer:
             f.write(text)
 
 
-        self.to_file(c_dir + c_file)
+        self.to_file(c_vocab)
         self.c_compile(c_dir)
         self.c_run(c_dir, c_data, c_vocab)