Update app.py

app.py

@@ -3,6 +3,7 @@ import gradio as gr
 import re
 import os
 import py_vncorenlp
+from pyvi import ViTokenizer, ViPosTagger
 
 def preprocess_text(text):
     # Loại bỏ các ký tự đặc biệt và dấu câu
@@ -27,9 +28,8 @@ def remove_html_tags(text):
     return clean_text
 
 def vi_word_segment(text):
-    rdrsegmenter = py_vncorenlp.VnCoreNLP(annotators=["wseg"], save_dir=os.getcwd())
-    output = rdrsegmenter.word_segment(text)
-    return ' '.join(output)
+    output = ViTokenizer.tokenize(text)
+    return output
 
 def process_text(text):
     text = text[:256]