test: updated text format and unittest

app.py

@@ -39,11 +39,7 @@ def transcribe(audio):
             # pretty text
             tokens = word_tokenize(text, engine="attacut", join_broken_num=True)
             print(tokens)
-
-            if len(tokens) > 0:
-                result = f'pretty: {thw.pretty(deque(deepcopy(tokens)))}\n\n original: {text}'
-            else:
-                result = 'pretty: ไม่สามารถตัดคำได้'
+            result = f'pretty: {thw.pretty(deque(deepcopy(tokens)))}\n\n original: {text}' 
         else:
             result = 'โปรดลองพูดอีกครั้ง'
     except Exception as e:

tests/test_thai_word.py

@@ -1,5 +1,6 @@
 import unittest
 from utils.thai_word import ThaiWord
+from collections import deque
 
 class TestThaiWord(unittest.TestCase):
 
@@ -7,65 +8,57 @@ class TestThaiWord(unittest.TestCase):
         self.thw = ThaiWord()
 
     def test_pretty_text_to_numeric(self):
-        self.assertEqual(
-            self.thw.pretty(['ฮา','โหล','หนึ่ง','สอง','สาม','สี่']),
-            'ฮาโหล1234',
-            'should convert single word number in thai to numeric'
-        )
+        tokens = deque(['ฮา','โหล','หนึ่ง','สอง','สาม','สี่'])
+        self.assertEqual(self.thw.pretty(tokens), 
+                         'ฮาโหล 1234', 
+                         'should convert single word number in thai to numeric')
         
     def test_pretty_long_words_to_numeric(self):
-        self.assertEqual(
-            self.thw.pretty([
-                'ปี','นี้','สอง','พัน','ห้า','ร้อย','หก','สิบ','เจ็ด','นะ',
-                ' ',
-                'ปี','หน้า','ก็','สอง','พัน','ห้า','ร้อย','หก','สิบ','แปด'
-            ]),
-            'ปีนี้2567นะ ปีหน้าก็2568',
-            'should convert full-words number in thai to numeric in long words (case1)'
-        )
+        tokens1 = deque([
+            'ปี','นี้','สอง','พัน','ห้า','ร้อย','หก','สิบ','เจ็ด','นะ', ' ',
+            'ปี','หน้า','ก็','สอง','พัน','ห้า','ร้อย','หก','สิบ','แปด'
+        ])
+        self.assertEqual(self.thw.pretty(tokens1),
+                         'ปีนี้ 2,567 นะ ปีหน้าก็ 2,568 ',
+                         'should convert full-words number in thai to numeric in long words (case1)')
 
-        self.assertEqual(
-            self.thw.pretty([
-                'อืม', ' ', 'อยาก', 'ได้', 'ราย', 'ได้', 'ยี่', 'สิบ', 
-                'เอ็ดล้าน', 'แบบ', 'เข้า', 'บ้าง', ' ', 'ทำ', 'ยัง', 'ไง', 'ดี'
-            ]),
-            'อืม อยากได้รายได้21000000แบบเข้าบ้าง ทำยังไงดี',
-            'should convert full-words number in thai to numeric in long words (case2)'
-        )
+        tokens2 = deque([
+            'อืม', ' ', 'อยาก', 'ได้', 'ราย', 'ได้', 'ยี่', 'สิบ', 
+            'เอ็ดล้าน', 'แบบ', 'เข้า', 'บ้าง', ' ', 'ทำ', 'ยัง', 'ไง', 'ดี'
+        ])
+        self.assertEqual(self.thw.pretty(tokens2),
+                         'อืม อยากได้รายได้ 21,000,000 แบบเข้าบ้าง ทำยังไงดี',
+                         'should convert full-words number in thai to numeric in long words (case2)')
 
-        self.assertEqual(
-            self.thw.pretty([
-                'อืม',' ','อยาก','ได้','ราย','ได้','ยี่สิบ','เอ็ด','ล้าน',
-                'แบบ', 'ร้าน','พร้อม','ทำ','ยัง','ไง','ดี'
-            ]),
-            'อืม อยากได้รายได้21000000แบบร้านพร้อมทำยังไงดี',
-            'should convert full-words number in thai to numeric in long words (case3)'
-        )
+        tokens3 = deque([
+            'อืม',' ','อยาก','ได้','ราย','ได้','ยี่สิบ','เอ็ด','ล้าน',
+            'แบบ', 'ร้าน','พร้อม','ทำ','ยัง','ไง','ดี'
+        ])
+        self.assertEqual(self.thw.pretty(tokens3),
+                         'อืม อยากได้รายได้ 21,000,000 แบบร้านพร้อมทำยังไงดี',
+                         'should convert full-words number in thai to numeric in long words (case3)')
         
     def test_pretty_word11_to_numeric(self):
-        self.assertEqual(
-            self.thw.pretty(['ซื้อ','มา','สิบ','เอ็ด','บาท']),
-            'ซื้อมา11บาท',
-            'should correct specific numeric "สิบ" and "เอ็ด"'
-        )
-        self.assertEqual(
-            self.thw.pretty(['ซื้อ','มา','สิบเอ็ด','บาท']),
-            'ซื้อมา11บาท',
-            'should correct specific numeric "สิบเอ็ด"'
-        )
+        tokens1 = deque(['ซื้อ','มา','สิบ','เอ็ด','บาท'])
+        self.assertEqual(self.thw.pretty(tokens1), 
+                         'ซื้อมา 11 บาท',
+                         'should correct specific numeric "สิบ" and "เอ็ด"')
+        
+        tokens2 = deque(['ซื้อ','มา','สิบเอ็ด','บาท'])
+        self.assertEqual(self.thw.pretty(tokens2),
+                         'ซื้อมา 11 บาท',
+                         'should correct specific numeric "สิบเอ็ด"')
         
     def test_pretty_word2x_to_numeric(self):
-        self.assertEqual(
-            self.thw.pretty(['ซื้อ','มา','ยี่','สิบ','ห้า','บาท']),
-            'ซื้อมา25บาท',
-            'should correct specific numeric "ยี่" and "สิบ"'
-        )
+        tokens1 = deque(['ซื้อ','มา','ยี่','สิบ','ห้า','บาท'])
+        self.assertEqual(self.thw.pretty(tokens1),
+                         'ซื้อมา 25 บาท',
+                         'should correct specific numeric "ยี่" and "สิบ"')
 
-        self.assertEqual(
-            self.thw.pretty(['ซื้อ','มา','ยี่สิบ','ห้า','บาท']),
-            'ซื้อมา25บาท',
-            'should correct specific numeric "ยี่สิบ"'
-        )
+        token2 = deque(['ซื้อ','มา','ยี่สิบ','ห้า','บาท'])
+        self.assertEqual(self.thw.pretty(token2),
+                         'ซื้อมา 25 บาท',
+                         'should correct specific numeric "ยี่สิบ"')
         
     def tearDown(self) -> None:
         self.thw = None

utils/thai_word.py

@@ -34,16 +34,18 @@ class ThaiWord:
             except Exception:
                 for word in words:
                     num = f'{num}{text_to_arabic_digit(word)}'
+                
+                num = f' {num}'
 
         return num
 
-    def pretty(self, words: deque) -> str:
+    def pretty(self, tokens: deque) -> str:
         has_start_number = False
         number = []
         text = ''
 
-        while len(words) > 0:
-            word = words.popleft()
+        while len(tokens) > 0:
+            word = tokens.popleft()
             if has_start_number:
                 if self.is_number(word) or self.is_digit(word):
                     number.append(word)
@@ -60,7 +62,7 @@ class ThaiWord:
                 else:
                     text = f'{text}{word}'
 
-            if len(words) == 0 and len(number) > 0:
+            if len(tokens) == 0 and len(number) > 0:
                 text = f'{text}{self.words_to_number(number)}'
                     
         return text