add C and probabilty for error rate

app.py

@@ -5,11 +5,11 @@ def final_result(input_text):
     list_text_response = []
 
     ##character_replacement
-    input_text_process = character_replacement(input_text, num_errors=3)
+    input_text_process = character_replacement(input_text, error_rate=0.1)
     list_text_response.append(input_text_process)
 
     ##character_insertion
-    input_text_process = character_insertion(input_text, num_errors=2)
+    input_text_process = character_insertion(input_text, error_rate=0.01)
     list_text_response.append(input_text_process)
     ##
 

utils.py

@@ -2,16 +2,17 @@ import pandas as pd
 import numpy as np
 
 import random
+import math
 
-
-def character_replacement(text, num_errors=1):
-
+def character_replacement(text, error_rate=0.03, C=0.01):
     '''
-
     :param text: Gồm 1 câu đúng chính tả
-    :param num_errors: số lượng lỗi sai muốn thêm
+    :param error_rate: tỷ lệ lỗi sai muốn thêm
+    :param C: hằng số để tính toán xác suất thay thế ký tự
     :return: Gồm 1 câu sai chính tả
 
+    Kết hợp phương pháp error_rate và augmentation_probability để tạo lỗi chính tả.
+
     Bàn phím QWERTY tiếng Việt:
 
     Tạo một từ điển (keyboard) chứa các ký tự và các ký tự gần đó trên bàn phím. Ví dụ, ký tự 'a' có thể được thay thế bằng 'â', 'ă', 'á',...
@@ -20,7 +21,7 @@ def character_replacement(text, num_errors=1):
     Sử dụng list(text) để chuyển chuỗi văn bản thành danh sách các ký tự riêng lẻ. Điều này giúp dễ dàng thay thế từng ký tự.
     Chọn ngẫu nhiên các vị trí để thay thế ký tự:
 
-    Sử dụng random.sample để chọn ngẫu nhiên num_errors vị trí trong văn bản. Điều này giúp tạo ra các lỗi chính tả ngẫu nhiên và đa dạng.
+    Sử dụng random.sample để chọn ngẫu nhiên các vị trí dựa trên tỷ lệ lỗi. Điều này giúp tạo ra các lỗi chính tả ngẫu nhiên và đa dạng.
     Thực hiện thay thế ký tự:
 
     Với mỗi vị trí đã chọn, kiểm tra nếu ký tự đó có trong từ điển keyboard. Nếu có, chọn ngẫu nhiên một ký tự từ các ký tự gần đó trên bàn phím.
@@ -28,9 +29,11 @@ def character_replacement(text, num_errors=1):
     Ghép lại thành chuỗi văn bản:
 
     Sử dụng ''.join(text) để ghép danh sách các ký tự lại thành chuỗi văn bản hoàn chỉnh.
-
     '''
 
+    # Tính toán xác suất thay thế ký tự dựa trên error_rate sử dụng hàm logarit
+    augmentation_probability = C / math.log(error_rate + 1)
+
     # Bàn phím QWERTY tiếng Việt
     keyboard = {
         'a': 'âăáàạảãấầậẩẫắằặẳẵ',
@@ -83,7 +86,7 @@ def character_replacement(text, num_errors=1):
         'ồ': 'oôơóòọỏõốộổỗớờợởỡ',
         'ộ': 'oôơóòọỏõốồổỗớờợởỡ',
         'ổ': 'oôơóòọỏõốồộỗớờợởỡ',
-        'ỗ': 'oôơóòọỏõốồộổớờợởỡ',
+        'ỗ': 'oôơóòọỏõốồộổỗớờợởỡ',
         'ớ': 'oôơóòọỏõốồộổỗờợởỡ',
         'ờ': 'oôơóòọỏõốồộổỗớờợởỡ',
         'ợ': 'oôơóòọỏõốồộổỗớờợởỡ',
@@ -112,31 +115,36 @@ def character_replacement(text, num_errors=1):
         'z': 's'
     }
 
+    # Chuyển đổi văn bản thành danh sách ký tự
     text = list(text)
 
-    indices = random.sample(range(len(text) - 1), num_errors)
+    # Xác định số lượng ký tự cần thay thế dựa trên tỷ lệ lỗi
+    num_errors = int(len(text) * error_rate)
 
-    print(indices)
+    # Chọn ngẫu nhiên các vị trí để thay thế ký tự
+    indices = random.sample(range(len(text)), num_errors)
 
     for index in indices:
-        if text[index].lower() in keyboard:
+        if text[index].lower() in keyboard and random.random() <= augmentation_probability:
+            # Lấy ngẫu nhiên một ký tự từ các ký tự gần trên bàn phím
             replacement_char = random.choice(keyboard[text[index].lower()])
+            # Giữ nguyên kiểu chữ hoa hoặc chữ thường
             if text[index].isupper():
                 replacement_char = replacement_char.upper()
             text[index] = replacement_char
 
+    # Ghép các ký tự lại thành chuỗi văn bản hoàn chỉnh
     final_text = ''.join(text)
 
     return final_text
 
 
-def character_insertion(text, num_errors=1):
-
+def character_insertion(text, error_rate=0.03, C=0.5):
     '''
-
-    :param text:
-    :param num_errors:
-    :return:
+    :param text: Gồm 1 câu đúng chính tả
+    :param error_rate: tỷ lệ lỗi sai muốn thêm
+    :param C: hằng số để tính toán xác suất chèn ký tự
+    :return: Gồm 1 câu sai chính tả
 
     Bàn phím QWERTY tiếng Việt:
 
@@ -162,14 +170,21 @@ def character_insertion(text, num_errors=1):
     # Chuyển đổi văn bản thành danh sách ký tự để có thể thêm ký tự
     text = list(text)
 
+    # Xác định số lượng ký tự cần thêm dựa trên tỷ lệ lỗi
+    num_errors = int(len(text) * error_rate)
+
+    # Tính toán xác suất chèn ký tự dựa trên error_rate sử dụng hàm logarit
+    augmentation_probability = C / math.log(error_rate + 1)
+
     # Thực hiện thêm ký tự tại các vị trí ngẫu nhiên
     for _ in range(num_errors):
         # Chọn ngẫu nhiên một vị trí trong văn bản để thêm ký tự
-        index = random.randint(0, len(text) -1)
-        # Chọn ngẫu nhiên một ký tự từ bàn phím
-        char_to_insert = random.choice(keyboard)
-        # Thêm ký tự vào vị trí đã chọn
-        text.insert(index, char_to_insert)
+        if random.random() <= augmentation_probability:
+            index = random.randint(0, len(text))
+            # Chọn ngẫu nhiên một ký tự từ bàn phím
+            char_to_insert = random.choice(keyboard)
+            # Thêm ký tự vào vị trí đã chọn
+            text.insert(index, char_to_insert)
 
     # Ghép các ký tự lại thành chuỗi văn bản
     return ''.join(text)