add similar_character_replacement

app.py

@@ -23,6 +23,9 @@ def final_result(input_text):
     ## common_misspelling_replacement
     input_text_process = common_misspelling_replacement(input_text)
     list_text_response.append(input_text_process)
+    ##similar_character_replacement
+    input_text_process = similar_character_replacement(input_text)
+    list_text_response.append(input_text_process)
     ##
     string_text_response = '\n'.join(list_text_response)
     return str(string_text_response)

utils.py

@@ -395,3 +395,59 @@ def common_misspelling_replacement(text, error_rate=0.12, C=0.01):
     # Ghép các từ lại thành chuỗi văn bản
     return ' '.join(words)
 
+
+def similar_character_replacement(text, error_rate=0.03, C=0.01):
+    '''
+    :param text: Gồm 1 câu đúng chính tả
+    :param error_rate: tỷ lệ lỗi sai muốn thêm
+    :param C: hằng số để tính toán xác suất thay thế ký tự tương tự
+    :return: Gồm 1 câu sai chính tả
+
+    Thực hiện thay thế ký tự bằng ký tự tương tự trong bộ mã Unicode.
+    - Tìm các ký tự có thể thay thế trước
+    - Sử dụng augmentation_probability để xác định liệu ký tự đó có bị thay thế hay không
+    '''
+
+    # Từ điển các ký tự và các ký tự tương tự của chúng trong bộ mã Unicode
+    similar_characters = {
+        'a': ['á', 'à', 'ả', 'ã', 'ạ', 'â', 'ă'],
+        'e': ['é', 'è', 'ẻ', 'ẽ', 'ẹ', 'ê'],
+        'i': ['í', 'ì', 'ỉ', 'ĩ', 'ị'],
+        'o': ['ó', 'ò', 'ỏ', 'õ', 'ọ', 'ô', 'ơ'],
+        'u': ['ú', 'ù', 'ủ', 'ũ', 'ụ', 'ư'],
+        'y': ['ý', 'ỳ', 'ỷ', 'ỹ', 'ỵ'],
+        'd': ['đ'],
+        'A': ['Á', 'À', 'Ả', 'Ã', 'Ạ', 'Â', 'Ă'],
+        'E': ['É', 'È', 'Ẻ', 'Ẽ', 'Ẹ', 'Ê'],
+        'I': ['Í', 'Ì', 'Ỉ', 'Ĩ', 'Ị'],
+        'O': ['Ó', 'Ò', 'Ỏ', 'Õ', 'Ọ', 'Ô', 'Ơ'],
+        'U': ['Ú', 'Ù', 'Ủ', 'Ũ', 'Ụ', 'Ư'],
+        'Y': ['Ý', 'Ỳ', 'Ỷ', 'Ỹ', 'Ỵ'],
+        'D': ['Đ']
+    }
+
+    # Chuyển đổi văn bản thành danh sách ký tự để có thể thay thế ký tự
+    characters = list(text)
+
+    # Xác định các ký tự có thể thay thế
+    candidate_indices = [i for i, char in enumerate(characters) if char in similar_characters]
+
+    # Tính toán xác suất thay thế ký tự dựa trên error_rate sử dụng hàm logarit
+    augmentation_probability = C / math.log(error_rate + 1, 10)
+
+    # Thực hiện thay thế ký tự tại các vị trí ngẫu nhiên
+    num_errors = int(len(text) * error_rate)
+    if num_errors < 1:
+        num_errors = 1 if random.random() > 0.5 else 0
+
+    for _ in range(num_errors):
+        if len(candidate_indices) > 0 and random.random() <= augmentation_probability:
+            index = random.choice(candidate_indices)
+            char = characters[index]
+            # Chọn ngẫu nhiên một ký tự tương tự từ từ điển
+            similar_char = random.choice(similar_characters[char])
+            characters[index] = similar_char
+            candidate_indices.remove(index)  # Đảm bảo ký tự này không bị thay thế nhiều lần
+
+    # Ghép các ký tự lại thành chuỗi văn bản
+    return ''.join(characters)