update AP fomula

app.py

@@ -1,4 +1,6 @@
 import gradio as gr
+
+import fomula
 from utils import *
 
 def final_result(input_text):
@@ -55,4 +57,5 @@ def final_result(input_text):
 demo = gr.Interface(fn=final_result, inputs="textbox", outputs="textbox")
 
 if __name__ == "__main__":
+    print(fomula.AP_fomula(error_rate=0.12))
     demo.launch()

fomula.py

@@ -0,0 +1,18 @@
+import pandas as pd
+import numpy as np
+
+import random
+import math
+
+'''
+AP = a.e^(bx)
+e: Tỉ lệ lỗi trong 1 văn bản: 0.5% - 10%
+AP: Tỉ lệ sửa (0.1 <= AP <= 0.5)
+a: weight (0.5442)
+b: bias (-16.94145)
+'''
+
+def AP_fomula(a = 0.5442, b = -16.94145, error_rate=0.1):
+    augmentation_probability = a * math.pow(np.e, b * error_rate)
+
+    return augmentation_probability

utils.py

@@ -4,14 +4,10 @@ import numpy as np
 import random
 import math
 
-'''
-AP = C / log(e + 1)
-e: Tỉ lệ lỗi trong 1 văn bản: 0.5% - 10%
-AP: Tỉ lệ sửa (0.5 < AP <= 1)
-
-'''
-Ceta = 0.02069634258
-def character_replacement(text, error_rate=0.03, C=Ceta):
+import fomula
+
+
+def character_replacement(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -40,7 +36,7 @@ def character_replacement(text, error_rate=0.03, C=Ceta):
 
 
     # Tính toán xác suất thay thế ký tự dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Bàn phím QWERTY tiếng Việt
     keyboard = {
@@ -149,7 +145,7 @@ def character_replacement(text, error_rate=0.03, C=Ceta):
     return final_text
 
 
-def character_insertion(text, error_rate=0.03, C=Ceta):
+def character_insertion(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -186,7 +182,7 @@ def character_insertion(text, error_rate=0.03, C=Ceta):
         num_errors = 1 if random.random() > 0.5 else 0
 
     # Tính toán xác suất chèn ký tự dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện thêm ký tự tại các vị trí ngẫu nhiên
     for _ in range(num_errors):
@@ -202,7 +198,7 @@ def character_insertion(text, error_rate=0.03, C=Ceta):
     return ''.join(text)
 
 
-def character_deletion(text, error_rate=0.03, C=Ceta):
+def character_deletion(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -228,7 +224,7 @@ def character_deletion(text, error_rate=0.03, C=Ceta):
 
 
     # Tính toán xác suất xóa ký tự dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện xóa ký tự tại các vị trí ngẫu nhiên
     for _ in range(num_errors):
@@ -242,7 +238,7 @@ def character_deletion(text, error_rate=0.03, C=Ceta):
     # Ghép các ký tự lại thành chuỗi văn bản
     return ''.join(text)
 
-def character_transposition(text, error_rate=0.03, C=Ceta):
+def character_transposition(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -267,7 +263,7 @@ def character_transposition(text, error_rate=0.03, C=Ceta):
         num_errors = 1 if random.random() > 0.5 else 0
 
     # Tính toán xác suất hoán đổi ký tự dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện hoán đổi ký tự tại các vị trí ngẫu nhiên
     for _ in range(num_errors):
@@ -281,7 +277,7 @@ def character_transposition(text, error_rate=0.03, C=Ceta):
     # Ghép các ký tự lại thành chuỗi văn bản
     return ''.join(text)
 
-def homophone_replacement(text, error_rate=0.03, C=Ceta):
+def homophone_replacement(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -326,7 +322,7 @@ def homophone_replacement(text, error_rate=0.03, C=Ceta):
                 break
 
     # Tính toán xác suất thay thế từ dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện thay thế từ tại các vị trí ngẫu nhiên
     num_errors = int(len(text) * error_rate)
@@ -348,7 +344,7 @@ def homophone_replacement(text, error_rate=0.03, C=Ceta):
     return ' '.join(words)
 
 
-def common_misspelling_replacement(text, error_rate=0.12, C=Ceta):
+def common_misspelling_replacement(text, error_rate=0.12):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -384,7 +380,7 @@ def common_misspelling_replacement(text, error_rate=0.12, C=Ceta):
         return ' '.join(words)
 
     # Tính toán xác suất thay thế từ dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện thay thế từ tại các vị trí ngẫu nhiên
     num_errors = int(len(text) * error_rate)
@@ -404,7 +400,7 @@ def common_misspelling_replacement(text, error_rate=0.12, C=Ceta):
     return ' '.join(words)
 
 
-def similar_character_replacement(text, error_rate=0.03, C=Ceta):
+def similar_character_replacement(text, error_rate=0.03):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -441,7 +437,7 @@ def similar_character_replacement(text, error_rate=0.03, C=Ceta):
     candidate_indices = [i for i, char in enumerate(characters) if char in similar_characters]
 
     # Tính toán xác suất thay thế ký tự dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện thay thế ký tự tại các vị trí ngẫu nhiên
     num_errors = int(len(text) * error_rate)
@@ -461,7 +457,7 @@ def similar_character_replacement(text, error_rate=0.03, C=Ceta):
     return ''.join(characters)
 
 
-def random_space_insertion(text, error_rate=0.025, C=Ceta):
+def random_space_insertion(text, error_rate=0.025):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -478,7 +474,7 @@ def random_space_insertion(text, error_rate=0.025, C=Ceta):
     candidate_indices = [i for i in range(1, len(characters))]
 
     # Tính toán xác suất chèn khoảng trắng dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Thực hiện chèn khoảng trắng tại các vị trí ngẫu nhiên
     num_errors = int(len(text) * error_rate)
@@ -494,7 +490,7 @@ def random_space_insertion(text, error_rate=0.025, C=Ceta):
     # Ghép các ký tự lại thành chuỗi văn bản
     return ''.join(characters)
 
-def random_space_removal(text, error_rate=0.01, C=Ceta):
+def random_space_removal(text, error_rate=0.01):
     '''
     :param text: Gồm 1 câu đúng chính tả
     :param error_rate: tỷ lệ lỗi sai muốn thêm
@@ -505,7 +501,7 @@ def random_space_removal(text, error_rate=0.01, C=Ceta):
     '''
 
     # Tính toán xác suất bỏ dấu cách dựa trên error_rate sử dụng hàm logarit
-    augmentation_probability = C / math.log(error_rate + 1, 10)
+    augmentation_probability = fomula.AP_fomula(error_rate=error_rate)
 
     # Tìm các vị trí có thể bỏ dấu cách (giữa các từ)
     words = text.split()