Create utils.py

helpers/utils.py

@@ -0,0 +1,51 @@
+import re
+from helpers.cleaner import clean_text
+
+ARABIC_INDIC_DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")
+
+def normalize_digits(s: str) -> str:
+    return s.translate(ARABIC_INDIC_DIGITS)
+
+# ---------------------------------------
+# تنظيف النصوص + تحويل الأرقام
+# ---------------------------------------
+def clean_text_block(text: str) -> str:
+    if not isinstance(text, str):
+        return ""
+    return clean_text(normalize_digits(text.strip()))
+
+# ---------------------------------------
+# التعرف على المواد القانونية (يشمل "مكرر" وحروف)
+# ---------------------------------------
+ARTICLE_PATTERN = re.compile(
+    r"^\s*(?:المادة|مادة)\s*[\(\s]*([0-9٠-٩]+(?:\s*مكرر)?)\s*[\)\s]*([أ-ي\-]*)",
+    re.IGNORECASE
+)
+
+def is_article(text: str) -> bool:
+    if not isinstance(text, str):
+        return False
+    text_norm = normalize_digits(text)
+    return bool(ARTICLE_PATTERN.match(text_norm))
+
+def extract_article_number(text: str):
+    if not isinstance(text, str):
+        return None
+    text_norm = normalize_digits(text)
+    m = ARTICLE_PATTERN.match(text_norm)
+    if m:
+        return m.group(1).replace(" ", "")  # إزالة المسافات في "مكرر"
+    return None
+
+# ---------------------------------------
+# التعرف على الأقسام (الباب / الفصل / القسم)
+# ---------------------------------------
+SECTION_PATTERN = re.compile(
+    r"^\s*(الباب|الفصل|القسم)\s+([^\n]+)",
+    re.IGNORECASE
+)
+
+def is_section(text: str) -> bool:
+    if not isinstance(text, str):
+        return False
+    return bool(SECTION_PATTERN.match(text))