ui: Clean up editor placeholder text and alignment (top-right)

docs/audit/log_analysis.md

@@ -0,0 +1,49 @@
+### تحليل المشكلة (Log Analysis)
+
+لقد قمت بتحليل الـ Logs خطوة بخطوة، واكتشفت بالضبط ما حدث. المشكلة عبارة عن **سلسلة من الأحداث المعقدة** (Cascade) بدأت بسبب "هلوسة" من نموذج الإملاء، وتفاعل معها نظام الـ Offset Mapper ونظام منع التداخل (Overlap Resolver).
+
+إليك التفاصيل:
+
+#### 1. هلوسة نموذج الإملاء (AraSpell Hallucination)
+النص الأصلي الذي أدخله المستخدم كان يبدو هكذا: 
+`"قال محمد: أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."`
+
+نموذج AraSpell (الذي يعتمد على AraBERT) عندما رأى `"محمد:"`، قام بـ "هلوسة" كلمة `"علي"` من السياق، وأخرج:
+`"قال محمد علي أننا..."` (قام بحذف النقطتين وإضافة كلمة علي).
+
+**لماذا سمح النظام بهذا التغيير؟**
+يوجد فلتر في `app.py` يقيس مسافة Levenshtein لكي يمنع التعديلات الكبيرة.
+المسافة بين `"محمد:"` و `"محمدعلي"` هي **3 حركات** (استبدال `:` بحرف `ع`، وإضافة `ل`، وإضافة `ي`).
+القانون في الكود هو: `dist <= 3 and (dist / max_len) <= 0.5`.
+بما أن المسافة 3 والطول الأكبر 7، فالنسبة (3/7 = 0.42) كانت أقل من 0.5، وللأسف **تخطت الفلتر!**
+لذلك تم تسجيل اقتراح إملائي: `محمد:` ⬅️ `محمد علي` (للحروف من 4 إلى 9).
+
+#### 2. كيف تداخل الإملاء مع الترقيم؟ (The Offset Collision)
+الآن النص الذي وصل لنموذج الترقيم هو: `"قال محمد علي أننا..."`.
+نموذج الترقيم قرر إضافة نقطتين بعد `"علي"`، فأخرج: `"قال محمد علي: أننا..."`.
+الفرق هنا هو في كلمة `"علي"` ⬅️ `"علي:"`.
+
+عندما قام نظام `OffsetMapper` بمحاولة إرجاع مكان كلمة `"علي"` إلى النص الأصلي (الذي لم يكن فيه كلمة علي أصلاً، بل كان فيه `"محمد:"`)، قام بعملية حسابية للنسبة والتناسب (Interpolation) وأرجع المؤشر إلى الحروف `[7:9]` في النص الأصلي (وهي حرف `د` والنقطتين `:`).
+
+**النتيجة:**
+- اقتراح الإملاء أخذ المساحة `[4:9]`.
+- اقتراح الترقيم أخذ المساحة `[7:9]`.
+حدث **تداخل (Overlap)** بينهما! وبما أن الترقيم (أولوية 2) أعلى من الإملاء (أولوية 1)، قام نظام Overlap Resolver بـ **حذف اقتراح الإملاء** وقال في الـ Log:
+`Dropped spelling [4:9] 'محمد:' — conflicts with higher-priority span`
+
+#### 3. لماذا تم حذف اقتراح الترقيم في آخر النص؟
+في آخر النص كانت الكلمة `"الصعوباالصعوبات...."`.
+- **نموذج الجرامر (أولوية 3):** قام بتصحيحها كاملة إلى `"الصعوبات..."` (اقتراح مساحته `[47:62]`).
+- **نموذج الترقيم (أولوية 2):** لاحظ أن الجرامر ترك 3 نقاط `...` فقرر أن يضيف نقطة رابعة لتصبح `"الصعوبات...."` (اقتراح لنفس المساحة `[47:62]`).
+
+حدث تداخل تام على نفس الكلمة! نظام الـ Overlap Resolver قام بعمله بكفاءة عالية هنا، وحذف اقتراح الترقيم لحساب اقتراح الجرامر (لأنه الأهم والأشمل)، وهذا هو سبب الـ Log الثاني:
+`Dropped punctuation [47:62] 'الصعوباالصعوبات' — conflicts with higher-priority span`
+
+---
+
+### الخلاصة والحل المقترح
+1. **نظام الـ Overlap Resolver يعمل بامتياز!** لقد منع كارثة بصرية في الـ UI كانت ستحدث بسبب التداخل. (Log #2 طبيعي وصحيح جداً).
+2. **المشكلة الحقيقية في `_is_small_spelling_change`:** خوارزمية قياس المسافة متساهلة جداً مع الكلمات القصيرة. 
+
+**الحل:**
+تعديل الكود في `app.py` ليكون أكثر صرامة مع الإملاء، بحيث نرفض التغيير إذا كان سيضيف حروفاً كثيرة لكلمة قصيرة (لمنع الهلوسة). سأقوم بتعديل دالة `_is_small_spelling_change` لمنع هذا النوع من الهلوسات مستقبلاً.

src/css/components.css

@@ -492,6 +492,7 @@
 }
 
 .editor-surface {
+  position: relative;
   background: var(--color-editor);
   color: var(--color-text-primary);
   min-height: 50vh;
@@ -531,9 +532,15 @@
 .editor-surface[data-empty="true"]::before {
   content: attr(data-placeholder);
   color: var(--color-placeholder);
-  font-style: italic;
+  opacity: 0.5;
+  font-weight: 300;
   pointer-events: none;
-  display: block;
+  position: absolute;
+  top: var(--spacing-lg);
+  right: var(--spacing-xl);
+  left: var(--spacing-xl);
+  text-align: right;
+  direction: rtl;
 }
 
 .editor-surface.analyzing {
@@ -2717,12 +2724,7 @@ input[type="range"]::-moz-range-thumb {
   vertical-align: middle;
 }
 
-/* ── Fix #8: Editor placeholder alignment ── */
-.editor-surface[data-empty="true"]::before {
-  text-align: right;
-  direction: rtl;
-  padding-top: 2rem;
-}
+/* ── Fix #8: Editor placeholder alignment (Removed hack) ── */
 
 /* ── Fix #11: Pricing cards equal heights ── */
 #page-pricing .grid > div {

tests/test_diff.py

@@ -0,0 +1,60 @@
+import difflib
+import re
+
+def get_word_positions(text):
+    positions = []
+    for m in re.finditer(r'\S+', text):
+        positions.append((m.group(), m.start(), m.end()))
+    return positions
+
+def get_word_diffs(original, corrected):
+    orig_words = get_word_positions(original)
+    corr_words = get_word_positions(corrected)
+    s = difflib.SequenceMatcher(None, [w[0] for w in orig_words], [w[0] for w in corr_words])
+    suggestions = []
+    
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        if tag == 'replace':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                    'type': 'generic'
+                })
+        elif tag == 'delete':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': '',
+                    'type': 'generic'
+                })
+        elif tag == 'insert':
+            pos = orig_words[i1][1] if i1 < len(orig_words) else len(original)
+            suggestions.append({
+                'start': pos,
+                'end': pos,
+                'original': '',
+                'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                'type': 'generic'
+            })
+            
+    return suggestions
+
+def test():
+    original = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    corrected = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات..."
+    
+    diffs = get_word_diffs(original, corrected)
+    for d in diffs:
+        print(d)
+
+if __name__ == "__main__":
+    test()

tests/test_diff2.py

@@ -0,0 +1,60 @@
+import difflib
+import re
+
+def get_word_positions(text):
+    positions = []
+    for m in re.finditer(r'\S+', text):
+        positions.append((m.group(), m.start(), m.end()))
+    return positions
+
+def get_word_diffs(original, corrected):
+    orig_words = get_word_positions(original)
+    corr_words = get_word_positions(corrected)
+    s = difflib.SequenceMatcher(None, [w[0] for w in orig_words], [w[0] for w in corr_words])
+    suggestions = []
+    
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        if tag == 'replace':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                    'type': 'generic'
+                })
+        elif tag == 'delete':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': '',
+                    'type': 'generic'
+                })
+        elif tag == 'insert':
+            pos = orig_words[i1][1] if i1 < len(orig_words) else len(original)
+            suggestions.append({
+                'start': pos,
+                'end': pos,
+                'original': '',
+                'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                'type': 'generic'
+            })
+            
+    return suggestions
+
+def test():
+    original = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات..."
+    corrected = "قال محمد علي: أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات...."
+    
+    diffs = get_word_diffs(original, corrected)
+    for d in diffs:
+        print(d)
+
+if __name__ == "__main__":
+    test()

tests/test_full.py

@@ -0,0 +1,133 @@
+import difflib
+import re
+
+def get_word_positions(text):
+    positions = []
+    for m in re.finditer(r'\S+', text):
+        positions.append((m.group(), m.start(), m.end()))
+    return positions
+
+class OffsetMapper:
+    def __init__(self, original, modified):
+        self.original = original
+        self.modified = modified
+        self.mapping = []
+        self._build_mapping()
+        
+    def _build_mapping(self):
+        s = difflib.SequenceMatcher(None, self.original, self.modified)
+        for tag, i1, i2, j1, j2 in s.get_opcodes():
+            self.mapping.append((j1, j2, i1, i2))
+            
+    def map_offset(self, mod_offset):
+        for j1, j2, i1, i2 in self.mapping:
+            if j1 <= mod_offset <= j2:
+                if j2 == j1:
+                    return i1
+                ratio = (mod_offset - j1) / (j2 - j1)
+                return int(i1 + ratio * (i2 - i1))
+        return len(self.original)
+
+def get_word_diffs(original, corrected):
+    orig_words = get_word_positions(original)
+    corr_words = get_word_positions(corrected)
+    s = difflib.SequenceMatcher(None, [w[0] for w in orig_words], [w[0] for w in corr_words])
+    suggestions = []
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        if tag == 'replace':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': " ".join([w[0] for w in corr_words[j1:j2]])
+                })
+        elif tag == 'delete':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': ''
+                })
+        elif tag == 'insert':
+            pos = orig_words[i1][1] if i1 < len(orig_words) else len(original)
+            suggestions.append({
+                'start': pos,
+                'end': pos,
+                'original': '',
+                'correction': " ".join([w[0] for w in corr_words[j1:j2]])
+            })
+    return suggestions
+
+def test():
+    original = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    spelling_corrected = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    # Wait, in the log, spelling DROPPED [4:9] محمد:. This means original was "قال محمد: علي ..."
+    original = "قال محمد: علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    spelling_corrected = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    grammar_corrected = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات..."
+    punct_corrected = "قال محمد علي: أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات...."
+
+    suggestions = []
+    mappers = []
+
+    # 1. Spelling
+    # Assume spelling generated the diff exactly as SequenceMatcher would:
+    diffs = get_word_diffs(original, spelling_corrected)
+    for d in diffs:
+        d['type'] = 'spelling'
+        suggestions.append(d)
+    mappers.append(OffsetMapper(original, spelling_corrected))
+
+    # 2. Grammar
+    def map_range_to_original(start, end):
+        curr_start, curr_end = start, end
+        for mapper in reversed(mappers):
+            curr_start = mapper.map_offset(curr_start)
+            curr_end = mapper.map_offset(curr_end)
+        return curr_start, curr_end
+
+    diffs = get_word_diffs(spelling_corrected, grammar_corrected)
+    for d in diffs:
+        o_s, o_e = map_range_to_original(d['start'], d['end'])
+        suggestions.append({
+            'start': o_s, 'end': o_e, 'type': 'grammar',
+            'original': original[o_s:o_e], 'correction': d['correction']
+        })
+    mappers.append(OffsetMapper(spelling_corrected, grammar_corrected))
+
+    # 3. Punctuation
+    diffs = get_word_diffs(grammar_corrected, punct_corrected)
+    for d in diffs:
+        o_s, o_e = map_range_to_original(d['start'], d['end'])
+        suggestions.append({
+            'start': o_s, 'end': o_e, 'type': 'punctuation',
+            'original': original[o_s:o_e], 'correction': d['correction']
+        })
+
+    print("ALL SUGGESTIONS:")
+    for s in suggestions:
+        print(s)
+
+    PRIORITY = {'grammar': 3, 'punctuation': 2, 'spelling': 1, 'autocomplete': 0}
+    suggestions.sort(key=lambda s: PRIORITY.get(s['type'], 0), reverse=True)
+    claimed_ranges = []
+    resolved = []
+    for s in suggestions:
+        overlaps = False
+        for (c_start, c_end, c_type) in claimed_ranges:
+            if s['start'] < c_end and s['end'] > c_start:
+                overlaps = True
+                print(f"[OVERLAP] Dropped {s['type']} [{s['start']}:{s['end']}] '{s['original']}' — conflicts with {c_type}")
+                break
+        if not overlaps:
+            resolved.append(s)
+            claimed_ranges.append((s['start'], s['end'], s['type']))
+
+if __name__ == "__main__":
+    test()

tests/test_mapper.py

@@ -0,0 +1,46 @@
+import difflib
+
+class OffsetMapper:
+    def __init__(self, original, modified):
+        self.original = original
+        self.modified = modified
+        self.mapping = []
+        self._build_mapping()
+        
+    def _build_mapping(self):
+        s = difflib.SequenceMatcher(None, self.original, self.modified)
+        for tag, i1, i2, j1, j2 in s.get_opcodes():
+            self.mapping.append((j1, j2, i1, i2))
+            
+    def map_offset(self, mod_offset):
+        for j1, j2, i1, i2 in self.mapping:
+            if j1 <= mod_offset <= j2:
+                if j2 == j1:
+                    return i1
+                ratio = (mod_offset - j1) / (j2 - j1)
+                return int(i1 + ratio * (i2 - i1))
+        return len(self.original)
+
+def test():
+    original = "قال محمد: علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    spelling = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    
+    mapper = OffsetMapper(original, spelling)
+    
+    # In spelling text, where is "علي"?
+    # "قال محمد علي أننا"
+    # "قال " -> 0:4
+    # "محمد " -> 4:9
+    # "علي" -> 9:12
+    
+    spelling_start = spelling.find("علي")
+    spelling_end = spelling_start + 3
+    print(f"Spelling string 'علي' is at [{spelling_start}:{spelling_end}]")
+    
+    orig_start = mapper.map_offset(spelling_start)
+    orig_end = mapper.map_offset(spelling_end)
+    print(f"Mapped to original: [{orig_start}:{orig_end}]")
+    print(f"Original text at mapped span: '{original[orig_start:orig_end]}'")
+
+if __name__ == "__main__":
+    test()

tests/test_opcodes.py

@@ -0,0 +1,68 @@
+import difflib
+import re
+
+def get_word_positions(text):
+    positions = []
+    for m in re.finditer(r'\S+', text):
+        positions.append((m.group(), m.start(), m.end()))
+    return positions
+
+def get_word_diffs(original, corrected):
+    orig_words = get_word_positions(original)
+    corr_words = get_word_positions(corrected)
+    s = difflib.SequenceMatcher(None, [w[0] for w in orig_words], [w[0] for w in corr_words])
+    
+    print("Opcodes:")
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        orig_seq = [w[0] for w in orig_words[i1:i2]]
+        corr_seq = [w[0] for w in corr_words[j1:j2]]
+        print(f"{tag:7} | orig[{i1}:{i2}]={orig_seq} | corr[{j1}:{j2}]={corr_seq}")
+
+    suggestions = []
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        if tag == 'replace':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                    'type': 'grammar'
+                })
+        elif tag == 'delete':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': '',
+                    'type': 'grammar'
+                })
+        elif tag == 'insert':
+            pos = orig_words[i1][1] if i1 < len(orig_words) else len(original)
+            suggestions.append({
+                'start': pos,
+                'end': pos,
+                'original': '',
+                'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                'type': 'grammar'
+            })
+            
+    return suggestions
+
+def test():
+    original = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    corrected = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات..."
+    
+    print("Testing original vs corrected:")
+    diffs = get_word_diffs(original, corrected)
+    print("\nSuggestions generated:")
+    for d in diffs:
+        print(d)
+
+if __name__ == "__main__":
+    test()

tests/test_overlap.py

@@ -0,0 +1,146 @@
+import difflib
+import re
+
+def get_word_positions(text):
+    positions = []
+    for m in re.finditer(r'\S+', text):
+        positions.append((m.group(), m.start(), m.end()))
+    return positions
+
+class OffsetMapper:
+    def __init__(self, original, modified):
+        self.original = original
+        self.modified = modified
+        self.mapping = []
+        self._build_mapping()
+        
+    def _build_mapping(self):
+        s = difflib.SequenceMatcher(None, self.original, self.modified)
+        for tag, i1, i2, j1, j2 in s.get_opcodes():
+            self.mapping.append((j1, j2, i1, i2))
+            
+    def map_offset(self, mod_offset):
+        for j1, j2, i1, i2 in self.mapping:
+            if j1 <= mod_offset <= j2:
+                if j2 == j1:
+                    return i1
+                ratio = (mod_offset - j1) / (j2 - j1)
+                return int(i1 + ratio * (i2 - i1))
+        return len(self.original)
+
+def get_word_diffs(original, corrected):
+    orig_words = get_word_positions(original)
+    corr_words = get_word_positions(corrected)
+    s = difflib.SequenceMatcher(None, [w[0] for w in orig_words], [w[0] for w in corr_words])
+    suggestions = []
+    
+    for tag, i1, i2, j1, j2 in s.get_opcodes():
+        if tag == 'replace':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                    'type': 'generic'
+                })
+        elif tag == 'delete':
+            if i1 < len(orig_words) and i2 - 1 < len(orig_words):
+                start_char = orig_words[i1][1]
+                end_char = orig_words[i2-1][2]
+                suggestions.append({
+                    'start': start_char,
+                    'end': end_char,
+                    'original': original[start_char:end_char],
+                    'correction': '',
+                    'type': 'generic'
+                })
+        elif tag == 'insert':
+            pos = orig_words[i1][1] if i1 < len(orig_words) else len(original)
+            suggestions.append({
+                'start': pos,
+                'end': pos,
+                'original': '',
+                'correction': " ".join([w[0] for w in corr_words[j1:j2]]),
+                'type': 'generic'
+            })
+            
+    return suggestions
+
+def test():
+    original_text = "قال محمد: علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    spelling_text = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوباالصعوبات...."
+    grammar_text  = "قال محمد علي أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات..."
+    punct_text    = "قال محمد علي: أننا حققنا نجاحا كبيرا في المشروع رغم الصعوبات...."
+    
+    suggestions = []
+    mappers = []
+    
+    # SPELLING
+    suggestions.append({
+        'start': 4,
+        'end': 9,
+        'original': "محمد:",
+        'correction': "محمد",
+        'type': 'spelling'
+    })
+    mappers.append(OffsetMapper(original_text, spelling_text))
+    
+    def map_range_to_original(start, end):
+        curr_start, curr_end = start, end
+        for mapper in reversed(mappers):
+            curr_start = mapper.map_offset(curr_start)
+            curr_end = mapper.map_offset(curr_end)
+        return curr_start, curr_end
+    
+    # GRAMMAR
+    diffs = get_word_diffs(spelling_text, grammar_text)
+    for d in diffs:
+        orig_start, orig_end = map_range_to_original(d['start'], d['end'])
+        suggestions.append({
+            'start': orig_start,
+            'end': orig_end,
+            'original': original_text[orig_start:orig_end],
+            'correction': d['correction'],
+            'type': 'grammar'
+        })
+    mappers.append(OffsetMapper(spelling_text, grammar_text))
+    
+    # PUNCTUATION
+    diffs = get_word_diffs(grammar_text, punct_text)
+    for d in diffs:
+        orig_start, orig_end = map_range_to_original(d['start'], d['end'])
+        suggestions.append({
+            'start': orig_start,
+            'end': orig_end,
+            'original': original_text[orig_start:orig_end],
+            'correction': d['correction'],
+            'type': 'punctuation'
+        })
+    
+    print("SUGGESTIONS BEFORE RESOLUTION:")
+    for s in suggestions:
+        print(s)
+        
+    PRIORITY = {'grammar': 3, 'punctuation': 2, 'spelling': 1, 'autocomplete': 0}
+    suggestions.sort(key=lambda s: PRIORITY.get(s['type'], 0), reverse=True)
+    claimed_ranges = []
+    resolved = []
+    for s in suggestions:
+        s_start, s_end = s['start'], s['end']
+        overlaps = False
+        for (c_start, c_end, c_type) in claimed_ranges:
+            if s_start < c_end and s_end > c_start:
+                overlaps = True
+                print(f"Overlap detected! {s['type']} [{s_start}:{s_end}] overlaps with {c_type} [{c_start}:{c_end}]")
+                break
+        if not overlaps:
+            resolved.append(s)
+            claimed_ranges.append((s_start, s_end, s['type']))
+        else:
+            print(f"[OVERLAP] Dropped {s['type']} [{s_start}:{s_end}] '{s.get('original','')}'")
+
+if __name__ == "__main__":
+    test()

tests/test_punc.py

@@ -0,0 +1,13 @@
+_PUNC_CHARS = set('،؛؟!.,:;?»«()[]{}…–—\u060C\u061B\u061F')
+
+def _is_punctuation_only_change(original, correction):
+    orig_letters = ''.join(c for c in original if c not in _PUNC_CHARS and not c.isspace())
+    corr_letters = ''.join(c for c in correction if c not in _PUNC_CHARS and not c.isspace())
+
+    if orig_letters != corr_letters:
+        return False
+    has_punc = any(c in _PUNC_CHARS for c in original) or any(c in _PUNC_CHARS for c in correction)
+    return has_punc
+
+print(_is_punctuation_only_change('محمد:', 'محمد'))
+print(_is_punctuation_only_change('محمد:', 'محمّد'))

tests/test_regex.py

@@ -0,0 +1,4 @@
+import re
+orig_word = 'محمد:'
+res = re.search(r'[^ء-يآأإىa-zA-Z]', orig_word)
+print("Regex match:", res)

tests/test_seq.py

@@ -0,0 +1,8 @@
+import difflib
+
+orig = ['قال', 'محمد', 'علي', 'أننا']
+corr = ['قال', 'محمد', 'علي:', 'أننا']
+
+s = difflib.SequenceMatcher(None, orig, corr)
+for tag, i1, i2, j1, j2 in s.get_opcodes():
+    print(f"{tag:7} | orig[{i1}:{i2}]={orig[i1:i2]} | corr[{j1}:{j2}]={corr[j1:j2]}")