sayed125
/

lhc-0-brain

+# حزمة الثقة والرخص — LHC-0 (البند 3)
+> أُعدّت في 2026-10-03 كشرط سابق لأي نشر. كل رقم هنا مقرون بمصدره؛ وما لم يُتحقق منه
+> مكتوب صراحةً أنه **بحاجة تحقق** — لا تخمين.
+---
+## ١. فواصل الثقة (ويلسون 95%)
+**المنهجية:** كل قياس استرجاع هو نسبة نجاح ثنائية (نجح/لم ينجح) على عيّنة من الاستعلامات.
+فاصل ويلسون 95% محسوب لـ**كل رقم** في `wilson_table.md` (60 صفًا)، بالقيم:
+- عند n=300 قرب p≈0.5 → عرض الفاصل ≈ ±0.055 (مثال حقيقي: Tanzil ar→en 0.230 → [0.186, 0.281])
+- عند n=300 قرب p≈0.9 → عرض الفاصل ≈ ±0.057 (TED 0.917 → [0.889, 0.939])
+- عند n=1012 قرب p≈0.94 → عرض الفاصل ≈ ±0.028
+**قيود إلزامية على التفسير:**
+1. **MRR لا يُطبَّق عليه ويلسون** (ليس نسبة ثنائية). أي MRR في التقارير يُعرض **بلا فاصل** حتى تُحسب له فترات bootstrap من المرتبات الخام (غير مُنفَّذ بعد).
+2. **فواصل ويلسون تفترض استقلال الاستعلامات**؛ عيّناتنا عشوائية من مجموعات متزامنة التوزيع (i.i.d.)، لكن مجموعات OPUS فيها جمل متقاربة الصياغة — قد يضيّق/يوسّع الفاصل الفعلي قليلًا. لا تُعامل الفواصل كحدود قاطعة بل كنطاقات خطأ معقولة.
+3. **مقارنات الفروق الصغيرة:** عند تقاطع الفاصلين لا يصح اعتبار الفرق حاسمًا. **مثال مهم (FLORES-101، n=1012):**
+   - e5-small ar→en = 0.9417 مقابل LHC-0 W4.1 = 0.9348 → **استُبدلت حجة تداخل الفواصل باختبار McNemar المقترن (انظر §٣.٣): الفرق ar→en غير دال (p=0.55) وفرق en→ar دال (p=0.022)**
+   - en→ar: e5 = 0.9684 [0.956, 0.978] مقابل LHC-0 = 0.9476 [0.932, 0.960] → متداخلان أيضًا (الفرق +0.021 يقع جوار حدود التداخل)
+   - أما LaBSE (0.998/0.999) فالفجوة عنه **تفوق التداخل بوضوح في كل الاتجاهات**.
+4. على المجموعات الذهبية (n=300) فواصل e5 مقابل LHC-0 **غير متداخلة** (مثال Tanzil: e5 0.4133 [0.359,0.470] مقابل LHC 0.230 [0.186,0.281]) → تلك الفروق حاسمة الاتجاه.
+**حالة P1 (الموثوقية):** 30/30 قبول و12/12 رفض بعتبة 0.45 على **n=42 استعلامًا**. فواصل ويلسون: [0.886, 1.0] و[0.757, 1.0] — أي أن «مثالية التصنيف» لا يمكن تعميمها بثقة على أحجام أكبر؛ **يلزم n≥200 قبل أي ادعاء AUROC عام**. (AUROC=1.0 بذاته قيمة على n=42 صغير جدًا.)
+---
+## ٢. جدول الرخص (مُوثَّق بمصادره)
+### ٢.١ مجموعات التقييم (تُنشر أرقام التقييم عليها)
+| المجموعة | الرخصة | المصدر الموثق |
+|---|---|---|
+| Tanzil v1 | **غير تجاري فقط** — «The translations provided at this page are for non-commercial purposes only» | README داخل أرشيف OPUS الرسمي (تحقق مباشر) |
+| bible-uedin v1 | **CC0 1.0** | README: «License: CC0 1.0» (تحقق مباشر) |
+| NeuLab-TedTalks v1 | **سياسة استخدام TED Talks** (تقييد نقل/استخدام) | README: «Please respect the TED Talks Usage Policy» (تحقق مباشر) |
+| FLORES-101 (devtest) | **CC BY-SA 4.0** ✅ (تصحيح) | بطاقة `facebook/flores` الرسمية + `openlanguagedata/flores_plus` + `gsarti/flores_101` (كلها cc-by-sa-4.0). **مرآة Kaggle `mathurinache/flores101` ادّعت خطأً CC BY-NC-SA 4.0** |
+| FLORES-200 / FLORES+ | **مقفولان بترخيص HF** — يتطلبان موافقة حسابية قبل أي استخدام | واجهة HF (تحقق سابق في السجل §9) |
+| Tatoeba (اختبار المستخدم) | CC BY 2.0 FR (نسخة OPUS v20190709) | صفحة OPUS (تحقق مباشر) |
+### ٢.٢ مجموعات التدريب الـ16 (+2 إضافيتين)
+| المجموعة | الرخصة/الحالة | المصدر |
+|---|---|---|
+| ATHAR (30K) | **CC-BY-SA-4.0** | بطاقة HF `mohamed-khalil/ATHAR` (تحقق مباشر) |
+| Egyptian dialogue (3,457 تدريب) | **CC-BY-4.0** | بطاقة HF `fr3on/egyptian-dialogue` (تحقق مباشر) |
+| NLLB (400K) | **ODC-By 1.0** | صفحة OPUS الرسمية (تحقق مباشر) |
+| WikiMatrix (800K) | **CC BY-SA 4.0** | صفحة OPUS الرسمية (رابط CC BY-SA 4.0) |
+| wikimedia (100K) | **CC-BY-SA 4.0** | صفحة OPUS الرسمية (تحقق مباشر) |
+| QED (445K) | **للبحث فقط** — «made public for RESEARCH purpose only» | صفحة OPUS الرسمية (تحقق مباشر) |
+| TED2020 (394K) | **سياسة TED**؛ صُنِّف في تحليل تراخيص منشور كـ«T4b أي قيد ND» | صفحة OPUS + تحليل تراخيص (arXiv:2606.28867) |
+| CCMatrix (300K) | ⚠️ **لا رخصة معلنة** — «carries no stated text license on OPUS or in its paper» | تحليل تراخيص منشور (arXiv:2606.28867) |
+| CCAligned (150K) | مشتق من Common Crawl — تنطبق **شروط استخدام Common Crawl ToS** (ولا رخصة نصية صريحة) | registry.opendata.aws/commoncrawl |
+| UNPC (300K) | **ملكية عامة** بوثائق الأمم المتحدة + إلزام **النسب** للأمم المتحدة + إخلاء مسؤولية | ورقة UNPC (LREC'16) وبطاقة HF `Helsinki-NLP/un_pc` |
+| MultiUN (150K) | وثائق الأمم المتحدة (نفس عائلة UNPC) — يلزم النسب | وثائق UNPC/MultiUN |
+| Wikipedia (106K) | CC BY-SA (نصوص ويكيبيديا) | معلوم موثق عمومًا — **للإحالة النهائية عند النشر** |
+| GlobalVoices (56K) | CC BY-SA 3.0 (سياسة Global Voices) | — **للإحالة النهائية عند النشر** |
+| News-Commentary (68K) | WMT — تُعرَّف كغير تجارية | ⚠️ **بحاجة تحقق نهائي** |
+| TED2013 (147K) | سياسة TED (نفس عائلة TED2020) | ⚠️ **بحاجة تحقق نهائي** |
+| KDE4 (59K) | غير معلنة على صفحة OPUS | ⚠️ **بحاجة تحقق من مصدر KDE** |
+| XLEnt (100K) | غير معلنة على صفحة OPUS | ⚠️ **بحاجة تحقق من ورقة/مستودع XLEnt** |
+### ٢.٣ حصيلة المخاطر قبل النشر
+- **قيد غير تجاري يؤثر على النموذج ككل:** Tanzil (تقييم) + TED-domain (تدريب) + FLORES-101 (تقييم CC BY-NC-SA) + QED (بحث فقط).
+- **مجموعة بلا رخصة معلنة:** CCMatrix (300K زوجًا في التدريب) — مخاطرة قانونية محتملة تتطلب تسوية قبل أي استخدام غير بحثي.
+- **Share-alike:** ATHAR (CC-BY-SA) + Wikipedia/WikiMatrix/wikimedia/GlobalVoices — أي إعادة توزيع مشتقة قد تُلزم بالترخيص بالمثل.
+- **نسب إلزامي:** الأمم المتحدة (UNPC/MultiUN)، TED، OPUS/مؤلفو المجموعات الأصلية.
+---
+### ٢.٤ خطة تقييد مستودع البيانات `lhc-w4-data` (إلزامية قبل الإغلاق)
+المستودع يعيد حاليًا توزيع 16 شاردًا. الشاردات التالية **يجب حذفها من المستودع العام**
+(because إعادة توزيع نصوصها غير مسموح تحت تراخيصها) والاكتفاء ببناء سكربتات تنزيلها:
+| الشارد | السبب | الإجراء |
+|---|---|---|
+| `w4shard_QED.jsonl` (87.7MB) | QED «لأغراض البحث فقط» — لا يُعاد توزيعه | حذف + إضافة سطر في البطاقة: يُبنى من `OPUS-QED` عبر `phase_w4_data.py` |
+| `w4shard_TED2020.jsonl` + `w4shard_TED2013.jsonl` (~138MB) | سياسة TED Talks | حذف + إعادة البناء من OPUS |
+| `w4shard_CCMatrix.jsonl` (90.6MB) | بلا رخصة نصية معلنة | حذف + إعادة البناء |
+**الخطة العملية** (تُنفَّذ بتوكن HF الجديد):
+```python
+from huggingface_hub import HfApi
+api = HfApi(token=NEW_TOKEN)
+for f in ["w4shard_QED.jsonl", "w4shard_TED2020.jsonl", "w4shard_TED2013.jsonl", "w4shard_CCMatrix.jsonl"]:
+    api.delete_file(f, repo_id="sayed125/lhc-w4-data", repo_type="dataset")
+```
+مع تحديث بطاقة المستودع بجدول «كيف نُعيد بناء كل شارد» (روابط OPUS + الأوامر).
+## ٣. قيود النشر المطلوبة في بطاقة النموذج
+1. **الاستخدام المُعلن: بحثي غير تجاري فقط** — بسبب تركيبة التراخيص أعلاه.
+   **وسم الترخيص على HF يجب أن يتغيّر من `apache-2.0` إلى `other`** (مع شرح) —
+   الأوزان مشتقة من QED (بحث فقط) وTED (سياسة TED) وTanzil (غير تجاري).
+2. **إفصاح التلوث (Disclosure):** يجب أن تذكر البطاقة أن أرقام NeuLab-TED تقيس **استرجاع أزواج موجودة في بيانات التدريب** (تداخل v6 = 93.68% — تفصيله في `LEAK_AUDIT_REPORT.md`) وأنها **لا تُعرض كتعميم**.
+3. **إفصاح التوجيه المجالي:** مكاسب Tanzil/Bible يجب أن تُقترن بجملتين: (أ) الجزء «الكلاسيكي» المدعوم بـATHAR موجَّه مجالًا؛ (ب) اختبار المحاذاة (بدون ATHAR) لم يُظهر دليلًا على اعتماد المكاسب عليه — الفروق ±0.05 بعلامات متعارضة.
+4. **حدود القياس:** البطاقة تعرض فواصل ويلسون لكل رقم رئيسي (ملف `wilson_table.md`)، وتذكر أن MRR بلا فاصل، وأن n=42 لـP1 لا يكفي لادعاءات عامة.
+5. **أمني إلزامي قبل النشر:** (أ) تدوير توكن HF الحي — **وهو منشور حرفيًا داخل `phase_w4_data.py` في مستودع `LHC-0-W4` العام** (يجب حذف/تعقيم الملف ثم التدوير)؛ (ب) تدوير مفتاح Kaggle (يعقّب نسخ الجلسات)؛ (ج) تأكيد عدم وجود مفاتيح في أي ملف مرفوع.
+---
+## ٣.١ حالة إعادة الإنتاج الآلي لكل مجموعة أرقام (محدَّثة 2026-10-03)
+| مجموعة الأرقام | حالة الاستنساخ | الأدلة |
+|---|---|---|
+| الجدول الذهبي (24 رقمًا × 3 أوزان) | **مطابق حرفيًا 24/24** | `LHC0_Reproduce_Colab.ipynb` + `kaggle_repro_report.json` (تشغيل Kaggle) |
+| FLORES-101 (12 قيمة R@1/R@5/MRR) | **مطابق حرفيًا 12/12** | الدفتر نفسه + `flores_local.json` |
+| فحص خلط الأهداف (FLORES) | 0.001 = 1/1012 بالظبط ✓ | الدفتر نفسه |
+| متانة «تطبيع» (حتمية) | **مطابقة: 0.613/0.593** | الدفتر نفسه (تأكيد آلي) |
+| متانة «إطالة» (tatweel) | **مطابقة: 0.600/0.597** — بذرة التشويه المكتشفة: `np.random.RandomState(100)` | `recon/find_seed.py` |
+| متانة «تشكيل» (tashkeel) | ✅ **مُعالجة (2026-10-03)**: لم تعد معلّقة على بذرة مجهولة — أُعيد القياس بـ**10 بذور (0–9)** ونُشر كـ**متوسط±انحراف: 0.496±0.017 / 0.469±0.021** (الرقم المنشور القديم 0.503/0.440 لبذرة واحدة يقع ضمن المدى) | `recon/robust_10seed_v2.py` → `results/robust_10seed_v2.json` |
+| متانة «مجمّع» | ✅ أُعيد القياس بنفس الطريقة: **0.468±0.013 / 0.448±0.011** | `recon/robust_10seed_v2.py` |
+| متانة «إطالة» (tatweel) | ✅ إضافة: **0.603±0.016 / 0.583±0.009** بعشر بذور (المنشور 0.600/0.597 لبذرة 100) | `recon/robust_10seed_v2.py` |
+| المُرمِّز الدفعي v3 (تسريع) | ✅ **تكافؤ بايت-بايت**: 10,032 نص عنصر-بعنصر + متجهات 0.0 فرق + إصابات FLORES مطابقة (947/945/946/959)؛ التسريع: 1.17× بارد / 3.63× ساخن / 2.49× لمجموعة 20K | `recon/verify_v3.py` + `results/speed_bench_v3_*.json` |
+| مرجع fastText+Procrustes (النواة ج) | ✅ **أُكمل محليًا**: النواة دربت+حاذت (‖XW−Y‖=0.513) وانكسرت قبل التقييم؛ أُعيد خط الأنابيب بنفس النصوص/البذور و**طابق المُتبقّي 0.513 بالضبط** — FLORES 0.9101/0.6818، ALL 0.507/0.230 | `recon/fasttext_local_eval.py` → `results/fasttext_procrustes_results.json` |
+| Tatoeba (اختبار المستخدم) | ❌ **غير قابل للتحقق** — أرقامه المنشورة (0.717/0.747) لم تُستنسخ تحت أي بروتوكول موثّق (محليًا 0.743/0.750 ببروتوكولنا). **القرار: أُزيلت من README الرئيسي وحُذفت عبارة «اختبار مستقل أكّد»** — تُبقى هنا للتوثيق فقط | `recon/try_tatoeba.py` |
+| الأوزان نفسها | md5 مطابق بايت-بايت بين مخرجات نواة Kaggle وHF (`phase_w1_W.npz`, `phase_w1_W_robust.npz`) | سجل الجلسة |
+**قاعدة الإفصاح:** أي رقم بحالة ⚠️ يُنشر مع وصف «قابل للتأثر ببذرة غير معلنة» — أو يُعاد
+قياسه بأداة جديدة معلنة البذرة إن أُريد جعله قابلًا للاستنساخ الكامل.
+## ٣.٢ إعادة تقييم بوابة الثقة — v2 (2026-10-03، بناءً على مراجعة خارجية)
+**ما تغيّر:** تقييم أوسع وأصعب (924 حالة، 8 فئات) + **فصل ضبط حقيقي** (نصف للنمذجة، نصف
+للتقييم) + OOD واقعي (150 جملة FLORES عربية + 150 إنجليزية حقيقية) + **18 صياغة عامية
+مصرية** بدل الاقتصار على الفصحى. الأداة: `recon/gate_v2.py` والنتائج الخام:
+`results/gate_v2_results.json`.
+**النتائج عند العتبة الافتراضية 0.45:**
+| الفئة | n | مدى الثقة | قبول@0.45 | ملاحظة |
+|---|---|---|---|---|
+| canon (نص القاعدة) | 243 | 0.553–0.897 | **100%** | المقبولون كلهم صحيحون |
+| aug (معزَّز) | 150 | 0.183–0.892 | 64.7% | المقبولون كلهم صحيحون |
+| novel (قوالب جديدة) | 93 | 0.083–0.653 | **6.5%** | ⚠ من القليل المقبول، 16.7% فقط صحيح |
+| **عامية مصرية (جديدة)** | 18 | 0.103–0.395 | **0%** | أمتن رفض — لا تسريب |
+| OOD FLORES-عربي | 150 | 0.085–0.367 | 0% | |
+| OOD FLORES-إنجليزي | 150 | 0.081–0.359 | 0% | |
+| OOD مصنوع | 60 | 0.088–0.315 | 0% | |
+| هراء | 60 | 0.098–0.275 | 0% | |
+**منحنى العتبة (أهم مقايضة):** خفض العتبة إلى 0.35 يرفع قبول الصياغات الجديدة إلى 15.1%
+والمعزَّزة إلى 80.7% مقابل **تسريب OOD 0.7%**؛ وعند 0.30 يصبح التسريب 1.3–2.0%.
+عند 0.40 وأعلى: تسريب صفري.
+**فصل الضبط (462/462):** المعاير (Platt على [top1,gap]) عند ردّ 0.5: رفض OOD = **45.2%**
+فقط، قبول in-KB = 43.1%، ECE(in-KB) = 0.055 — **أي أن المعاير أضعف من العتبة الخام 0.45
+على هذه المجموعة الأصعب**، وأرقام المعاير الأصلية (ECE=0.026، OOD-false=0.0) **لا
+تُستنسخ** على مجموعة v2.
+**التوصية المُحدَّثة:**
+1. **يبقى الافتراضي 0.45** (تسريب OOD صفري + قبول كامل للأسئلة الأصلية).
+2. من يحتاج استدعاء أوسع للصياغات البديلة: 0.35 مع الإفصاح عن تسريب 0.7% صريحًا.
+3. **الأسئلة العامية/العربية نحو قاعدة كود إنجليزية تُرفض دائمًا** — سلوك متحفظ معلوم
+   (فشل آمن = امتناع)، وليس خللًا يُخفى.
+4. المعاير يُوسم **تجريبيًا** حتى إعادة ضبطه على مجموعة أصعب مع فصل صحيح.
+## ٣.٣ إعادة الفحص الإحصائي المقترن + التقييم النظيف (2026-10-03، أولوية المراجعة)
+**McNemar الدقيق على نفس الـ1,012 جملة FLORES (بديل حجة «تداخل ويلسون»):**
+| المقارنة | Δ (LHC − e5) | b01/b10 | p (دقيق) | Bootstrap مقترن 95% | الحكم |
+|---|---|---|---|---|---|
+| W4، ar→en | −0.006 | 51/45 | 0.610 | [−0.025, +0.013] | غير دال |
+| W4.1، ar→en | −0.007 | 53/46 | 0.547 | [−0.027, +0.013] | غير دال |
+| W4، en→ar | −0.035 | 62/27 | 2.7×10⁻⁴ | [−0.053, −0.017] | **دال** |
+| W4.1، en→ar | −0.021 | 49/28 | 0.022 | [−0.038, −0.004] | **دال** |
+e5-small على المجموعة كاملة: 0.9417/0.9684. خام: `results/mcnemar_flores.json`.
+**القناع v7 + التقييم النظيف:** المسح المعكوس (الجانبين، نزاهة 3,605,197/3,605,197)
+وجد تداخلًا أوسع من v6 (Tanzil 1,881 · Bible 787 · TED 19,846 · FLORES 2 من 1,012).
+القناع القوي = أساس v3 ∪ (j≥0.45 و ct≥0.65) ∪ صفوف v6 المُعاد ربطها نصيًا.
+**نتيجة جوهرية: إزالة التداخل لا تخفض الأداء** (Bible W4 0.497→0.520؛ Tanzil/FLORES
+ثابتتان) ‏⇒ الأرقام المنشورة غير مُنتفخة بالحفظ. TED النظيف = 154 عنصرًا فقط.
+حساسية العتبة 0.35–0.65: مستقر ضمن الضجيج (`results/threshold_sweep_v2.json`).
+**المتانة بعشر بذور (استبدال أرقام البذرة الواحدة):** تشكيل 0.496±0.017 / 0.469±0.021؛
+إطالة 0.603±0.016 / 0.583±0.009؛ مجمّع 0.468±0.013 / 0.448±0.011؛ الإملاء حتمي
+0.613/0.593 (طابق المنشور بالضبط — تحقق من البروتوكول). خام: `results/robust_10seed_v2.json`.
+## ٤. تصحيحات قياسية اكتُشفت أثناء التحقق (تُدرَج في كل تقرير نشر)
+1. **مجمّع التقييم الفعلي = 20,000 زوجًا لكل مجموعة** (حد التنزيل)، وليس أرقام «المتاح» في السجل (17,520/4,968). عدد الـ20,000 في تدقيق التسرب صحيح ويكون هو الأساس.
+2. **«ALL» = عيّنة واحدة من 300 (seed=41) من المدمج الثلاثي (60,000 زوج)** — ليس متوسطًا حسابيًا. تفصيل: W4 0.590/0.610 · W4.1 0.623/0.597 · بدون ATHAR 0.630/0.560.
+3. **مجاميع التدريب:** CCMatrix=300,000 وCCAligned=150,000 → المجموع **3,605,197 بالظبط** (مثبت من `phase_w4_data.py` الأصلي).
+4. **الفواصل ويلسون أعلاه تحلّ محل** التقديرات العامة («±0.056») في أي صياغة قادمة.
+5. **السرعة — لا تُنشر أي نسب خارجية (تصحيح 2026-10-03):** الصياغة السابقة («أسرع 3.5–13×» ثم «2.1–3.2× من e5») **مسحوبة**. سبب السحب: (أ) قياسات الزمن الخارجية داخل الحاويات المشتركة متذبذبة (5.5–26 ث/1000 للنموذج نفسه) فهي غير موثوقة للمقارنة، (ب) الخصم المحلي: نتائج المتانة على النظيف. **البديل المنشور:** تسريع داخلي **مُتحقَّق** بنفس العتاد وبعينات النصوص ذاتها — بارد 1.17× · ساخن 3.63× · مجموعة 20K = 2.49× (تكافؤ 10,032/10,032) — وأي نسبة «مقابل e5/LaBSE» **مؤجَّلة** حتى قياس Kaggle بعتاد ثابت.
+6. **ت��قيق v6 (مُستبدل بـv7):** L1/L2 مطابقة حرفيًا لـv5، لكن فلتر L3 الضيّق فوّت تطابقات عربية. **v7 (المسح المعكوس، نزاهة 3,605,197/3,605,197):** التداخل Tanzil 9.4% · Bible 3.9% · TED 99.2% · FLORES 0.2% (إنجليزي فقط؛ العربي نظيف).
+   **تصحيح جولة-2 (إلزامي):** «التوافر» أعلاه **ليس** «التعرّض الفعلي» لأمثلة التدريب. إعادة تشغيل منطق الأمثلة بنفس البذور: معدل سحب أي صف 3.32% ⇒ تعرّض حرفي: **Tanzil 8 (0.04%) · Bible 5 (0.03%) · TED 1,448 (7.2%) · FLORES 0** (تقدير احتمالي مستقل: 3.1/4.8/2,438/0.1). كذلك **«الأرقام لا تنخفض» صياغة مرفوضة** كتعميم: بكتل 300 على كل العناصر تظهر فجوة دالة في Tanzil/Bible، لكن **اختبار التحكم بـe5-small (غير المُدرَّب عليها) يُظهر فجوة مماثلة أو أكبر** ⇒ الفجوة اختيارية لا حفظ. اقرن أي ذكر لفجوة التسرب **باختبار التحكم دائمًا**.
+7. **تصحيح دقيق:** ادعاء v5 «FLORES 0/1012 على الجهتين» — الجانب العربي 0 فعلاً، لكن **جانبًا إنجليزيًا فيه جملتان حرفيتان (0.2%)** موثّقتان في NLLB وCCAligned. الاستنتاج (نظيف عمليًا) ثابت.