تعديل أسماء وترتيب النماذج، حذف Reranking، إصلاح إعادة تعيين التقييم

reverse-dictionary/backend/app/database.py

@@ -23,7 +23,7 @@ from pathlib import Path
 import pandas as pd
 import streamlit as st
 from sqlalchemy import (
-    Boolean, Column, DateTime, Float, Integer, MetaData, Table, Text,
+    Column, DateTime, Float, Integer, MetaData, Table, Text,
     create_engine, delete, func, insert, select, update,
 )
 
@@ -51,7 +51,6 @@ ratings = Table(
     Column("word", Text),
     Column("similarity", Float),
     Column("verdict", Text),            # "صح" أو "خطأ"
-    Column("rerank", Boolean),          # هل كان Reranking مفعّلًا؟
     Column("evaluator_name", Text),
     Column("evaluator_email", Text),
 )
@@ -66,7 +65,6 @@ _AR_COLUMNS = {
     "verdict": "التقييم",
     "evaluator_name": "المقيّم",
     "evaluator_email": "الإيميل",
-    "rerank": "إعادة الترتيب",
 }
 
 
@@ -154,8 +152,7 @@ def upsert_evaluator(name: str, email: str) -> None:
 # 💾 حفظ تقييم استعلام كامل (كل النماذج وكلماتها دفعة واحدة)
 # ------------------------------------------------------------
 def save_evaluation(query: str, per_model: list[dict],
-                    evaluator_name: str, evaluator_email: str,
-                    rerank: bool) -> int:
+                    evaluator_name: str, evaluator_email: str) -> int:
     """per_model = [{"model": str, "items": [{"lemma","score","chosen"}, ...]}, ...].
     يرجّع عدد الصفوف المحفوظة."""
     ts = datetime.now()   # وقت واحد لكل صفوف هذا الحفظ (لتماسك التجميع)
@@ -169,7 +166,6 @@ def save_evaluation(query: str, per_model: list[dict],
                 "word": item["lemma"],
                 "similarity": round(float(item["score"]), 3),
                 "verdict": "صح" if item["chosen"] else "خطأ",
-                "rerank": bool(rerank),
                 "evaluator_name": evaluator_name,
                 "evaluator_email": evaluator_email,
             })

reverse-dictionary/backend/app/models_loader.py

@@ -26,7 +26,6 @@ class ResourceManager:
         self.df: pd.DataFrame | None = None
         self.embeddings: dict[str, np.ndarray] = {}   # model_key -> مصفوفة embeddings
         self.models: dict[str, SentenceTransformer] = {}  # model_key -> النموذج المحمّل
-        self.reranker = None   # نموذج الـ Cross-Encoder (يُحمّل كسولًا عند أول استخدام)
 
     # --------------------------------------------------------
     # 📂 تحميل البيانات المنظّفة
@@ -67,22 +66,6 @@ class ResourceManager:
             print(f"✅ تم تحميل: {model_key}")
         return self.models[model_key]
 
-    # --------------------------------------------------------
-    # 🔁 تحميل نموذج إعادة الترتيب (Cross-Encoder) كسولًا
-    # --------------------------------------------------------
-    def get_reranker(self):
-        """يحمّل الـ reranker مرة واحدة عند أول بحث بـ rerank=True.
-
-        لا نضمّه في warmup لأنه اختياري وثقيل؛ فنؤجّل تحميله حتى
-        يُطلب فعلًا (قد يأخذ أول طلب reranking بعض الوقت).
-        """
-        if self.reranker is None:
-            from app.reranker import load_reranker
-            print("⏳ تحميل نموذج إعادة الترتيب (Reranker) ...")
-            self.reranker = load_reranker()
-            print("✅ تم تحميل الـ Reranker")
-        return self.reranker
-
     # --------------------------------------------------------
     # 🔥 تسخين: تحميل كل النماذج والـ embeddings مسبقًا
     # --------------------------------------------------------

reverse-dictionary/backend/app/reranker.py

@@ -1,49 +0,0 @@
-# ============================================================
-# 📄 الملف: app/reranker.py
-# 🎯 الغرض: مرحلة إعادة الترتيب (Reranking) باستخدام Cross-Encoder.
-#
-# البحث الدلالي (search.py) يجيب أفضل N مرشّح بسرعة عبر تشابه
-# الجيب التمام (bi-encoder + cosine). لكن الـ bi-encoder يرمّز
-# الاستعلام والتعريف كلٌّ على حدة، فلا "يقارنهما مباشرة".
-#
-# الـ Cross-Encoder أدق: يأخذ الزوج (الاستعلام، التعريف) معًا
-# ويعطي درجة تطابق واحدة. نستخدمه لإعادة ترتيب المرشّحين القلائل
-# (مثلًا 40) بدل تطبيقه على كل البيانات (لأنه أبطأ بكثير).
-#
-# النموذج المستخدم: BAAI/bge-reranker-v2-m3 (config.RERANKER_MODEL).
-# يُحمّل كسولًا داخل ResourceManager (models_loader.py).
-# ============================================================
-
-from sentence_transformers import CrossEncoder
-
-import config
-
-
-def load_reranker() -> CrossEncoder:
-    """يحمّل نموذج الـ Cross-Encoder (يُستدعى مرة واحدة كسولًا)."""
-    return CrossEncoder(config.RERANKER_MODEL, device=config.DEVICE)
-
-
-def rerank(model: CrossEncoder, query: str, candidates: list[dict]) -> list[dict]:
-    """
-    يعيد ترتيب قائمة المرشّحين تنازليًا حسب درجة (الاستعلام، التعريف).
-
-    المعاملات:
-        model      : نموذج الـ Cross-Encoder المحمّل.
-        query      : نص التعريف المُدخل من المستخدم.
-        candidates : قائمة نتائج (كل عنصر فيه "definition") من المرحلة الأولى.
-
-    يرجّع نفس العناصر لكن مرتّبة حسب درجة إعادة الترتيب (الأعلى أولًا).
-    """
-    if not candidates:
-        return candidates
-
-    # نكوّن أزواج (الاستعلام، التعريف) — وهي ما يقارنه الـ Cross-Encoder
-    pairs = [[query, c.get("definition") or c.get("lemma") or ""] for c in candidates]
-
-    # درجة لكل زوج (كلما زادت، زاد التطابق)
-    scores = model.predict(pairs)
-
-    # ترتيب الفهارس تنازليًا حسب الدرجة
-    order = sorted(range(len(candidates)), key=lambda i: float(scores[i]), reverse=True)
-    return [candidates[i] for i in order]

reverse-dictionary/backend/app/search.py

@@ -16,7 +16,6 @@ import pandas as pd
 from sklearn.metrics.pairwise import cosine_similarity
 
 import config
-from app import reranker
 from app.models_loader import resources
 
 
@@ -40,7 +39,7 @@ def _build_item(row, score: float) -> dict:
 
 
 def search_one_model(query: str, model_cfg: dict, threshold: float,
-                     top_k: int | None = None, rerank: bool = False) -> list[dict]:
+                     top_k: int | None = None) -> list[dict]:
     """
     يبحث في نموذج واحد ويرجّع قائمة نتائج مرتّبة تنازليًا حسب التشابه.
 
@@ -50,8 +49,6 @@ def search_one_model(query: str, model_cfg: dict, threshold: float,
         threshold : أقل قيمة تشابه مقبولة.
         top_k     : حدّ أقصى للنتائج يتجاوز قيمة config (اختياري). إن لم
                     يُمرَّر، يُستخدم model_cfg["top_k"].
-        rerank    : لو True نطبّق مرحلة ثانية تعيد ترتيب أفضل المرشّحين
-                    عبر Cross-Encoder. لو False (الافتراضي) السلوك كما هو.
     """
     df = resources.get_dataframe()
     doc_embeds = resources.get_embeddings(model_cfg["key"])
@@ -70,27 +67,7 @@ def search_one_model(query: str, model_cfg: dict, threshold: float,
     # top_k الممرّر يتجاوز قيمة config (وإلا نستخدم قيمة النموذج)
     top_k = top_k if top_k is not None else model_cfg["top_k"]
 
-    # ====================================================
-    # 🔁 مع إعادة الترتيب: مرحلتان
-    #    (1) نجمع أفضل RERANK_CANDIDATES مرشّح بالكوساين.
-    #    (2) نعيد ترتيبهم بالـ Cross-Encoder، ثم نطبّق top_k.
-    # ====================================================
-    if rerank:
-        candidates = []
-        for i in idx_sorted:
-            score = float(sims[i])
-            if score < threshold:
-                break  # القائمة مرتّبة تنازليًا
-            candidates.append(_build_item(df.iloc[i], score))
-            if len(candidates) >= config.RERANK_CANDIDATES:
-                break
-
-        reranked = reranker.rerank(resources.get_reranker(), query, candidates)
-        return reranked[:top_k] if top_k is not None else reranked
-
-    # ====================================================
-    # بدون إعادة الترتيب: السلوك الأصلي تمامًا (كوساين + threshold + top_k)
-    # ====================================================
+    # كوساين + threshold + top_k
     results = []
     for i in idx_sorted:
         score = float(sims[i])
@@ -102,11 +79,11 @@ def search_one_model(query: str, model_cfg: dict, threshold: float,
     return results
 
 
-def search_all_models(query: str, threshold: float, rerank: bool = False) -> list[dict]:
+def search_all_models(query: str, threshold: float) -> list[dict]:
     """يبحث في النماذج الثلاثة ويرجّع نتائج كل واحد منفصلة."""
     all_results = []
     for index, model_cfg in enumerate(config.MODELS):
-        items = search_one_model(query, model_cfg, threshold, rerank=rerank)
+        items = search_one_model(query, model_cfg, threshold)
         all_results.append({
             "model_index": index,
             "model_key": model_cfg["key"],

reverse-dictionary/backend/config.py

@@ -60,21 +60,21 @@ else:
 MODELS = [
     {
         "key": "model_1_microsoft",
-        "display_name": "نموذج مايكروسوفت",
+        "display_name": "النموذج الأول",
         "hf_id": "intfloat/multilingual-e5-large",
         "use_prefix": True,
         "top_k": 10,
     },
     {
         "key": "model_2_researchers",
-        "display_name": "نموذج مطور من قبل باحثين",
+        "display_name": "النموذج الثاني",
         "hf_id": "Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2",
         "use_prefix": False,
         "top_k": None,
     },
     {
         "key": "model_3_ksaa",
-        "display_name": "نموذج مطور من قبل قسم حوسبة المعاجم",
+        "display_name": "النموذج الثالث",
         "hf_id": MODEL_3_PATH,
         "use_prefix": False,
         "top_k": None,
@@ -87,16 +87,6 @@ MODELS = [
 DEFAULT_THRESHOLD = 0.70   # حد التشابه الافتراضي
 BATCH_SIZE = 64            # حجم الدفعة عند بناء الـ embeddings
 
-# ------------------------------------------------------------
-# 🔁 إعدادات إعادة الترتيب (Reranking) — مرحلة ثانية اختيارية
-# ------------------------------------------------------------
-# نموذج Cross-Encoder يعيد ترتيب أفضل المرشّحين حسب درجة (الاستعلام، التعريف).
-# يُحمّل كسولًا عند أول استخدام فقط (انظر models_loader.py).
-RERANKER_MODEL = os.getenv("RERANKER_MODEL", "BAAI/bge-reranker-v2-m3")
-
-# عدد المرشّحين اللي نجيبهم بالكوساين قبل إعادة الترتيب (المرحلة الأولى).
-RERANK_CANDIDATES = 40
-
 # الأعمدة المستخدمة في بناء النص المُدمج للـ embedding
 TEXT_COLUMNS = ["lemma", "definition", "example"]
 

reverse-dictionary/frontend/streamlit_app.py

@@ -153,10 +153,9 @@ st.markdown("""
 # نجيب أفضل TOP_N كلمات دائمًا، بدون حدّ تشابه (threshold = -1).
 # ============================================================
 @st.cache_data(show_spinner=False)
-def cached_search(query: str, model_key: str, rerank: bool):
+def cached_search(query: str, model_key: str):
     model_cfg = next(m for m in config.MODELS if m["key"] == model_key)
-    return search_one_model(query, model_cfg, threshold=-1.0,
-                            top_k=TOP_N, rerank=rerank)
+    return search_one_model(query, model_cfg, threshold=-1.0, top_k=TOP_N)
 
 
 # ============================================================
@@ -225,23 +224,22 @@ with c_input:
     query = st.text_input("البحث", placeholder="اكتب التعريف هنا...",
                           key="search_box", label_visibility="collapsed")
 
-# 🔁 تفعيل إعادة الترتيب (Reranking) — مرحلة ثانية اختيارية للمقارنة
-rerank = st.checkbox("🔁 تفعيل إعادة الترتيب (Reranking)", key="rerank_toggle",
-                     help="يعيد ترتيب أفضل المرشّحين عبر نموذج Cross-Encoder "
-                          "حسب درجة (الاستعلام، التعريف). أول تفعيل قد يأخذ لحظات "
-                          "لتحميل النموذج.")
-
-# عند تغيّر الاستعلام، نمسح اختيارات المربّعات السابقة حتى لا تختلط
+# عند إدخال استعلام جديد: نزيد "جيل التقييم" فتتغيّر مفاتيح المربّعات
+# (chk_{gen}_..) فتُنشأ مربّعات جديدة فارغة — إعادة تعيين كاملة وموثوقة.
 if st.session_state.get("_last_query") != query:
-    for k in list(st.session_state.keys()):
-        if k.startswith("chk_"):
-            del st.session_state[k]
     st.session_state["_last_query"] = query
+    st.session_state["_eval_gen"] = st.session_state.get("_eval_gen", 0) + 1
+
+gen = st.session_state.get("_eval_gen", 0)
 
 has_query = bool(query.strip())
 cols = st.columns(3)
 
-for i, col in enumerate(cols):
+# ترتيب العرض من اليمين لليسار: يمين=النموذج الأول، وسط=الثاني، يسار=الثالث.
+# (أعمدة Streamlit يسار→يمين، فنعكس الإسناد ونُبقي فهرس النموذج الحقيقي i.)
+DISPLAY_ORDER = [2, 1, 0]
+
+for col, i in zip(cols, DISPLAY_ORDER):
     with col:
         model_cfg = config.MODELS[i]
         display_name = model_cfg["display_name"]
@@ -255,7 +253,7 @@ for i, col in enumerate(cols):
             continue
 
         with st.spinner(f"⏳ {display_name}..."):
-            results = cached_search(query.strip(), model_cfg["key"], rerank)
+            results = cached_search(query.strip(), model_cfg["key"])
 
         if not results:
             st.markdown("<p class='empty-note'>لا توجد نتائج.</p>",
@@ -267,7 +265,7 @@ for i, col in enumerate(cols):
                 # مربّع الاختيار يسار | الكلمة والتعريف يمين
                 c_chk, c_txt = st.columns([1, 5], vertical_alignment="center")
                 with c_chk:
-                    st.checkbox("صح", key=f"chk_{i}_{j}",
+                    st.checkbox("صح", key=f"chk_{gen}_{i}_{j}",
                                 label_visibility="collapsed")
                 with c_txt:
                     pos_html = (f"<span class='word-pos'>{r['pos']}</span> "
@@ -290,11 +288,11 @@ with save_col:
         per_model = []
         for i in range(3):
             model_cfg = config.MODELS[i]
-            results = cached_search(query.strip(), model_cfg["key"], rerank)
+            results = cached_search(query.strip(), model_cfg["key"])
             items = [{
                 "lemma": r["lemma"],
                 "score": r["score"],
-                "chosen": st.session_state.get(f"chk_{i}_{j}", False),
+                "chosen": st.session_state.get(f"chk_{gen}_{i}_{j}", False),
             } for j, r in enumerate(results)]
             if items:
                 per_model.append({"model": model_cfg["display_name"], "items": items})
@@ -305,7 +303,6 @@ with save_col:
                     query.strip(), per_model,
                     evaluator_name=evaluator["name"],
                     evaluator_email=evaluator["email"],
-                    rerank=rerank,
                 )
                 st.toast(f"✅ حُفظ التقييم ({saved} كلمة)", icon="💾")
             except Exception as e:

reverse-dictionary/supabase_schema.sql

@@ -24,7 +24,6 @@ CREATE TABLE IF NOT EXISTS ratings (
     word             TEXT,          -- الكلمة المقترحة
     similarity       REAL,          -- نسبة التشابه
     verdict          TEXT,          -- "صح" أو "خطأ"
-    rerank           BOOLEAN,       -- هل كان Reranking مفعّلًا؟
     evaluator_name   TEXT,
     evaluator_email  TEXT
 );