fastapi

EVALUATION_README.md

@@ -1,153 +0,0 @@
-# RAG Evaluation with Ragas
-
-## 📊 Evaluation Metrics
-
-This evaluation uses **Ragas** library to measure RAG system quality:
-
-| Metric | Description | Range | Goal |
-|--------|-------------|-------|------|
-| **faithfulness** | Is the answer grounded in the context? | 0-1 | Higher |
-| **answer_relevancy** | Does the answer relate to the question? | 0-1 | Higher |
-| **context_precision** | How much retrieved context was relevant? | 0-1 | Higher |
-| **context_recall** | Did we retrieve all needed information? | 0-1 | Higher |
-| **context_relevancy** | Overall relevance of context to question | 0-1 | Higher |
-
-## 🚀 How to Run
-
-### 1. Prerequisites
-
-Make sure you have:
-- ✅ Ragas installed: `pip install ragas datasets`
-- ✅ OpenAI API key set in `.env` file (Ragas uses it for evaluation)
-- ✅ Your RAG system working (test with `streamlit run app_final.py`)
-
-### 2. Prepare Test Dataset
-
-Edit `test_dataset.json` with your test questions:
-
-```json
-[
-    {
-        "question": "Your question in Arabic",
-        "ground_truth": "Expected correct answer (optional but recommended)"
-    }
-]
-```
-
-### 3. Run Evaluation
-
-```bash
-python evaluate_rag.py
-```
-
-### 4. Check Results
-
-The script will generate:
-- `evaluation_results.json` - Summary metrics
-- `evaluation_detailed.json` - Full Q&A pairs with contexts
-
-## 📈 Understanding Results
-
-### Good Scores (Target)
-- **faithfulness**: > 0.7 (answers stay within context)
-- **answer_relevancy**: > 0.8 (answers address the question)
-- **context_precision**: > 0.6 (low noise in retrieval)
-- **context_recall**: > 0.7 (retrieved all needed info)
-- **context_relevancy**: > 0.7 (context matches question)
-
-### If Scores Are Low
-
-**Low Faithfulness (<0.5)**
-- LLM is hallucinating or adding external info
-- Solution: Adjust prompt to be stricter about using only context
-
-**Low Answer Relevancy (<0.6)**
-- Answers don't match questions
-- Solution: Check if retrieval is getting right documents
-
-**Low Context Precision (<0.4)**
-- Too much irrelevant context retrieved
-- Solution: Tune retrieval k parameter, adjust reranker top_n
-
-**Low Context Recall (<0.5)**
-- Missing important information
-- Solution: Increase k in retrievers, check if documents have the info
-
-**Low Context Relevancy (<0.5)**
-- Retrieved documents don't match question
-- Solution: Check embeddings, tune hybrid search weights
-
-## 🔧 Customization
-
-### Add More Test Questions
-
-Edit `test_dataset.json`:
-```json
-{
-    "question": "ما هي شروط الترشح للبرلمان؟",
-    "ground_truth": "يجب أن يكون مصرياً، متمتعاً بحقوقه المدنية والسياسية..."
-}
-```
-
-### Change Metrics
-
-Edit `evaluate_rag.py` and modify the metrics list:
-```python
-evaluation_results = evaluate(
-    dataset,
-    metrics=[
-        faithfulness,
-        answer_relevancy,
-        # Add or remove metrics here
-    ],
-)
-```
-
-### Use Different LLM for Evaluation
-
-Ragas supports different LLMs. Edit the evaluation call:
-```python
-from ragas.llms import LangchainLLMWrapper
-from langchain_groq import ChatGroq
-
-# Use Groq instead of OpenAI for evaluation
-evaluator_llm = LangchainLLMWrapper(ChatGroq(model="llama-3.1-70b-versatile"))
-
-evaluation_results = evaluate(
-    dataset,
-    metrics=[...],
-    llm=evaluator_llm
-)
-```
-
-## 📝 Notes
-
-1. **OpenAI API Cost**: Ragas uses OpenAI API for evaluation (GPT-3.5/4). Each evaluation costs ~$0.01-0.10 depending on dataset size.
-
-2. **Ground Truth**: While optional, providing ground_truth improves `context_recall` metric accuracy.
-
-3. **Arabic Support**: Ragas works with Arabic text, but evaluation quality depends on the LLM used (GPT-4 is better for Arabic than GPT-3.5).
-
-4. **Batch Size**: For large datasets (>50 questions), consider splitting into batches to avoid API rate limits.
-
-## 🐛 Troubleshooting
-
-**Error: "OpenAI API key not found"**
-- Add `OPENAI_API_KEY=sk-...` to your `.env` file
-
-**Error: "Rate limit exceeded"**
-- Wait a few minutes or reduce test dataset size
-
-**Error: "Import error"**
-- Run: `pip install ragas datasets openai langchain-openai`
-
-**Metrics return NaN or 0**
-- Check if answers/contexts are empty
-- Ensure ground_truth is provided for context_recall
-- Try with a smaller dataset first (2-3 questions)
-
-## 📚 Resources
-
-- [Ragas Documentation](https://docs.ragas.io/)
-- [Ragas GitHub](https://github.com/explodinggradients/ragas)
-- [RAG Evaluation Best Practices](https://docs.ragas.io/en/latest/concepts/metrics/index.html)

EVALUATION_SETUP.md

@@ -1,173 +0,0 @@
-# RAG Evaluation Setup - Summary
-
-## 📁 Files Created
-
-1. **evaluate_rag.py** - Full evaluation script with detailed explanations
-2. **quick_eval.py** - Simple evaluation script (faster to run)
-3. **test_dataset.json** - Test questions and ground truth answers
-4. **EVALUATION_README.md** - Complete documentation
-
-## 🎯 Quick Start (3 Steps)
-
-### Step 1: Add OpenAI API Key
-Add to your `.env` file:
-```
-OPENAI_API_KEY=sk-your-key-here
-```
-
-### Step 2: Edit Test Questions (Optional)
-Edit `test_dataset.json` to add/modify test questions
-
-### Step 3: Run Evaluation
-```bash
-# Option A: Quick evaluation
-python quick_eval.py
-
-# Option B: Full evaluation with explanations
-python evaluate_rag.py
-```
-
-## 📊 What Gets Evaluated
-
-### The 6 Ragas Metrics:
-
-1. **faithfulness** (0-1, higher better)
-   - Is answer grounded in context?
-   - Checks if model added external information
-
-2. **answer_relevancy** (0-1, higher better)
-   - Does answer match the question?
-   - Checks if answer is on-topic
-
-3. **context_precision** (0-1, higher better)
-   - How much retrieved context was useful?
-   - Measures retrieval signal-to-noise ratio
-
-4. **context_recall** (0-1, higher better)
-   - Did we retrieve all needed info?
-   - Requires ground_truth to measure
-
-5. **context_relevancy** (0-1, higher better)
-   - Overall context relevance to question
-   - Measures retrieval quality
-
-6. **response_relevancy** (included in answer_relevancy)
-   - Similar to answer_relevancy
-
-## 📈 Expected Scores
-
-### Good Performance:
-- faithfulness: > 0.7
-- answer_relevancy: > 0.8
-- context_precision: > 0.6
-- context_recall: > 0.7
-- context_relevancy: > 0.7
-
-### If Scores Are Low:
-
-**Low Faithfulness?**
-→ Tighten prompt to avoid hallucinations
-
-**Low Answer Relevancy?**
-→ Check retrieval quality
-
-**Low Context Precision?**
-→ Reduce k in retrievers or increase reranker top_n
-
-**Low Context Recall?**
-→ Increase k in retrievers, check if info exists
-
-**Low Context Relevancy?**
-→ Adjust hybrid search beta weights
-
-## 🔧 Tuning Your System
-
-Based on evaluation results, you can tune:
-
-1. **In app_final.py:**
-   - Line 172: `base_retriever k` (semantic search)
-   - Line 208: `bm25_retriever k` (keyword search)
-   - Line 260: `metadata_retriever k` (metadata filter)
-   - Line 335: `beta_semantic, beta_keyword, beta_metadata` (hybrid weights)
-   - Line 427: `compressor top_n` (reranker final count)
-   - Line 440: `temperature` (LLM creativity)
-
-2. **Test Changes:**
-   ```bash
-   # After tuning parameters
-   python quick_eval.py
-   # Compare new scores with previous results
-   ```
-
-## 💡 Tips
-
-1. **Start Small**: Test with 3-5 questions first
-2. **Add Ground Truth**: Improves context_recall accuracy
-3. **Compare Before/After**: Save results before making changes
-4. **Use GPT-4**: Set `OPENAI_MODEL=gpt-4` for better Arabic evaluation
-
-## 📝 Example Workflow
-
-```bash
-# 1. Baseline evaluation
-python quick_eval.py
-# Save as: evaluation_baseline.json
-
-# 2. Tune parameter (e.g., increase reranker top_n from 5 to 7)
-# Edit app_final.py line 427: top_n=7
-
-# 3. Re-evaluate
-python quick_eval.py
-# Save as: evaluation_tuned.json
-
-# 4. Compare scores
-# If improved → keep change
-# If worse → revert and try different parameter
-```
-
-## 🐛 Common Issues
-
-**"OpenAI API key not found"**
-```bash
-# Check .env file has:
-OPENAI_API_KEY=sk-...
-```
-
-**"Rate limit exceeded"**
-```bash
-# Wait 1 minute and retry, or reduce test dataset size
-```
-
-**"Import ragas failed"**
-```bash
-pip install ragas datasets openai langchain-openai
-```
-
-**Scores all 0 or NaN**
-```bash
-# Check:
-# 1. Answers are being generated (not empty)
-# 2. Contexts are being retrieved
-# 3. Ground truth is provided for context_recall
-```
-
-## 📚 Output Files
-
-After running evaluation:
-- `evaluation_results.json` - Summary metrics
-- `evaluation_detailed.json` - Full Q&A with contexts
-- Console output - Formatted metrics display
-
-## 🎓 Next Steps
-
-1. Run baseline evaluation
-2. Identify lowest-scoring metric
-3. Tune relevant parameters
-4. Re-evaluate and compare
-5. Repeat until satisfied
-
----
-
-**Need Help?**
-- Ragas Docs: https://docs.ragas.io/
-- Example Notebooks: https://github.com/explodinggradients/ragas/tree/main/docs/examples

app/config.py

@@ -0,0 +1,34 @@
+
+from __future__ import annotations
+
+import os
+from dataclasses import dataclass
+
+from dotenv import load_dotenv
+
+load_dotenv()
+
+
+@dataclass(frozen=True)
+class Settings:
+    base_dir: str = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
+    data_dir: str = os.path.join(base_dir, "data")
+    chroma_dir: str = os.path.join(base_dir, "chroma_db")
+
+    groq_api_key: str = os.getenv("GROQ_API_KEY", "")
+    groq_model_name: str = os.getenv("GROQ_MODEL_NAME", "llama-3.3-70b-versatile")
+
+    reranker_model_path: str = os.getenv("RERANKER_MODEL_PATH", "")
+
+    semantic_k: int = int(os.getenv("SEMANTIC_K", "10"))
+    bm25_k: int = int(os.getenv("BM25_K", "10"))
+    meta_k: int = int(os.getenv("META_K", "10"))
+    hybrid_top_k: int = int(os.getenv("HYBRID_TOP_K", "12"))
+    rrf_k: int = int(os.getenv("RRF_K", "60"))
+
+    temperature: float = float(os.getenv("LLM_TEMPERATURE", "0.2"))
+    max_tokens: int = int(os.getenv("LLM_MAX_TOKENS", "2048"))
+    top_p: float = float(os.getenv("LLM_TOP_P", "0.85"))
+
+
+settings = Settings()

app/deps.py

@@ -0,0 +1,31 @@
+
+# ============================================
+# file: app/deps.py
+# ============================================
+from __future__ import annotations
+
+import threading
+from typing import Any, Optional
+
+from .config import settings
+from .rag_pipeline import build_qa_chain
+
+_lock = threading.RLock()
+_chain: Optional[Any] = None
+
+
+def get_chain():
+    global _chain
+    with _lock:
+        if _chain is None:
+            _chain = build_qa_chain(settings)
+        return _chain
+
+
+def reload_chain():
+    global _chain
+    with _lock:
+        _chain = build_qa_chain(settings)
+        return _chain
+
+

app/main.py

@@ -0,0 +1,96 @@
+# ============================================
+# file: app/main.py
+# ============================================
+from __future__ import annotations
+
+from typing import List
+
+import anyio
+from fastapi import FastAPI, HTTPException
+from fastapi.middleware.cors import CORSMiddleware
+
+from .deps import get_chain, reload_chain
+from .schemas import AskRequest, AskResponse, SourceDoc
+from .utils import convert_to_eastern_arabic
+
+app = FastAPI(title="Legal RAG API", version="1.0.0")
+
+# Optional: allow frontend calls
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],  # tighten later
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+
+@app.on_event("startup")
+def _startup():
+    # preload once
+    get_chain()
+
+
+@app.get("/health")
+def health():
+    return {"status": "ok"}
+
+
+@app.post("/reload")
+def reload():
+    reload_chain()
+    return {"status": "reloaded"}
+
+
+def _dedupe_sources(docs) -> List[SourceDoc]:
+    if not docs:
+        return []
+    seen = set()
+    out: List[SourceDoc] = []
+    for doc in docs:
+        article_num = str(doc.metadata.get("article_number", "")).strip()
+        if article_num and article_num in seen:
+            continue
+        if article_num:
+            seen.add(article_num)
+        out.append(
+            SourceDoc(
+                article_id=str(doc.metadata.get("article_id", "")) or None,
+                article_number=article_num or None,
+                law_name=str(doc.metadata.get("law_name", "")) or None,
+                legal_nature=str(doc.metadata.get("legal_nature", "")) or None,
+                keywords=str(doc.metadata.get("keywords", "")) or None,
+                part=str(doc.metadata.get("part", "")) or None,
+                chapter=str(doc.metadata.get("chapter", "")) or None,
+                page_content=str(doc.page_content or ""),
+            )
+        )
+    return out
+
+
+@app.post("/ask", response_model=AskResponse)
+async def ask(payload: AskRequest):
+    chain = get_chain()
+
+    try:
+        # LangChain invoke is sync; run in worker thread
+        result = await anyio.to_thread.run_sync(chain.invoke, payload.query)
+    except Exception as e:
+        raise HTTPException(status_code=500, detail=str(e)) from e
+
+    answer = result.get("answer", "")
+    sources_docs = result.get("context", []) if payload.include_sources else []
+    sources = _dedupe_sources(sources_docs)
+
+    if payload.eastern_arabic_numerals:
+        answer = convert_to_eastern_arabic(answer)
+        if payload.include_sources:
+            for s in sources:
+                s.page_content = convert_to_eastern_arabic(s.page_content)
+                if s.article_number:
+                    s.article_number = convert_to_eastern_arabic(s.article_number)
+
+    return AskResponse(answer=answer, sources=sources, raw=result)
+
+
+

app/rag_pipeline.py

@@ -0,0 +1,423 @@
+# ============================================
+# file: app/rag_pipeline.py
+# ============================================
+from __future__ import annotations
+
+import json
+import logging
+import os
+import re
+import warnings
+from collections import defaultdict
+from concurrent.futures import ThreadPoolExecutor
+from typing import Dict, List, Set
+
+import numpy as np
+from langchain_chroma import Chroma
+from langchain_core.callbacks import CallbackManagerForRetrieverRun
+from langchain_core.documents import Document
+from langchain_core.output_parsers import StrOutputParser
+from langchain_core.prompts import ChatPromptTemplate
+from langchain_core.retrievers import BaseRetriever
+from langchain_core.runnables import RunnableParallel, RunnablePassthrough
+from langchain_groq import ChatGroq
+from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_community.cross_encoders import HuggingFaceCrossEncoder
+from langchain_classic.retrievers import ContextualCompressionRetriever
+from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
+from rank_bm25 import BM25Okapi
+
+from .config import Settings
+from .utils import arabic_tokenize
+
+os.environ["TRANSFORMERS_NO_PROGRESS_BAR"] = "1"
+warnings.filterwarnings("ignore")
+
+logger = logging.getLogger(__name__)
+logging.basicConfig(level=logging.INFO)
+
+
+def _load_json_folder(folder_path: str) -> List[dict]:
+    all_items: List[dict] = []
+    for filename in os.listdir(folder_path):
+        if not filename.lower().endswith(".json"):
+            continue
+        file_path = os.path.join(folder_path, filename)
+        with open(file_path, "r", encoding="utf-8") as f:
+            obj = json.load(f)
+
+        wrapper_law_name = ""
+
+        if isinstance(obj, list):
+            articles: List[dict] = []
+            for entry in obj:
+                if isinstance(entry, dict) and "data" in entry and isinstance(entry["data"], list):
+                    wrapper_law_name = entry.get("law_name", "")
+                    for art in entry["data"]:
+                        art.setdefault("_law_name", wrapper_law_name)
+                    articles.extend(entry["data"])
+                elif isinstance(entry, dict) and "articles" in entry and isinstance(entry["articles"], list):
+                    wrapper_law_name = entry.get("law_name", "")
+                    for art in entry["articles"]:
+                        art.setdefault("_law_name", wrapper_law_name)
+                    articles.extend(entry["articles"])
+                elif isinstance(entry, dict):
+                    if not entry.get("_law_name"):
+                        aid = entry.get("article_id", "")
+                        entry["_law_name"] = "الدستور المصري" if "CONST" in str(aid).upper() else ""
+                    articles.append(entry)
+            all_items.extend(articles)
+        elif isinstance(obj, dict):
+            wrapper_law_name = obj.get("law_name", "")
+            if "data" in obj and isinstance(obj["data"], list):
+                for art in obj["data"]:
+                    art.setdefault("_law_name", wrapper_law_name)
+                all_items.extend(obj["data"])
+            elif "articles" in obj and isinstance(obj["articles"], list):
+                for art in obj["articles"]:
+                    art.setdefault("_law_name", wrapper_law_name)
+                all_items.extend(obj["articles"])
+            else:
+                obj.setdefault("_law_name", wrapper_law_name)
+                all_items.append(obj)
+        else:
+            logger.warning("Unsupported JSON format in: %s", file_path)
+
+    return all_items
+
+
+def build_qa_chain(settings: Settings):
+    """
+    Builds and returns:
+      qa_chain: Runnable that returns {"context": [Document...], "input": str, "answer": str}
+    """
+    if not os.path.exists(settings.data_dir):
+        raise FileNotFoundError(f"Data folder not found: {settings.data_dir}")
+
+    data = _load_json_folder(settings.data_dir)
+
+    # de-dup
+    unique: Dict[str, dict] = {}
+    for item in data:
+        key = str(item.get("article_id") or item.get("article_number") or hash(json.dumps(item, ensure_ascii=False)))
+        unique[key] = item
+    data = list(unique.values())
+
+    docs: List[Document] = []
+    for item in data:
+        article_number = item.get("article_number")
+        original_text = item.get("original_text")
+        simplified_summary = item.get("simplified_summary")
+        if not article_number or not original_text or not simplified_summary:
+            continue
+
+        law_name = item.get("law_name") or item.get("_law_name", "")
+        part_bab = item.get("part (Bab)", "")
+        chapter_fasl = item.get("chapter (Fasl)", "")
+        section = item.get("section", "")
+
+        page_content = f"""القانون: {law_name}
+رقم المادة: {article_number}
+الباب: {part_bab}
+الفصل: {chapter_fasl}
+القسم: {section}
+النص الأصلي: {original_text}
+الشرح المبسط: {simplified_summary}"""
+
+        metadata = {
+            "article_id": item.get("article_id") or str(article_number),
+            "article_number": str(article_number),
+            "law_name": law_name,
+            "legal_nature": item.get("legal_nature", ""),
+            "keywords": ", ".join(item.get("keywords", []) or []),
+            "part": part_bab,
+            "chapter": chapter_fasl,
+        }
+        docs.append(Document(page_content=page_content, metadata=metadata))
+
+    if not docs:
+        raise RuntimeError("No valid documents found in data folder (missing required fields).")
+
+    embeddings = HuggingFaceEmbeddings(model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1")
+
+    # vector store reuse
+    db_exists = os.path.exists(settings.chroma_dir) and os.listdir(settings.chroma_dir)
+    if db_exists:
+        vectorstore = Chroma(
+            persist_directory=settings.chroma_dir,
+            embedding_function=embeddings,
+        )
+        stored_count = vectorstore._collection.count()
+        if stored_count == 0 or abs(stored_count - len(docs)) > 5:
+            import shutil
+
+            shutil.rmtree(settings.chroma_dir, ignore_errors=True)
+            db_exists = False
+
+    if not db_exists:
+        vectorstore = Chroma.from_documents(
+            docs,
+            embeddings,
+            persist_directory=settings.chroma_dir,
+        )
+
+    base_retriever = vectorstore.as_retriever(search_kwargs={"k": settings.semantic_k})
+
+    # -----------------------------
+    # BM25 retriever
+    # -----------------------------
+    class BM25Retriever(BaseRetriever):
+        corpus_docs: List[Document]
+        bm25: BM25Okapi = None
+        tokenized_corpus: list = None
+        k: int = 10
+
+        class Config:
+            arbitrary_types_allowed = True
+
+        def __init__(self, **data):
+            super().__init__(**data)
+            self.tokenized_corpus = [arabic_tokenize(doc.page_content) for doc in self.corpus_docs]
+            self.bm25 = BM25Okapi(self.tokenized_corpus)
+
+        def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            tokenized_query = arabic_tokenize(query)
+            if not tokenized_query:
+                return []
+            scores = self.bm25.get_scores(tokenized_query)
+            top_indices = np.argsort(scores)[::-1][: self.k]
+            return [self.corpus_docs[i] for i in top_indices if scores[i] > 0]
+
+        async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            return self._get_relevant_documents(query, run_manager=run_manager)
+
+    bm25_retriever = BM25Retriever(corpus_docs=docs, k=settings.bm25_k)
+
+    # -----------------------------
+    # Metadata filter retriever
+    # -----------------------------
+    class MetadataFilterRetriever(BaseRetriever):
+        corpus_docs: List[Document]
+        keyword_index: Dict[str, Set[int]] = None
+        law_name_index: Dict[str, Set[int]] = None
+        k: int = 10
+
+        class Config:
+            arbitrary_types_allowed = True
+
+        def __init__(self, **data):
+            super().__init__(**data)
+            self.keyword_index = defaultdict(set)
+            self.law_name_index = defaultdict(set)
+            for idx, doc in enumerate(self.corpus_docs):
+                kw_text = (
+                    str(doc.metadata.get("keywords", ""))
+                    + " "
+                    + str(doc.metadata.get("legal_nature", ""))
+                    + " "
+                    + str(doc.metadata.get("part", ""))
+                    + " "
+                    + str(doc.metadata.get("chapter", ""))
+                )
+                for token in arabic_tokenize(kw_text):
+                    self.keyword_index[token].add(idx)
+
+                for token in arabic_tokenize(str(doc.metadata.get("law_name", ""))):
+                    self.law_name_index[token].add(idx)
+
+        def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            query_tokens = arabic_tokenize(query)
+            if not query_tokens:
+                return []
+
+            scores = defaultdict(float)
+            for token in query_tokens:
+                for idx in self.keyword_index.get(token, set()):
+                    scores[idx] += 3.0
+                for idx in self.law_name_index.get(token, set()):
+                    scores[idx] += 4.0
+
+            if not scores:
+                return []
+
+            top = sorted(scores.items(), key=lambda x: x[1], reverse=True)[: self.k]
+            return [self.corpus_docs[idx] for idx, _ in top]
+
+        async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            return self._get_relevant_documents(query, run_manager=run_manager)
+
+    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs, k=settings.meta_k)
+
+    # -----------------------------
+    # Hybrid RRF retriever (parallel)
+    # -----------------------------
+    class HybridRRFRetriever(BaseRetriever):
+        semantic_retriever: BaseRetriever
+        bm25_retriever: BM25Retriever
+        metadata_retriever: MetadataFilterRetriever
+        beta_semantic: float = 0.5
+        beta_keyword: float = 0.3
+        beta_metadata: float = 0.2
+        k: int = 60
+        top_k: int = 12
+
+        class Config:
+            arbitrary_types_allowed = True
+
+        def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            with ThreadPoolExecutor(max_workers=3) as pool:
+                fut_sem = pool.submit(self.semantic_retriever.invoke, query)
+                fut_bm = pool.submit(self.bm25_retriever.invoke, query)
+                fut_meta = pool.submit(self.metadata_retriever.invoke, query)
+
+                semantic_docs = fut_sem.result()
+                bm25_docs = fut_bm.result()
+                metadata_docs = fut_meta.result()
+
+            rrf_scores: Dict[str, float] = {}
+            all_docs: Dict[str, Document] = {}
+
+            for weight, doc_list in [
+                (self.beta_semantic, semantic_docs),
+                (self.beta_keyword, bm25_docs),
+                (self.beta_metadata, metadata_docs),
+            ]:
+                for rank, doc in enumerate(doc_list, start=1):
+                    doc_id = doc.metadata.get("article_id") or doc.metadata.get("article_number") or str(hash(doc.page_content))
+                    rrf_scores[doc_id] = rrf_scores.get(doc_id, 0.0) + weight / (self.k + rank)
+                    all_docs.setdefault(doc_id, doc)
+
+            sorted_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
+            return [all_docs[did] for did, _ in sorted_ids[: self.top_k] if did in all_docs]
+
+        async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
+            return self._get_relevant_documents(query, run_manager=run_manager)
+
+    hybrid_retriever = HybridRRFRetriever(
+        semantic_retriever=base_retriever,
+        bm25_retriever=bm25_retriever,
+        metadata_retriever=metadata_retriever,
+        beta_semantic=0.5,
+        beta_keyword=0.3,
+        beta_metadata=0.2,
+        k=settings.rrf_k,
+        top_k=settings.hybrid_top_k,
+    )
+
+    # -----------------------------
+    # Reranker (CrossEncoder)
+    # -----------------------------
+    if not settings.reranker_model_path:
+        raise RuntimeError("RERANKER_MODEL_PATH is not set in .env (must point to your local reranker folder).")
+    if not os.path.exists(settings.reranker_model_path):
+        raise FileNotFoundError(f"Reranker path not found: {settings.reranker_model_path}")
+
+    cross_encoder = HuggingFaceCrossEncoder(model_name=settings.reranker_model_path)
+    compressor = CrossEncoderReranker(model=cross_encoder, top_n=5)
+    compression_retriever = ContextualCompressionRetriever(
+        base_compressor=compressor,
+        base_retriever=hybrid_retriever,
+    )
+
+    # -----------------------------
+    # LLM + prompt
+    # -----------------------------
+    if not settings.groq_api_key:
+        raise RuntimeError("GROQ_API_KEY is missing in .env")
+
+    llm = ChatGroq(
+        groq_api_key=settings.groq_api_key,
+        model_name=settings.groq_model_name,
+        temperature=settings.temperature,
+        max_tokens=settings.max_tokens,
+        model_kwargs={"top_p": settings.top_p},
+    )
+
+    system_instructions = """
+<role>
+أنت "المساعد القانوني الذكي"، مستشار قانوني متخصص في القوانين المصرية التالية:
+- الدستور المصري
+- القانون المدني المصري
+- قانون العمل المصري
+- قانون الأحوال الشخصية المصري
+- قانون مكافحة جرائم تقنية المعلومات
+- قانون الإجراءات الجنائية المصري
+
+مهمتك الأساسية: الإجابة بدقة استناداً إلى "السياق التشريعي" المرفق أدناه.
+عند وجود نص قانوني في السياق، هو مصدرك الأول والأهم.
+</role>
+
+<decision_logic>
+حلّل سؤال المستخدم ثم اتبع أول حالة ينطبق شرطها:
+
+━━━ الحالة ١ — الإجابة موجودة في السياق (الأولوية القصوى) ━━━
+الشرط: توجد مادة أو أكثر في السياق تتناول موضوع السؤال بشكل مباشر أو وثيق الصلة.
+الفعل:
+• أجب من السياق مباشرةً دون مقدمات.
+• وثّق كل معلومة بذكر اسم القانون ورقم المادة (مثال: «وفقاً للمادة (٥٢) من قانون العمل...»).
+• استخرج ما يجيب السؤال تحديداً — لا تنسخ المادة كاملة.
+• لا تضف معلومات من خارج السياق في هذه الحالة.
+
+━━━ الحالة ٢ — السياق يغطي الموضوع جزئياً ━━━
+الشرط: توجد مواد ذات صلة لكنها لا تجيب السؤال بالكامل.
+الفعل:
+• اذكر أولاً ما تنص عليه المواد المتاحة (مع التوثيق).
+• ثم أضف توضيحاً عملياً مختصراً يساعد المستخدم، مع التنبيه بعبارة:
+  «ملاحظة عملية:» أو «من الناحية التطبيقية:» قبل أي إضافة.
+• لا تخترع أرقام مواد أو تنسب نصوصاً لقوانين لم ترد في السياق.
+
+━━━ الحالة ٣ — السياق لا يحتوي الإجابة + السؤال إجرائي/عملي ━━━
+الشرط: لا توجد مادة في السياق تتعلق بالموضوع، لكن السؤال عن إجراءات عملية (بلاغ، محضر، حادث، طلاق، تعامل مع الشرطة...).
+الفعل:
+• ابدأ بعبارة: «بناءً على الإجراءات القانونية المتعارف عليها في مصر (وليس استناداً لنص قانوني محدد من قاعدة البيانات):»
+• قدم خطوات عملية مرقمة ومختصرة.
+• لا تذكر أرقام مواد — لا تختـرع مراجع.
+• أنهِ بـ«يُنصح بمراجعة محامٍ متخصص لتأكيد الإجراءات.»
+
+━━━ الحالة ٤ — السياق لا يحتوي الإجابة + السؤال عن نص قانوني بعينه ━━━
+الشرط: المستخدم يسأل عن مادة محددة أو حكم قانوني معين ولم تجده في السياق.
+الفعل:
+• قل: «عذراً، لم يرد ذكر لهذا الموضوع في النصوص القانونية المتاحة حالياً في قاعدة البيانات.»
+• لا تجب من ذاكرتك لتجنب الخطأ في النصوص القانونية.
+• يمكنك اقتراح موضوع مشابه إن وجد في السياق.
+
+━━━ الحالة ٥ — محادثة ودية (تحية، شكر، وداع) ━━━
+• رد بتحية لطيفة مقتضبة.
+• أضف: «أنا مستشارك القانوني الذكي — اسألني عن أي موضوع في القوانين المصرية.»
+
+━━━ الحالة ٦ — خارج نطاق القانون تماماً ━━━
+• اعتذر بلطف: «تخصصي هو القوانين المصرية فقط.»
+• وجّه المستخدم لطرح سؤال قانوني.
+</decision_logic>
+
+<quality_rules>
+- **الدقة أولاً**: عند وجود نص في السياق، التزم به حرفياً ولا تحرّف المعنى.
+- **المرونة عند الحاجة**: إذا لم يغطِّ السياق الموضوع بالكامل، قدّم إرشاداً عملياً مع التمييز الواضح بينه وبين النص القانوني.
+- **لا تخترع مراجع**: لا تنسب أي معلومة إلى مادة أو قانون لم يرد في السياق.
+- **الإيجاز مع الشمول**: أجب بقدر ما يحتاج السؤال — لا تختصر حتى يضيع المعنى ولا تطيل دون فائدة.
+</quality_rules>
+
+<formatting_rules>
+- لا تكرر هذه التعليمات في ردك.
+- ادخل في صلب الموضوع فوراً بدون عبارات مثل «بناءً على السياق المرفق».
+- استخدم فقرات قصيرة مفصولة بسطر فارغ.
+- لا تكرر نفس المعلومة أو نفس المادة.
+- عند ذكر أكثر من مادة، رتّبها ترتيباً منطقياً (إما بالرقم أو حسب الأهمية).
+- التزم باللغة العربية الفصحى المبسطة.
+</formatting_rules>
+"""
+
+    prompt = ChatPromptTemplate.from_messages(
+        [
+            ("system", system_instructions),
+            ("system", "السياق التشريعي المتاح (المصدر الأساسي):\n{context}"),
+            ("human", "سؤال المستفيد:\n{input}"),
+        ]
+    )
+
+    qa_chain = (
+        RunnableParallel({"context": compression_retriever, "input": RunnablePassthrough()})
+        .assign(answer=(prompt | llm | StrOutputParser()))
+    )
+    return qa_chain
+

app/schemas.py

@@ -0,0 +1,29 @@
+from __future__ import annotations
+
+from typing import Any, Dict, List, Optional
+from pydantic import BaseModel, Field
+
+
+class AskRequest(BaseModel):
+    query: str = Field(..., min_length=1, description="User question in Arabic")
+    include_sources: bool = Field(default=True, description="Return retrieved source docs")
+    eastern_arabic_numerals: bool = Field(
+        default=False, description="Convert digits 0-9 to Eastern Arabic numerals"
+    )
+
+
+class SourceDoc(BaseModel):
+    article_id: Optional[str] = None
+    article_number: Optional[str] = None
+    law_name: Optional[str] = None
+    legal_nature: Optional[str] = None
+    keywords: Optional[str] = None
+    part: Optional[str] = None
+    chapter: Optional[str] = None
+    page_content: str
+
+
+class AskResponse(BaseModel):
+    answer: str
+    sources: List[SourceDoc] = Field(default_factory=list)
+    raw: Dict[str, Any] = Field(default_factory=dict)

app/utils.py

@@ -0,0 +1,35 @@
+# ============================================
+# file: app/utils.py
+# ============================================
+from __future__ import annotations
+
+import re
+from typing import List, Set
+
+
+_ARABIC_STOPWORDS: Set[str] = {
+    "في", "من", "على", "إلى", "عن", "أن", "هذا", "هذه", "التي", "الذي",
+    "ما", "لا", "أو", "و", "كل", "ذلك", "بين", "كان", "قد", "هو", "هي",
+    "لم", "بل", "ثم", "إذا", "حتى", "لكن", "منه", "فيه", "عند", "له",
+    "بها", "لها", "منها", "فيها", "التى", "الذى", "ولا", "وفى", "كما",
+    "تلك", "هنا", "أي", "دون", "ليس", "إلا", "أما", "مع", "عليه",
+}
+
+
+def arabic_tokenize(text: str) -> List[str]:
+    """
+    Arabic tokenization used by BM25 + metadata index.
+    Removes diacritics, keeps Arabic letters/spaces, removes stopwords.
+    """
+    text = re.sub(r"[\u064B-\u065F\u0670]", "", text)      # strip tashkeel
+    text = re.sub(r"[^\u0600-\u06FF\s]", " ", text)        # keep Arabic only
+    tokens = text.split()
+    return [t for t in tokens if t not in _ARABIC_STOPWORDS and len(t) > 1]
+
+
+def convert_to_eastern_arabic(text: str) -> str:
+    """Converts 0123456789 to ٠١٢٣٤٥٦٧٨٩"""
+    western = "0123456789"
+    eastern = "٠١٢٣٤٥٦٧٨٩"
+    return text.translate(str.maketrans(western, eastern))
+

app_final.py

@@ -1,625 +0,0 @@
-# -*- coding: utf-8 -*-
-import os
-import sys
-import json
-from dotenv import load_dotenv
-import streamlit as st
-import logging
-import warnings
-
-# Suppress progress bars from transformers/tqdm
-os.environ['TRANSFORMERS_NO_PROGRESS_BAR'] = '1'
-warnings.filterwarnings('ignore')
-
-# 1. Loaders & Splitters
-from langchain_core.documents import Document
-from langchain_text_splitters import RecursiveCharacterTextSplitter
-from langchain_core.retrievers import BaseRetriever
-from langchain_core.callbacks import CallbackManagerForRetrieverRun
-from typing import List
-from rank_bm25 import BM25Okapi
-import numpy as np
-
-# 2. Vector Store & Embeddings
-from langchain_chroma import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-
-# 3. Reranker Imports
-from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
-from langchain_classic.retrievers import ContextualCompressionRetriever
-from langchain_community.cross_encoders import HuggingFaceCrossEncoder
-
-# 4. LLM
-from langchain_groq import ChatGroq
-from langchain_core.prompts import ChatPromptTemplate
-from langchain_core.output_parsers import StrOutputParser
-from langchain_core.runnables import RunnablePassthrough, RunnableParallel
-
-# Configure logging
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-load_dotenv()
-
-# ==========================================
-# 🎨 UI SETUP (CSS FOR ARABIC & RTL)
-# ==========================================
-st.set_page_config(page_title="المساعد القانوني", page_icon="⚖️")
-
-# This CSS block fixes the "001" number issue and right alignment
-st.markdown("""
-<style>
-    /* Force the main app container to be Right-to-Left */
-    .stApp {
-        direction: rtl;
-        text-align: right;
-    }
-    
-    /* Fix input fields to type from right */
-    .stTextInput input {
-        direction: rtl;
-        text-align: right;
-    }
-
-    /* Fix chat messages alignment */
-    .stChatMessage {
-        direction: rtl;
-        text-align: right;
-    }
-    
-    /* Ensure proper paragraph spacing */
-    .stMarkdown p {
-        margin: 0.5em 0 !important;
-        line-height: 1.6;
-        word-spacing: 0.1em;
-    }
-    
-    /* Ensure numbers display correctly in RTL */
-    p, div, span, label {
-        unicode-bidi: embed;
-        direction: inherit;
-        white-space: normal;
-        word-wrap: break-word;
-    }
-    
-    /* Force all content to respect RTL */
-    * {
-        direction: rtl !important;
-    }
-    
-    /* Preserve line breaks and spacing */
-    .stMarkdown pre {
-        direction: rtl;
-        text-align: right;
-        white-space: pre-wrap;
-        word-wrap: break-word;
-    }
-    
-    /* Hide the "Deploy" button and standard menu for cleaner look */
-    #MainMenu {visibility: hidden;}
-    footer {visibility: hidden;}
-    
-</style>
-""", unsafe_allow_html=True)
-
-# Put this at the top of your code
-def convert_to_eastern_arabic(text):
-    """Converts 0123456789 to ٠١٢٣٤٥٦٧٨٩"""
-    if not isinstance(text, str):
-        return text 
-    western_numerals = '0123456789'
-    eastern_numerals = '٠١٢٣٤٥٦٧٨٩'
-    translation_table = str.maketrans(western_numerals, eastern_numerals)
-    return text.translate(translation_table)
-
-st.title("⚖️ المساعد القانوني الذكي (دستور مصر)")
-
-# ==========================================
-# 🚀 CACHED RESOURCE LOADING (THE FIX)
-# ==========================================
-# This decorator tells Streamlit: "Run this ONCE and save the result."
-@st.cache_resource
-def initialize_rag_pipeline():
-    print("🔄 Initializing system...")
-    print("📥 Loading data...")
-    
-    # 1. Load JSON
-    json_path = "Egyptian_Constitution_legalnature_only.json"
-    if not os.path.exists(json_path):
-        raise FileNotFoundError(f"File not found: {json_path}")
-        
-    with open(json_path, "r", encoding="utf-8") as f:
-        data = json.load(f)
-
-    # Create a mapping of article numbers for cross-reference lookup
-    article_map = {str(item['article_number']): item for item in data}
-
-    docs = []
-    for item in data:
-        # Build cross-reference section
-        cross_ref_text = ""
-        if item.get('cross_references') and len(item['cross_references']) > 0:
-            cross_ref_text = "\nالمواد ذات الصلة (المراجع المتقاطعة): " + ", ".join(
-                [f"المادة {ref}" for ref in item['cross_references']]
-            )
-        
-        # Construct content
-        page_content = f"""
-        رقم المادة: {item['article_number']}
-        النص الأصلي: {item['original_text']}
-        الشرح المبسط: {item['simplified_summary']}{cross_ref_text}
-        """
-        metadata = {
-            "article_id": item['article_id'],
-            "article_number": str(item['article_number']),
-            "legal_nature": item['legal_nature'],
-            "keywords": ", ".join(item['keywords']),
-            "part": item.get('part (Bab)', ''),
-            "chapter": item.get('chapter (Fasl)', ''),
-            "cross_references": ", ".join([str(ref) for ref in item.get('cross_references', [])])  # Convert list to string
-        }
-        docs.append(Document(page_content=page_content, metadata=metadata))
-    
-    print(f"✅ Loaded {len(docs)} constitutional articles")
-
-    # 2. Embeddings
-    print("Loading embeddings model...")
-    embeddings = HuggingFaceEmbeddings(
-        model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1"
-    )
-    print("✅ Embeddings model ready")
-
-    # 3. No splitting - keep articles as complete units
-    chunks = docs
-
-    # 4. Vector Store
-    print("Building vector database...")
-    vectorstore = Chroma.from_documents(
-        chunks,
-        embeddings,
-        persist_directory="chroma_db"
-    )
-    base_retriever = vectorstore.as_retriever(search_kwargs={"k": 15})
-    print("✅ Vector database ready")
-
-    # 5. Create BM25 Keyword Retriever
-    class BM25Retriever(BaseRetriever):
-        """BM25-based keyword retriever for constitutional articles"""
-        corpus_docs: List[Document]
-        bm25: BM25Okapi = None
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def __init__(self, **data):
-            super().__init__(**data)
-            # Tokenize corpus for BM25
-            tokenized_corpus = [doc.page_content.split() for doc in self.corpus_docs]
-            self.bm25 = BM25Okapi(tokenized_corpus)
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Tokenize query
-            tokenized_query = query.split()
-            # Get BM25 scores
-            scores = self.bm25.get_scores(tokenized_query)
-            # Get top k indices
-            top_indices = np.argsort(scores)[::-1][:self.k]
-            # Return documents
-            return [self.corpus_docs[i] for i in top_indices if scores[i] > 0]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    bm25_retriever = BM25Retriever(corpus_docs=docs, k=15)
-    print("✅ BM25 keyword retriever ready")
-
-    # 6. Create Metadata Filter Retriever
-    class MetadataFilterRetriever(BaseRetriever):
-        """Metadata-based filtering retriever"""
-        corpus_docs: List[Document]
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            query_lower = query.lower()
-            scored_docs = []
-            
-            for doc in self.corpus_docs:
-                score = 0
-                # Match keywords
-                keywords = doc.metadata.get('keywords', '').lower()
-                if any(word in keywords for word in query_lower.split()):
-                    score += 3
-                
-                # Match legal nature
-                legal_nature = doc.metadata.get('legal_nature', '').lower()
-                if any(word in legal_nature for word in query_lower.split()):
-                    score += 2
-                
-                # Match part/chapter
-                part = doc.metadata.get('part', '').lower()
-                chapter = doc.metadata.get('chapter', '').lower()
-                if any(word in part or word in chapter for word in query_lower.split()):
-                    score += 1
-                
-                # Match in content
-                if any(word in doc.page_content.lower() for word in query_lower.split()):
-                    score += 1
-                
-                if score > 0:
-                    scored_docs.append((doc, score))
-            
-            # Sort by score and return top k
-            scored_docs.sort(key=lambda x: x[1], reverse=True)
-            return [doc for doc, _ in scored_docs[:self.k]]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs, k=15)
-    print("✅ Metadata filter retriever ready")
-
-    # 7. Create Hybrid RRF Retriever
-    class HybridRRFRetriever(BaseRetriever):
-        """Combines semantic, BM25, and metadata retrievers using Reciprocal Rank Fusion"""
-        semantic_retriever: BaseRetriever
-        bm25_retriever: BM25Retriever
-        metadata_retriever: MetadataFilterRetriever
-        beta_semantic: float = 0.6  # Weight for semantic search
-        beta_keyword: float = 0.2   # Weight for BM25 keyword search
-        beta_metadata: float = 0.2  # Weight for metadata filtering
-        k: int = 60  # RRF constant (typically 60)
-        top_k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Get results from all three retrievers
-            semantic_docs = self.semantic_retriever.invoke(query)
-            bm25_docs = self.bm25_retriever.invoke(query)
-            metadata_docs = self.metadata_retriever.invoke(query)
-            
-            # Apply Reciprocal Rank Fusion
-            rrf_scores = {}
-            
-            # Process semantic results
-            for rank, doc in enumerate(semantic_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_semantic / (self.k + rank)
-            
-            # Process BM25 results
-            for rank, doc in enumerate(bm25_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_keyword / (self.k + rank)
-            
-            # Process metadata results
-            for rank, doc in enumerate(metadata_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_metadata / (self.k + rank)
-            
-            # Create document lookup
-            all_docs = {}
-            for doc in semantic_docs + bm25_docs + metadata_docs:
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                if doc_id not in all_docs:
-                    all_docs[doc_id] = doc
-            
-            # Sort by RRF score
-            sorted_doc_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-            
-            # Return top k documents
-            result_docs = []
-            for doc_id, score in sorted_doc_ids[:self.top_k]:
-                if doc_id in all_docs:
-                    result_docs.append(all_docs[doc_id])
-            
-            return result_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    # Create hybrid retriever with tuned beta weights
-    hybrid_retriever = HybridRRFRetriever(
-        semantic_retriever=base_retriever,
-        bm25_retriever=bm25_retriever,
-        metadata_retriever=metadata_retriever,
-        beta_semantic=0.5,   # Semantic search gets highest weight (most reliable)
-        beta_keyword=0.3,    # BM25 keyword search (good for exact term matches)
-        beta_metadata=0.2,   # Metadata filtering (supporting role)
-        k=60,
-        top_k=20
-    )
-    print("✅ Hybrid RRF retriever ready with β weights: semantic=0.5, keyword=0.3, metadata=0.2")
-
-    # 8. Create Cross-Reference Enhanced Retriever
-    class CrossReferenceRetriever(BaseRetriever):
-        """Enhances retrieval by automatically fetching cross-referenced articles"""
-        base_retriever: BaseRetriever
-        article_map: dict
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Get initial results
-            initial_docs = self.base_retriever.invoke(query)
-            
-            # Collect all related article numbers
-            all_article_numbers = set()
-            for doc in initial_docs:
-                if 'article_number' in doc.metadata:
-                    all_article_numbers.add(doc.metadata['article_number'])
-                # Parse cross_references (now stored as comma-separated string)
-                cross_refs_str = doc.metadata.get('cross_references', '')
-                if cross_refs_str:
-                    cross_refs = [ref.strip() for ref in cross_refs_str.split(',')]
-                    for ref in cross_refs:
-                        if ref:  # Skip empty strings
-                            all_article_numbers.add(str(ref))
-            
-            # Build enhanced document list
-            enhanced_docs = []
-            seen_numbers = set()
-            
-            # Add initially retrieved documents
-            for doc in initial_docs:
-                enhanced_docs.append(doc)
-                seen_numbers.add(doc.metadata.get('article_number'))
-            
-            # Add cross-referenced articles not yet retrieved
-            for article_num in all_article_numbers:
-                if article_num not in seen_numbers and article_num in self.article_map:
-                    article_data = self.article_map[article_num]
-                    cross_ref_text = ""
-                    if article_data.get('cross_references'):
-                        cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join(
-                            [f"المادة {ref}" for ref in article_data['cross_references']]
-                        )
-                    
-                    page_content = f"""
-                    رقم المادة: {article_data['article_number']}
-                    النص الأصلي: {article_data['original_text']}
-                    الشرح المبسط: {article_data['simplified_summary']}{cross_ref_text}
-                    """
-                    
-                    enhanced_doc = Document(
-                        page_content=page_content,
-                        metadata={
-                            "article_id": article_data['article_id'],
-                            "article_number": str(article_data['article_number']),
-                            "legal_nature": article_data['legal_nature'],
-                            "keywords": ", ".join(article_data['keywords']),
-                            "cross_references": ", ".join([str(ref) for ref in article_data.get('cross_references', [])])
-                        }
-                    )
-                    enhanced_docs.append(enhanced_doc)
-                    seen_numbers.add(article_num)
-            
-            return enhanced_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    cross_ref_retriever = CrossReferenceRetriever(
-        base_retriever=hybrid_retriever,
-        article_map=article_map
-    )
-    print("✅ Cross-reference retriever ready (using hybrid RRF base)")
-
-    # 9. Reranker
-    print("Loading reranker model...")
-    local_model_path = r"D:\FOE\Senior 2\Graduation Project\Chatbot_me\reranker"
-    
-    if not os.path.exists(local_model_path):
-        raise FileNotFoundError(f"Reranker path not found: {local_model_path}")
-
-    model = HuggingFaceCrossEncoder(model_name=local_model_path)
-    compressor = CrossEncoderReranker(model=model, top_n=5)
-
-    compression_retriever = ContextualCompressionRetriever(
-        base_compressor=compressor,
-        base_retriever=cross_ref_retriever
-    )
-    print("✅ Reranker model ready")
-
-    # 7. LLM - Balanced for consistency with slight creativity
-    # 7. LLM Configuration
-    llm = ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0.3,       # Slightly increased to allow helpful general advice
-        model_kwargs={"top_p": 0.9}
-    )
-
-# ==================================================
-    # 🛠️ THE FIX: SEPARATE SYSTEM INSTRUCTIONS FROM USER INPUT
-    # ==================================================
-    
-# ==================================================
-    # 🧠 PROMPT ENGINEERING: DECISION TREE LOGIC
-    # ==================================================
-    
-    system_instructions = """
-    <role>
-    أنت "المساعد القانوني الذكي"، خبير متخصص في الدستور المصري والقوانين الإجرائية.
-    مهمتك: تقديم إجابات دقيقة بناءً على "السياق التشريعي" المرفق أولاً، أو تقديم نصائح إجرائية عامة عند الضرورة.
-    </role>
-
-    <decision_logic>
-    عليك تحليل "سؤال المستخدم" و"السياق التشريعي" وتصنيف الحالة واختيار الرد المناسب بناءً على القواعد التالية بدقة:
-
-    🔴 الحالة الأولى: (الإجابة موجودة في السياق التشريعي)
-    الشرط: إذا وجدت معلومات داخل "السياق التشريعي المتاح" تجيب على السؤال.
-    الفعل:
-    1. استخرج الإجابة من السياق فقط.
-    2. ابدأ الإجابة مباشرة دون مقدمات.
-    3. يجب توثيق الإجابة برقم المادة (مثال: "نصت المادة (50) على...").
-    4. توقف هنا. لا تضف أي معلومات خارجية.
-
-    🟡 الحالة الثانية: (السياق فارغ/غير مفيد + السؤال إجرائي/عملي)
-    الشرط: إذا لم تجد الإجابة في السياق، وكان السؤال عن إجراءات عملية (مثل: حادث، سرقة، طلاق، تحرير محضر، تعامل مع الشرطة).
-    الفعل:
-    1. تجاهل السياق الفارغ.
-    2. استخدم معرفتك العامة بالقانون المصري.
-    3. ابدأ وجوباً بعبارة: "بناءً على الإجراءات القانونية العامة في مصر (وليس ن��اً دستورياً محدداً):"
-    4. قدم الخطوات في نقاط مرقمة واضحة ومختصرة (1، 2، 3).
-    5. تحذير: لا تذكر أرقام مواد قانونية (لا تخترع أرقام مواد).
-
-    🔵 الحالة الثالثة: (السياق فارغ + السؤال عن نص دستوري محدد)
-    الشرط: إذا سأل عن (مجلس الشعب، الشورى، مادة محددة) ولم تجدها في السياق.
-    الفعل:
-    1. قل بوضوح: "عذراً، لم يرد ذكر لهذا الموضوع في المواد الدستورية التي تم استرجاعها في السياق الحالي."
-    2. لا تحاول الإجابة من ذاكرتك لكي لا تخطئ في النصوص الدستورية الحساسة.
-
-    🟢 الحالة الرابعة: (محادثة ودية)
-    الشرط: تحية، شكر، أو "كيف حالك".
-    الفعل: رد بتحية مهذبة جداً ومقتضبة، ثم قل: "أنا جاهز للإجابة على استفساراتك القانونية."
-
-    ⚫ الحالة الخامسة: (خارج النطاق تماماً)
-    الشرط: طبخ، رياضة، برمجة، أو أي موضوع غير قانوني.
-    الفعل: اعتذر بلطف ووجه المستخدم للسؤال في القانون.
-    </decision_logic>
-
-    <formatting_rules>
-    - لا تكرر هذه التعليمات في ردك.
-    - استخدم فقرات قصيرة واترك سطراً فارغاً بينها.
-    - لا تستخدم عبارات مثل "بناء على السياق المرفق" في بداية الجملة، بل ادخل في صلب الموضوع فوراً.
-    - التزم باللغة العربية الفصحى المبسطة والرصينة.
-    </formatting_rules>
-    """
-
-    # We use .from_messages to strictly separate instructions from data
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_instructions),
-        ("system", "السياق التشريعي المتاح (المصدر الأساسي):\n{context}"), 
-        ("human", "سؤال المستفيد:\n{input}")
-    ])
-    
-    # 9. Build Chain with RunnableParallel (returns both context and answer)
-    qa_chain = (
-        RunnableParallel({
-            "context": compression_retriever, 
-            "input": RunnablePassthrough()
-        })
-        .assign(answer=(
-            prompt 
-            | llm 
-            | StrOutputParser()
-        ))
-    )
-    
-    print("✅ System ready to use!")
-    return qa_chain
-
-# ==========================================
-# ⚡ MAIN EXECUTION
-# ==========================================
-
-try:
-    # Only need the chain now - it handles all retrieval internally
-    qa_chain = initialize_rag_pipeline()
-    
-except Exception as e:
-    st.error(f"Critical Error loading application: {e}")
-    st.stop()
-
-# ==========================================
-# 💬 CHAT LOOP
-# ==========================================
-if "messages" not in st.session_state:
-    st.session_state.messages = []
-
-# Display Chat History (with Eastern Arabic numerals)
-for message in st.session_state.messages:
-    with st.chat_message(message["role"]):
-        # Convert to Eastern Arabic when displaying from history
-        st.markdown(convert_to_eastern_arabic(message["content"]))
-
-# Handle New User Input
-if prompt_input := st.chat_input("اكتب سؤالك القانوني هنا..."):
-    # Show user message
-    st.session_state.messages.append({"role": "user", "content": prompt_input})
-    with st.chat_message("user"):
-        st.markdown(prompt_input)
-
-    # Generate Response
-    with st.chat_message("assistant"):
-        with st.spinner("جاري التحليل القانوني..."):
-            try:
-                # Invoke chain ONCE - returns Dict with 'context', 'input', and 'answer'
-                result = qa_chain.invoke(prompt_input)
-                
-                # Extract answer and context from result
-                response_text = result["answer"]
-                source_docs = result["context"]  # Context is already in the result!
-
-                # Display Answer
-                response_text_arabic = convert_to_eastern_arabic(response_text)
-                st.markdown(response_text_arabic)
-                
-                # Display Sources
-                if source_docs and len(source_docs) > 0:
-                    print(f"✅ Found {len(source_docs)} documents")
-                    # Deduplicate documents by article_number
-                    seen_articles = set()
-                    unique_docs = []
-                    
-                    for doc in source_docs:
-                        article_num = str(doc.metadata.get('article_number', '')).strip()
-                        if article_num and article_num not in seen_articles:
-                            seen_articles.add(article_num)
-                            unique_docs.append(doc)
-                    
-                    st.markdown("---")  # Separator before sources
-                    
-                    if unique_docs:
-                        with st.expander(f"📚 المصادر المستخدمة ({len(unique_docs)} مادة)"):
-                            st.markdown("### المواد الدستورية المستخدمة في التحليل:")
-                            st.markdown("---")
-                            
-                            for idx, doc in enumerate(unique_docs, 1):
-                                article_num = str(doc.metadata.get('article_number', '')).strip()
-                                legal_nature = doc.metadata.get('legal_nature', '')
-                                
-                                if article_num:
-                                    st.markdown(f"**المادة رقم {convert_to_eastern_arabic(article_num)}**")
-                                    if legal_nature:
-                                        st.markdown(f"*الطبيعة القانونية: {legal_nature}*")
-                                    
-                                    # Display article content
-                                    content_lines = doc.page_content.strip().split('\n')
-                                    for line in content_lines:
-                                        line = line.strip()
-                                        if line:
-                                            st.markdown(convert_to_eastern_arabic(line))
-                                    
-                                    st.markdown("---")
-                    else:
-                        st.info("📌 لم يتم العثور على مصادر")
-                else:
-                    st.info("📌 لم يتم العثور على مصادر")
-                
-                # Persist the raw answer to avoid double conversion glitches on rerun
-                st.session_state.messages.append({"role": "assistant", "content": response_text})
-            except Exception as e:
-                st.error(f"حدث خطأ: {e}")

app_final_pheonix.py

@@ -1,838 +0,0 @@
-# === Phoenix Observability Setup ===
-import os
-from datetime import datetime
-
-try:
-    # OpenTelemetry SDK + OTLP exporter (Phoenix consumes OTLP)
-    from opentelemetry import trace
-    from opentelemetry.sdk.resources import SERVICE_NAME, Resource
-    from opentelemetry.sdk.trace import TracerProvider
-    from opentelemetry.sdk.trace.export import BatchSpanProcessor
-    from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
-    PHOENIX_AVAILABLE = True
-except Exception:
-    PHOENIX_AVAILABLE = False
-
-
-def setup_phoenix_tracing():
-    """Configure OTLP tracing for Phoenix. Uses PHOENIX_OTLP_ENDPOINT env if set."""
-    if not PHOENIX_AVAILABLE:
-        return None
-
-    service_name = os.getenv("PHOENIX_SERVICE_NAME", "constitutional-assistant")
-    otlp_endpoint = os.getenv("PHOENIX_OTLP_ENDPOINT", "http://localhost:6006/v1/traces")
-
-    resource = Resource(attributes={SERVICE_NAME: service_name})
-    provider = TracerProvider(resource=resource)
-    exporter = OTLPSpanExporter(endpoint=otlp_endpoint)
-    span_processor = BatchSpanProcessor(exporter)
-    provider.add_span_processor(span_processor)
-    trace.set_tracer_provider(provider)
-    return trace.get_tracer(service_name)
-
-
-# Create a module-level tracer
-_phoenix_tracer = setup_phoenix_tracing()
-
-
-class PhoenixSpan:
-    """Context manager helper to create spans with proper parent-child hierarchy."""
-    def __init__(self, name: str, attributes: dict | None = None, kind: str = "INTERNAL"):
-        self.name = name
-        self.attributes = attributes or {}
-        self.kind = kind
-        self._span_context = None
-        self._span = None
-        self._start_time = None
-
-    def __enter__(self):
-        if _phoenix_tracer:
-            from opentelemetry.trace import SpanKind
-            import time
-            self._start_time = time.time()
-            
-            # Map string kind to SpanKind enum
-            kind_map = {
-                "CLIENT": SpanKind.CLIENT,
-                "SERVER": SpanKind.SERVER,
-                "INTERNAL": SpanKind.INTERNAL,
-            }
-            span_kind = kind_map.get(self.kind, SpanKind.INTERNAL)
-            
-            # Use start_as_current_span to establish parent-child relationships
-            self._span_context = _phoenix_tracer.start_as_current_span(
-                self.name,
-                kind=span_kind
-            )
-            self._span = self._span_context.__enter__()
-            for k, v in self.attributes.items():
-                try:
-                    self._span.set_attribute(k, v)
-                except Exception:
-                    pass
-        return self
-
-    def set_attr(self, key: str, value):
-        if self._span:
-            try:
-                self._span.set_attribute(key, value)
-            except Exception:
-                pass
-
-    def __exit__(self, exc_type, exc, tb):
-        if self._span_context:
-            try:
-                if exc_type:
-                    self._span.record_exception(exc)
-                    from opentelemetry.trace import Status, StatusCode
-                    self._span.set_status(Status(StatusCode.ERROR, str(exc)))
-                else:
-                    # Add duration as attribute
-                    if self._start_time:
-                        import time
-                        duration = time.time() - self._start_time
-                        self._span.set_attribute("duration_ms", round(duration * 1000, 2))
-                    from opentelemetry.trace import Status, StatusCode
-                    self._span.set_status(Status(StatusCode.OK))
-                self._span_context.__exit__(exc_type, exc, tb)
-            except Exception:
-                pass
-
-# -*- coding: utf-8 -*-
-import os
-import sys
-import json
-from dotenv import load_dotenv
-import streamlit as st
-import logging
-import warnings
-
-# Suppress progress bars from transformers/tqdm
-os.environ['TRANSFORMERS_NO_PROGRESS_BAR'] = '1'
-warnings.filterwarnings('ignore')
-
-# 1. Loaders & Splitters
-from langchain_core.documents import Document
-from langchain_text_splitters import RecursiveCharacterTextSplitter
-from langchain_core.retrievers import BaseRetriever
-from langchain_core.callbacks import CallbackManagerForRetrieverRun
-from typing import List
-from rank_bm25 import BM25Okapi
-import numpy as np
-
-# 2. Vector Store & Embeddings
-from langchain_chroma import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-
-# 3. Reranker Imports
-from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
-from langchain_classic.retrievers import ContextualCompressionRetriever
-from langchain_community.cross_encoders import HuggingFaceCrossEncoder
-
-# 4. LLM
-from langchain_groq import ChatGroq
-from langchain_core.prompts import ChatPromptTemplate
-from langchain_core.output_parsers import StrOutputParser
-from langchain_core.runnables import RunnablePassthrough, RunnableParallel
-
-# Configure logging
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-load_dotenv()
-
-# ==========================================
-# 🎨 UI SETUP (CSS FOR ARABIC & RTL)
-# ==========================================
-st.set_page_config(page_title="المساعد القانوني", page_icon="⚖️")
-
-# This CSS block fixes the "001" number issue and right alignment
-st.markdown("""
-<style>
-    /* Force the main app container to be Right-to-Left */
-    .stApp {
-        direction: rtl;
-        text-align: right;
-    }
-    
-    /* Fix input fields to type from right */
-    .stTextInput input {
-        direction: rtl;
-        text-align: right;
-    }
-
-    /* Fix chat messages alignment */
-    .stChatMessage {
-        direction: rtl;
-        text-align: right;
-    }
-    
-    /* Ensure proper paragraph spacing */
-    .stMarkdown p {
-        margin: 0.5em 0 !important;
-        line-height: 1.6;
-        word-spacing: 0.1em;
-    }
-    
-    /* Ensure numbers display correctly in RTL */
-    p, div, span, label {
-        unicode-bidi: embed;
-        direction: inherit;
-        white-space: normal;
-        word-wrap: break-word;
-    }
-    
-    /* Force all content to respect RTL */
-    * {
-        direction: rtl !important;
-    }
-    
-    /* Preserve line breaks and spacing */
-    .stMarkdown pre {
-        direction: rtl;
-        text-align: right;
-        white-space: pre-wrap;
-        word-wrap: break-word;
-    }
-    
-    /* Hide the "Deploy" button and standard menu for cleaner look */
-    #MainMenu {visibility: hidden;}
-    footer {visibility: hidden;}
-    
-</style>
-""", unsafe_allow_html=True)
-
-# Put this at the top of your code
-def convert_to_eastern_arabic(text):
-    """Converts 0123456789 to ٠١٢٣٤٥٦٧٨٩"""
-    if not isinstance(text, str):
-        return text 
-    western_numerals = '0123456789'
-    eastern_numerals = '٠١٢٣٤٥٦٧٨٩'
-    translation_table = str.maketrans(western_numerals, eastern_numerals)
-    return text.translate(translation_table)
-
-st.title("⚖️ المساعد القانوني الذكي (دستور مصر)")
-
-# ==========================================
-# 🚀 CACHED RESOURCE LOADING (THE FIX)
-# ==========================================
-# This decorator tells Streamlit: "Run this ONCE and save the result."
-@st.cache_resource
-def initialize_rag_pipeline():
-    print("🔄 Initializing system...")
-    print("📥 Loading data...")
-    
-    # 1. Load JSON
-    json_path = "Egyptian_Constitution_legalnature_only.json"
-    if not os.path.exists(json_path):
-        raise FileNotFoundError(f"File not found: {json_path}")
-        
-    with open(json_path, "r", encoding="utf-8") as f:
-        data = json.load(f)
-
-    # Create a mapping of article numbers for cross-reference lookup
-    article_map = {str(item['article_number']): item for item in data}
-
-    docs = []
-    for item in data:
-        # Build cross-reference section
-        cross_ref_text = ""
-        if item.get('cross_references') and len(item['cross_references']) > 0:
-            cross_ref_text = "\nالمواد ذات الصلة (المراجع المتقاطعة): " + ", ".join(
-                [f"المادة {ref}" for ref in item['cross_references']]
-            )
-        
-        # Construct content
-        page_content = f"""
-        رقم المادة: {item['article_number']}
-        النص الأصلي: {item['original_text']}
-        الشرح المبسط: {item['simplified_summary']}{cross_ref_text}
-        """
-        metadata = {
-            "article_id": item['article_id'],
-            "article_number": str(item['article_number']),
-            "legal_nature": item['legal_nature'],
-            "keywords": ", ".join(item['keywords']),
-            "part": item.get('part (Bab)', ''),
-            "chapter": item.get('chapter (Fasl)', ''),
-            "cross_references": ", ".join([str(ref) for ref in item.get('cross_references', [])])  # Convert list to string
-        }
-        docs.append(Document(page_content=page_content, metadata=metadata))
-    
-    print(f"✅ Loaded {len(docs)} constitutional articles")
-
-    # 2. Embeddings
-    print("Loading embeddings model...")
-    embeddings = HuggingFaceEmbeddings(
-        model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1"
-    )
-    print("✅ Embeddings model ready")
-
-    # 3. No splitting - keep articles as complete units
-    chunks = docs
-
-    # 4. Vector Store
-    print("Building vector database...")
-    vectorstore = Chroma.from_documents(
-        chunks,
-        embeddings,
-        persist_directory="chroma_db"
-    )
-    base_retriever = vectorstore.as_retriever(search_kwargs={"k": 15})
-    print("✅ Vector database ready")
-
-    # 5. Create BM25 Keyword Retriever
-    class BM25Retriever(BaseRetriever):
-        """BM25-based keyword retriever for constitutional articles"""
-        corpus_docs: List[Document]
-        bm25: BM25Okapi = None
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def __init__(self, **data):
-            super().__init__(**data)
-            # Tokenize corpus for BM25
-            tokenized_corpus = [doc.page_content.split() for doc in self.corpus_docs]
-            self.bm25 = BM25Okapi(tokenized_corpus)
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Tokenize query
-            tokenized_query = query.split()
-            # Get BM25 scores
-            scores = self.bm25.get_scores(tokenized_query)
-            # Get top k indices
-            top_indices = np.argsort(scores)[::-1][:self.k]
-            # Return documents
-            return [self.corpus_docs[i] for i in top_indices if scores[i] > 0]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    bm25_retriever = BM25Retriever(corpus_docs=docs, k=15)
-    print("✅ BM25 keyword retriever ready")
-
-    # 6. Create Metadata Filter Retriever
-    class MetadataFilterRetriever(BaseRetriever):
-        """Metadata-based filtering retriever"""
-        corpus_docs: List[Document]
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            query_lower = query.lower()
-            scored_docs = []
-            
-            for doc in self.corpus_docs:
-                score = 0
-                # Match keywords (boosted)
-                keywords = doc.metadata.get('keywords', '').lower()
-                if any(word in keywords for word in query_lower.split()):
-                    score += 4
-                
-                # Match legal nature (boosted)
-                legal_nature = doc.metadata.get('legal_nature', '').lower()
-                if any(word in legal_nature for word in query_lower.split()):
-                    score += 3
-                
-                # Match part/chapter
-                part = doc.metadata.get('part', '').lower()
-                chapter = doc.metadata.get('chapter', '').lower()
-                if any(word in part or word in chapter for word in query_lower.split()):
-                    score += 1
-                
-                # Match in content
-                if any(word in doc.page_content.lower() for word in query_lower.split()):
-                    score += 1
-                
-                if score > 0:
-                    scored_docs.append((doc, score))
-            
-            # Sort by score and return top k
-            scored_docs.sort(key=lambda x: x[1], reverse=True)
-            return [doc for doc, _ in scored_docs[:self.k]]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs, k=15)
-    print("✅ Metadata filter retriever ready")
-
-    # 7. Create Hybrid RRF Retriever
-    class HybridRRFRetriever(BaseRetriever):
-        """Combines semantic, BM25, and metadata retrievers using Reciprocal Rank Fusion"""
-        semantic_retriever: BaseRetriever
-        bm25_retriever: BM25Retriever
-        metadata_retriever: MetadataFilterRetriever
-        beta_semantic: float = 0.6  # Weight for semantic search
-        beta_keyword: float = 0.25  # Weight for BM25 keyword search
-        beta_metadata: float = 0.15 # Weight for metadata filtering
-        k: int = 60  # RRF constant (typically 60)
-        top_k: int = 25
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Get results from all three retrievers (no separate spans - details logged in hybrid_retrieval span)
-            semantic_docs = self.semantic_retriever.invoke(query)
-            bm25_docs = self.bm25_retriever.invoke(query)
-            metadata_docs = self.metadata_retriever.invoke(query)
-            
-            # Apply Reciprocal Rank Fusion
-            rrf_scores = {}
-            
-            # Process semantic results
-            for rank, doc in enumerate(semantic_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_semantic / (self.k + rank)
-            
-            # Process BM25 results
-            for rank, doc in enumerate(bm25_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_keyword / (self.k + rank)
-            
-            # Process metadata results
-            for rank, doc in enumerate(metadata_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_metadata / (self.k + rank)
-            
-            # Create document lookup
-            all_docs = {}
-            for doc in semantic_docs + bm25_docs + metadata_docs:
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                if doc_id not in all_docs:
-                    all_docs[doc_id] = doc
-            
-            # Sort by RRF score
-            sorted_doc_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-            
-            # Return top k documents
-            result_docs = []
-            for doc_id, score in sorted_doc_ids[:self.top_k]:
-                if doc_id in all_docs:
-                    result_docs.append(all_docs[doc_id])
-            
-            # Log all retrieval details in one place (no nested spans to avoid hierarchy issues)
-            try:
-                with PhoenixSpan("hybrid_retrieval", {
-                    "query": query[:200],
-                    "beta_semantic": self.beta_semantic,
-                    "beta_keyword": self.beta_keyword,
-                    "beta_metadata": self.beta_metadata,
-                    "rrf_k_constant": self.k,
-                    "top_k_limit": self.top_k
-                }, kind="INTERNAL") as fusion_span:
-                    # Semantic retrieval details
-                    fusion_span.set_attr("semantic_input_count", len(semantic_docs))
-                    if semantic_docs:
-                        fusion_span.set_attr("semantic_top_5", ", ".join([d.metadata.get('article_number', 'N/A') for d in semantic_docs[:5]]))
-                    
-                    # BM25 retrieval details
-                    fusion_span.set_attr("bm25_input_count", len(bm25_docs))
-                    if bm25_docs:
-                        fusion_span.set_attr("bm25_top_5", ", ".join([d.metadata.get('article_number', 'N/A') for d in bm25_docs[:5]]))
-                    
-                    # Metadata retrieval details
-                    fusion_span.set_attr("metadata_input_count", len(metadata_docs))
-                    if metadata_docs:
-                        fusion_span.set_attr("metadata_top_5", ", ".join([d.metadata.get('article_number', 'N/A') for d in metadata_docs[:5]]))
-                    
-                    # Fusion results
-                    fusion_span.set_attr("unique_docs_before_fusion", len(all_docs))
-                    fusion_span.set_attr("final_doc_count", len(result_docs))
-                    if result_docs:
-                        top_article_nums = [d.metadata.get('article_number', 'N/A') for d in result_docs[:10]]
-                        fusion_span.set_attr("fused_top_10_articles", ", ".join(map(str, top_article_nums)))
-                        # Show top 5 RRF scores
-                        top_scores = [(doc_id, f"{score:.4f}") for doc_id, score in sorted_doc_ids[:5]]
-                        fusion_span.set_attr("top_5_rrf_scores", str(top_scores))
-                        fusion_span.set_attr("top_doc_preview", result_docs[0].page_content[:300])
-            except Exception:
-                pass
-            
-            return result_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    # Create hybrid retriever with tuned beta weights
-    hybrid_retriever = HybridRRFRetriever(
-        semantic_retriever=base_retriever,
-        bm25_retriever=bm25_retriever,
-        metadata_retriever=metadata_retriever,
-        beta_semantic=0.6,   # Semantic search gets highest weight (most reliable)
-        beta_keyword=0.25,   # BM25 keyword search (good for exact term matches)
-        beta_metadata=0.15,  # Metadata filtering (supporting role)
-        k=60,
-        top_k=25
-    )
-    print("✅ Hybrid RRF retriever ready with β weights: semantic=0.6, keyword=0.25, metadata=0.15, top_k=25")
-
-    # 8. Create Cross-Reference Enhanced Retriever
-    class CrossReferenceRetriever(BaseRetriever):
-        """Enhances retrieval by automatically fetching cross-referenced articles"""
-        base_retriever: BaseRetriever
-        article_map: dict
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            with PhoenixSpan("cross_reference_expansion", {"query": query[:200]}, kind="INTERNAL") as xref_span:
-                # Get initial results
-                initial_docs = self.base_retriever.invoke(query)
-                xref_span.set_attr("initial_doc_count", len(initial_docs))
-                
-                # Collect all related article numbers
-                all_article_numbers = set()
-                for doc in initial_docs:
-                    if 'article_number' in doc.metadata:
-                        all_article_numbers.add(doc.metadata['article_number'])
-                    # Parse cross_references (now stored as comma-separated string)
-                    cross_refs_str = doc.metadata.get('cross_references', '')
-                    if cross_refs_str:
-                        cross_refs = [ref.strip() for ref in cross_refs_str.split(',')]
-                        for ref in cross_refs:
-                            if ref:  # Skip empty strings
-                                all_article_numbers.add(str(ref))
-                
-                # Build enhanced document list
-                enhanced_docs = []
-                seen_numbers = set()
-                
-                # Add initially retrieved documents
-                for doc in initial_docs:
-                    enhanced_docs.append(doc)
-                    seen_numbers.add(doc.metadata.get('article_number'))
-                
-                # Add cross-referenced articles not yet retrieved
-                for article_num in all_article_numbers:
-                    if article_num not in seen_numbers and article_num in self.article_map:
-                        article_data = self.article_map[article_num]
-                        cross_ref_text = ""
-                        if article_data.get('cross_references'):
-                            cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join(
-                                [f"المادة {ref}" for ref in article_data['cross_references']]
-                            )
-                        
-                        page_content = f"""
-                        رقم المادة: {article_data['article_number']}
-                        النص الأصلي: {article_data['original_text']}
-                        الشرح المبسط: {article_data['simplified_summary']}{cross_ref_text}
-                        """
-                        
-                        enhanced_doc = Document(
-                            page_content=page_content,
-                            metadata={
-                                "article_id": article_data['article_id'],
-                                "article_number": str(article_data['article_number']),
-                                "legal_nature": article_data['legal_nature'],
-                                "keywords": ", ".join(article_data['keywords']),
-                                "cross_references": ", ".join([str(ref) for ref in article_data.get('cross_references', [])])
-                            }
-                        )
-                        enhanced_docs.append(enhanced_doc)
-                        seen_numbers.add(article_num)
-                
-                # Record expansion stats (OUTSIDE the loop, at the end)
-                expanded_articles = [doc.metadata.get('article_number') for doc in enhanced_docs if doc not in initial_docs]
-                xref_span.set_attr("cross_refs_added", len(expanded_articles))
-                xref_span.set_attr("final_doc_count", len(enhanced_docs))
-                if expanded_articles:
-                    xref_span.set_attr("expanded_article_numbers", ", ".join(map(str, expanded_articles[:15])))
-                
-                return enhanced_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    cross_ref_retriever = CrossReferenceRetriever(
-        base_retriever=hybrid_retriever,
-        article_map=article_map
-    )
-    print("✅ Cross-reference retriever ready (using hybrid RRF base)")
-
-    # 9. Reranker
-    print("Loading reranker model...")
-    local_model_path = r"D:\FOE\Senior 2\Graduation Project\Chatbot_me\reranker"
-    
-    if not os.path.exists(local_model_path):
-        raise FileNotFoundError(f"Reranker path not found: {local_model_path}")
-
-    model = HuggingFaceCrossEncoder(model_name=local_model_path)
-    compressor = CrossEncoderReranker(model=model, top_n=10)
-
-    # Wrap compression retriever to add Phoenix spans
-    class InstrumentedCompressionRetriever(BaseRetriever):
-        base_retriever: ContextualCompressionRetriever
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            with PhoenixSpan("reranker_compression", {
-                "query": query[:200],
-                "model": "HuggingFaceCrossEncoder",
-                "top_n": 10
-            }, kind="INTERNAL") as rerank_span:
-                # Apply reranking (this will call cross_ref_retriever internally)
-                reranked_docs = self.base_retriever.invoke(query)
-                
-                rerank_span.set_attr("output_doc_count", len(reranked_docs))
-                if reranked_docs:
-                    output_articles = [d.metadata.get('article_number', 'N/A') for d in reranked_docs]
-                    rerank_span.set_attr("reranked_articles", ", ".join(map(str, output_articles)))
-                    rerank_span.set_attr("top_doc_preview", reranked_docs[0].page_content[:400] if reranked_docs else "")
-                
-                return reranked_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    base_compression_retriever = ContextualCompressionRetriever(
-        base_compressor=compressor,
-        base_retriever=cross_ref_retriever
-    )
-    compression_retriever = InstrumentedCompressionRetriever(base_retriever=base_compression_retriever)
-    print("✅ Reranker model ready")
-
-    # 7. LLM - More deterministic for relevance
-    # 7. LLM Configuration
-    llm = ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0.1,
-        model_kwargs={"top_p": 0.9}
-    )
-
-# ==================================================
-    # 🛠️ THE FIX: SEPARATE SYSTEM INSTRUCTIONS FROM USER INPUT
-    # ==================================================
-    
-# ==================================================
-    # 🧠 PROMPT ENGINEERING: DECISION TREE LOGIC
-    # ==================================================
-    
-    system_instructions = """
-    <role>
-    أنت "المساعد القانوني الذكي"، خبير متخصص في الدستور المصري والقوانين الإجرائية.
-    مهمتك: تقديم إجابات دقيقة بناءً على "السياق التشريعي" المرفق أولاً، أو تقديم نصائح إجرائية عامة عند الضرورة.
-    </role>
-
-    <decision_logic>
-    عليك تحليل "سؤال المستخدم" و"السياق التشريعي" وتصنيف الحالة واختيار الرد المناسب بناءً على القواعد التالية بدقة:
-
-    🔴 الحالة الأولى: (الإجابة موجودة في السياق التشريعي)
-    الشرط: إذا وجدت معلومات داخل "السياق التشريعي المتاح" تجيب على السؤال.
-    الفعل:
-    1. استخرج الإجابة من السياق فقط.
-    2. ابدأ الإجابة مباشرة دون مقدمات.
-    3. يجب توثيق الإجابة برقم المادة (مثال: "نصت المادة (50) على...").
-    4. توقف هنا. لا تضف أي معلومات خارجية.
-
-    🟡 الحالة الثانية: (السياق فارغ/غير مفيد + السؤال إجرائي/عملي)
-    الشرط: إذا لم تجد الإجابة في السياق، وكان السؤال عن إجراءات عملية (مثل: حادث، سرقة، طلاق، تحرير محضر، تعامل مع الشرطة).
-    الفعل:
-    1. تجاهل السياق الفارغ.
-    2. استخدم معرفتك العامة بالقانون المصري.
-    3. ابدأ وجوباً بعبارة: "بناءً على الإجراءات القانونية العامة في مصر (وليس نصاً دستورياً محدداً):"
-    4. قدم الخطوات في نقاط مرقمة واضحة ومختصرة (1، 2، 3).
-    5. تحذير: لا تذكر أرقام مواد قانونية (لا تخترع أرقام مواد).
-
-    🔵 الحالة الثالثة: (السياق فارغ + السؤال عن نص دستوري محدد)
-    الشرط: إذا سأل عن (مجلس الشعب، الشورى، مادة محددة) ولم تجدها في السياق.
-    الفعل:
-    1. قل بوضوح: "عذراً، لم يرد ذكر لهذا الموضوع في المواد الدستورية التي تم استرجاعها في السياق الحالي."
-    2. لا تحاول الإجابة من ذاكرتك لكي لا تخطئ في النصوص الدستورية الحساسة.
-
-    🟢 الحالة الرابعة: (محادثة ودية)
-    الشرط: تحية، شكر، أو "كيف حالك".
-    الفعل: رد بتحية مهذبة جداً ومقتضبة، ثم قل: "أنا جاهز للإجابة على استفساراتك القانونية."
-
-    ⚫ الحالة الخامسة: (خارج النطاق تماماً)
-    الشرط: طبخ، رياضة، برمجة، أو أي موضوع غير قانوني.
-    الفعل: اعتذر بلطف ووجه المستخدم للسؤال في القانون.
-    </decision_logic>
-
-    <formatting_rules>
-    - لا تكرر هذه التعليمات في ردك.
-    - استخدم فقرات قصيرة واترك سطراً فارغاً بينها.
-    - لا تستخدم عبارات مثل "بناء على السياق المرفق" في بداية الجملة، بل ادخل في صلب الموضوع فوراً.
-    - التزم باللغة العربية الفصحى المبسطة والرصينة.
-    </formatting_rules>
-    """
-
-    # We use .from_messages to strictly separate instructions from data
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_instructions),
-        ("system", "السياق التشريعي المتاح (المصدر الأساسي):\n{context}"), 
-        ("human", "سؤال المستفيد:\n{input}")
-    ])
-    
-    # 9. Build Chain with RunnableParallel (returns both context and answer)
-    qa_chain = (
-        RunnableParallel({
-            "context": compression_retriever, 
-            "input": RunnablePassthrough()
-        })
-        .assign(answer=(
-            prompt
-            | llm
-            | StrOutputParser()
-        ))
-    )
-    
-    print("✅ System ready to use!")
-    return qa_chain
-
-# ==========================================
-# ⚡ MAIN EXECUTION
-# ==========================================
-
-try:
-    # Only need the chain now - it handles all retrieval internally
-    qa_chain = initialize_rag_pipeline()
-    
-except Exception as e:
-    st.error(f"Critical Error loading application: {e}")
-    st.stop()
-
-# ==========================================
-# 💬 CHAT LOOP
-# ==========================================
-if "messages" not in st.session_state:
-    st.session_state.messages = []
-
-# Display Chat History (with Eastern Arabic numerals)
-for message in st.session_state.messages:
-    with st.chat_message(message["role"]):
-        # Convert to Eastern Arabic when displaying from history
-        st.markdown(convert_to_eastern_arabic(message["content"]))
-
-# Handle New User Input
-if prompt_input := st.chat_input("اكتب سؤالك القانوني هنا..."):
-    # Show user message
-    st.session_state.messages.append({"role": "user", "content": prompt_input})
-    with st.chat_message("user"):
-        st.markdown(prompt_input)
-
-    # Generate Response
-    with st.chat_message("assistant"):
-        with st.spinner("جاري التحليل القانوني..."):
-            try:
-                # Invoke chain ONCE - returns Dict with 'context', 'input', and 'answer'
-                with PhoenixSpan("chat_request", {
-                    "question": prompt_input,
-                    "question_len": len(prompt_input or ""),
-                    "timestamp": datetime.utcnow().isoformat(),
-                }, kind="SERVER") as span:
-                    result = qa_chain.invoke(prompt_input)
-                    
-                    # Extract answer and context from result
-                    response_text = result["answer"]
-                    source_docs = result["context"]
-                    
-                    # Attach detailed context attributes
-                    try:
-                        ctx_list = result.get("context", []) or []
-                        ctx_count = len(ctx_list)
-                        span.set_attr("context_count", ctx_count)
-                        if ctx_count:
-                            # Record all article numbers
-                            article_nums = [doc.metadata.get("article_number", "N/A") for doc in ctx_list]
-                            span.set_attr("context_articles", ", ".join(map(str, article_nums)))
-                            # Record legal natures
-                            legal_natures = [doc.metadata.get("legal_nature", "N/A") for doc in ctx_list]
-                            span.set_attr("legal_natures", ", ".join(legal_natures[:5]))
-                            # Add context preview (first doc)
-                            span.set_attr("context_preview", ctx_list[0].page_content[:500])
-                    except Exception:
-                        pass
-                    
-                    # Log LLM generation as a nested span (properly nested under chat_request)
-                    with PhoenixSpan("llm_generation", {
-                        "model": "llama-3.1-8b-instant",
-                        "temperature": 0.1,
-                        "top_p": 0.9,
-                        "prompt_preview": prompt_input[:300]
-                    }, kind="CLIENT") as llm_span:
-                        llm_span.set_attr("response", response_text)
-                        llm_span.set_attr("response_len", len(response_text))
-                        llm_span.set_attr("response_preview", response_text[:500])
-                        llm_span.set_attr("context_docs_used", len(source_docs))
-
-                # Display Answer
-                response_text_arabic = convert_to_eastern_arabic(response_text)
-                st.markdown(response_text_arabic)
-                
-                # Display Sources
-                if source_docs and len(source_docs) > 0:
-                    print(f"✅ Found {len(source_docs)} documents")
-                    # Deduplicate documents by article_number
-                    seen_articles = set()
-                    unique_docs = []
-                    
-                    for doc in source_docs:
-                        article_num = str(doc.metadata.get('article_number', '')).strip()
-                        if article_num and article_num not in seen_articles:
-                            seen_articles.add(article_num)
-                            unique_docs.append(doc)
-                    
-                    st.markdown("---")  # Separator before sources
-                    
-                    if unique_docs:
-                        with st.expander(f"📚 المصادر المستخدمة ({len(unique_docs)} مادة)"):
-                            st.markdown("### المواد الدستورية المستخدمة في التحليل:")
-                            st.markdown("---")
-                            
-                            for idx, doc in enumerate(unique_docs, 1):
-                                article_num = str(doc.metadata.get('article_number', '')).strip()
-                                legal_nature = doc.metadata.get('legal_nature', '')
-                                
-                                if article_num:
-                                    st.markdown(f"**المادة رقم {convert_to_eastern_arabic(article_num)}**")
-                                    if legal_nature:
-                                        st.markdown(f"*الطبيعة القانونية: {legal_nature}*")
-                                    
-                                    # Display article content
-                                    content_lines = doc.page_content.strip().split('\n')
-                                    for line in content_lines:
-                                        line = line.strip()
-                                        if line:
-                                            st.markdown(convert_to_eastern_arabic(line))
-                                    
-                                    st.markdown("---")
-                    else:
-                        st.info("📌 لم يتم العثور على مصادر")
-                else:
-                    st.info("📌 لم يتم العثور على مصادر")
-                
-                # Persist the raw answer to avoid double conversion glitches on rerun
-                st.session_state.messages.append({"role": "assistant", "content": response_text})
-            except Exception as e:
-                st.error(f"حدث خطأ: {e}")

app_final_updated.py

@@ -1,704 +0,0 @@
-# -*- coding: utf-8 -*-
-import os
-import sys
-import json
-from dotenv import load_dotenv
-import logging
-import warnings
-
-# Suppress progress bars from transformers/tqdm
-os.environ['TRANSFORMERS_NO_PROGRESS_BAR'] = '1'
-warnings.filterwarnings('ignore')
-
-# 1. Loaders & Splitters
-from langchain_core.documents import Document
-#from langchain_text_splitters import RecursiveCharacterTextSplitter
-from langchain_core.retrievers import BaseRetriever
-from langchain_core.callbacks import CallbackManagerForRetrieverRun
-from typing import List
-from rank_bm25 import BM25Okapi
-import numpy as np
-
-# 2. Vector Store & Embeddings
-from langchain_chroma import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-
-# 3. Reranker Imports
-from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
-from langchain_classic.retrievers import ContextualCompressionRetriever
-from langchain_community.cross_encoders import HuggingFaceCrossEncoder
-
-# 4. LLM
-from langchain_groq import ChatGroq
-from langchain_core.prompts import ChatPromptTemplate
-from langchain_core.output_parsers import StrOutputParser
-from langchain_core.runnables import RunnablePassthrough, RunnableParallel
-
-# Configure logging
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-load_dotenv()
-
-# ==========================================
-# 🧭 RUNTIME MODE (UI vs CLI)
-# ==========================================
-RUN_MODE = os.getenv("RUN_MODE", "").strip().lower()
-IS_CLI = RUN_MODE in {"cli", "terminal", "eval", "evaluation"}
-
-if IS_CLI:
-    class _DummyStreamlit:
-        @staticmethod
-        def cache_resource(func=None, **_kwargs):
-            if func is None:
-                def decorator(f):
-                    return f
-                return decorator
-            return func
-
-    st = _DummyStreamlit()
-else:
-    import streamlit as st
-
-# ==========================================
-# 📁 PATHS (use project-relative folders)
-# ==========================================
-BASE_DIR = os.path.dirname(os.path.abspath(__file__))
-DATA_DIR = os.path.join(BASE_DIR, "data")
-CHROMA_DIR = os.path.join(BASE_DIR, "chroma_db")
-
-if not IS_CLI:
-    # ==========================================
-    # 🎨 UI SETUP (CSS FOR ARABIC & RTL)
-    # ==========================================
-    st.set_page_config(page_title="المساعد القانوني", page_icon="⚖️")
-
-    # This CSS block fixes the "001" number issue and right alignment
-    st.markdown("""
-    <style>
-        /* Force the main app container to be Right-to-Left */
-        .stApp {
-            direction: rtl;
-            text-align: right;
-        }
-        
-        /* Fix input fields to type from right */
-        .stTextInput input {
-            direction: rtl;
-            text-align: right;
-        }
-
-        /* Fix chat messages alignment */
-        .stChatMessage {
-            direction: rtl;
-            text-align: right;
-        }
-        
-        /* Ensure proper paragraph spacing */
-        .stMarkdown p {
-            margin: 0.5em 0 !important;
-            line-height: 1.6;
-            word-spacing: 0.1em;
-        }
-        
-        /* Ensure numbers display correctly in RTL */
-        p, div, span, label {
-            unicode-bidi: embed;
-            direction: inherit;
-            white-space: normal;
-            word-wrap: break-word;
-        }
-        
-        /* Force all content to respect RTL */
-        * {
-            direction: rtl !important;
-        }
-        
-        /* Preserve line breaks and spacing */
-        .stMarkdown pre {
-            direction: rtl;
-            text-align: right;
-            white-space: pre-wrap;
-            word-wrap: break-word;
-        }
-        
-        /* Hide the "Deploy" button and standard menu for cleaner look */
-        #MainMenu {visibility: hidden;}
-        footer {visibility: hidden;}
-        
-    </style>
-    """, unsafe_allow_html=True)
-
-# Put this at the top of your code
-def convert_to_eastern_arabic(text):
-    """Converts 0123456789 to ٠١٢٣٤٥٦٧٨٩"""
-    if not isinstance(text, str):
-        return text 
-    western_numerals = '0123456789'
-    eastern_numerals = '٠١٢٣٤٥٦٧٨٩'
-    translation_table = str.maketrans(western_numerals, eastern_numerals)
-    return text.translate(translation_table)
-
-if not IS_CLI:
-    st.title("⚖️ المساعد القانوني الذكي (دستور مصر)")
-
-# ==========================================
-# 🚀 CACHED RESOURCE LOADING (THE FIX)
-# ==========================================
-# This decorator tells Streamlit: "Run this ONCE and save the result."
-@st.cache_resource
-def initialize_rag_pipeline():
-    print("🔄 Initializing system...")
-    print("📥 Loading data...")
-    # 1. Load JSONs from ./data (supports multiple files)
-    def load_json_folder(folder_path: str):
-        all_items = []
-        for filename in os.listdir(folder_path):
-            if not filename.lower().endswith(".json"):
-                continue
-            file_path = os.path.join(folder_path, filename)
-            with open(file_path, "r", encoding="utf-8") as f:
-                obj = json.load(f)
-
-            # Support: list of articles, or dict with 'data'/'articles', or single dict article
-            if isinstance(obj, list):
-                all_items.extend(obj)
-            elif isinstance(obj, dict):
-                if "data" in obj and isinstance(obj["data"], list):
-                    all_items.extend(obj["data"])
-                elif "articles" in obj and isinstance(obj["articles"], list):
-                    all_items.extend(obj["articles"])
-                else:
-                    all_items.append(obj)
-            else:
-                logger.warning(f"Unsupported JSON format in: {file_path}")
-        return all_items
-
-    if not os.path.exists(DATA_DIR):
-        raise FileNotFoundError(f"Data folder not found: {DATA_DIR}")
-
-    data = load_json_folder(DATA_DIR)
-
-    # Optional: de-duplicate (article_id preferred, fallback to article_number)
-    unique = {}
-    for item in data:
-        key = str(item.get("article_id") or item.get("article_number") or hash(json.dumps(item, ensure_ascii=False)))
-        unique[key] = item
-    data = list(unique.values())
-
-    # Create a mapping of article numbers for cross-reference lookup
-    article_map = {str(item['article_number']): item for item in data if 'article_number' in item}
-
-    docs = []
-    for item in data:
-        article_number = item.get("article_number")
-        original_text = item.get("original_text")
-        simplified_summary = item.get("simplified_summary")
-
-        if not article_number or not original_text or not simplified_summary:
-            logger.warning("Skipping item with missing fields (article_number/original_text/simplified_summary)")
-            continue
-
-        cross_refs = item.get("cross_references")
-        if not isinstance(cross_refs, list):
-            cross_refs = []
-
-        # Build cross-reference section
-        cross_ref_text = ""
-        if cross_refs:
-            cross_ref_text = "\nالمواد ذات الصلة (المراجع المتقاطعة): " + ", ".join(
-                [f"المادة {ref}" for ref in cross_refs]
-            )
-
-        # Construct content
-        page_content = f"""
-        رقم المادة: {article_number}
-        النص الأصلي: {original_text}
-        الشرح المبسط: {simplified_summary}{cross_ref_text}
-        """
-
-        metadata = {
-            "article_id": item.get("article_id") or str(article_number),
-            "article_number": str(article_number),
-            "legal_nature": item.get("legal_nature", ""),
-            "keywords": ", ".join(item.get("keywords", []) or []),
-            "part": item.get("part (Bab)", ""),
-            "chapter": item.get("chapter (Fasl)", ""),
-            "cross_references": ", ".join([str(ref) for ref in cross_refs])
-        }
-        docs.append(Document(page_content=page_content, metadata=metadata))
-    
-    print(f"✅ Loaded {len(docs)} constitutional articles")
-
-    # 2. Embeddings
-    print("Loading embeddings model...")
-    embeddings = HuggingFaceEmbeddings(
-        model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1"
-    )
-    print("✅ Embeddings model ready")
-
-    # 3. No splitting - keep articles as complete units
-    chunks = docs
-    # 4. Vector Store (persist once, load on next runs)
-    if os.path.exists(CHROMA_DIR) and os.listdir(CHROMA_DIR):
-        print("📦 Loading existing vector database...")
-        vectorstore = Chroma(
-            persist_directory=CHROMA_DIR,
-            embedding_function=embeddings
-        )
-        print("✅ Loaded existing Chroma DB (no re-embedding)")
-    else:
-        print("🧱 Building vector database for the first time (this will create embeddings)...")
-        vectorstore = Chroma.from_documents(
-            chunks,
-            embeddings,
-            persist_directory=CHROMA_DIR
-        )
-        print("✅ Built Chroma DB and persisted to disk")
-
-    base_retriever = vectorstore.as_retriever(search_kwargs={"k": 15})
-# 5. Create BM25 Keyword Retriever
-    class BM25Retriever(BaseRetriever):
-        """BM25-based keyword retriever for constitutional articles"""
-        corpus_docs: List[Document]
-        bm25: BM25Okapi = None
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def __init__(self, **data):
-            super().__init__(**data)
-            # Tokenize corpus for BM25
-            tokenized_corpus = [doc.page_content.split() for doc in self.corpus_docs]
-            self.bm25 = BM25Okapi(tokenized_corpus)
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Tokenize query
-            tokenized_query = query.split()
-            # Get BM25 scores
-            scores = self.bm25.get_scores(tokenized_query)
-            # Get top k indices
-            top_indices = np.argsort(scores)[::-1][:self.k]
-            # Return documents
-            return [self.corpus_docs[i] for i in top_indices if scores[i] > 0]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    bm25_retriever = BM25Retriever(corpus_docs=docs, k=15)
-    print("✅ BM25 keyword retriever ready")
-
-    # 6. Create Metadata Filter Retriever
-    class MetadataFilterRetriever(BaseRetriever):
-        """Metadata-based filtering retriever"""
-        corpus_docs: List[Document]
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            query_lower = query.lower()
-            scored_docs = []
-            
-            for doc in self.corpus_docs:
-                score = 0
-                # Match keywords
-                keywords = doc.metadata.get('keywords', '').lower()
-                if any(word in keywords for word in query_lower.split()):
-                    score += 3
-                
-                # Match legal nature
-                legal_nature = doc.metadata.get('legal_nature', '').lower()
-                if any(word in legal_nature for word in query_lower.split()):
-                    score += 2
-                
-                # Match part/chapter
-                part = doc.metadata.get('part', '').lower()
-                chapter = doc.metadata.get('chapter', '').lower()
-                if any(word in part or word in chapter for word in query_lower.split()):
-                    score += 1
-                
-                # Match in content
-                if any(word in doc.page_content.lower() for word in query_lower.split()):
-                    score += 1
-                
-                if score > 0:
-                    scored_docs.append((doc, score))
-            
-            # Sort by score and return top k
-            scored_docs.sort(key=lambda x: x[1], reverse=True)
-            return [doc for doc, _ in scored_docs[:self.k]]
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs, k=15)
-    print("✅ Metadata filter retriever ready")
-
-    # 7. Create Hybrid RRF Retriever
-    class HybridRRFRetriever(BaseRetriever):
-        """Combines semantic, BM25, and metadata retrievers using Reciprocal Rank Fusion"""
-        semantic_retriever: BaseRetriever
-        bm25_retriever: BM25Retriever
-        metadata_retriever: MetadataFilterRetriever
-        beta_semantic: float = 0.6  # Weight for semantic search
-        beta_keyword: float = 0.2   # Weight for BM25 keyword search
-        beta_metadata: float = 0.2  # Weight for metadata filtering
-        k: int = 60  # RRF constant (typically 60)
-        top_k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Get results from all three retrievers
-            semantic_docs = self.semantic_retriever.invoke(query)
-            bm25_docs = self.bm25_retriever.invoke(query)
-            metadata_docs = self.metadata_retriever.invoke(query)
-            
-            # Apply Reciprocal Rank Fusion
-            rrf_scores = {}
-            
-            # Process semantic results
-            for rank, doc in enumerate(semantic_docs, start=1):
-                doc_id = (doc.metadata.get('article_id') or doc.metadata.get('article_number') or str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_semantic / (self.k + rank)
-            
-            # Process BM25 results
-            for rank, doc in enumerate(bm25_docs, start=1):
-                doc_id = (doc.metadata.get('article_id') or doc.metadata.get('article_number') or str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_keyword / (self.k + rank)
-            
-            # Process metadata results
-            for rank, doc in enumerate(metadata_docs, start=1):
-                doc_id = (doc.metadata.get('article_id') or doc.metadata.get('article_number') or str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_metadata / (self.k + rank)
-            
-            # Create document lookup
-            all_docs = {}
-            for doc in semantic_docs + bm25_docs + metadata_docs:
-                doc_id = (doc.metadata.get('article_id') or doc.metadata.get('article_number') or str(hash(doc.page_content)))
-                if doc_id not in all_docs:
-                    all_docs[doc_id] = doc
-            
-            # Sort by RRF score
-            sorted_doc_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-            
-            # Return top k documents
-            result_docs = []
-            for doc_id, score in sorted_doc_ids[:self.top_k]:
-                if doc_id in all_docs:
-                    result_docs.append(all_docs[doc_id])
-            
-            return result_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    # Create hybrid retriever with tuned beta weights
-    hybrid_retriever = HybridRRFRetriever(
-        semantic_retriever=base_retriever,
-        bm25_retriever=bm25_retriever,
-        metadata_retriever=metadata_retriever,
-        beta_semantic=0.5,   # Semantic search gets highest weight (most reliable)
-        beta_keyword=0.3,    # BM25 keyword search (good for exact term matches)
-        beta_metadata=0.2,   # Metadata filtering (supporting role)
-        k=60,
-        top_k=20
-    )
-    print("✅ Hybrid RRF retriever ready with β weights: semantic=0.5, keyword=0.3, metadata=0.2")
-
-    # 8. Create Cross-Reference Enhanced Retriever
-    class CrossReferenceRetriever(BaseRetriever):
-        """Enhances retrieval by automatically fetching cross-referenced articles"""
-        base_retriever: BaseRetriever
-        article_map: dict
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            # Get initial results
-            initial_docs = self.base_retriever.invoke(query)
-            
-            # Collect all related article numbers
-            all_article_numbers = set()
-            for doc in initial_docs:
-                if 'article_number' in doc.metadata:
-                    all_article_numbers.add(doc.metadata['article_number'])
-                # Parse cross_references (now stored as comma-separated string)
-                cross_refs_str = doc.metadata.get('cross_references', '')
-                if cross_refs_str:
-                    cross_refs = [ref.strip() for ref in cross_refs_str.split(',')]
-                    for ref in cross_refs:
-                        if ref:  # Skip empty strings
-                            all_article_numbers.add(str(ref))
-            
-            # Build enhanced document list
-            enhanced_docs = []
-            seen_numbers = set()
-            
-            # Add initially retrieved documents
-            for doc in initial_docs:
-                enhanced_docs.append(doc)
-                seen_numbers.add(doc.metadata.get('article_number'))
-            
-            # Add cross-referenced articles not yet retrieved
-            for article_num in all_article_numbers:
-                if article_num not in seen_numbers and article_num in self.article_map:
-                    article_data = self.article_map[article_num]
-                    cross_ref_text = ""
-                    cross_refs = article_data.get("cross_references")
-                    if not isinstance(cross_refs, list):
-                        cross_refs = []
-                    if cross_refs:
-                        cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join(
-                            [f"المادة {ref}" for ref in cross_refs]
-                        )
-                    
-                    page_content = f"""
-                    رقم المادة: {article_data.get('article_number', '')}
-                    النص الأصلي: {article_data.get('original_text', '')}
-                    الشرح المبسط: {article_data.get('simplified_summary', '')}{cross_ref_text}
-                    """
-                    
-                    enhanced_doc = Document(
-                        page_content=page_content,
-                        metadata={
-                            "article_id": article_data.get("article_id") or str(article_data.get("article_number", "")),
-                            "article_number": str(article_data.get("article_number", "")),
-                            "legal_nature": article_data.get("legal_nature", ""),
-                            "keywords": ", ".join(article_data.get("keywords", []) or []),
-                            "cross_references": ", ".join([str(ref) for ref in cross_refs])
-                        }
-                    )
-                    enhanced_docs.append(enhanced_doc)
-                    seen_numbers.add(article_num)
-            
-            return enhanced_docs
-        
-        async def _aget_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            return self._get_relevant_documents(query, run_manager=run_manager)
-    
-    cross_ref_retriever = CrossReferenceRetriever(
-        base_retriever=hybrid_retriever,
-        article_map=article_map
-    )
-    print("✅ Cross-reference retriever ready (using hybrid RRF base)")
-
-    # 9. Reranker
-    print("Loading reranker model...")
-    local_model_path = r"D:\FOE\Senior 2\Graduation Project\Chatbot_me\reranker"
-    
-    if not os.path.exists(local_model_path):
-        raise FileNotFoundError(f"Reranker path not found: {local_model_path}")
-
-    model = HuggingFaceCrossEncoder(model_name=local_model_path)
-    compressor = CrossEncoderReranker(model=model, top_n=5)
-
-    compression_retriever = ContextualCompressionRetriever(
-        base_compressor=compressor,
-        base_retriever=cross_ref_retriever
-    )
-    print("✅ Reranker model ready")
-
-    # 7. LLM - Balanced for consistency with slight creativity
-    # 7. LLM Configuration
-    llm = ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0.3,       # Slightly increased to allow helpful general advice
-        model_kwargs={"top_p": 0.9}
-    )
-
-# ==================================================
-    # 🛠️ THE FIX: SEPARATE SYSTEM INSTRUCTIONS FROM USER INPUT
-    # ==================================================
-    
-# ==================================================
-    # 🧠 PROMPT ENGINEERING: DECISION TREE LOGIC
-    # ==================================================
-    
-    system_instructions = """
-    <role>
-    أنت "المساعد القانوني الذكي"، خبير متخصص في الدستور المصري والقوانين الإجرائية.
-    مهمتك: تقديم إجابات دقيقة بناءً على "السياق التشريعي" المرفق أولاً، أو تقديم نصائح إجرائية عامة عند الضرورة.
-    </role>
-
-    <decision_logic>
-    عليك تحليل "سؤال المستخدم" و"السياق التشريعي" وتصنيف الحالة واختيار الرد المناسب بناءً على القواعد التالية بدقة:
-
-    🔴 الحالة الأولى: (الإجابة موجودة في السياق التشريعي)
-    الشرط: إذا وجدت معلومات داخل "السياق التشريعي المتاح" تجيب على السؤال.
-    الفعل:
-    1. استخرج الإجابة من السياق فقط.
-    2. ابدأ الإجابة مباشرة دون مقدمات.
-    3. يجب توثيق الإجابة برقم المادة (مثال: "نصت المادة (50) على...").
-    4. توقف هنا. لا تضف أي معلومات خارجية.
-
-    🟡 الحالة الثانية: (السياق فارغ/غير مفيد + السؤال إجرائي/عملي)
-    الشرط: إذا لم تجد الإجابة في السياق، وكان السؤال عن إجراءات عملية (مثل: حادث، سرقة، طلاق، تحرير محضر، تعامل مع الشرطة).
-    الفعل:
-    1. تجاهل السياق الفارغ.
-    2. استخدم معرفتك العامة بالقانون المصري.
-    3. ابدأ وجوباً بعبارة: "بناءً على الإجراءات القانونية العامة في مصر (وليس نصاً دستورياً محدداً):"
-    4. قدم الخطوات في نقاط مرقمة واضحة ومختصرة (1، 2، 3).
-    5. تحذير: لا تذكر أرقام مواد قانونية (لا تخترع أرقام مواد).
-
-    🔵 الحالة الثالثة: (السياق فارغ + السؤال عن نص دستوري محدد)
-    الشرط: إذا سأل عن (مجلس الشعب، الشورى، مادة محددة) ولم تجدها في السياق.
-    الفعل:
-    1. قل بوضوح: "عذراً، لم يرد ذكر لهذا الموضوع في المواد الدستورية التي تم استرجاعها في السياق الحالي."
-    2. لا تحاول الإجابة من ذاكرتك لكي لا تخطئ في النصوص الدستورية الحساسة.
-
-    🟢 الحالة الرابعة: (محادثة ودية)
-    الشرط: تحية، شكر، أو "كيف حالك".
-    الفعل: رد بتحية مهذبة جداً ومقتضبة، ثم قل: "أنا جاهز للإجابة على استفساراتك القانونية."
-
-    ⚫ الحالة الخامسة: (خارج النطاق تماماً)
-    الشرط: طبخ، رياضة، برمجة، أو أي موضوع غير قانوني.
-    الفعل: اعتذر بلطف ووجه المستخدم للسؤال في القانون.
-    </decision_logic>
-
-    <formatting_rules>
-    - لا تكرر هذه التعليمات في ردك.
-    - استخدم فقرات قصيرة واترك سطراً فارغاً بينها.
-    - لا تستخدم عبارات مثل "بناء على السياق المرفق" في بداية الجملة، بل ادخل في صلب الموضوع فوراً.
-    - التزم باللغة العربية الفصحى المبسطة والرصينة.
-    </formatting_rules>
-    """
-
-    # We use .from_messages to strictly separate instructions from data
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_instructions),
-        ("system", "السياق التشريعي المتاح (المصدر الأساسي):\n{context}"), 
-        ("human", "سؤال المستفيد:\n{input}")
-    ])
-    
-    # 9. Build Chain with RunnableParallel (returns both context and answer)
-    qa_chain = (
-        RunnableParallel({
-            "context": compression_retriever, 
-            "input": RunnablePassthrough()
-        })
-        .assign(answer=(
-            prompt 
-            | llm 
-            | StrOutputParser()
-        ))
-    )
-    
-    print("✅ System ready to use!")
-    return qa_chain
-
-if not IS_CLI:
-    # ==========================================
-    # ⚡ MAIN EXECUTION
-    # ==========================================
-
-    try:
-        # Only need the chain now - it handles all retrieval internally
-        qa_chain = initialize_rag_pipeline()
-        
-    except Exception as e:
-        st.error(f"Critical Error loading application: {e}")
-        st.stop()
-
-    # ==========================================
-    # 💬 CHAT LOOP
-    # ==========================================
-    if "messages" not in st.session_state:
-        st.session_state.messages = []
-
-    # Display Chat History (with Eastern Arabic numerals)
-    for message in st.session_state.messages:
-        with st.chat_message(message["role"]):
-            # Convert to Eastern Arabic when displaying from history
-            st.markdown(convert_to_eastern_arabic(message["content"]))
-
-    # Handle New User Input
-    if prompt_input := st.chat_input("اكتب سؤالك القانوني هنا..."):
-        # Show user message
-        st.session_state.messages.append({"role": "user", "content": prompt_input})
-        with st.chat_message("user"):
-            st.markdown(prompt_input)
-
-        # Generate Response
-        with st.chat_message("assistant"):
-            with st.spinner("جاري التحليل القانوني..."):
-                try:
-                    # Invoke chain ONCE - returns Dict with 'context', 'input', and 'answer'
-                    result = qa_chain.invoke(prompt_input)
-                    
-                    # Extract answer and context from result
-                    response_text = result["answer"]
-                    source_docs = result["context"]  # Context is already in the result!
-
-                    # Display Answer
-                    response_text_arabic = convert_to_eastern_arabic(response_text)
-                    st.markdown(response_text_arabic)
-                    
-                    # Display Sources
-                    if source_docs and len(source_docs) > 0:
-                        print(f"✅ Found {len(source_docs)} documents")
-                        # Deduplicate documents by article_number
-                        seen_articles = set()
-                        unique_docs = []
-                        
-                        for doc in source_docs:
-                            article_num = str(doc.metadata.get('article_number', '')).strip()
-                            if article_num and article_num not in seen_articles:
-                                seen_articles.add(article_num)
-                                unique_docs.append(doc)
-                        
-                        st.markdown("---")  # Separator before sources
-                        
-                        if unique_docs:
-                            with st.expander(f"📚 المصادر المستخدمة ({len(unique_docs)} مادة)"):
-                                st.markdown("### المواد الدستورية المستخدمة في التحليل:")
-                                st.markdown("---")
-                                
-                                for idx, doc in enumerate(unique_docs, 1):
-                                    article_num = str(doc.metadata.get('article_number', '')).strip()
-                                    legal_nature = doc.metadata.get('legal_nature', '')
-                                    
-                                    if article_num:
-                                        st.markdown(f"**المادة رقم {convert_to_eastern_arabic(article_num)}**")
-                                        if legal_nature:
-                                            st.markdown(f"*الطبيعة القانونية: {legal_nature}*")
-                                        
-                                        # Display article content
-                                        content_lines = doc.page_content.strip().split('\n')
-                                        for line in content_lines:
-                                            line = line.strip()
-                                            if line:
-                                                st.markdown(convert_to_eastern_arabic(line))
-                                        
-                                        st.markdown("---")
-                        else:
-                            st.info("📌 لم يتم العثور على مصادر")
-                    else:
-                        st.info("📌 لم يتم العثور على مصادر")
-                    
-                    # Persist the raw answer to avoid double conversion glitches on rerun
-                    st.session_state.messages.append({"role": "assistant", "content": response_text})
-                except Exception as e:
-                    st.error(f"حدث خطأ: {e}")

data/Egyptian_Constitution_legalnature_only.json

@@ -1,8 +1,4 @@
 [
-  {
-    "law_key": "egyptian_constitution",
-    "law_name": "الدستور المصري",
-    "data": [
   {
     "article_id": "EG-CONST-ART-001",
     "article_number": "1",
@@ -16,7 +12,6 @@
       "الديمقراطية",
       "جمهورية مصر العربية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -32,7 +27,6 @@
       "الشريعة الإسلامية",
       "التشريع"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -48,7 +42,6 @@
       "اليهود",
       "الشئون الدينية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -65,7 +58,6 @@
       "المساواة",
       "تكافؤ الفرص"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -81,7 +73,6 @@
       "الفصل بين السلطات",
       "حقوق الإنسان"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -97,7 +88,6 @@
       "القانون",
       "اكتساب الجنسية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -113,7 +103,6 @@
       "اللغة العربية",
       "شيخ الأزهر"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -129,7 +118,6 @@
       "التكافل الاجتماعي",
       "الحياة الكريمة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -144,7 +132,6 @@
       "عدم التمييز",
       "المواطنة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -161,7 +148,6 @@
       "الأخلاق",
       "الوطنية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -178,7 +164,6 @@
       "المجالس النيابية",
       "حماية الأمومة والطفولة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -194,7 +179,6 @@
       "العمل الجبري",
       "الخدمة العامة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -211,7 +195,6 @@
       "السلامة المهنية",
       "الفصل التعسفي"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -227,7 +210,6 @@
       "حقوق الموظفين",
       "التأديب"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -241,7 +223,6 @@
       "الإضراب السلمي",
       "القانون"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -258,7 +239,6 @@
       "رعاية الأسر",
       "المجتمع المدني"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -275,7 +255,6 @@
       "العمالة غير المنتظمة",
       "أموال التأمينات"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -292,7 +271,6 @@
       "الطوارئ",
       "القطاع الصحي"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -309,7 +287,6 @@
       "الهوية الوطنية",
       "جودة التعليم"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -325,7 +302,6 @@
       "سوق العمل",
       "الجودة العالمية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -342,7 +318,6 @@
       "الجامعات الأهلية",
       "الجامعات الخاصة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -358,7 +333,6 @@
       "حقوق المعلمين",
       "جودة التعليم"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -375,7 +349,6 @@
       "اقتصاد المعرفة",
       "المخترعين"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -392,7 +365,6 @@
       "حقوق الإنسان",
       "الأخلاق المهنية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -408,7 +380,6 @@
       "المجتمع المدني",
       "خطة شاملة"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -422,7 +393,6 @@
       "الرتب المدنية",
       "حظر"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -439,7 +409,6 @@
       "الشفافية",
       "منع الاحتكار"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -456,7 +425,6 @@
       "المشروعات الصغيرة",
       "القطاع غير الرسمي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -473,7 +441,6 @@
       "دعم الفلاح",
       "الإنتاج الزراعي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -488,7 +455,6 @@
       "حماية الصيادين",
       "البيئة"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -503,7 +469,6 @@
       "الأمن القومي",
       "الاقتصاد الرقمي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -520,7 +485,6 @@
       "الاستثمار",
       "حقوق الأجيال القادمة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -536,7 +500,6 @@
       "الملكية التعاونية",
       "حماية الملكية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -550,7 +513,6 @@
       "الملكية العامة",
       "حرمة المال العام"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -566,7 +528,6 @@
       "نزع الملكية",
       "التعويض العادل"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -580,7 +541,6 @@
       "القطاع الخاص",
       "المسؤولية الاجتماعية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -595,7 +555,6 @@
       "التعاونيات",
       "استقلال التعاونيات"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -611,7 +570,6 @@
       "العدالة الاجتماعية",
       "التهرب الضريبي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -625,7 +583,6 @@
       "الادخار",
       "حماية المدخرات"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -640,7 +597,6 @@
       "المصادرة الخاصة",
       "حماية الأموال"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -656,7 +612,6 @@
       "التنمية المستدامة",
       "الموارد البشرية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -673,7 +628,6 @@
       "القطاع العام",
       "التعاونيات"
     ],
-    "cross_references": [],
     "legal_nature": "حقوق وواجبات"
   },
   {
@@ -688,7 +642,6 @@
       "الممر المائي",
       "التنمية الاقتصادية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -704,7 +657,6 @@
       "المياه الجوفية",
       "حماية البيئة النهرية"
     ],
-    "cross_references": [],
     "legal_nature": "حقوق وواجبات"
   },
   {
@@ -720,7 +672,6 @@
       "الثروة السمكية والحيوانية",
       "الرفق بالحيوان"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -736,7 +687,6 @@
       "حقوق الأجيال القادمة",
       "الموارد الطبيعية"
     ],
-    "cross_references": [],
     "legal_nature": "حقوق وواجبات"
   },
   {
@@ -751,7 +701,6 @@
       "الحضارة المصرية",
       "التنوع الثقافي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -767,7 +716,6 @@
       "المناطق النائية",
       "الترجمة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -783,7 +731,6 @@
       "حظر الاتجار",
       "جريمة لا تسقط بالتقادم"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -800,7 +747,6 @@
       "التعددية الثقافية",
       "الحضارة المصرية القديمة"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -815,7 +761,6 @@
       "حقوق الإنسان",
       "احترام الدولة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -830,7 +775,6 @@
       "جريمة",
       "التقادم"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -846,7 +790,6 @@
       "مفوضية منع التمييز",
       "الحض على الكراهية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -863,7 +806,6 @@
       "حق الدفاع",
       "التعويض"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -879,7 +821,6 @@
       "بطلان الاعتراف",
       "حظر التعذيب"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -895,7 +836,6 @@
       "الإشراف القضائي",
       "الرعاية اللاحقة"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -911,7 +851,6 @@
       "المراقبة",
       "وسائل الاتصال"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -926,7 +865,6 @@
       "تفتيش المنازل",
       "إذن قضائي"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -941,7 +879,6 @@
       "الأمن",
       "الطمأنينة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -956,7 +893,6 @@
       "الاتجار بالأعضاء",
       "التجارب الطبية"
     ],
-    "cross_references": [],
     "legal_nature": "قاعدة إجرائية"
   },
   {
@@ -971,7 +907,6 @@
       "زراعة الأعضاء",
       "الوصية"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -987,7 +922,6 @@
       "المنع من السفر",
       "الإبعاد"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1002,7 +936,6 @@
       "جريمة",
       "التقادم"
     ],
-    "cross_references": [],
     "legal_nature": "حظر وتجريم"
   },
   {
@@ -1018,7 +951,6 @@
       "دور العبادة",
       "الأديان السماوية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1034,7 +966,6 @@
       "حرية التعبير",
       "النشر"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1049,7 +980,6 @@
       "الباحثين",
       "الابتكار"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1065,7 +995,6 @@
       "حظر الحبس في جرائم النشر",
       "النيابة العامة"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1081,7 +1010,6 @@
       "الوثائق القومية",
       "البيانات"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1095,7 +1023,6 @@
       "الملكية الفكرية",
       "حماية الحقوق"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1111,7 +1038,6 @@
       "إصدار الصحف",
       "البث الإذاعي"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1127,7 +1053,6 @@
       "جرائم النشر",
       "وقت الحرب"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -1143,7 +1068,6 @@
       "الحياد",
       "تعدد الآراء"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1159,7 +1083,6 @@
       "الاحتجاج السلمي",
       "الاجتماع الخاص"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1174,7 +1097,6 @@
       "حظر الأحزاب الدينية",
       "حل الأحزاب"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1190,7 +1112,6 @@
       "حرية النشاط",
       "حظر الجمعيات السرية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1206,7 +1127,6 @@
       "استقلال النقابات",
       "الهيئات النظامية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1221,7 +1141,6 @@
       "فرض الحراسة",
       "استقلال مهني"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -1237,7 +1156,6 @@
       "التخطيط العمراني",
       "العدالة الاجتماعية"
     ],
-    "cross_references": [],
     "legal_nature": "حقوق وواجبات"
   },
   {
@@ -1253,7 +1171,6 @@
       "السيادة الغذائية",
       "التنوع البيولوجي"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1270,7 +1187,6 @@
       "عمالة الأطفال",
       "قضاء الأحداث"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1286,7 +1202,6 @@
       "الدمج",
       "تخصيص فرص عمل"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1302,7 +1217,6 @@
       "التمكين",
       "العمل التطوعي"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1317,7 +1231,6 @@
       "المعاشات",
       "رعاية المسنين"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1332,7 +1245,6 @@
       "الموهوبين رياضياً",
       "الهيئات الرياضية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1346,7 +1258,6 @@
       "مخاطبة السلطات",
       "الأشخاص الاعتبارية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1361,7 +1272,6 @@
       "الدفاع عن الوطن",
       "التجنيد الإجباري"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1377,7 +1287,6 @@
       "نزاهة الانتخابات",
       "قاعدة بيانات الناخبين"
     ],
-    "cross_references": [],
     "legal_nature": "حقوق وواجبات"
   },
   {
@@ -1392,7 +1301,6 @@
       "تصويت المغتربين",
       "رعاية المصالح"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1407,7 +1315,6 @@
       "الاتجار بالبشر",
       "الاستغلال القسري"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -1422,7 +1329,6 @@
       "استقلال الوقف",
       "شروط الواقف"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1437,7 +1343,6 @@
       "حظر تسليم اللاجئين",
       "حقوق الإنسان"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1452,7 +1357,6 @@
       "عدم الانتقاص",
       "جوهر الحق"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -1467,7 +1371,6 @@
       "حقوق الإنسان",
       "قوة القانون"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -1483,7 +1386,6 @@
       "حصانة القضاء",
       "حماية الحريات"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -1499,7 +1401,6 @@
       "عدم الرجعية",
       "حكم قضائي"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -1516,7 +1417,6 @@
       "استئناف الجنايات",
       "حماية الشهود"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1532,7 +1432,6 @@
       "حظر المحاكم الاستثنائية",
       "الرقابة القضائية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1547,7 +1446,6 @@
       "استقلال المحاماة",
       "المساعدة القانونية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1564,7 +1462,6 @@
       "التعويض العادل",
       "المجلس القومي لحقوق الإنسان"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -1581,7 +1478,6 @@
       "الموظف العام",
       "الدعوى الجنائية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1597,7 +1493,6 @@
       "الموازنة العامة",
       "الرقابة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1614,7 +1509,6 @@
       "النظام الانتخابي",
       "التعيين الرئاسي"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1628,7 +1522,6 @@
       "تفرغ العضو",
       "الاحتفاظ بالوظيفة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1642,7 +1535,6 @@
       "اليمين الدستورية",
       "واجبات العضو"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1656,7 +1548,6 @@
       "مكافأة العضوية",
       "عدم سريان الزيادة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ اقتصادي/مالي"
   },
   {
@@ -1670,7 +1561,6 @@
       "مدة العضوية",
       "موعد الانتخابات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1685,7 +1575,6 @@
       "محكمة النقض",
       "الطعون الانتخابية"
     ],
-    "cross_references": [],
     "legal_nature": "اختصاص قضائي/محكمة"
   },
   {
@@ -1699,7 +1588,6 @@
       "خلو المقعد",
       "الانتخابات التكميلية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1714,7 +1602,6 @@
       "إقرار الذمة المالية",
       "الهدايا"
     ],
-    "cross_references": [],
     "legal_nature": "قاعدة إجرائية"
   },
   {
@@ -1729,7 +1616,6 @@
       "أغلبية الثلثين",
       "فقد الثقة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1743,7 +1629,6 @@
       "الاستقالة",
       "قبول الاستقالة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1757,7 +1642,6 @@
       "الحصانة البرلمانية",
       "حرية الرأي"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1772,7 +1656,6 @@
       "إذن المجلس",
       "رفع الحصانة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1787,7 +1670,6 @@
       "انعقاد الجلسات",
       "بطلان الاجتماع"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1802,7 +1684,6 @@
       "دعوة الرئيس",
       "اعتماد الموازنة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1816,7 +1697,6 @@
       "اجتماع غير عادي",
       "دعوة طارئة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1832,7 +1712,6 @@
       "مدة الرئاسة",
       "إعفاء الرئيس"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1846,7 +1725,6 @@
       "اللائحة الداخلية",
       "تنظيم العمل"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1860,7 +1738,6 @@
       "حفظ النظام",
       "رئيس المجلس"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1874,7 +1751,6 @@
       "علنية الجلسات",
       "جلسة سرية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1890,7 +1766,6 @@
       "القوانين المكملة للدستور",
       "أغلبية الثلثين"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -1905,7 +1780,6 @@
       "اللجان النوعية",
       "لجنة المقترحات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1920,7 +1794,6 @@
       "إصدار القوانين",
       "أغلبية الثلثين"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -1936,7 +1809,6 @@
       "تعديل النفقات",
       "السنة المالية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1951,7 +1823,6 @@
       "الجهاز المركزي للمحاسبات",
       "الرقابة المالية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1965,7 +1836,6 @@
       "الأموال العامة",
       "التحصيل والصرف"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -1980,7 +1850,6 @@
       "الديون العامة",
       "موافقة البرلمان"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -1995,7 +1864,6 @@
       "المعاشات",
       "الخزانة العامة"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -2009,7 +1877,6 @@
       "توجيه الأسئلة",
       "الرقابة البرلمانية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2023,7 +1890,6 @@
       "الاستجواب",
       "المحاسبة السياسية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2038,7 +1904,6 @@
       "استقالة الحكومة",
       "المسؤولية التضامنية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2052,7 +1917,6 @@
       "طلب مناقشة عامة",
       "استيضاح السياسة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2065,7 +1929,6 @@
     "keywords": [
       "اقتراح برغبة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2079,7 +1942,6 @@
       "طلب إحاطة",
       "بيان عاجل"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2094,7 +1956,6 @@
       "جمع الأدلة",
       "حق المعلومات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2108,7 +1969,6 @@
       "حضور الحكومة",
       "الاستماع للوزراء"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2123,7 +1983,6 @@
       "الاستفتاء الشعبي",
       "انتخابات مبكرة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2138,7 +1997,6 @@
       "الشكاوى",
       "تواصل البرلمان"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -2154,7 +2012,6 @@
       "استقلال الوطن",
       "احترام الدستور"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2170,7 +2027,6 @@
       "إجراءات الانتخاب",
       "حظر المناصب الحزبية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2186,7 +2042,6 @@
       "السن القانوني",
       "الخدمة العسكرية"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2201,7 +2056,6 @@
       "التوكيلات الشعبية",
       "شروط الترشح"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -2215,7 +2069,6 @@
       "الاقتراع المباشر",
       "الأغلبية المطلقة"
     ],
-    "cross_references": [],
     "legal_nature": "قاعدة إجرائية"
   },
   {
@@ -2229,7 +2082,6 @@
       "اليمين الدستورية",
       "تولي المهام"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2245,7 +2097,6 @@
       "إقرار الذمة المالية",
       "الهدايا"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -2261,7 +2112,6 @@
       "حل المجلس",
       "الوزارات السيادية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2276,7 +2126,6 @@
       "التعديل الوزاري",
       "موافقة البرلمان"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2290,7 +2139,6 @@
       "تفويض السلطات",
       "التفويض الإداري"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2304,7 +2152,6 @@
       "اجتماع الحكومة",
       "رئاسة الاجتماع"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2318,9 +2165,6 @@
       "السياسة العامة",
       "بيان الرئيس"
     ],
-    "cross_references": [
-      "الدستور"
-    ],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2335,12 +2179,6 @@
       "تعيين النائب",
       "اختصاصات النائب"
     ],
-    "cross_references": [
-      "144",
-      "141",
-      "145",
-      "173"
-    ],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2356,9 +2194,6 @@
       "الاستفتاء الشعبي",
       "حظر التنازل عن الأرض"
     ],
-    "cross_references": [
-      "الدستور"
-    ],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2374,7 +2209,6 @@
       "إرسال القوات",
       "مجلس الدفاع الوطني"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2389,7 +2223,6 @@
       "الموظفين العموميين",
       "الدبلوماسيين"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2404,7 +2237,6 @@
       "موافقة البرلمان",
       "تمديد الطوارئ"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم م��سسي/هيكلي"
   },
   {
@@ -2419,7 +2251,6 @@
       "تخفيف العقوبة",
       "العفو الشامل"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2434,7 +2265,6 @@
       "الضرورة",
       "مراجعة البرلمان"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2448,9 +2278,6 @@
       "الاستفتاء الشعبي",
       "المصالح العليا"
     ],
-    "cross_references": [
-      "الدستور"
-    ],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2463,7 +2290,6 @@
     "keywords": [
       "استقالة الرئيس"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2479,7 +2305,6 @@
       "المحكمة الخاصة",
       "العزل"
     ],
-    "cross_references": [],
     "legal_nature": "اختصاص قضائي/محكمة"
   },
   {
@@ -2495,7 +2320,6 @@
       "انتخابات رئاسية مبكرة",
       "تقييد الصلاحيات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2511,7 +2335,6 @@
       "حل البرلمان",
       "الاستفتاء"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2525,7 +2348,6 @@
       "أسبقية الانتخابات",
       "استمرار المجلس"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2540,7 +2362,6 @@
       "رئيس مجلس الوزراء",
       "الهيئة التنفيذية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2556,7 +2377,6 @@
       "الجنسية",
       "حظر الجمع بين المناصب"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2570,7 +2390,6 @@
       "اليمين الدستورية",
       "تولي المهام"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2586,7 +2405,6 @@
       "تعارض المصالح",
       "حظر الأعمال التجارية"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -2603,7 +2421,6 @@
       "الأمن القومي",
       "إعداد القوانين"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -2618,7 +2435,6 @@
       "الوكيل الدائم",
       "الاستقرار المؤسسي"
     ],
-    "cross_references": [],
     "legal_nature": "ضمان/حماية"
   },
   {
@@ -2633,7 +2449,6 @@
       "مجلس النواب",
       "المساءلة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2648,7 +2463,6 @@
       "التفويض",
       "رئيس الوزراء"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2663,7 +2477,6 @@
       "المصالح العامة",
       "قرارات تنظيمية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2677,7 +2490,6 @@
       "لوائح الضبط",
       "النظام العام"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2692,9 +2504,6 @@
       "الجرائم الوظيفية",
       "الخيانة العظمى"
     ],
-    "cross_references": [
-      "159"
-    ],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2707,7 +2516,6 @@
     "keywords": [
       "الاستقالة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2723,7 +2531,6 @@
       "المحافظات",
       "الوحدات المحلية"
     ],
-    "cross_references": [],
     "legal_nature": "قاعدة إجرائية"
   },
   {
@@ -2738,7 +2545,6 @@
       "نقل السلطات",
       "المرافق المحلية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -2753,7 +2559,6 @@
       "توزيع الموارد",
       "التنمية المحلية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -2768,7 +2573,6 @@
       "الضرائب المحلية",
       "الموارد المالية"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ اقتصادي/مالي"
   },
   {
@@ -2783,7 +2587,6 @@
       "رؤساء الوحدات المحلية",
       "التعيين والانتخاب"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -2800,7 +2603,6 @@
       "الرقابة المحلية",
       "سحب الثقة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ اقتصادي/مالي"
   },
   {
@@ -2816,7 +2618,6 @@
       "تنازع الاختصاص",
       "مجلس الدولة"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2830,7 +2631,6 @@
       "الموازنة المحلية",
       "الحساب الختامي"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2844,7 +2644,6 @@
       "حل المجالس المحلية",
       "الحظر الإداري"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2860,7 +2659,6 @@
       "التدخل في العدالة",
       "عدم التقادم"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ دستوري"
   },
   {
@@ -2876,7 +2674,6 @@
       "تعيين الرؤساء",
       "المجلس الأعلى للجهات القضائية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2892,7 +2689,6 @@
       "المساءلة التأديبية",
       "الندب"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2907,7 +2703,6 @@
       "النطق بالحكم",
       "النظام العام"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -2922,7 +2717,6 @@
       "مجلس القضاء الأعلى",
       "الفصل في المنازعات"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -2938,7 +2732,6 @@
       "الدعوى الجنائية",
       "تعيين النائب العام"
     ],
-    "cross_references": [],
     "legal_nature": "اختصاص قضائي/محكمة"
   },
   {
@@ -2954,7 +2747,6 @@
       "الإفتاء القانوني",
       "مراجعة التشريعات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2970,7 +2762,6 @@
       "الموازنة المستقلة",
       "الجمعية العامة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -2986,7 +2777,6 @@
       "تنازع الاختصاص",
       "الأحكام المتناقضة"
     ],
-    "cross_references": [],
     "legal_nature": "اختصاص قضائي/محكمة"
   },
   {
@@ -3002,7 +2792,6 @@
       "تعيين القضاة",
       "رئيس الجمهورية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3017,7 +2806,6 @@
       "استقلال القضاة",
       "المساءلة التأديبية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3033,7 +2821,6 @@
       "إلزامية الأحكام",
       "عدم الدستورية"
     ],
-    "cross_references": [],
     "legal_nature": "قيمة تعليمية/تثقيفية/ثقافية"
   },
   {
@@ -3050,7 +2837,6 @@
       "صياغة العقود",
       "التسوية الودية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3067,7 +2853,6 @@
       "الجزاءات التأديبية",
       "مجلس الدولة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3084,7 +2869,6 @@
       "استقلال المحاماة",
       "جهات التحقيق"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -3101,7 +2885,6 @@
       "استقلال الخبراء",
       "الحماية القانونية"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3118,7 +2901,6 @@
       "المجلس الأعلى للقوات المسلحة",
       "صون الدستور"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3133,7 +2915,6 @@
       "القائد العام",
       "التعيين"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3149,7 +2930,6 @@
       "اللجان القضائية العسكرية",
       "المنازعات الإدارية"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -3165,7 +2945,6 @@
       "تأمين البلاد",
       "رقم واحد"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3181,7 +2960,6 @@
       "الجرائم العسكرية",
       "استقلال القضاء"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3197,7 +2975,6 @@
       "إدارة الأزمات",
       "الكوارث"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3212,7 +2989,6 @@
       "النظام العام",
       "الأمن"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -3228,7 +3004,6 @@
       "المجلس الأعلى",
       "الأمن"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3244,7 +3019,6 @@
       "المجلس الأعلى لتنظيم الإعلام",
       "الصحافة"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -3257,7 +3031,6 @@
     "keywords": [
       "الصحافة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3272,7 +3045,6 @@
       "الإعلام",
       "المجلس الأعلى لتنظيم الإعلام"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3289,7 +3061,6 @@
       "ذوي الإعاقة",
       "الاستقلال المالي والإداري"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -3306,7 +3077,6 @@
       "الرقابة الإدارية",
       "الجهاز المركزي للمحاسبات"
     ],
-    "cross_references": [],
     "legal_nature": "إحالة للتنظيم التشريعي"
   },
   {
@@ -3322,7 +3092,6 @@
       "الاستقلال والحياد",
       "موافقة البرلمان"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -3338,7 +3107,6 @@
       "الرقابة البرلمانية",
       "إبلاغ النيابة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3354,7 +3122,6 @@
       "حماية المال العام",
       "الاستراتيجية الوطنية"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -3369,7 +3136,6 @@
       "الرقابة المالية",
       "الموازنة العامة"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ اقتصادي/مالي"
   },
   {
@@ -3385,7 +3151,6 @@
       "إصدار النقد",
       "استقرار الأسعار"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -3401,7 +3166,6 @@
       "سوق المال",
       "التأمين"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3415,7 +3179,6 @@
       "العاصمة",
       "القاهرة"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3431,7 +3194,6 @@
       "شعار الجمهورية",
       "إهانة العلم"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3446,9 +3208,6 @@
       "القوانين السابقة",
       "إصدار القوانين"
     ],
-    "cross_references": [
-      "الدستور"
-    ],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3464,7 +3223,6 @@
       "الأثر الرجعي",
       "تاريخ العمل بالقانون"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3480,7 +3238,6 @@
       "حظر التعديل",
       "إجراءات التعديل"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3494,7 +3251,6 @@
       "وحدة الدستور",
       "التكامل"
     ],
-    "cross_references": [],
     "legal_nature": "مبدأ تفسيري"
   },
   {
@@ -3509,7 +3265,6 @@
       "الهيئة الوطنية للانتخابات",
       "إشراف قضائي"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3522,9 +3277,6 @@
     "keywords": [
       "انتخابات مجلس النواب"
     ],
-    "cross_references": [
-      "102"
-    ],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3538,7 +3290,6 @@
       "مواعيد الانتخابات",
       "إجراءات انتقالية"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3552,7 +3303,6 @@
       "مدة الرئاسة",
       "إعلان النتيجة"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3566,7 +3316,6 @@
       "الرئيس المؤقت",
       "تسليم السلطة"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3580,7 +3329,6 @@
       "خلو المنصب",
       "الرئيس المؤقت"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3595,7 +3343,6 @@
       "المجلس الأعلى للقوات المسلحة",
       "التعيين"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3610,7 +3357,6 @@
       "حرية العقيدة",
       "المسيحيين"
     ],
-    "cross_references": [],
     "legal_nature": "التزام تشريعي"
   },
   {
@@ -3626,7 +3372,6 @@
       "المناطق الحدودية",
       "العدالة الاجتماعية"
     ],
-    "cross_references": [],
     "legal_nature": "حق أساسي/حرية"
   },
   {
@@ -3641,7 +3386,6 @@
       "تمويل الإرهاب",
       "تعويض الأضرار"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -3657,7 +3401,6 @@
       "الصحة",
       "التعليم الإلزامي"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3671,7 +3414,6 @@
       "ندب القضاة",
       "استقلال القضاء"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3685,7 +3427,6 @@
       "استئناف الجنايات",
       "درجات التقاضي"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3700,7 +3441,6 @@
       "المصالحة الوطنية",
       "تعويض الضحايا"
     ],
-    "cross_references": [],
     "legal_nature": "التزام تشريعي"
   },
   {
@@ -3714,7 +3454,6 @@
       "مدة الرئاسة",
       "تعديلات 2019"
     ],
-    "cross_references": [],
     "legal_nature": "قاعدة إجرائية"
   },
   {
@@ -3728,9 +3467,6 @@
       "الإدارة المحلية",
       "تطبيق تدريجي"
     ],
-    "cross_references": [
-      "180"
-    ],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3744,7 +3480,6 @@
       "تمثيل العمال والفلاحين",
       "مجلس النواب"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -3761,7 +3496,6 @@
       "ذوي الإعاقة",
       "المصريين بالخارج"
     ],
-    "cross_references": [],
     "legal_nature": "التزام/واجب على الدولة"
   },
   {
@@ -3775,9 +3509,6 @@
       "كوتا المرأة",
       "سريان التعديلات"
     ],
-    "cross_references": [
-      "102"
-    ],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3792,7 +3523,6 @@
       "مجلس النواب",
       "الموظفين"
     ],
-    "cross_references": [],
     "legal_nature": "حكم انتقالي"
   },
   {
@@ -3806,7 +3536,6 @@
       "إلغاء دستوري",
       "الإعلان الدستوري"
     ],
-    "cross_references": [],
     "legal_nature": "قيمة تعليمية/تثقيفية/ثقافية"
   },
   {
@@ -3820,7 +3549,6 @@
       "نفاذ الدستور",
       "الاستفتاء الشعبي"
     ],
-    "cross_references": [],
     "legal_nature": "غير محدد / يحتاج مراجعة بشرية"
   },
   {
@@ -3836,7 +3564,6 @@
       "السلام الاجتماعي",
       "الحقوق والحريات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3853,7 +3580,6 @@
       "المعاهدات الدولية",
       "السياسة العامة"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3869,7 +3595,6 @@
       "التعيين",
       "مدة العضوية"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3885,7 +3610,6 @@
       "السن القانوني",
       "النظام الانتخابي"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3899,7 +3623,6 @@
       "حظر الجمع",
       "مجلس النواب"
     ],
-    "cross_references": [],
     "legal_nature": "حظر دستوري"
   },
   {
@@ -3914,7 +3637,6 @@
       "الحكومة",
       "علاقة السلطات"
     ],
-    "cross_references": [],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   },
   {
@@ -3930,32 +3652,6 @@
       "الواجبات",
       "الإجراءات"
     ],
-    "cross_references": [
-      "103",
-      "104",
-      "105",
-      "107",
-      "108",
-      "109",
-      "110",
-      "111",
-      "112",
-      "113",
-      "114",
-      "115",
-      "116",
-      "117",
-      "118",
-      "119",
-      "120",
-      "121",
-      "132",
-      "133",
-      "136",
-      "137"
-    ],
     "legal_nature": "تنظيم مؤسسي/هيكلي"
   }
-]
-  }
 ]

evaluate.py

@@ -1,620 +0,0 @@
-# -*- coding: utf-8 -*-
-"""
-RAGAS Evaluation Script for Constitutional Legal Assistant
-Evaluates: faithfulness, answer_relevancy, context_precision, context_recall
-"""
-
-import os
-import json
-from dotenv import load_dotenv
-import logging
-import warnings
-
-# Suppress progress bars
-os.environ['TRANSFORMERS_NO_PROGRESS_BAR'] = '1'
-warnings.filterwarnings('ignore')
-
-# Core imports
-from langchain_core.documents import Document
-from langchain_core.retrievers import BaseRetriever
-from langchain_core.callbacks import CallbackManagerForRetrieverRun
-from typing import List
-from rank_bm25 import BM25Okapi
-import numpy as np
-
-# Vector Store & Embeddings
-from langchain_chroma import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-
-# Reranker
-from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
-from langchain_classic.retrievers import ContextualCompressionRetriever
-from langchain_community.cross_encoders import HuggingFaceCrossEncoder
-
-# LLM
-from langchain_groq import ChatGroq
-from langchain_core.prompts import ChatPromptTemplate
-from langchain_core.output_parsers import StrOutputParser
-from langchain_core.runnables import RunnablePassthrough, RunnableParallel
-
-# Evaluation
-from datasets import Dataset
-from ragas import evaluate
-from ragas.metrics import (
-    faithfulness,
-    answer_relevancy,
-    context_precision,
-    context_recall,
-)
-from ragas.llms import LangchainLLMWrapper
-from ragas.embeddings import LangchainEmbeddingsWrapper
-
-# Configure logging
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-load_dotenv()
-
-# ==========================================
-# 🚀 RAG PIPELINE INITIALIZATION
-# ==========================================
-
-def initialize_rag_pipeline():
-    """Initialize the RAG pipeline for constitutional legal questions"""
-    print("🔄 Initializing RAG pipeline...")
-    print("📥 Loading data...")
-    
-    # 1. Load JSON
-    json_path = "Egyptian_Constitution_legalnature_only.json"
-    if not os.path.exists(json_path):
-        raise FileNotFoundError(f"File not found: {json_path}")
-        
-    with open(json_path, "r", encoding="utf-8") as f:
-        data = json.load(f)
-
-    # Create article mapping for cross-references
-    article_map = {str(item['article_number']): item for item in data}
-
-    docs = []
-    for item in data:
-        # Build cross-reference section
-        cross_ref_text = ""
-        if item.get('cross_references') and len(item['cross_references']) > 0:
-            cross_ref_text = "\nالمواد ذات الصلة (المراجع المتقاطعة): " + ", ".join(
-                [f"المادة {ref}" for ref in item['cross_references']]
-            )
-        
-        # Construct document content
-        page_content = f"""
-        رقم المادة: {item['article_number']}
-        النص الأصلي: {item['original_text']}
-        الشرح المبسط: {item['simplified_summary']}{cross_ref_text}
-        """
-        
-        metadata = {
-            "article_id": item['article_id'],
-            "article_number": str(item['article_number']),
-            "legal_nature": item['legal_nature'],
-            "keywords": ", ".join(item['keywords']),
-            "part": item.get('part (Bab)', ''),
-            "chapter": item.get('chapter (Fasl)', ''),
-            "cross_references": ", ".join([str(ref) for ref in item.get('cross_references', [])])
-        }
-        docs.append(Document(page_content=page_content, metadata=metadata))
-    
-    print(f"✅ Loaded {len(docs)} constitutional articles")
-
-    # 2. Embeddings
-    print("Loading embeddings model...")
-    embeddings = HuggingFaceEmbeddings(
-        model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1"
-    )
-    print("✅ Embeddings ready")
-
-    # 3. Vector Store
-    print("Building vector database...")
-    vectorstore = Chroma.from_documents(
-        docs,
-        embeddings,
-        persist_directory="chroma_db"
-    )
-    base_retriever = vectorstore.as_retriever(search_kwargs={"k": 15})
-    print("✅ Vector database ready")
-
-    # 4. BM25 Keyword Retriever
-    class BM25Retriever(BaseRetriever):
-        """BM25-based keyword retriever"""
-        corpus_docs: List[Document]
-        bm25: BM25Okapi = None
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def __init__(self, **data):
-            super().__init__(**data)
-            tokenized_corpus = [doc.page_content.split() for doc in self.corpus_docs]
-            self.bm25 = BM25Okapi(tokenized_corpus)
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            tokenized_query = query.split()
-            scores = self.bm25.get_scores(tokenized_query)
-            top_indices = np.argsort(scores)[::-1][:self.k]
-            return [self.corpus_docs[i] for i in top_indices if scores[i] > 0]
-        
-        async def _aget_relevant_documents(self, query: str, **kwargs) -> List[Document]:
-            return self._get_relevant_documents(query)
-    
-    bm25_retriever = BM25Retriever(corpus_docs=docs, k=15)
-    print("✅ BM25 retriever ready")
-
-    # 5. Metadata Filter Retriever
-    class MetadataFilterRetriever(BaseRetriever):
-        """Metadata-based filtering retriever"""
-        corpus_docs: List[Document]
-        k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            query_lower = query.lower()
-            scored_docs = []
-            
-            for doc in self.corpus_docs:
-                score = 0
-                keywords = doc.metadata.get('keywords', '').lower()
-                if any(word in keywords for word in query_lower.split()):
-                    score += 3
-                
-                legal_nature = doc.metadata.get('legal_nature', '').lower()
-                if any(word in legal_nature for word in query_lower.split()):
-                    score += 2
-                
-                part = doc.metadata.get('part', '').lower()
-                chapter = doc.metadata.get('chapter', '').lower()
-                if any(word in part or word in chapter for word in query_lower.split()):
-                    score += 1
-                
-                if any(word in doc.page_content.lower() for word in query_lower.split()):
-                    score += 1
-                
-                if score > 0:
-                    scored_docs.append((doc, score))
-            
-            scored_docs.sort(key=lambda x: x[1], reverse=True)
-            return [doc for doc, _ in scored_docs[:self.k]]
-        
-        async def _aget_relevant_documents(self, query: str, **kwargs) -> List[Document]:
-            return self._get_relevant_documents(query)
-    
-    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs, k=15)
-    print("✅ Metadata retriever ready")
-
-    # 6. Hybrid RRF Retriever
-    class HybridRRFRetriever(BaseRetriever):
-        """Combines semantic, BM25, and metadata using Reciprocal Rank Fusion"""
-        semantic_retriever: BaseRetriever
-        bm25_retriever: BM25Retriever
-        metadata_retriever: MetadataFilterRetriever
-        beta_semantic: float = 0.5
-        beta_keyword: float = 0.3
-        beta_metadata: float = 0.2
-        k: int = 60
-        top_k: int = 15
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            semantic_docs = self.semantic_retriever.invoke(query)
-            bm25_docs = self.bm25_retriever.invoke(query)
-            metadata_docs = self.metadata_retriever.invoke(query)
-            
-            rrf_scores = {}
-            
-            for rank, doc in enumerate(semantic_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_semantic / (self.k + rank)
-            
-            for rank, doc in enumerate(bm25_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_keyword / (self.k + rank)
-            
-            for rank, doc in enumerate(metadata_docs, start=1):
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                rrf_scores[doc_id] = rrf_scores.get(doc_id, 0) + self.beta_metadata / (self.k + rank)
-            
-            all_docs = {}
-            for doc in semantic_docs + bm25_docs + metadata_docs:
-                doc_id = doc.metadata.get('article_number', str(hash(doc.page_content)))
-                if doc_id not in all_docs:
-                    all_docs[doc_id] = doc
-            
-            sorted_doc_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-            result_docs = []
-            for doc_id, score in sorted_doc_ids[:self.top_k]:
-                if doc_id in all_docs:
-                    result_docs.append(all_docs[doc_id])
-            
-            return result_docs
-        
-        async def _aget_relevant_documents(self, query: str, **kwargs) -> List[Document]:
-            return self._get_relevant_documents(query)
-    
-    hybrid_retriever = HybridRRFRetriever(
-        semantic_retriever=base_retriever,
-        bm25_retriever=bm25_retriever,
-        metadata_retriever=metadata_retriever,
-        beta_semantic=0.5,
-        beta_keyword=0.3,
-        beta_metadata=0.2,
-        k=60,
-        top_k=20
-    )
-    print("✅ Hybrid RRF retriever ready (β: semantic=0.5, keyword=0.3, metadata=0.2)")
-
-    # 7. Cross-Reference Retriever
-    class CrossReferenceRetriever(BaseRetriever):
-        """Enhances retrieval by fetching cross-referenced articles"""
-        base_retriever: BaseRetriever
-        article_map: dict
-        
-        class Config:
-            arbitrary_types_allowed = True
-        
-        def _get_relevant_documents(
-            self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None
-        ) -> List[Document]:
-            initial_docs = self.base_retriever.invoke(query)
-            
-            all_article_numbers = set()
-            for doc in initial_docs:
-                if 'article_number' in doc.metadata:
-                    all_article_numbers.add(doc.metadata['article_number'])
-                cross_refs_str = doc.metadata.get('cross_references', '')
-                if cross_refs_str:
-                    cross_refs = [ref.strip() for ref in cross_refs_str.split(',')]
-                    for ref in cross_refs:
-                        if ref:
-                            all_article_numbers.add(str(ref))
-            
-            enhanced_docs = []
-            seen_numbers = set()
-            
-            for doc in initial_docs:
-                enhanced_docs.append(doc)
-                seen_numbers.add(doc.metadata.get('article_number'))
-            
-            for article_num in all_article_numbers:
-                if article_num not in seen_numbers and article_num in self.article_map:
-                    article_data = self.article_map[article_num]
-                    cross_ref_text = ""
-                    if article_data.get('cross_references'):
-                        cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join(
-                            [f"المادة {ref}" for ref in article_data['cross_references']]
-                        )
-                    
-                    page_content = f"""
-                    رقم المادة: {article_data['article_number']}
-                    النص الأصلي: {article_data['original_text']}
-                    الشرح المبسط: {article_data['simplified_summary']}{cross_ref_text}
-                    """
-                    
-                    enhanced_doc = Document(
-                        page_content=page_content,
-                        metadata={
-                            "article_id": article_data['article_id'],
-                            "article_number": str(article_data['article_number']),
-                            "legal_nature": article_data['legal_nature'],
-                            "keywords": ", ".join(article_data['keywords']),
-                            "cross_references": ", ".join([str(ref) for ref in article_data.get('cross_references', [])])
-                        }
-                    )
-                    enhanced_docs.append(enhanced_doc)
-                    seen_numbers.add(article_num)
-            
-            return enhanced_docs
-        
-        async def _aget_relevant_documents(self, query: str, **kwargs) -> List[Document]:
-            return self._get_relevant_documents(query)
-    
-    cross_ref_retriever = CrossReferenceRetriever(
-        base_retriever=hybrid_retriever,
-        article_map=article_map
-    )
-    print("✅ Cross-reference retriever ready")
-
-    # 8. Reranker
-    print("Loading reranker model...")
-    local_model_path = r"D:\FOE\Senior 2\Graduation Project\Chatbot_me\reranker"
-    
-    if not os.path.exists(local_model_path):
-        raise FileNotFoundError(f"Reranker path not found: {local_model_path}")
-
-    model = HuggingFaceCrossEncoder(model_name=local_model_path)
-    compressor = CrossEncoderReranker(model=model, top_n=5)
-
-    compression_retriever = ContextualCompressionRetriever(
-        base_compressor=compressor,
-        base_retriever=cross_ref_retriever
-    )
-    print("✅ Reranker ready (top_n=5)")
-
-    # 9. LLM Configuration
-    llm = ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0.3,
-        model_kwargs={"top_p": 0.9}
-    )
-
-    # 10. Prompt Template
-    system_instructions = """
-    <role>
-    أنت "المساعد القانوني الذكي"، خبير متخصص في الدستور المصري والقوانين الإجرائية.
-    مهمتك: تقديم إجابات دقيقة بناءً على "السياق التشريعي" المرفق أولاً، أو تقديم نصائح إجرائية عامة عند الضرورة.
-    </role>
-
-    <decision_logic>
-    عليك تحليل "سؤال المستخدم" و"السياق التشريعي" وتصنيف الحالة واختيار الرد المناسب:
-
-    🔴 الحالة الأولى: (الإجابة موجودة في السياق التشريعي)
-    - استخرج الإجابة من السياق فقط
-    - ابدأ الإجابة مباشرة دون مقدمات
-    - وثق الإجابة برقم المادة
-    - توقف، لا تضف معلومات خارجية
-
-    🟡 الحالة ��لثانية: (السياق فارغ + السؤال إجرائي/عملي)
-    - استخدم معرفتك العامة بالقانون المصري
-    - ابدأ بـ: "بناءً على الإجراءات القانونية العامة في مصر:"
-    - قدم الخطوات في نقاط مرقمة
-
-    🔵 الحالة الثالثة: (السياق فارغ + سؤال دستوري)
-    - قل: "عذراً، لم يرد ذكر لهذا في المواد المسترجاعة"
-    - لا تخترع نصوصاً دستورية
-
-    🟢 الحالة الرابعة: (تحية/شكر)
-    - رد بتحية مهذبة مختصرة
-
-    ⚫ الحالة الخامسة: (خارج النطاق)
-    - اعتذر بلطف ووجه للقانون
-    </decision_logic>
-
-    <formatting_rules>
-    - استخدم فقرات قصيرة واترك سطراً فارغاً بينها
-    - التزم باللغة العربية الفصحى المبسطة
-    </formatting_rules>
-    """
-
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_instructions),
-        ("system", "السياق التشريعي المتاح:\n{context}"), 
-        ("human", "السؤال:\n{input}")
-    ])
-    
-    # 11. Build QA Chain
-    qa_chain = (
-        RunnableParallel({
-            "context": compression_retriever, 
-            "input": RunnablePassthrough()
-        })
-        .assign(answer=(
-            prompt 
-            | llm 
-            | StrOutputParser()
-        ))
-    )
-    
-    print("✅ RAG pipeline initialized!\n")
-    return qa_chain
-
-# ==========================================
-# 📊 RAGAS EVALUATION
-# ==========================================
-
-def run_evaluation(test_file="test_dataset.json", output_file="evaluation_results.json"):
-    """Run RAGAS evaluation on test dataset"""
-    
-    print("\n" + "="*60)
-    print("📊 RAGAS EVALUATION")
-    print("="*60)
-    
-    # Load test dataset
-    print(f"\n📂 Loading test dataset: {test_file}")
-    with open(test_file, "r", encoding="utf-8") as f:
-        test_questions = json.load(f)
-    print(f"✅ Loaded {len(test_questions)} test questions")
-    
-    # Initialize RAG pipeline
-    print("\n📥 Initializing RAG pipeline...")
-    qa_chain = initialize_rag_pipeline()
-    
-    # Generate answers
-    print("\n🤖 Generating answers for evaluation...")
-    results = {
-        "question": [],
-        "answer": [],
-        "contexts": [],
-        "ground_truth": []
-    }
-    
-    for idx, item in enumerate(test_questions, 1):
-        question = item["question"]
-        ground_truth = item.get("ground_truth", "")
-        
-        print(f"  [{idx}/{len(test_questions)}] Processing question {idx}...")
-        
-        try:
-            result = qa_chain.invoke(question)
-            answer = result["answer"]
-            contexts = [doc.page_content for doc in result["context"]]
-            
-            results["question"].append(question)
-            results["answer"].append(answer)
-            results["contexts"].append(contexts)
-            results["ground_truth"].append(ground_truth)
-            
-        except Exception as e:
-            print(f"      ❌ Error: {str(e)[:100]}")
-            results["question"].append(question)
-            results["answer"].append("Error generating answer")
-            results["contexts"].append([])
-            results["ground_truth"].append(ground_truth)
-    
-    # Run Ragas evaluation
-    print("\n⚙️ Running RAGAS metrics...")
-    dataset = Dataset.from_dict(results)
-    
-    # Configure evaluation LLM (same as main app)
-    print("  📌 Using Groq (llama-3.1-8b-instant, temp=0.3, top_p=0.9)")
-    evaluator_llm = LangchainLLMWrapper(ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0.3,
-        model_kwargs={"top_p": 0.9},
-        max_retries=2
-    ))
-    
-    # Configure evaluation embeddings (same as main app)
-    print("  📌 Using HuggingFace (Omartificial-Intelligence-Space/GATE-AraBert-v1)")
-    evaluator_embeddings = LangchainEmbeddingsWrapper(HuggingFaceEmbeddings(
-        model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1"
-    ))
-    
-    try:
-        import time
-        print("\n  ⏳ Evaluating each question separately with all metrics...")
-        print("  ⚠️ This will take ~10-15 minutes (120 sec delay between questions)\n")
-        
-        # Evaluate each question separately to see results immediately
-        all_scores = {
-            "faithfulness": [],
-            "answer_relevancy": [],
-            "context_precision": [],
-            "context_recall": []
-        }
-        
-        for q_idx in range(len(results["question"])):
-            print(f"\n  📋 Question {q_idx + 1}/{len(results['question'])}: {results['question'][q_idx][:60]}...")
-            
-            # Create single-question dataset
-            single_q_data = {
-                "question": [results["question"][q_idx]],
-                "answer": [results["answer"][q_idx]],
-                "contexts": [results["contexts"][q_idx]],
-                "ground_truth": [results["ground_truth"][q_idx]]
-            }
-            single_dataset = Dataset.from_dict(single_q_data)
-            
-            # Evaluate all metrics for this question
-            try:
-                q_result = evaluate(
-                    single_dataset,
-                    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
-                    llm=evaluator_llm,
-                    embeddings=evaluator_embeddings,
-                    raise_exceptions=False
-                )
-                
-                # Extract scores (handle if they're lists or single values)
-                def get_score(value):
-                    if isinstance(value, list):
-                        return value[0] if len(value) > 0 else 0.0
-                    return float(value) if value is not None else 0.0
-                
-                f_score = get_score(q_result['faithfulness'])
-                a_score = get_score(q_result['answer_relevancy'])
-                cp_score = get_score(q_result['context_precision'])
-                cr_score = get_score(q_result['context_recall'])
-                
-                # Display scores for this question
-                print(f"     Faithfulness       : {f_score:.4f}")
-                print(f"     Answer Relevancy   : {a_score:.4f}")
-                print(f"     Context Precision  : {cp_score:.4f}")
-                print(f"     Context Recall     : {cr_score:.4f}")
-                
-                all_scores["faithfulness"].append(f_score)
-                all_scores["answer_relevancy"].append(a_score)
-                all_scores["context_precision"].append(cp_score)
-                all_scores["context_recall"].append(cr_score)
-                
-            except Exception as e:
-                print(f"     ❌ Error evaluating this question: {str(e)[:80]}")
-                all_scores["faithfulness"].append(0.0)
-                all_scores["answer_relevancy"].append(0.0)
-                all_scores["context_precision"].append(0.0)
-                all_scores["context_recall"].append(0.0)
-            
-            # Wait between questions to avoid rate limits
-            if q_idx < len(results["question"]) - 1:
-                print(f"\n     ⏳ Waiting 120 seconds (2 min) before next question...")
-                time.sleep(120)
-        
-        # Calculate average scores
-        eval_results = {
-            "faithfulness": sum(all_scores["faithfulness"]) / len(all_scores["faithfulness"]) if all_scores["faithfulness"] else 0.0,
-            "answer_relevancy": sum(all_scores["answer_relevancy"]) / len(all_scores["answer_relevancy"]) if all_scores["answer_relevancy"] else 0.0,
-            "context_precision": sum(all_scores["context_precision"]) / len(all_scores["context_precision"]) if all_scores["context_precision"] else 0.0,
-            "context_recall": sum(all_scores["context_recall"]) / len(all_scores["context_recall"]) if all_scores["context_recall"] else 0.0
-        }
-        
-        # Display results
-        print("\n" + "="*60)
-        print("📈 EVALUATION RESULTS")
-        print("="*60)
-        
-        for metric, score in eval_results.items():
-            if isinstance(score, (int, float)):
-                print(f"  {metric:28s}: {score:.4f}")
-        
-        # Save results to JSON
-        with open(output_file, "w", encoding="utf-8") as f:
-            results_dict = {
-                "metrics": {k: float(v) if isinstance(v, (int, float)) else str(v) 
-                           for k, v in eval_results.items()},
-                "test_samples": len(dataset),
-                "test_file": test_file
-            }
-            json.dump(results_dict, f, ensure_ascii=False, indent=2)
-        
-        print(f"\n💾 Results saved to: {output_file}")
-        print("="*60 + "\n")
-        
-        return eval_results
-        
-    except Exception as e:
-        print(f"\n❌ Evaluation failed: {e}")
-        print("\n⚠️ Make sure:")
-        print("   1. GROQ_API_KEY is set in .env")
-        print("   2. You have valid Groq API credits")
-        print("   3. Internet connection is available")
-        return None
-
-# ==========================================
-# 🎯 MAIN EXECUTION
-# ==========================================
-
-if __name__ == "__main__":
-    import sys
-    
-    test_file = "test_dataset.json"
-    output_file = "evaluation_results.json"
-    
-    # Check for command line arguments
-    if len(sys.argv) > 1:
-        test_file = sys.argv[1]
-    if len(sys.argv) > 2:
-        output_file = sys.argv[2]
-    
-    print("\n" + "="*60)
-    print("🚀 Constitutional Legal Assistant - RAGAS Evaluation")
-    print("="*60)
-    
-    run_evaluation(test_file, output_file)

evaluate_rag.py

@@ -46,8 +46,8 @@ from langchain_groq import ChatGroq
 from langchain_huggingface import HuggingFaceEmbeddings
 import logging
 
-# Import the RAG pipeline initialization
-from app_final_updated import initialize_rag_pipeline
+# Import the RAG pipeline initialization from the main RAG module
+from rag import initialize_rag_pipeline, ask
 
 # Suppress verbose API logging
 logging.getLogger("httpx").setLevel(logging.WARNING)
@@ -200,21 +200,18 @@ def run_evaluation():
         print(f"{'-'*60}")
         
         try:
-            # Invoke the chain
-            result = qa_chain.invoke(question)
-            
-            answer = result["answer"]
-            context_docs = result["context"]
-            
-            # Extract context text from documents
-            contexts = [doc.page_content for doc in context_docs]
-            
+            # Use rag.ask which returns (answer, sources)
+            answer, sources = ask(question)
+
+            # sources is a list of dicts produced by rag._docs_to_sources
+            contexts = [s.get("content", "") for s in sources]
+
             # Store results
             results["question"].append(question)
             results["answer"].append(answer)
             results["contexts"].append(contexts)
             results["ground_truth"].append(ground_truth)
-            
+
             print(f"✅ Generated answer ({len(answer)} chars)")
             print(f"✅ Retrieved {len(contexts)} context documents")
 

evaluation_results.json

@@ -1,9 +0,0 @@
-{
-  "metrics": {
-    "faithfulness": 0.8375,
-    "answer_relevancy": 0.4021723436510297,
-    "context_precision": 0.9999999999583333,
-    "context_recall": NaN  },
-  "test_samples": 2,
-  "test_file": "test_dataset.json"
-}

models.py

@@ -1,27 +0,0 @@
-from pydantic import BaseModel, Field
-from typing import List, Optional, Dict, Any
-
-class AskRequest(BaseModel):
-    question: str
-
-class SourceItem(BaseModel):
-    law_key: Optional[str] = None
-    law_name: Optional[str] = None
-    article_number: Optional[str] = None
-    legal_nature: Optional[str] = None
-    keywords: Optional[str] = None
-    content: Optional[str] = None
-    metadata: Optional[Dict[str, Any]] = None
-
-class ArticleItem(BaseModel):
-    law_key: Optional[str] = None
-    law_name: Optional[str] = None
-    article_number: Optional[str] = None
-    original_text: Optional[str] = None
-    simplified_summary: Optional[str] = None
-    legal_nature: Optional[str] = None
-
-class AskResponse(BaseModel):
-    answer: Optional[str] = None
-    articles: Optional[List[ArticleItem]] = None
-    sources: List[SourceItem] = Field(default_factory=list)

rag.py

@@ -1,840 +0,0 @@
-# rag.py
-import os
-import json
-import logging
-import warnings
-from typing import Any, Dict, List, Tuple, Optional, Set
-
-from dotenv import load_dotenv
-
-from langchain_core.documents import Document
-from langchain_chroma import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-
-from langchain_core.retrievers import BaseRetriever
-from langchain_core.callbacks import CallbackManagerForRetrieverRun
-
-from langchain_classic.retrievers.document_compressors import CrossEncoderReranker
-from langchain_classic.retrievers import ContextualCompressionRetriever
-from langchain_community.cross_encoders import HuggingFaceCrossEncoder
-
-from langchain_groq import ChatGroq
-from langchain_core.prompts import ChatPromptTemplate
-from langchain_core.output_parsers import StrOutputParser
-
-# Optional deps (BM25)
-try:
-    from rank_bm25 import BM25Okapi
-    import numpy as np
-    _HAS_BM25 = True
-except Exception:
-    BM25Okapi = None
-    np = None
-    _HAS_BM25 = False
-
-
-# ----------------------------
-# Global config
-# ----------------------------
-os.environ["TRANSFORMERS_NO_PROGRESS_BAR"] = "1"
-warnings.filterwarnings("ignore")
-
-logger = logging.getLogger(__name__)
-logging.basicConfig(level=logging.INFO)
-
-load_dotenv()
-
-THIS_FILE = os.path.abspath(__file__)
-BASE_DIR = os.path.dirname(THIS_FILE)
-
-DATA_DIR = os.path.join(BASE_DIR, "data")
-CHROMA_DIR = os.path.join(BASE_DIR, "chroma_db")
-RERANKER_DIR = os.path.join(BASE_DIR, "reranker")
-
-_qa_chain = None
-
-# Two retrievers One general retriever + many per-law retrievers
-_retriever_general: Optional[BaseRetriever] = None
-_retrievers_by_law: Dict[str, BaseRetriever] = {}
-
-
-# Composite key map to avoid article_number collisions across laws
-_article_map_all: Optional[Dict[str, dict]] = None
-
-# Canonical keys (keep stable across datasets)
-CANON_CONSTITUTION = "egyptian_constitution"
-
-
-# ----------------------------
-# Helpers (data loading)
-# ----------------------------
-def _load_json_folder(folder_path: str) -> List[dict]:
-    """
-    Loads all json files and attaches _source_file so we can infer missing law_key/law_name.
-    Supports:
-      - list[dict]                      (either direct articles OR a wrapper dict that contains data/articles)
-      - dict with "data": list[dict]
-      - dict with "articles": list[dict]
-      - single dict
-    """
-    all_items: List[dict] = []
-
-    for filename in os.listdir(folder_path):
-        if not filename.lower().endswith(".json"):
-            continue
-
-        file_path = os.path.join(folder_path, filename)
-        with open(file_path, "r", encoding="utf-8") as f:
-            obj = json.load(f)
-
-        def attach_source(x):
-            if isinstance(x, dict):
-                x["_source_file"] = filename
-            return x
-
-        def flatten_wrapper(wrapper: dict):
-            """If wrapper has data/articles list, flatten it and propagate top-level law meta."""
-            if not isinstance(wrapper, dict):
-                return
-            top_lk = wrapper.get("law_key")
-            top_ln = wrapper.get("law_name")
-
-            if "data" in wrapper and isinstance(wrapper["data"], list):
-                for x in wrapper["data"]:
-                    if isinstance(x, dict):
-                        x.setdefault("law_key", top_lk)
-                        x.setdefault("law_name", top_ln)
-                    all_items.append(attach_source(x))
-                return
-
-            if "articles" in wrapper and isinstance(wrapper["articles"], list):
-                for x in wrapper["articles"]:
-                    if isinstance(x, dict):
-                        x.setdefault("law_key", top_lk)
-                        x.setdefault("law_name", top_ln)
-                    all_items.append(attach_source(x))
-                return
-
-            # Not a wrapper; treat as single article dict
-            all_items.append(attach_source(wrapper))
-
-        # Case 1: list
-        if isinstance(obj, list):
-            for elem in obj:
-                # elem might be a wrapper dict (law_key/law_name/data) OR an article dict
-                if isinstance(elem, dict):
-                    flatten_wrapper(elem)
-                else:
-                    # unexpected, but keep it
-                    all_items.append(elem)
-            continue
-
-        # Case 2: dict
-        if isinstance(obj, dict):
-            flatten_wrapper(obj)
-            continue
-
-        logger.warning("Unsupported JSON format in: %s", file_path)
-
-    return all_items
-
-
-def _canonicalize_law_key(law_key: Optional[str]) -> Optional[str]:
-    if not law_key:
-        return None
-    lk = str(law_key).strip()
-    if not lk:
-        return None
-    lk_low = lk.lower()
-
-    # Normalize common variants
-    if lk_low in {"egyptian_constitution", "egyptian-constitution", "constitution", "egypt_constitution"}:
-        return CANON_CONSTITUTION
-
-    return lk_low
-
-
-def _infer_law_meta(item: dict) -> Tuple[Optional[str], Optional[str]]:
-    """
-    Some datasets include law_key/law_name at the top-level only (or are missing entirely).
-    We infer robustly from:
-      - item["law_key"]/item["law_name"]
-      - article_id prefix
-      - source filename
-    """
-    lk = item.get("law_key")
-    ln = item.get("law_name")
-
-    # If present, canonicalize law_key
-    lk_canon = _canonicalize_law_key(lk)
-    if lk_canon:
-        return lk_canon, (str(ln).strip() if ln else None)
-
-    src = str(item.get("_source_file") or "").lower()
-    aid = str(item.get("article_id") or "").upper()
-
-    if "constitution" in src or aid.startswith("EG-CONST"):
-        return CANON_CONSTITUTION, "الدستور المصري"
-
-    if "labour" in src or "labor" in src or aid.startswith("EG-LABOR"):
-        return "egyptian_labour_law", "قانون العمل"
-
-    if "civil" in src or aid.startswith("EG-CIVIL"):
-        return "civil_law", "القانون المدني المصري"
-
-    if "personal status" in src or "الأحوال" in src or aid.startswith("EG-PSL"):
-        return "personal_status", "قانون الأحوال الشخصية"
-
-    if "technology crimes" in src or "tech" in src or aid.startswith("EG-TECH"):
-        return "tech_crimes", "قانون مكافحة جرائم تقنية المعلومات"
-
-    if "الإجراءات" in src or "الاجراءات" in src or aid.startswith("EG-CRIM-PROC"):
-        return "criminal_law", "قانون الإجراءات الجنائية"
-
-    return None, (str(ln).strip() if ln else None)
-
-
-def _dedupe_items(items: List[dict]) -> List[dict]:
-    unique: Dict[str, dict] = {}
-    for item in items:
-        law_key, _ = _infer_law_meta(item)
-        num = str(item.get("article_number", "")).strip()
-        key = str(item.get("article_id") or (f"{law_key}::{num}" if law_key and num else "") or hash(json.dumps(item, ensure_ascii=False)))
-        unique[key] = item
-    return list(unique.values())
-
-
-def _build_documents(items: List[dict]) -> Tuple[List[Document], Dict[str, dict]]:
-    """
-    Returns:
-      - docs: LangChain Documents
-      - article_map: key = "{law_key}::{article_number}" -> raw dict (for cross-ref fetching)
-    """
-    article_map: Dict[str, dict] = {}
-    docs: List[Document] = []
-
-    for item in items:
-        law_key, law_name = _infer_law_meta(item)
-        num = str(item.get("article_number", "")).strip()
-
-        # composite key to avoid collisions
-        if law_key and num:
-            article_map[f"{law_key}::{num}"] = item
-
-        cross_refs = item.get("cross_references") or []
-        cross_ref_text = ""
-        if isinstance(cross_refs, list) and len(cross_refs) > 0:
-            cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join([f"المادة {ref}" for ref in cross_refs])
-
-        page_content = f"""
-رقم المادة: {item.get('article_number')}
-النص الأصلي: {item.get('original_text')}
-الشرح المبسط: {item.get('simplified_summary')}{cross_ref_text}
-""".strip()
-
-        keywords_list = item.get("keywords", [])
-        keywords_str = ", ".join(keywords_list) if isinstance(keywords_list, list) else str(keywords_list or "")
-
-        metadata = {
-            "article_id": item.get("article_id"),
-            "article_number": num,
-            "legal_nature": item.get("legal_nature", ""),
-            "keywords": keywords_str,
-            "part": item.get("part (Bab)", item.get("part", "")),
-            "chapter": item.get("chapter (Fasl)", item.get("chapter", "")),
-            "cross_references": ", ".join([str(ref) for ref in (cross_refs or [])]),
-            "law_key": law_key,
-            "law_name": law_name,
-        }
-
-        docs.append(Document(page_content=page_content, metadata=metadata))
-
-    logger.info("Loaded %d documents", len(docs))
-    return docs, article_map
-
-
-def _docs_to_context(docs: List[Document]) -> str:
-    parts = []
-    for d in docs:
-        num = str(d.metadata.get("article_number", "")).strip()
-        law_name = (d.metadata.get("law_name") or "").strip()
-        content = (d.page_content or "").strip()
-        header = f"[{law_name} - المادة {num}]" if (law_name and num) else (f"[المادة {num}]" if num else "")
-        parts.append(f"{header}\n{content}".strip())
-    return "\n\n---\n\n".join(parts)
-
-
-def _is_constitutional_question(q: str) -> bool:
-    q = (q or "").strip()
-    keywords = ["الدستور", "دستوري", "دستورية", "في الدستور", "مواد الدستور", "نص المادة"]
-    return any(k in q for k in keywords)
-
-
-
-def _preferred_law_keys(question: str) -> Optional[Set[str]]:
-    """
-    Lightweight topic routing to reduce cross-law contamination.
-    Returns a set of preferred law_keys (canonical) or None (no preference).
-    """
-    q = (question or "").strip().lower()
-
-    # Constitution
-    if _is_constitutional_question(question):
-        return {CANON_CONSTITUTION}
-
-    # Labour / workplace
-    labour_terms = [
-        "قانون العمل", "العام��", "العمال", "صاحب العمل", "منشأة", "المنشأة",
-        "الأجر", "الأجور", "إضراب", "الإضراب", "فصل تعسفي", "سخرة", "جبراً", "تحرش", "تنمر", "مكان العمل"
-    ]
-    if any(term in q for term in labour_terms):
-        return {"egyptian_labour_law"}
-
-    # Tech crimes
-    tech_terms = [
-        "جرائم تقنية", "تقنية المعلومات", "اختراق", "هاكر", "حساب", "بريد إلكتروني", "ابتزاز", "انتحال", "فيسبوك",
-        "واتساب", "تلغرام", "نشر", "صور", "بيانات شخصية", "خصوصية", "الشبكة", "موقع", "منصة"
-    ]
-    if any(term in q for term in tech_terms):
-        return {"tech_crimes"}
-
-    # Criminal procedure
-    proc_terms = [
-        "إجراءات جنائية", "الإجراءات الجنائية", "محضر", "بلاغ", "قسم", "شرطة", "نيابة", "تحقيق", "حبس احتياطي",
-        "ضبط", "تفتيش", "قبض", "تظلم"
-    ]
-    if any(term in q for term in proc_terms):
-        return {"criminal_law"}
-
-    # Personal status
-    ps_terms = ["أحوال شخصية", "نفقة", "حضانة", "طلاق", "خلع", "رؤية", "استضافة", "مؤخر", "قائمة المنقولات"]
-    if any(term in q for term in ps_terms):
-        return {"personal_status"}
-
-    # Civil law
-    civil_terms = ["القانون المدني", "عقد", "التزام", "تعويض", "مسؤولية تقصيرية", "بطلان", "إبطال", "فسخ"]
-    if any(term in q for term in civil_terms):
-        return {"civil_law"}
-
-    return None
-
-
-
-def _wants_penalty(question: str) -> bool:
-    """
-    Returns True if the user explicitly asks about punishment/sanctions (criminal/administrative),
-    so we are allowed to include "العقوبات" articles. Otherwise, prefer substantive (non-penalty) rules.
-    """
-    q = (question or "").strip()
-    penalty_terms = [
-        "عقوبة", "العقوبات", "يُعاقب", "يعاقب", "غرامة", "حبس", "سجن", "إغلاق", "غلق",
-        "جزاء", "جزاءات", "تجريم", "ما عقوبة", "ما هي عقوبة", "كم غرامة"
-    ]
-    return any(term in q for term in penalty_terms)
-
-def _is_procedural_question(q: str) -> bool:
-    q = (q or "").strip()
-    proc = ["محضر", "بلاغ", "قسم", "شرطة", "نيابة", "دعوى", "قضية", "طلاق", "نفقة", "حضانة", "إيصال", "شيك"]
-    return any(k in q for k in proc)
-
-
-# ----------------------------
-# Custom retrievers (BM25 / Metadata / Hybrid RRF / Cross-refs)
-# ----------------------------
-class BM25Retriever(BaseRetriever):
-    """BM25-based keyword retriever"""
-    corpus_docs: List[Document]
-    k: int = 15
-
-    bm25: Any = None
-
-    class Config:
-        arbitrary_types_allowed = True
-
-    def __init__(self, **data):
-        super().__init__(**data)
-        if not _HAS_BM25:
-            raise RuntimeError("rank_bm25/numpy not installed. Install: pip install rank-bm25 numpy")
-        tokenized = [doc.page_content.split() for doc in self.corpus_docs]
-        self.bm25 = BM25Okapi(tokenized)
-
-    def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        tokenized_query = query.split()
-        scores = self.bm25.get_scores(tokenized_query)
-        top_idx = np.argsort(scores)[::-1][: self.k]
-        return [self.corpus_docs[i] for i in top_idx if scores[i] > 0]
-
-    async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        return self._get_relevant_documents(query, run_manager=run_manager)
-
-
-class MetadataFilterRetriever(BaseRetriever):
-    """Metadata + light content scoring retriever"""
-    corpus_docs: List[Document]
-    k: int = 15
-
-    class Config:
-        arbitrary_types_allowed = True
-
-    def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        q = (query or "").lower()
-        q_words = [w for w in q.split() if w.strip()]
-        scored = []
-
-        for doc in self.corpus_docs:
-            score = 0
-            keywords = (doc.metadata.get("keywords") or "").lower()
-            legal_nature = (doc.metadata.get("legal_nature") or "").lower()
-            part = (doc.metadata.get("part") or "").lower()
-            chapter = (doc.metadata.get("chapter") or "").lower()
-            content = (doc.page_content or "").lower()
-            law_name = (doc.metadata.get("law_name") or "").lower()
-
-            if any(w in keywords for w in q_words):
-                score += 3
-            if any(w in legal_nature for w in q_words):
-                score += 2
-            if any((w in part) or (w in chapter) for w in q_words):
-                score += 1
-            if any(w in content for w in q_words):
-                score += 1
-            if any(w in law_name for w in q_words):
-                score += 1
-
-            if score > 0:
-                scored.append((doc, score))
-
-        scored.sort(key=lambda x: x[1], reverse=True)
-        return [doc for doc, _ in scored[: self.k]]
-
-    async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        return self._get_relevant_documents(query, run_manager=run_manager)
-
-
-class HybridRRFRetriever(BaseRetriever):
-    """
-    Reciprocal Rank Fusion across:
-      - semantic retriever (Chroma)
-      - BM25 retriever
-      - metadata retriever
-    """
-    semantic_retriever: BaseRetriever
-    bm25_retriever: Optional[BaseRetriever] = None
-    metadata_retriever: Optional[BaseRetriever] = None
-
-    beta_semantic: float = 0.5
-    beta_keyword: float = 0.3
-    beta_metadata: float = 0.2
-
-    rrf_k: int = 60
-    top_k: int = 20
-
-    class Config:
-        arbitrary_types_allowed = True
-
-    def _doc_id(self, doc: Document) -> str:
-        aid = str(doc.metadata.get("article_id") or "").strip()
-        if aid:
-            return aid
-        lk = str(doc.metadata.get("law_key") or "").strip()
-        num = str(doc.metadata.get("article_number") or "").strip()
-        if lk and num:
-            return f"{lk}::{num}"
-        return str(hash(doc.page_content or ""))
-
-    def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        sem_docs = self.semantic_retriever.invoke(query) or []
-
-        bm_docs = []
-        if self.bm25_retriever is not None:
-            try:
-                bm_docs = self.bm25_retriever.invoke(query) or []
-            except Exception:
-                bm_docs = []
-
-        md_docs = []
-        if self.metadata_retriever is not None:
-            md_docs = self.metadata_retriever.invoke(query) or []
-
-        rrf_scores: Dict[str, float] = {}
-        doc_lookup: Dict[str, Document] = {}
-
-        def add_ranked(docs: List[Document], beta: float):
-            for rank, d in enumerate(docs, start=1):
-                did = self._doc_id(d)
-                rrf_scores[did] = rrf_scores.get(did, 0.0) + beta / (self.rrf_k + rank)
-                if did not in doc_lookup:
-                    doc_lookup[did] = d
-
-        add_ranked(sem_docs, self.beta_semantic)
-        add_ranked(bm_docs, self.beta_keyword)
-        add_ranked(md_docs, self.beta_metadata)
-
-        sorted_ids = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-        out = []
-        for did, _ in sorted_ids[: self.top_k]:
-            if did in doc_lookup:
-                out.append(doc_lookup[did])
-        return out
-
-    async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        return self._get_relevant_documents(query, run_manager=run_manager)
-
-
-class CrossReferenceRetriever(BaseRetriever):
-    """Fetches cross-referenced articles automatically (within the same law)."""
-    base_retriever: BaseRetriever
-    article_map: Dict[str, dict]
-
-    class Config:
-        arbitrary_types_allowed = True
-
-    def _build_doc_from_item(self, item: dict) -> Document:
-        law_key, law_name = _infer_law_meta(item)
-
-        cross_refs = item.get("cross_references") or []
-        cross_ref_text = ""
-        if isinstance(cross_refs, list) and len(cross_refs) > 0:
-            cross_ref_text = "\nالمواد ذات الصلة: " + ", ".join([f"المادة {ref}" for ref in cross_refs])
-
-        page_content = f"""
-رقم المادة: {item.get('article_number')}
-النص الأصلي: {item.get('original_text')}
-الشرح المبسط: {item.get('simplified_summary')}{cross_ref_text}
-""".strip()
-
-        keywords_list = item.get("keywords", [])
-        keywords_str = ", ".join(keywords_list) if isinstance(keywords_list, list) else str(keywords_list or "")
-
-        metadata = {
-            "article_id": item.get("article_id"),
-            "article_number": str(item.get("article_number", "")).strip(),
-            "legal_nature": item.get("legal_nature", ""),
-            "keywords": keywords_str,
-            "cross_references": ", ".join([str(ref) for ref in (cross_refs or [])]),
-            "law_key": law_key,
-            "law_name": law_name,
-        }
-        return Document(page_content=page_content, metadata=metadata)
-
-    def _doc_uid(self, d: Document) -> str:
-        aid = str(d.metadata.get("article_id") or "").strip()
-        if aid:
-            return aid
-        lk = str(d.metadata.get("law_key") or "").strip()
-        num = str(d.metadata.get("article_number") or "").strip()
-        if lk and num:
-            return f"{lk}::{num}"
-        return str(hash(d.page_content or ""))
-
-    def _get_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        initial_docs = self.base_retriever.invoke(query) or []
-
-        enhanced: List[Document] = []
-        seen: Set[str] = set()
-
-        # add initial docs
-        for d in initial_docs:
-            uid = self._doc_uid(d)
-            if uid in seen:
-                continue
-            seen.add(uid)
-            enhanced.append(d)
-
-        # add cross refs within same law
-        for d in initial_docs:
-            lk = str(d.metadata.get("law_key") or "").strip()
-            if not lk:
-                continue
-
-            cross_str = (d.metadata.get("cross_references") or "").strip()
-            if not cross_str:
-                continue
-
-            for ref in [x.strip() for x in cross_str.split(",")]:
-                if not ref:
-                    continue
-                key = f"{lk}::{ref}"
-                if key in self.article_map:
-                    new_doc = self._build_doc_from_item(self.article_map[key])
-                    uid = self._doc_uid(new_doc)
-                    if uid not in seen:
-                        seen.add(uid)
-                        enhanced.append(new_doc)
-
-        return enhanced
-
-    async def _aget_relevant_documents(self, query: str, *, run_manager: CallbackManagerForRetrieverRun = None) -> List[Document]:
-        return self._get_relevant_documents(query, run_manager=run_manager)
-
-
-# ----------------------------
-# Retriever builder
-# ----------------------------
-def _build_retriever(
-    docs_subset: List[Document],
-    article_map_all: Dict[str, dict],
-    semantic_retriever: BaseRetriever,
-) -> BaseRetriever:
-    bm25_retriever = None
-    if _HAS_BM25:
-        try:
-            bm25_retriever = BM25Retriever(corpus_docs=docs_subset, k=15)
-            logger.info("BM25 enabled for subset=%d", len(docs_subset))
-        except Exception as e:
-            logger.warning("BM25 disabled: %s", e)
-
-    metadata_retriever = MetadataFilterRetriever(corpus_docs=docs_subset, k=15)
-
-    hybrid = HybridRRFRetriever(
-        semantic_retriever=semantic_retriever,
-        bm25_retriever=bm25_retriever,
-        metadata_retriever=metadata_retriever,
-        beta_semantic=0.5,
-        beta_keyword=0.3,
-        beta_metadata=0.2,
-        rrf_k=60,
-        top_k=20,
-    )
-
-    cross_ref = CrossReferenceRetriever(base_retriever=hybrid, article_map=article_map_all)
-
-    if not os.path.exists(RERANKER_DIR):
-        raise FileNotFoundError(f"Reranker folder not found: {RERANKER_DIR}")
-
-    cross_encoder = HuggingFaceCrossEncoder(model_name=RERANKER_DIR)
-    compressor = CrossEncoderReranker(model=cross_encoder, top_n=5)
-
-    return ContextualCompressionRetriever(base_compressor=compressor, base_retriever=cross_ref)
-
-
-# ----------------------------
-# Main initializer
-# ----------------------------
-def initialize_rag_pipeline():
-    global _retriever_general, _retrievers_by_law, _article_map_all
-
-    if not os.path.exists(DATA_DIR):
-        raise FileNotFoundError(f"Data folder not found: {DATA_DIR}")
-
-    data = _load_json_folder(DATA_DIR)
-    data = _dedupe_items(data)
-
-    docs_all, article_map_all = _build_documents(data)
-    _article_map_all = article_map_all
-
-    embeddings = HuggingFaceEmbeddings(model_name="Omartificial-Intelligence-Space/GATE-AraBert-v1")
-
-    # Build / load ONE Chroma DB for ALL docs
-    if os.path.exists(CHROMA_DIR) and os.listdir(CHROMA_DIR):
-        logger.info("Loading existing Chroma DB: %s", CHROMA_DIR)
-        vectorstore = Chroma(persist_directory=CHROMA_DIR, embedding_function=embeddings)
-    else:
-        logger.info("Building Chroma DB (first time) into: %s", CHROMA_DIR)
-        vectorstore = Chroma.from_documents(docs_all, embeddings, persist_directory=CHROMA_DIR)
-
-    # General semantic retriever
-    semantic_general = vectorstore.as_retriever(search_kwargs={"k": 15})
-
-    # ✅ Build general retriever over ALL docs
-    _retriever_general = _build_retriever(docs_all, article_map_all, semantic_general)
-
-    # ✅ Build a retriever for EACH law_key automatically
-    _retrievers_by_law = {}
-    law_keys = sorted({(d.metadata.get("law_key") or "").strip() for d in docs_all if (d.metadata.get("law_key") or "").strip()})
-    logger.info("Detected law_keys=%s", law_keys)
-
-    for lk in law_keys:
-        docs_subset = [d for d in docs_all if d.metadata.get("law_key") == lk]
-        if not docs_subset:
-            continue
-
-        # Use Chroma metadata filter to keep semantic search inside this law only
-        semantic_law = vectorstore.as_retriever(search_kwargs={"k": 15, "filter": {"law_key": lk}})
-        _retrievers_by_law[lk] = _build_retriever(docs_subset, article_map_all, semantic_law)
-        logger.info("Built retriever for law_key=%s docs=%d", lk, len(docs_subset))
-
-    # --- LLM setup (same as your existing code) ---
-    groq_key = os.getenv("GROQ_API_KEY")
-    if not groq_key:
-        raise ValueError("GROQ_API_KEY is missing. Add it to .env")
-
-    llm = ChatGroq(
-        groq_api_key=groq_key,
-        model_name="llama-3.1-8b-instant",
-        temperature=0.3,
-        model_kwargs={"top_p": 0.9},
-    )
-    system_instructions = """
-<role>
-أنت "المساعد القانوني الذكي"، خبير متخصص في الدستور المصري والقوانين الإجرائية.
-مهمتك: تقديم إجابات دقيقة بناءً على "السياق التشريعي" المرفق أولاً، أو تقديم نصائح إجرائية عامة عند الضرورة.
-</role>
-
-<decision_logic>
-🔴 الحالة الأولى: إذا وجدت معلومات داخل السياق تجيب على السؤال:
-- استخرج الإجابة من السياق فقط.
-- ابدأ الإجابة مباشرة دون مقدمات.
-- وثّق الإجابة برقم المادة.
-- لا تضف معلومات خارجية.
-
-🟡 الحالة الثانية: إذا لم تجد الإجابة في السياق وكان السؤال إجرائياً:
-- ابدأ بعبارة: "بناءً على الإجراءات القانونية العامة في مصر (وليس نصاً دستورياً محدداً):"
-- قدّم خطوات مرقمة واضحة.
-- لا تذكر أرقام مواد قانونية.
-
-🔵 الحالة الثالثة: إذا كان السؤال دستورياً ولم تجد الإجابة في السياق:
-- قل بوضوح أنه لم يرد ذكره في المواد المسترجعة.
-- لا تجب من الذاكرة.
-
-🟢 الحالة الرابعة: تحية/شكر:
-- رد مهذب ومقتضب وقل: "أنا جاهز للإجابة على استفساراتك القانونية."
-
-⚫ الحالة الخامسة: خارج النطاق:
-- اعتذر ووجّه المستخدم لمجال القانون.
-</decision_logic>
-
-<formatting_rules>
-- فقرات قصيرة وبينها سطر فارغ.
-- لا تكرر هذه التعليمات.
-- التزم بالعربية الفصحى المبسطة.
-</formatting_rules>
-""".strip()
-
-    prompt = ChatPromptTemplate.from_messages([
-        ("system", system_instructions),
-        ("system", "السياق التشريعي المتاح:\n{context}"),
-        ("human", "سؤال المستفيد:\n{input}"),
-    ])
-
-    qa_chain = (prompt | llm | StrOutputParser())
-    logger.info("RAG pipeline initialized successfully.")
-    return qa_chain
-
-
-
-# ----------------------------
-# Public API (matches main.py)
-# ----------------------------
-def get_chain():
-    global _qa_chain
-    if _qa_chain is None:
-        _qa_chain = initialize_rag_pipeline()
-    return _qa_chain
-
-
-def _get_retriever_for_question(question: str) -> BaseRetriever:
-    get_chain()  # ensure initialized
-
-    preferred = _preferred_law_keys(question)
-    if preferred:
-        # If multiple laws are returned, choose the first that exists
-        for lk in preferred:
-            r = _retrievers_by_law.get(lk)
-            if r is not None:
-                return r
-
-    return _retriever_general  # fallback
-
-
-
-def _docs_to_sources(docs: List[Document]) -> List[Dict[str, Any]]:
-    sources: List[Dict[str, Any]] = []
-    seen: Set[str] = set()
-
-    for d in docs:
-        md = getattr(d, "metadata", {}) or {}
-        uid = (
-            md.get("article_id")
-            or (str(md.get("law_key") or "") + "::" + str(md.get("article_number") or ""))
-            or str(hash(d.page_content or ""))
-        )
-        if uid in seen:
-            continue
-        seen.add(uid)
-
-        num = str(md.get("article_number", "")).strip()
-
-        sources.append({
-            "law_key": md.get("law_key"),
-            "law_name": md.get("law_name"),
-            "article_number": num or None,
-            "legal_nature": md.get("legal_nature"),
-            "keywords": md.get("keywords"),
-            "content": (getattr(d, "page_content", "") or "").strip()[:2000],
-            "metadata": md,
-        })
-
-    return sources
-
-
-def ask(question: str) -> Tuple[str, List[Dict[str, Any]]]:
-    chain = get_chain()
-    retriever = _get_retriever_for_question(question)
-
-    docs = retriever.invoke(question) or []
-
-    # ✅ Topic routing filter: keep only documents from the most relevant law when possible.
-    preferred = _preferred_law_keys(question)
-    if preferred:
-        filtered = [d for d in docs if (d.metadata.get("law_key") in preferred)]
-        if filtered:
-            docs = filtered
-
-    # ✅ If top doc has a law_key, prefer staying within that law to avoid mixing.
-    if docs:
-        top_law = docs[0].metadata.get("law_key")
-        if top_law:
-            same_law = [d for d in docs if d.metadata.get("law_key") == top_law]
-            if same_law:
-                docs = same_law
-
-    # ✅ Penalty filter:
-    # If the user did NOT ask about "عقوبة/غرامة/حبس..." then avoid pulling "العقوبات" articles
-    # because they often contaminate substantive Q&A (like workplace harassment).
-    if docs and not _wants_penalty(question):
-        non_penalty = []
-        for d in docs:
-            md = d.metadata or {}
-            chapter = str(md.get("chapter") or "")
-            part = str(md.get("part") or "")
-            legal_nature = str(md.get("legal_nature") or "")
-            text = (chapter + " " + part + " " + legal_nature)
-            if "عقوب" in text or "قاعدة عقابية" in text or "تجريم" in text:
-                continue
-            non_penalty.append(d)
-        if non_penalty:
-            docs = non_penalty
-
-    context_text = _docs_to_context(docs)
-
-    # Hard guard: constitutional questions must be answered from constitution docs only.
-    preferred = _preferred_law_keys(question)
-    if preferred:
-        has_pref = any((d.metadata.get("law_key") in preferred) for d in docs)
-        if not has_pref:
-            msg = "عذراً، لم يرد ذكر لهذا الموضوع في المواد المسترجعة من القانون الأكثر صلة بالسؤال ضمن السياق الحالي."
-            return msg, _docs_to_sources(docs)
-
-
-    answer = chain.invoke({"context": context_text, "input": question})
-
-    # ✅ Post-guard 1: if we have ANY useful context, forbid procedural prefix.
-    if docs:
-        bad_prefix = "بناءً على الإجراءات القانونية العامة في مصر (وليس نصاً دستورياً محدداً):"
-        answer = (answer or "").replace(bad_prefix, "").strip()
-        answer = "\n".join([line for line in answer.splitlines() if line.strip()]).strip()
-
-        # Also remove common hallucination like: "لا توجد مواد قانونية محددة في السياق..."
-        halluc_lines = [
-            "لا توجد مواد قانونية محددة في السياق المرفق",
-            "لا توجد مواد قانونية محددة في السياق",
-            "لا توجد معلومات داخل السياق",
-            "لا توجد مواد داخل السياق",
-        ]
-        for hl in halluc_lines:
-            answer = answer.replace(hl, "").strip()
-        answer = "\n".join([line for line in answer.splitlines() if line.strip()]).strip()
-
-    return answer, _docs_to_sources(docs)
-

rag_test_questions_100.json

@@ -1,1380 +0,0 @@
-{
-  "schema_version": "1.0",
-  "dataset_version": "2026-02-03",
-  "created_at": "2026-02-03T19:15:30.097990+00:00",
-  "description": "Benchmark set for Egyptian legal RAG assistant: constitutional Qs + multi-law retrieval + procedural gating.",
-  "laws_in_scope": [
-    {
-      "key": "constitution",
-      "path": "/mnt/data/Egyptian_Constitution_legalnature_only.json"
-    },
-    {
-      "key": "criminal_procedure",
-      "path": "/mnt/data/قانون_الإجراءات_الجنائية.json"
-    },
-    {
-      "key": "tech_crimes",
-      "path": "/mnt/data/Technology Crimes Law.json"
-    },
-    {
-      "key": "labor",
-      "path": "/mnt/data/Egyptian_Labour_Law.json"
-    },
-    {
-      "key": "personal_status",
-      "path": "/mnt/data/Egyptian_Personal Status Laws.json"
-    },
-    {
-      "key": "civil",
-      "path": "/mnt/data/Egyptian_Civil.json"
-    }
-  ],
-  "defaults": {
-    "k": 15,
-    "rerank_top_n": 5,
-    "recall_k": 5,
-    "pass_rule": "pass if recall@k>=1 for questions with expected articles; else pass if answer startswith expected_answer_prefix (if provided)."
-  },
-  "cases": [
-    {
-      "id": "Q001",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 1 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "جمهورية مصر العربية دولة ذات سيادة، موحدة لا تقبل التجزئة، نظامها جمهوري ديمقراطي يقوم على المواطنة وسيادة القانون. الشعب المصري جزء من الأمة العربية والعالم الإسلامي والقارة الأفريقية."
-    },
-    {
-      "id": "Q002",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 2 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الإسلام دين الدولة، واللغة العربية لغتها الرسمية، ومبادئ الشريعة الإسلامية هي المصدر الرئيسي للتشريع."
-    },
-    {
-      "id": "Q003",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 3 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "3"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "مبادئ شرائع المسيحيين واليهود هي المصدر الرئيسي لتشريعات أحوالهم الشخصية وشئونهم الدينية واختيار قياداتهم."
-    },
-    {
-      "id": "Q004",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 4 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "4"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "السيادة للشعب وحده وهو مصدر السلطات، ويصون الوحدة الوطنية القائمة على المساواة والعدل وتكافؤ الفرص."
-    },
-    {
-      "id": "Q005",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 5 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "5"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "يقوم النظام السياسي على التعددية السياسية والحزبية، والتداول السلمي للسلطة، والفصل بين السلطات، واحترام حقوق الإنسان."
-    },
-    {
-      "id": "Q006",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 6 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "6"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الجنسية حق لكل من يولد لأب مصري أو أم مصرية، ويكفل القانون الاعتراف القانوني به ومنحه أوراقاً رسمية، ويحدد شروط اكتساب الجنسية."
-    },
-    {
-      "id": "Q007",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 7 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "7"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الأزهر الشريف هيئة مستقلة وهو المرجع الأساسي في العلوم الدينية. تلتزم الدولة بتمويله، وشيخ الأزهر مستقل ولا يمكن عزله."
-    },
-    {
-      "id": "Q008",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 8 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "8"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "يقوم المجتمع على التضامن الاجتماعي، وتلتزم الدولة بتحقيق العدالة الاجتماعية والتكافل لضمان حياة كريمة للمواطنين."
-    },
-    {
-      "id": "Q009",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 9 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "9"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بتحقيق تكافؤ الفرص بين جميع المواطنين بلا تمييز."
-    },
-    {
-      "id": "Q010",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 10 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "10"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الأسرة هي أساس المجتمع وتقوم على الدين والأخلاق والوطنية، وتعمل الدولة على حمايتها واستقرارها."
-    },
-    {
-      "id": "Q011",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 11 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "11"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تكفل الدولة المساواة بين الرجل والمرأة في كافة الحقوق، وتضمن تمثيلها في المجالس النيابية وتوليها الوظائف العامة والقضائية، وتحميها من العنف وتوفر الرعاية للفئات الأكثر احتياجاً."
-    },
-    {
-      "id": "Q012",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 12 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "12"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "العمل حق وواجب تكفله الدولة. يُمنع العمل الجبري إلا بقانون ولخدمة عامة وبمقابل عادل."
-    },
-    {
-      "id": "Q013",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 13 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "13"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تحافظ الدولة على حقوق العمال وتضمن علاقات عمل متوازنة والتفاوض الجماعي، وتحميهم من المخاطر والفصل التعسفي."
-    },
-    {
-      "id": "Q014",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 14 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "14"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الوظائف العامة حق للمواطنين بناءً على الكفاءة، وهي تكليف لخدمة الشعب. تحمي الدولة الموظفين ولا يجوز فصلهم إلا تأديبياً أو بالقانون."
-    },
-    {
-      "id": "Q015",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 15 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "15"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الإضراب السلمي هو حق ينظمه القانون."
-    },
-    {
-      "id": "Q016",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 16 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "16"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بتكريم ورعاية شهداء الوطن ومصابي الثورة والعمليات الأمنية وأسرهم، وتوفير فرص عمل لهم، وتشجع المجتمع المدني على المساهمة."
-    },
-    {
-      "id": "Q017",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 17 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "17"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تكفل الدولة التأمين والضمان الاجتماعي للمواطنين لضمان حياة كريمة، خاصة للفئات الضعيفة. أموال التأمينات خاصة ومحمية وتدار بواسطة هيئة مستقلة."
-    },
-    {
-      "id": "Q018",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 18 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "18"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "لكل مواطن الحق في الصحة والرعاية المتكاملة. تلتزم الدولة بتخصيص نسبة من الإنفاق للصحة وإقامة تأمين صحي شامل، وتجرم الامتناع عن علاج الطوارئ."
-    },
-    {
-      "id": "Q019",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 19 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "19"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "التعليم حق لكل مواطن وإلزامي حتى الثانوية ومجاني في مؤسسات الدولة. تلتزم الدولة بتخصيص نسبة من الإنفاق للتعليم ومراقبة جودته."
-    },
-    {
-      "id": "Q020",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 20 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "20"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بتشجيع وتطوير التعليم الفني والتقني والتدريب المهني وفق معايير الجودة واحتياجات السوق."
-    },
-    {
-      "id": "Q021",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 21 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "21"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تكفل الدولة استقلال الجامعات ومجانية التعليم الجامعي الحكومي وتخصيص نسبة من الإنفاق له. تشجع الجامعات الأهلية وتراقب جودة التعليم الخاص والأهلي."
-    },
-    {
-      "id": "Q022",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 22 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "22"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "المعلمون هم ركيزة التعليم، وتكفل الدولة تنمية مهاراتهم ورعاية حقوقهم لضمان جودة التعليم."
-    },
-    {
-      "id": "Q023",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 23 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "23"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تكفل الدولة حرية البحث العلمي وتدعم الباحثين، وتخصص له نسبة من الإنفاق الحكومي، وتشجع مساهمة القطاع الخاص والمصريين بالخارج."
-    },
-    {
-      "id": "Q024",
-      "category": "constitutional",
-      "question": "ما مضمون ا��مادة 24 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "24"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "اللغة العربية والدين والتاريخ مواد أساسية في التعليم قبل الجامعي. تدرس الجامعات حقوق الإنسان والأخلاق المهنية."
-    },
-    {
-      "id": "Q025",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 25 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "25"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بالقضاء على الأمية الهجائية والرقمية وفق خطة زمنية وبمشاركة المجتمع المدني."
-    },
-    {
-      "id": "Q026",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 26 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "26"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "يحظر إنشاء الرتب المدنية."
-    },
-    {
-      "id": "Q027",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 27 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "27"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "يهدف النظام الاقتصادي لتحقيق الرخاء والتنمية المستدامة والعدالة الاجتماعية. يلتزم بالشفافية والتنافسية ومنع الاحتكار وحماية المستهلك والعمال، وضمان حد أدنى للأجور."
-    },
-    {
-      "id": "Q028",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 28 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "28"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بحماية الأنشطة الاقتصادية وزيادة تنافسيتها وتشجيع الاستثمار والإنتاج والتصدير. تهتم بالمشروعات الصغيرة وتنظيم القطاع غير الرسمي."
-    },
-    {
-      "id": "Q029",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 29 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "29"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الزراعة أساس الاقتصاد. تلتزم الدولة بحماية الأراضي الزراعية وتنمية الريف والإنتاج الزراعي والحيواني، وشراء المحاصيل بأسعار عادلة، ودعم صغار الفلاحين."
-    },
-    {
-      "id": "Q030",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 30 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "30"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تلتزم الدولة بحماية الثروة السمكية ودعم الصيادين مع الحفاظ على البيئة."
-    },
-    {
-      "id": "Q031",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 31 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "31"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "أمن الفضاء المعلوماتي جزء من الأمن القومي والاقتصادي، وتلتزم الدولة بحمايته."
-    },
-    {
-      "id": "Q032",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 32 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "32"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الموارد الطبيعية ملك للشعب ويجب الحفاظ عليها واستغلالها بحكمة. تشجع الدولة الطاقة المتجددة وتصنيع المواد الأولية. يحدد القانون شروط استغلال الموارد والمرافق العامة."
-    },
-    {
-      "id": "Q033",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 33 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "33"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تحمي الدولة جميع أنواع الملكية: العامة والخاصة والتعاونية."
-    },
-    {
-      "id": "Q034",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 34 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "34"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "للملكية العامة حرمة ويجب حمايتها ولا يجوز المساس بها."
-    },
-    {
-      "id": "Q035",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 35 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "35"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الملكية الخاصة والإرث مصونان. لا تُفرض الحراسة أو تُنزع الملكية إلا بالقانون وحكم قضائي وللمنفعة العامة مقابل تعويض عادل."
-    },
-    {
-      "id": "Q036",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 36 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "36"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "تحفز الدولة القطاع الخاص للمشاركة في المسؤولية الاجتماعية."
-    },
-    {
-      "id": "Q037",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 37 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "37"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الملكية التعاونية مصونة وتدعم الدولة التعاونيات وتضمن استقلالها، ولا تحل إلا بحكم قضائي."
-    },
-    {
-      "id": "Q038",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 38 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "38"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "النظام الضريبي يهدف لتنمية الموارد والعدالة. الضرائب لا تُفرض إلا بقانون وتكون تصاعدية. الدولة تلتزم بتطوير النظام الضريبي، والتهرب الضريبي جريمة."
-    },
-    {
-      "id": "Q039",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 39 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "39"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الادخار واجب وطني تحميه وتشجعه الدولة."
-    },
-    {
-      "id": "Q040",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 40 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "40"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "المصادرة العامة للأموال ممنوعة، والخاصة لا تجوز إلا بحكم قضائي."
-    },
-    {
-      "id": "Q041",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 1؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "النيابة العامة هي الجهة الوحيدة المختصة برفع الدعوى الجنائية ومباشرتها، ولا يجوز تركها أو وقفها إلا وفقاً للقانون."
-    },
-    {
-      "id": "Q042",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 2؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "النائب العام أو أعضاء النيابة العامة يباشرون الدعوى الجنائية، ويجوز تعيين آخرين لأداء هذه الوظيفة وفقاً للقانون."
-    },
-    {
-      "id": "Q043",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 3؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "3"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "في جرائم معينة (مثل السب والقذف والزنا) لا ترفع الدعوى الجنائية إلا بشكوى من المجني عليه أو وكيله خلال ثلاثة أشهر من علمه بالجريمة."
-    },
-    {
-      "id": "Q044",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 4؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "4"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "شكوى أحد المجني عليهم تكفي لتحريك الدعوى، والشكوى ضد متهم واحد تعتبر شكوى ضد جميع المتهمين."
-    },
-    {
-      "id": "Q045",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 5؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "5"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إذا كان المجني عليه قاصراً (أقل من 15 سنة) أو مصاباً بعاهة عقلية، يقدم الشكوى من له الولاية عليه."
-    },
-    {
-      "id": "Q046",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 6؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "6"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إذا تعارضت مصلحة المجني عليه مع مصلحة ممثله أو لم يكن له ممثل، تنوب عنه النيابة العامة في تقديم الشكوى."
-    },
-    {
-      "id": "Q047",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 7؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "7"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "وفاة المجني عليه تنهي حقه في الشكوى، لكن إذا قدمت الشكوى قبل الوفاة تستمر الدعوى."
-    },
-    {
-      "id": "Q048",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 8؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "8"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "في بعض الجرائم (المواد 181 و182 عقوبات) يشترط طلب كتابي من وزير العدل لرفع الدعوى الجنائية."
-    },
-    {
-      "id": "Q049",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 8 مكرر؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "8 مكرر"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "جرائم المادة 116 مكرراً (أ) من قانون العقوبات لا ترفع إلا من النائب العام أو المحامي العام."
-    },
-    {
-      "id": "Q050",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 9؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "9"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "جرائم الإهانة (المادة 184 عقوبات) تتطلب طلباً من الهيئة المجني عليها، وبشكل عام لا يجوز ��لتحقيق في جرائم الشكوى إلا بعد تقديمها."
-    },
-    {
-      "id": "Q051",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 10؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "10"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "يجوز للشاكي التنازل عن الشكوى قبل صدور حكم نهائي وتنقضي الدعوى بالتنازل. التنازل لأحد المتهمين يمتد للباقين. لا ينتقل حق التنازل للورثة إلا في دعوى الزنا."
-    },
-    {
-      "id": "Q052",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 11؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "11"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "لمحكمة الجنايات إقامة الدعوى على متهمين آخرين أو وقائع مرتبطة وإحالتها للنيابة للتحقيق، ويجوز ندب أحد أعضائها للتحقيق مع تطبيق أحكام قاضي التحقيق عليه."
-    },
-    {
-      "id": "Q053",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 12؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "12"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "لمحكمة النقض عند نظر الموضوع للمرة الثانية حق إقامة الدعوى كمحكمة الجنايات، ولا يشترك من قرر الإقامة في نظر الطعن الثاني."
-    },
-    {
-      "id": "Q054",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 13؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "13"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "لمحكمة الجنايات أو النقض إقامة الدعوى على من يخل بأوامرها أو يؤثر في قضائها أو الشهود أثناء نظر الدعوى."
-    },
-    {
-      "id": "Q055",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 14؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "14"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "وفاة المتهم تنهي الدعوى الجنائية، لكن يجوز الحكم بالمصادرة إذا حدثت الوفاة أثناء نظر الدعوى."
-    },
-    {
-      "id": "Q056",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 15؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "15"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تنقضي الدعوى الجنائية بالتقادم: 10 سنوات للجنايات، 3 سنوات للجنح، سنة للمخالفات. بعض الجرائم الخطيرة (التعذيب، الاعتداء على الحرية) لا تسقط بالتقادم."
-    },
-    {
-      "id": "Q057",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 16؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "16"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مدة التقادم في الدعوى الجنائية لا تتوقف لأي سبب."
-    },
-    {
-      "id": "Q058",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 17؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "17"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تنقطع مدة التقادم بإجراءات التحقيق أو الاتهام أو المحاكمة أو الأمر الجنائي، وتبدأ من جديد من يوم الانقطاع."
-    },
-    {
-      "id": "Q059",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 18؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "18"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "انقطاع مدة التقادم لأحد المتهمين يمتد أثره للباقين ما لم تتخذ ضدهم إجراءات مستقلة."
-    },
-    {
-      "id": "Q060",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 18 مكرر؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "18 مكرر"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "يجوز التصالح في المخالفات والجنح البسيطة بدفع ثلث الغرامة قبل رفع الدعوى أو ثلثيها بعد رفعها، وتنقضي الدعوى الجنائية بالتصالح."
-    },
-    {
-      "id": "Q061",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 18 مكرر (أ)؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "18 مكرر (أ)"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "يجوز للمجني عليه أو ورثته الصلح مع المتهم في جرائم معينة (الضرب، السرقة البسيطة، إتلاف المال) وتنقضي الدعوى بالصلح حتى بعد الحكم البات."
-    },
-    {
-      "id": "Q062",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 19؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "19"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مادة ملغاة."
-    },
-    {
-      "id": "Q063",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 20؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "20"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مادة ملغاة."
-    },
-    {
-      "id": "Q064",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 21؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "21"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مأمورو الضبط القضائي يبحثون عن الجرائم ومرتكبيها ويجمعون الاستدلالات اللازمة للتحقيق."
-    },
-    {
-      "id": "Q065",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 22؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "22"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مأمورو الضبط القضائي يتبعون النائب العام ويخضعون لإشرافه، وله طلب محاسبتهم تأديبياً وجنائياً."
-    },
-    {
-      "id": "Q066",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 1 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحدد المادة التعريفات الأساسية في القانون مثل الجهاز والوزير المختص والبيانات الإلكترونية والبيانات الشخصية والحكومية، والمعالجة الإلكترونية وتقنية المعلومات، ومقدم الخدمة والمستخدم، والبرنامج والنظام"
-    },
-    {
-      "id": "Q067",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 2 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تُلزم المادة مقدمي الخدمة بحفظ سجلات وبيانات محددة لمدة 180 يومًا، والحفاظ على سريتها وتأمينها وعدم إفشائها إلا بأمر قضائي. كما تُلزمهم بتوفير بيانات تعريفية وترخيصية للمستخدمين والجهات المختصة، وتمكي"
-    },
-    {
-      "id": "Q068",
-      "category": "tech_crimes",
-      "question": "ما ا��ذي تنظمه المادة 3 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "3"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تُطبق أحكام القانون على جرائم تقنية المعلومات المرتكبة خارج مصر من غير المصريين متى كان الفعل مجرمًا بالدولة التي وقع فيها، وذلك في حالات محددة مثل ارتباط الجريمة بوسيلة نقل مصرية، أو وجود مجني عليه م"
-    },
-    {
-      "id": "Q069",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 4 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "4"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تلتزم السلطات المصرية بتيسير التعاون الدولي وتبادل المعلومات وفق الاتفاقيات أو المعاملة بالمثل لمنع جرائم تقنية المعلومات والمساعدة في التحقيق وتتبع الجناة، ويكون مركز الاستعداد لطوارئ الحاسب والشبكات"
-    },
-    {
-      "id": "Q070",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 5 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "5"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "يجوز لوزير العدل بالاتفاق مع الوزير المختص منح صفة الضبطية القضائية للعاملين بالجهاز أو لغيرهم ممن تحددهم جهات الأمن القومي، فيما يخص الجرائم المرتبطة بأعمال وظائفهم وفق هذا القانون."
-    },
-    {
-      "id": "Q071",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 6 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "6"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تجيز المادة لجهة التحقيق إصدار أوامر مؤقتة مسببـة لمدة تصل إلى 30 يومًا قابلة للتجديد مرة واحدة لضبط البيانات والأنظمة وتتبعها، والبحث والتفتيش والدخول إلى البرامج وقواعد البيانات، وإلزام مقدم الخدمة "
-    },
-    {
-      "id": "Q072",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 7 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "7"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تنظم المادة إجراءات حجب المواقع المرتبطة بجرائم تقنية المعلومات التي تهدد الأمن القومي، بما يشمل أمر الحجب القضائي وعرضه على المحكمة خلال مدد محددة، والحجب المؤقت في حالات الاستعجال مع تحرير محضر وعرض"
-    },
-    {
-      "id": "Q073",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 8 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "8"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحدد المادة حق التظلم من أوامر الحجب أمام محكمة الجنايات المختصة بعد مرور سبعة أيام، مع إمكانية تجديد التظلم كل ثلاثة أشهر إذا رُفض، وإجراءات إيداع التظلم وتحديد جلسة والفصل فيه خلال سبعة أيام."
-    },
-    {
-      "id": "Q074",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 9 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "9"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تجيز المادة إصدار أمر مسبب بمنع السفر أو إدراج الاسم على قوائم ترقب الوصول عند الضرورة أو وجود أدلة كافية، مع حق التظلم خلال 15 يومًا وتجديده كل ثلاثة أشهر، والفصل القضائي خلال 15 يومًا، وإمكانية العد"
-    },
-    {
-      "id": "Q075",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 10 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "10"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تنشئ المادة سجلين للخبراء بالجهاز (للعاملين وغير العاملين)، وتحدد خضوعهم لقواعد تنظيم الخبرة أمام القضاء، مع تطبيق قواعد المساءلة الإدارية والتأديبية للخبراء غير العاملين وفق قانونهم، وتُحال تفاصيل ال"
-    },
-    {
-      "id": "Q076",
-      "category": "labor",
-      "question": "ما مضمون المادة 1 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تعريفات شاملة لـ 38 مصطلحاً أساسياً في قانون العمل تشمل: تعريف العامل وصاحب العمل والمتدرج، تفصيل شامل لمكونات الأجر (الأساسي والمتغير بما في ذلك العمولة والعلاوات والمنح والمكافآت والبدلات ونصيب الأر"
-    },
-    {
-      "id": "Q077",
-      "category": "labor",
-      "question": "ما مضمون المادة 2 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحديد السنة بـ365 يوماً والشهر بـ30 يوماً لأغراض تطبيق القانون، ما لم يتفق الطرفان على خلاف ذلك."
-    },
-    {
-      "id": "Q078",
-      "category": "labor",
-      "question": "ما مضمون المادة 3 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "3"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "قانون العمل رقم 14 لسنة 2025 هو القانون العام المنظم لجميع علاقات العمل في مصر."
-    },
-    {
-      "id": "Q079",
-      "category": "labor",
-      "question": "ما مضمون المادة 4 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "4"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "حظر السخرة والعمل الجبري والتحرش والتنمر والعنف بكافة أشكاله (اللفظي والجسدي والنفسي) ضد العمال، مع تحديد جزاءات تأديبية في لوائح المنشأة."
-    },
-    {
-      "id": "Q080",
-      "category": "labor",
-      "question": "ما مضمون المادة 5 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "5"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "حظر التمييز في العمل لأي سبب، مع استثناء المزايا المقررة قانوناً للمرأة والطفل وذوي الإعاقة والأقزام بالقدر اللازم لحمايتهم ودمجهم."
-    },
-    {
-      "id": "Q081",
-      "category": "labor",
-      "question": "ما مضمون المادة 6 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "6"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "بطلان أي شرط ينتقص من حقوق العامل، مع استمرار الشروط الأفضل حتى في حالة تغيير ملكية المنشأة."
-    },
-    {
-      "id": "Q082",
-      "category": "labor",
-      "question": "ما مضمون المادة 7 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "7"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إعفاء العمال من الرسوم القضائية والدمغة مع النفاذ المعجل وعدم اشتراط محامٍ."
-    },
-    {
-      "id": "Q083",
-      "category": "labor",
-      "question": "ما مضمون المادة 8 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "8"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "امتياز حقوق العمال على جميع أموال صاحب العمل قبل أي ديون أخرى بما فيها ديون الخزانة العامة."
-    },
-    {
-      "id": "Q084",
-      "category": "labor",
-      "question": "ما مضمون المادة 9 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "9"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "حماية حقوق العمال في حالة التصفية أو الإفلاس مع إشراف الجهة الإدارية المختصة."
-    },
-    {
-      "id": "Q085",
-      "category": "labor",
-      "question": "ما مضمون المادة 10 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "10"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "المسؤولية التضامنية لأصحاب العمل المتعددين والوكلاء المفوضين."
-    },
-    {
-      "id": "Q086",
-      "category": "labor",
-      "question": "ما مضمون المادة 11 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "11"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "استمرار عقود العمل رغم انتقال ملكية المنشأة بأي طريق."
-    },
-    {
-      "id": "Q087",
-      "category": "labor",
-      "question": "ما مضمون المادة 12 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "12"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "علاوة سنوية لا تقل عن 3% من الأجر التأميني مع إمكانية التخفيض بموافقة المجلس القومي للأجور."
-    },
-    {
-      "id": "Q088",
-      "category": "labor",
-      "question": "ما مضمون المادة 13 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "13"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحديد اختصاصات الجهة الإدارية المختصة بقرار من الوزير."
-    },
-    {
-      "id": "Q089",
-      "category": "labor",
-      "question": "ما مضمون المادة 14 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "14"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "توزيع حصيلة الغرامات: ثلث للوزارة للخدمات والتدريب، والباقي للخزانة العامة."
-    },
-    {
-      "id": "Q090",
-      "category": "labor",
-      "question": "ما مضمون المادة 15 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "15"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحصيل الرسوم والخدمات وفقاً لقانون وسائل الدفع غير النقدي."
-    },
-    {
-      "id": "Q091",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 1؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله."
-    },
-    {
-      "id": "Q092",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 2؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "نفقة المطلقة التي تستحقها تعتبر ديناً من تاريخ الطلاق."
-    },
-    {
-      "id": "Q093",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 3؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "3"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مادة ملغاة."
-    },
-    {
-      "id": "Q094",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 4؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "4"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إذا امتنع الزوج عن الإنفاق وله مال ظاهر نفذ الحكم في ماله. وإن لم يكن له مال وأصر على عدم الإنفاق طلق عليه القاضي. وإن ادعى العجز وأثبته أمهله شهراً."
-    },
-    {
-      "id": "Q095",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 5؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "5"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إذا كان الزوج غائباً غيبة قريبة وله مال نفذ الحكم في ماله، وإن لم يكن له مال أعذر إليه القاضي. وإن كان بعيد الغيبة أو مفقوداً ولا مال له طلق عليه القاضي. وتسري الأحكام على المحبوس المعسر."
-    },
-    {
-      "id": "Q096",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 6؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "6"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "التطليق لعدم الإنفاق يقع رجعياً، وللزوج مراجعة زوجته إذا ثبت يساره واستعد للإنفاق أثناء العدة."
-    },
-    {
-      "id": "Q097",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 7؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "7"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "مادة ملغاة."
-    },
-    {
-      "id": "Q098",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 8؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "8"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "إذا ظهر المفقود حياً فزوجته له، إلا إذا تمتع بها الثاني دون علم بحياة الأول فتكون للثاني ما لم يكن عقده في عدة وفاة الأول."
-    },
-    {
-      "id": "Q099",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 9؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "9"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "للزوجة طلب التفريق إذا وجدت بزوجها عيباً مستحكماً كالجنون أو الجذام أو البرص، سواء كان قبل العقد أو بعده، ما لم تكن عالمة به أو رضيت به."
-    },
-    {
-      "id": "Q100",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 10؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "10"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "الفرقة بسبب العيب تعتبر طلاقاً بائناً."
-    }
-  ]
-}

rag_test_questions_10_mixed.json

@@ -1,172 +0,0 @@
-{
-  "schema_version": "1.0",
-  "dataset_version": "2026-02-03-mixed10",
-  "created_at": "2026-02-03T19:15:30.097990+00:00",
-  "description": "Benchmark set for Egyptian legal RAG assistant: constitutional Qs + multi-law retrieval + procedural gating. (Mixed 10-case smoke test across 5 categories)",
-  "laws_in_scope": [
-    {
-      "key": "constitution",
-      "path": "/mnt/data/Egyptian_Constitution_legalnature_only.json"
-    },
-    {
-      "key": "criminal_procedure",
-      "path": "/mnt/data/قانون_الإجراءات_الجنائية.json"
-    },
-    {
-      "key": "tech_crimes",
-      "path": "/mnt/data/Technology Crimes Law.json"
-    },
-    {
-      "key": "labor",
-      "path": "/mnt/data/Egyptian_Labour_Law.json"
-    },
-    {
-      "key": "personal_status",
-      "path": "/mnt/data/Egyptian_Personal Status Laws.json"
-    },
-    {
-      "key": "civil",
-      "path": "/mnt/data/Egyptian_Civil.json"
-    }
-  ],
-  "defaults": {
-    "k": 15,
-    "rerank_top_n": 5,
-    "recall_k": 5,
-    "pass_rule": "pass if recall@k>=1 for questions with expected articles; else pass if answer startswith expected_answer_prefix (if provided)."
-  },
-  "cases": [
-    {
-      "id": "Q001",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 1 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "جمهورية مصر العربية دولة ذات سيادة، موحدة لا تقبل التجزئة، نظامها جمهوري ديمقراطي يقوم على المواطنة وسيادة القانون. الشعب المصري جزء من الأمة العربية والعالم الإسلامي والقارة الأفريقية."
-    },
-    {
-      "id": "Q002",
-      "category": "constitutional",
-      "question": "ما مضمون المادة 2 من الدستور المصري؟",
-      "expected": {
-        "law": "constitution",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true,
-        "answer_should_not_add_external_info": true
-      },
-      "notes": "الإسلام دين الدولة، واللغة العربية لغتها الرسمية، ومبادئ الشريعة الإسلامية هي المصدر الرئيسي للتشريع."
-    },
-    {
-      "id": "Q041",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 1؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "النيابة العامة هي الجهة الوحيدة المختصة برفع الدعوى الجنائية ومباشرتها، ولا يجوز تركها أو وقفها إلا وفقاً للقانون."
-    },
-    {
-      "id": "Q042",
-      "category": "criminal_procedure",
-      "question": "وفقاً لقانون الإجراءات الجنائية، ماذا تقرر المادة 2؟",
-      "expected": {
-        "law": "criminal_procedure",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "النائب العام أو أعضاء النيابة العامة يباشرون الدعوى الجنائية، ويجوز تعيين آخرين لأداء هذه الوظيفة وفقاً للقانون."
-    },
-    {
-      "id": "Q066",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 1 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحدد المادة التعريفات الأساسية في القانون مثل الجهاز والوزير المختص والبيانات الإلكترونية والبيانات الشخصية والحكومية، والمعالجة الإلكترونية وتقنية المعلومات، ومقدم الخدمة والمستخدم، والبرنامج والنظام"
-    },
-    {
-      "id": "Q067",
-      "category": "tech_crimes",
-      "question": "ما الذي تنظمه المادة 2 في قانون مكافحة جرائم تقنية المعلومات؟",
-      "expected": {
-        "law": "tech_crimes",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تُلزم المادة مقدمي الخدمة بحفظ سجلات وبيانات محددة لمدة 180 يومًا، والحفاظ على سريتها وتأمينها وعدم إفشائها إلا بأمر قضائي. كما تُلزم��م بتوفير بيانات تعريفية وترخيصية للمستخدمين والجهات المختصة، وتمكي"
-    },
-    {
-      "id": "Q076",
-      "category": "labor",
-      "question": "ما مضمون المادة 1 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تعريفات شاملة لـ 38 مصطلحاً أساسياً في قانون العمل تشمل: تعريف العامل وصاحب العمل والمتدرج، تفصيل شامل لمكونات الأجر (الأساسي والمتغير بما في ذلك العمولة والعلاوات والمنح والمكافآت والبدلات ونصيب الأر"
-    },
-    {
-      "id": "Q077",
-      "category": "labor",
-      "question": "ما مضمون المادة 2 في قانون العمل المصري (قانون العمل)؟",
-      "expected": {
-        "law": "labor",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تحديد السنة بـ365 يوماً والشهر بـ30 يوماً لأغراض تطبيق القانون، ما لم يتفق الطرفان على خلاف ذلك."
-    },
-    {
-      "id": "Q091",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 1؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "1"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله."
-    },
-    {
-      "id": "Q092",
-      "category": "personal_status",
-      "question": "في القانون رقم 25 لسنة 1920، ماذا تقرر المادة 2؟",
-      "expected": {
-        "law": "personal_status",
-        "expected_article_numbers": [
-          "2"
-        ],
-        "must_cite_articles": true
-      },
-      "notes": "نفقة المطلقة التي تستحقها تعتبر ديناً من تاريخ الطلاق."
-    }
-  ]
-}

rag_test_runner.py

@@ -1,270 +0,0 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-"""
-RAG Test Runner (metrics + CSV)
---------------------------------
-Runs a JSON test set against either:
-1) a local Python module exposing `ask(question) -> (answer: str, sources: list[dict])`, OR
-2) an HTTP endpoint that returns JSON {"answer": "...", "sources": [...]}
-
-Outputs:
-- summary metrics to stdout
-- a CSV report with per-case results (pass/fail + recall@k + rank)
-"""
-from __future__ import annotations
-
-import argparse
-import csv
-import importlib
-import json
-import re
-from dataclasses import dataclass
-from datetime import datetime
-from typing import Any, Dict, List, Optional, Tuple
-
-try:
-    import requests  # optional for --mode http
-except Exception:  # pragma: no cover
-    requests = None  # type: ignore
-
-
-@dataclass
-class CaseResult:
-    case_id: str
-    category: str
-    question: str
-    expected_articles: List[str]
-    got_articles: List[str]
-    recall_at_k: float
-    rank: Optional[int]
-    passed: bool
-    fail_reason: Optional[str]
-    answer_snippet: str
-
-
-def normalize_article_number(x: Any) -> Optional[str]:
-    if x is None:
-        return None
-    s = str(x).strip()
-    s = re.sub(r"\s+", " ", s)
-    return s or None
-
-
-def extract_articles(sources: Any, key: str) -> List[str]:
-    out: List[str] = []
-    if not sources:
-        return out
-    if isinstance(sources, dict):
-        sources = [sources]
-    if not isinstance(sources, list):
-        return out
-
-    for s in sources:
-        if not isinstance(s, dict):
-            continue
-        val = s.get(key)
-        num = normalize_article_number(val)
-        if num:
-            out.append(num)
-    return out
-
-
-def recall_and_rank(expected: List[str], retrieved: List[str], k: int) -> Tuple[float, Optional[int]]:
-    if not expected:
-        return 0.0, None
-    topk = retrieved[:k]
-    exp_set = set(expected)
-    for i, a in enumerate(topk, start=1):
-        if a in exp_set:
-            return 1.0, i
-    return 0.0, None
-
-
-def run_local(module_name: str, question: str) -> Tuple[str, Any]:
-    mod = importlib.import_module(module_name)
-    if not hasattr(mod, "ask"):
-        raise AttributeError(f"Module '{module_name}' must expose ask(question) -> (answer, sources)")
-    answer, sources = mod.ask(question)
-    return str(answer), sources
-
-
-def run_http(url: str, question: str, timeout: float = 60.0) -> Tuple[str, Any]:
-    if requests is None:
-        raise RuntimeError("requests is not installed. Install it or use --mode local.")
-    resp = requests.post(url, json={"question": question}, timeout=timeout)
-    resp.raise_for_status()
-    data = resp.json()
-    return str(data.get("answer", "")), data.get("sources", [])
-
-
-def evaluate_case(
-    case: Dict[str, Any],
-    mode: str,
-    module_name: str,
-    url: str,
-    k: int,
-    source_article_key: str,
-) -> CaseResult:
-    case_id = str(case.get("id", ""))
-    category = str(case.get("category", ""))
-    question = str(case.get("question", "")).strip()
-
-    expected = case.get("expected", {}) or {}
-    expected_articles = [normalize_article_number(x) for x in (expected.get("expected_article_numbers") or [])]
-    expected_articles = [x for x in expected_articles if x]
-    expected_prefix = expected.get("expected_answer_prefix")
-
-    # Run model
-    if mode == "local":
-        answer, sources = run_local(module_name, question)
-    else:
-        answer, sources = run_http(url, question)
-
-    got_articles = extract_articles(sources, source_article_key)
-
-    r_at_k, rank = recall_and_rank(expected_articles, got_articles, k)
-
-    # Pass/fail logic
-    passed = True
-    fail_reason = None
-
-    if expected_articles:
-        if r_at_k < 1.0:
-            passed = False
-            fail_reason = f"missed expected articles in top-{k}"
-    else:
-        # No expected articles => check prefix if provided (procedural general gating)
-        if expected_prefix:
-            if not answer.strip().startswith(str(expected_prefix).strip()):
-                passed = False
-                fail_reason = "answer did not follow expected procedural prefix"
-
-    snippet = answer.strip().replace("\n", " ")
-    if len(snippet) > 220:
-        snippet = snippet[:220] + "…"
-
-    return CaseResult(
-        case_id=case_id,
-        category=category,
-        question=question,
-        expected_articles=expected_articles,
-        got_articles=got_articles[:k],
-        recall_at_k=r_at_k,
-        rank=rank,
-        passed=passed,
-        fail_reason=fail_reason,
-        answer_snippet=snippet,
-    )
-
-
-def main() -> int:
-    ap = argparse.ArgumentParser()
-    ap.add_argument("--suite", required=True, help="Path to JSON test suite")
-    ap.add_argument("--mode", choices=["local", "http"], default="local")
-    ap.add_argument("--module", default="rag", help="Python module name for local mode (default: rag)")
-    ap.add_argument("--url", default="http://127.0.0.1:8000/ask", help="HTTP endpoint for http mode")
-    ap.add_argument("--k", type=int, default=5, help="k for recall@k (default: 5)")
-    ap.add_argument("--out", default="rag_test_report.csv", help="Output CSV file path")
-    ap.add_argument(
-        "--source-article-key",
-        default="article_number",
-        help="Key used inside each source dict for the article number (default: article_number)",
-    )
-    args = ap.parse_args()
-
-    with open(args.suite, "r", encoding="utf-8") as f:
-        suite = json.load(f)
-
-    cases = suite.get("cases") if isinstance(suite, dict) else None
-    if not isinstance(cases, list):
-        raise ValueError("Invalid suite format: expected {'cases': [...]}")
-
-    results: List[CaseResult] = []
-
-    for case in cases:
-        if not isinstance(case, dict):
-            continue
-
-        try:
-            res = evaluate_case(case, args.mode, args.module, args.url, args.k, args.source_article_key)
-            results.append(res)  # ✅ FIX: append success results
-        except Exception as e:
-            cid = str(case.get("id", ""))
-            results.append(
-                CaseResult(
-                    case_id=cid,
-                    category=str(case.get("category", "")),
-                    question=str(case.get("question", "")),
-                    expected_articles=[
-                        str(x)
-                        for x in (case.get("expected", {}) or {}).get("expected_article_numbers", [])
-                    ],
-                    got_articles=[],
-                    recall_at_k=0.0,
-                    rank=None,
-                    passed=False,
-                    fail_reason=f"runner error: {e}",
-                    answer_snippet="",
-                )
-            )
-
-    # Aggregate metrics
-    total = len(results)
-    passed_cnt = sum(1 for r in results if r.passed)
-    pass_rate = (passed_cnt / total) if total else 0.0
-
-    with_expected = [r for r in results if r.expected_articles]
-    avg_recall = (sum(r.recall_at_k for r in with_expected) / len(with_expected)) if with_expected else 0.0
-
-    # MRR on cases with expected
-    rr_vals = [(1.0 / r.rank) for r in with_expected if r.rank]
-    mrr = (sum(rr_vals) / len(with_expected)) if with_expected else 0.0
-
-    # Write CSV
-    fieldnames = [
-        "id",
-        "category",
-        "question",
-        "expected_articles",
-        "retrieved_topk_articles",
-        "recall_at_k",
-        "rank",
-        "passed",
-        "fail_reason",
-        "answer_snippet",
-    ]
-    with open(args.out, "w", encoding="utf-8-sig", newline="") as f:
-        w = csv.DictWriter(f, fieldnames=fieldnames)
-        w.writeheader()
-        for r in results:
-            w.writerow(
-                {
-                    "id": r.case_id,
-                    "category": r.category,
-                    "question": r.question,
-                    "expected_articles": "|".join(r.expected_articles),
-                    "retrieved_topk_articles": "|".join(r.got_articles),
-                    "recall_at_k": f"{r.recall_at_k:.3f}",
-                    "rank": "" if r.rank is None else r.rank,
-                    "passed": "PASS" if r.passed else "FAIL",
-                    "fail_reason": r.fail_reason or "",
-                    "answer_snippet": r.answer_snippet,
-                }
-            )
-
-    print("=== RAG Test Summary ===")
-    print(f"Timestamp: {datetime.utcnow().isoformat()}Z")
-    print(f"Suite: {args.suite}")
-    print(f"Mode: {args.mode}")
-    print(f"k: {args.k}")
-    print(f"Total cases: {total}")
-    print(f"Passed: {passed_cnt} ({pass_rate*100:.1f}%)")
-    print(f"Avg recall@{args.k} (cases with expected): {avg_recall:.3f}")
-    print(f"MRR (cases with expected): {mrr:.3f}")
-    print(f"CSV report: {args.out}")
-
-    return 0 if passed_cnt == total else 1
-
-
-if __name__ == "__main__":
-    raise SystemExit(main())

ragas_dataset_100.csv

@@ -1,101 +0,0 @@
-category,question,ground_truth,source_law_key,source_law_name,source_article_id,source_article_number,source_legal_nature
-الدستور,ما الطبيعة القانونية لحق العمل في الدستور المصري؟,حق أساسي/حرية: العمل حق وواجب تكفله الدولة. يُمنع العمل الجبري إلا بقانون ولخدمة عامة وبمقابل عادل.,egyptian_constitution,الدستور المصري,EG-CONST-ART-012,12,حق أساسي/حرية
-الدستور,ما الطبيعة القانونية لحرية الفكر والرأي والتعبير في الدستور المصري؟,حق أساسي/حرية: حرية الفكر والرأي والتعبير مكفولة بكافة الوسائل.,egyptian_constitution,الدستور المصري,EG-CONST-ART-065,65,حق أساسي/حرية
-الدستور,ما الطبيعة القانونية لحق تنظيم الاجتماعات العامة والمواكب والتظاهرات في الدستور المصري؟,حق أساسي/حرية: حق التظاهر والاجتماع السلمي مكفول بالإخطار. الاجتماعات الخاصة لا تتطلب إخطاراً ولا يجوز مراقبتها.,egyptian_constitution,الدستور المصري,EG-CONST-ART-073,73,حق أساسي/حرية
-الدستور,ما مضمون المادة الخاصة بحظر العمل الجبري في الدستور المصري؟,العمل حق، وواجب، وشرف تكفله الدولة. ولا يجوز إلزام أى مواطن بالعمل جبراً، إلا بمقتضى قانون، ولأداء خدمة عامة، لمدة محددة، وبمقابل عادل، ودون إخلال بالحقوق الأساسية للمكلفين بالعمل.,egyptian_constitution,الدستور المصري,EG-CONST-ART-012,12,حق أساسي/حرية
-الدستور,هل يكفل الدستور حرية تكوين الجمعيات والمؤسسات الأهلية؟ وما شروط ذلك بإيجاز؟,تكوين الجمعيات الأهلية حق بالإخطار. تعمل بحرية ولا تُحل إلا بحكم قضائي. تحظر الجمعيات السرية أو العسكرية.,egyptian_constitution,الدستور المصري,EG-CONST-ART-075,75,حق أساسي/حرية
-الدستور,ما الطبيعة القانونية لمبدأ سيادة القانون في الدستور المصري؟,مبدأ دستوري: سيادة القانون هي أساس الحكم، والدولة تخضع للقانون. استقلال القضاء وحصانته ضمانات أساسية للحقوق.,egyptian_constitution,الدستور المصري,EG-CONST-ART-094,94,مبدأ دستوري
-الدستور,ما حدود تحريك الدعاوى لوقف أو مصادرة الأعمال الفنية والأدبية وفق الدستور؟,حرية الإبداع مكفولة. لا يجوز الحبس في جرائم النشر الفني (إلا في حالات محددة كالتحريض على العنف). الدعاوى ضد الأعمال الفنية تكون عبر النيابة العامة.,egyptian_constitution,الدستور المصري,EG-CONST-ART-067,67,حق أساسي/حرية
-الدستور,هل يجوز الحبس في الجرائم المرتكبة بسبب علانية المنتج الفني أو الأدبي وفق الدستور؟,حرية الإبداع مكفولة. لا يجوز الحبس في جرائم النشر الفني (إلا في حالات محددة كالتحريض على العنف). الدعاوى ضد الأعمال الفنية تكون عبر النيابة العامة.,egyptian_constitution,الدستور المصري,EG-CONST-ART-067,67,حق أساسي/حرية
-الدستور,ما مضمون المادة المتعلقة بالحق في التقاضي وعدم سقوط الدعوى بالتقادم في الاعتداء على الحقوق والحريات؟,كل اعتداء على الحرية الشخصية أو حرمة الحياة الخاصة للمواطنين، وغيرها من الحقوق والحريات العامة التى يكفلها الدستور والقانون، جريمة لا تسقط الدعوى الجنائية ولا المدنية الناشئة عنها بالتقادم، وللمضرور إقامة الدعوى الجنائية بالطريق المباشر. وتكفل الدولة تعويضا عادلا لمن وقع عليه الاعتداء، وللمجلس القومى لحقوق الإنسان إبلاغ النيابة العامة عن أى انتهاك لهذه الحقوق، وله أن يتدخل فى الدعوى المدنية منضماً إلى المضرور بناء على طلبه، وذلك كله على الوجه المبين بالقانون.,egyptian_constitution,الدستور المصري,EG-CONST-ART-099,99,غير محدد / يحتاج مراجعة بشرية
-الدستور,ما الفرق بين حق الاجتماع الخاص وحق التظاهر وفق الدستور؟,حق ال��ظاهر والاجتماع السلمي مكفول بالإخطار. الاجتماعات الخاصة لا تتطلب إخطاراً ولا يجوز مراقبتها.,egyptian_constitution,الدستور المصري,EG-CONST-ART-073,73,حق أساسي/حرية
-الدستور,اذكر بإيجاز مضمون المادة التي تقرر أن الوظائف العامة حق للمواطنين على أساس الكفاءة.,الوظائف العامة حق للمواطنين على أساس الكفاءة، ودون محاباة أو وساطة، وتكليف للقائمين بها لخدمة الشعب، وتكفل الدولة حقوقهم وحمايتهم، وقيامهم بأداء واجباتهم فى رعاية مصالح الشعب، ولا يجوز فصلهم بغير الطريق التأديبى، إلا فى الأحوال التى يحددها القانون.,egyptian_constitution,الدستور المصري,EG-CONST-ART-014,14,حق أساسي/حرية
-الدستور,ما التزام الدولة تجاه حقوق العمال وعلاقات العمل وفق الدستور؟,تحافظ الدولة على حقوق العمال وتضمن علاقات عمل متوازنة والتفاوض الجماعي، وتحميهم من المخاطر والفصل التعسفي.,egyptian_constitution,الدستور المصري,EG-CONST-ART-013,13,حق أساسي/حرية
-الدستور,هل يقر الدستور حق الإخطار لتكوين الجمعيات أم يتطلب ترخيصاً؟,تكوين الجمعيات الأهلية حق بالإخطار. تعمل بحرية ولا تُحل إلا بحكم قضائي. تحظر الجمعيات السرية أو العسكرية.,egyptian_constitution,الدستور المصري,EG-CONST-ART-075,75,حق أساسي/حرية
-الدستور,ما القاعدة الدستورية بشأن تدخل الجهة الإدارية في شؤون الجمعيات الأهلية؟,تكوين الجمعيات الأهلية حق بالإخطار. تعمل بحرية ولا تُحل إلا بحكم قضائي. تحظر الجمعيات السرية أو العسكرية.,egyptian_constitution,الدستور المصري,EG-CONST-ART-075,75,حق أساسي/حرية
-الدستور,ما مضمون المادة الخاصة بحرية الإبداع الفني والأدبي؟,حرية الإبداع الفنى والأدبى مكفولة، وتلتزم الدولة بالنهوض بالفنون والآداب، ورعاية المبدعين وحماية إبداعاتهم، وتوفير وسائل التشجيع اللازمة لذلك. ولا يجوز رفع أو تحريك الدعاوى لوقف أو مصادرة الأعمال الفنية والأدبية والفكرية أو ضد مبدعيها إلا عن طريق النيابة العامة، ولا توقع عقوبة سالبة للحرية فى الجرائم التى ترتكب بسبب علانية المنتج الفنى أو الأدبى أو الفكرى، أما الجرائم المتعلقة بالتحريض على العنف أو التمييز بين المواطنين أو الطعن فى أعراض الأفراد، فيحدد القانون عقوباتها. وللمحكمة فى هذه الأحوال إلزام المحكوم عليه بتعويض جزائى للمضرور من الجريمة، إضافة إلى التعويضات الأصلية المستحقة له عما لحقه من أضرار منها، وذلك كله وفقاً للقانون.,egyptian_constitution,الدستور المصري,EG-CONST-ART-067,67,حق أساسي/حرية
-الدستور,في أي حالات يجيز الدستور تنظيم/تقييد بعض الحقوق بمقتضى القانون؟ اذكر الفكرة العامة فقط.,الحقوق والحريات اللصيقة بالمواطن لا تقبل التعطيل أو الانتقاص، ولا يجوز للقانون تقييد جوهرها.,egyptian_constitution,الدستور المصري,EG-CONST-ART-092,92,إحالة للتنظيم التشريعي
-الدستور,ما الطبيعة القانونية لحرمة الحياة الخاصة في الدستور (وفق المادة المتعلقة بالاعتداء عليها)؟,غير محدد / يحتاج مراجعة بشرية: الاعتداء على الحريات جريمة لا تسقط بالتقادم، وللمتضرر حق التعويض وإقامة الدعوى المباشرة. للمجلس القومي لحقوق الإنسان حق التدخل والإبلاغ.,egyptian_constitution,الدستور المصري,EG-CONST-ART-099,99,غير محدد / يحتاج مراجعة بشرية
-الدستور,ما مضمون المادة التي تنص على أن العمل حق وواجب وشرف؟,العمل حق، وواجب، وشرف تكفله الدولة. ولا يجوز إلزام أى مواطن بالعمل جبراً، إلا بمقتضى قانون، ولأداء خدمة عامة، لمدة محددة، وبمقابل عادل، ودون إخلال بالحقوق الأساسية ��لمكلفين بالعمل.,egyptian_constitution,الدستور المصري,EG-CONST-ART-012,12,حق أساسي/حرية
-الدستور,هل الدستور يحظر التمييز/التحريض في سياق جرائم النشر الفني؟ اذكر القيد العام.,حرية الإبداع مكفولة. لا يجوز الحبس في جرائم النشر الفني (إلا في حالات محددة كالتحريض على العنف). الدعاوى ضد الأعمال الفنية تكون عبر النيابة العامة.,egyptian_constitution,الدستور المصري,EG-CONST-ART-067,67,حق أساسي/حرية
-الدستور,ما علاقة مبدأ المواطنة بالنظام الجمهوري الديمقراطي وفق المادة الأولى؟,جمهورية مصر العربية دولة ذات سيادة، موحدة لا تقبل التجزئة، نظامها جمهوري ديمقراطي يقوم على المواطنة وسيادة القانون. الشعب المصري جزء من الأمة العربية والعالم الإسلامي والقارة الأفريقية.,egyptian_constitution,الدستور المصري,EG-CONST-ART-001,1,مبدأ دستوري
-قانون العمل,ما حكم التحرش أو التنمر أو العنف ضد العامل في مكان العمل وفق قانون العمل؟,حظر السخرة والعمل الجبري والتحرش والتنمر والعنف بكافة أشكاله (اللفظي والجسدي والنفسي) ضد العمال، مع تحديد جزاءات تأديبية في لوائح المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-004,4,قاعدة قانونية
-قانون العمل,ما حكم تشغيل العامل سخرة أو جبراً وفق قانون العمل؟,حظر السخرة والعمل الجبري والتحرش والتنمر والعنف بكافة أشكاله (اللفظي والجسدي والنفسي) ضد العمال، مع تحديد جزاءات تأديبية في لوائح المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-004,4,قاعدة قانونية
-قانون العمل,ما أثر أي شرط أو اتفاق ينتقص من حقوق العامل وفق قانون العمل؟,بطلان أي شرط ينتقص من حقوق العامل، مع استمرار الشروط الأفضل حتى في حالة تغيير ملكية المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-006,6,قاعدة قانونية
-قانون العمل,ما القاعدة التي تقرر استمرار المزايا أو الشروط الأفضل للعامل حتى مع انتقال ملكية المنشأة؟,بطلان أي شرط ينتقص من حقوق العامل، مع استمرار الشروط الأفضل حتى في حالة تغيير ملكية المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-006,6,قاعدة قانونية
-قانون العمل,كيف ينظم قانون العمل حق الإضراب بشكل عام؟,الإضراب يوقف التزامات عقد العمل طوال مدة الإضراب.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-235,235,قاعدة قانونية
-قانون العمل,ما شرط استنفاد التسوية الودية قبل إعلان الإضراب وفق قانون العمل؟,حق الإضراب مكفول بعد استنفاد التسوية الودية، ويُنظم عبر المنظمة النقابية أو المفوض العمالي وفق ضوابط القانون.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-231,231,قاعدة قانونية
-قانون العمل,من الجهة التي تعلن وتنظم الإضراب وفق قانون العمل؟,الإضراب يوقف التزامات عقد العمل طوال مدة الإضراب.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-235,235,قاعدة قانونية
-قانون العمل,متى يُحظر الإضراب في المنشآت الحيوية وفق قانون العمل؟,يُحظر الإضراب في المنشآت الحيوية والخدمات الأساسية أو الظروف الاستثنائية، ورئيس الوزراء يحددها بقرار.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-234,234,قاعدة قانونية
-قانون العمل,من يصدر قرار تحديد المنشآت الحيوية والخدمات الأساسية المحظور الإضراب فيها؟,يُحظر الإضراب في المنشآت الحيوية والخدمات الأساسية أو الظروف الاستثنائية، ورئيس الوزراء يحددها بقرار.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-234,234,قاعدة قانونية
-قانون العمل,اذكر بإيجاز تعريف العمل المؤقت في قانون العمل.,تعريف أنماط العمل الجديدة وذكر صورها الرئيسية مثل العمل عن بُعد، الجزئي، المرن، وتقاسم العمل.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-096,96,قاعدة قانونية
-قانون العمل,اذكر بإيجاز تعريف العمل العرضي في قانون العمل.,تعريف أنماط العمل الجديدة وذكر صورها الرئيسية مثل العمل عن بُعد، الجزئي، المرن، وتقاسم العمل.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-096,96,قاعدة قانونية
-قانون العمل,اذكر بإيجاز تعريف العمل الموسمي في قانون العمل.,تعريف أنماط العمل الجديدة وذكر صورها الرئيسية مثل العمل عن بُعد، الجزئي، المرن، وتقاسم العمل.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-096,96,قاعدة قانونية
-قانون العمل,اذكر بإيجاز مفهوم الأجر التأميني كما ورد في تعريفات قانون العمل.,علاوة سنوية لا تقل عن 3% من الأجر التأميني مع إمكانية التخفيض بموافقة المجلس القومي للأجور.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-012,12,قاعدة قانونية
-قانون العمل,ما المقصود بـ(موقع العمل) وفق تعريفات قانون العمل؟,تعريف أنماط العمل الجديدة وذكر صورها الرئيسية مثل العمل عن بُعد، الجزئي، المرن، وتقاسم العمل.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-096,96,قاعدة قانونية
-قانون العمل,ما المقصود بـ(المنشأة) وفق تعريفات قانون العمل؟,تعريف المنشأة: أي مشروع/مرفق يملكه أو يديره أشخاص القانون العام أو الخاص.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-243,243,قاعدة قانونية
-قانون العمل,ما المقصود بـ(المهنة أو الحرفة) وفق تعريفات قانون العمل؟,ينظم شكل ومحتوى اتفاق التدرج ومتطلبات المكافأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-029,29,قاعدة قانونية تنظيمية
-قانون العمل,ما المقصود بـ(الوزارة المختصة) و(الجهة الإدارية المختصة) وفق قانون العمل؟,تحديد اختصاصات الجهة الإدارية المختصة بقرار من الوزير.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-013,13,قاعدة قانونية
-قانون العمل,هل يجيز قانون العمل إبراء العامل من حقوقه أثناء سريان العقد؟,يلتزم صاحب العمل بتمكين العامل من الاطلاع على درجته الوظيفية وعناصر أجره، وإعطائه شهادة خبرة وكفاءة مجاناً عند الطلب أثناء سريان العقد أو بعد انتهائه.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-175,175,قاعدة قانونية
-قانون العمل,كيف يتعامل قانون العمل مع الشروط الأفضل المقررة بالعقد أو اللائحة أو العرف؟,بطلان أي شرط ينتقص من حقوق العامل، مع استمرار الشروط الأفضل حتى في حالة تغيير ملكية المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-006,6,قاعدة قانونية
-قانون العمل,ما القاعدة العامة بشأن حظر العنف اللفظي/الجسدي/النفسي على العامل؟,حظر السخرة والعمل الجبري والتحرش والتنمر والعنف بكافة أشكاله (اللفظي والجسدي والنفسي) ضد العمال، مع تحديد جزاءات تأديبية في لوائح المنشأة.,Egyptian_Labour_Law,قانون العمل,EG-LABOR-LAW-14-2025-ART-004,4,قاعدة قانونية
-الإجراءات الجنائية,ما الخطوات العامة لتحرير محضر في قسم الشرطة في مصر؟,يحدد القانون مأموري الضبط القضائي وهم: أعضاء النيابة، ضباط الشرطة وأمناؤها، العمد، نظار المحطات، وغيرهم. ويجوز بقرار وزاري منح صفة الضبط القضائي لموظفين آخرين.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-023,23,تحديد اختصاص
-الإجراءات الجنائية,ما الخطوات العامة لتقديم بلاغ للنيابة العامة؟,سلطة النيابة العامة في الإفراج عن المتهم في أي وقت.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-204,204,سلطة النيابة العامة
-الإج��اءات الجنائية,ما الفرق العام بين محضر إثبات حالة ومحضر جنحة؟,سلطة قاضي التحقيق في الانتقال لإثبات حالة مسرح الجريمة والأدلة المادية.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-090,90,سلطة قاضي التحقيق
-الإجراءات الجنائية,ما الإجراءات العامة للتظلم من الحبس الاحتياطي؟,حق النيابة العامة في طلب الحبس الاحتياطي في أي وقت.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-137,137,سلطة النيابة العامة
-الإجراءات الجنائية,ما المقصود بالتلبس وما أثره الإجرائي بشكل عام؟,لمأمور الضبط القضائي في التلبس منع الحاضرين من المغادرة حتى تحرير المحضر واستدعاء من يفيد في التحقيق.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-032,32,سلطة الضبط القضائي
-الإجراءات الجنائية,متى يجوز القبض بدون إذن في القواعد العامة للإجراءات الجنائية؟,في جرائم الشكوى المتلبس بها لا يجوز القبض إلا إذا قدمت الشكوى ممن يملكها، ويجوز تقديمها لرجل السلطة العامة الحاضر.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-039,39,قيد على القبض
-الإجراءات الجنائية,ما هي الحقوق الإجرائية الأساسية للمتهم أثناء التحقيق؟,للمتضرر من الجريمة الادعاء بحقوق مدنية أثناء التحقيق، ويفصل قاضي التحقيق نهائياً في قبوله.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-076,76,حق قانوني
-الإجراءات الجنائية,ما هي القواعد العامة لسماع الشهود في التحقيقات؟,جواز الطعن في الأحكام الصادرة على الشهود وفقاً للقواعد المقررة.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-120,120,حق قانوني
-الإجراءات الجنائية,كيف يتم طلب ندب خبير في التحقيقات وفق الإجراءات العامة؟,لوزير العدل طلب ندب مستشار من محكمة الاستئناف للتحقيق في جرائم معينة بقرار من الجمعية العامة.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-065,65,قاعدة إجرائية
-الإجراءات الجنائية,ما الفرق بين الاستدعاء والضبط والإحضار بشكل عام؟,سلطة قاضي التحقيق في إصدار أمر الحضور أو الضبط والإحضار.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-126,126,سلطة قاضي التحقيق
-الإجراءات الجنائية,ما الإجراءات العامة لعمل توكيل لمحامٍ للحضور أمام النيابة؟,تطبيق أحكام الشهود أمام قاضي التحقيق على التحقيق أمام النيابة العامة.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-208,208,إحالة قانونية
-الإجراءات الجنائية,ما الخطوات العامة للإبلاغ عن جريمة إلكترونية رسمياً؟,لكل شخص علم بوقوع جريمة عامة (لا تتطلب شكوى) أن يبلغ النيابة أو الضبط القضائي عنها.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-025,25,حق قانوني
-الإجراءات الجنائية,ما الإجراءات العامة لطلب صلح/تصالح في جنحة (إن أمكن)؟,وجوب حضور المتهم أو نائبه عند التفتيش إن أمكن، وكذلك صاحب المنزل.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-092,92,ضمانة إجرائية
-الإجراءات الجنائية,ما القواعد العامة لإعلان الخصوم في الدعاوى الجنائية؟,حق الخصوم في الاطلاع على أوراق الدعوى بعد إعلانهم.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-236,236,ضمانة إجرائية
-الإجراءات الجنائية,ما المقصود بأمر الحفظ وأثره بشكل عام؟,يجب على النيابة إعلان أمر الحفظ للمجني عليه والمدعي بالحقوق المدنية أو ورثتهما.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-062,62,واجب إجرائي
-الإجراءات الجنائية,ما الفرق بين قرار الإحالة وأمر ألا وجه لإقامة الدعوى بشكل عام؟,صدور الأمر بلا وجه لإقامة الدعوى من النيابة العامة والإفراج عن المتهم.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-209,209,سلطة النيابة العامة
-الإجراءات الجنائية,ما الخطوات العامة للتظلم من قرار حفظ محضر؟,للنيابة العامة حفظ الأوراق إذا رأت عدم وجود محل للسير في الدعوى.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-061,61,سلطة النيابة العامة
-الإجراءات الجنائية,كيف يتم إثبات الإصابات في محضر (الإجراءات العامة)؟,صدور الحكم علناً وإجراءات ضمان حضور المتهم.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-303,303,قاعدة إجرائية
-الإجراءات الجنائية,ما إجراءات طلب استخراج شهادة تحركات/تحريات في قضية (بشكل عام)؟,حق الخصوم في المعارضة في سماع شهادة الشهود غير المعلنين.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-379,379,ضمانة إجرائية
-الإجراءات الجنائية,ما الإجراءات العامة للتعامل مع بلاغ سرقة (من وقت البلاغ حتى التحقيق)؟,للنيابة العامة الاطلاع على أوراق التحقيق في أي وقت دون تأخير سير التحقيق.,criminal_law,قانون الإجراءات الجنائية,EG-CRIM-PROC-ART-080,80,سلطة النيابة العامة
-جرائم تقنية المعلومات,ما حكم اختراق بريد إلكتروني أو حساب خاص وفق قانون مكافحة جرائم تقنية المعلومات؟,تجرم المادة إخفاء أو العبث بالأدلة الرقمية من قبل مدير موقع أو حساب أو بريد إلكتروني بقصد إعاقة عمل الجهات الرسمية.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-028,28,تجريم وعقوبة
-جرائم تقنية المعلومات,ما العقوبة العامة لاختراق حساب خاص لشخص طبيعي وفق قانون جرائم تقنية المعلومات؟,تلتزم السلطات المصرية بتيسير التعاون الدولي وتبادل المعلومات وفق الاتفاقيات أو المعاملة بالمثل لمنع جرائم تقنية المعلومات والمساعدة في التحقيق وتتبع الجناة، ويكون مركز الاستعداد لطوارئ الحاسب والشبكات بالجهاز نقطة الاتصال الفنية.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-004,4,تعاون دولي
-جرائم تقنية المعلومات,كيف تختلف العقوبة إذا كان الحساب يخص شخصاً اعتبارياً خاصاً وفق قانون جرائم تقنية المعلومات؟,تلتزم السلطات المصرية بتيسير التعاون الدولي وتبادل المعلومات وفق الاتفاقيات أو المعاملة بالمثل لمنع جرائم تقنية المعلومات والمساعدة في التحقيق وتتبع الجناة، ويكون مركز الاستعداد لطوارئ الحاسب والشبكات بالجهاز نقطة الاتصال الفنية.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-004,4,تعاون دولي
-جرائم تقنية المعلومات,ما حكم نشر صور أو معلومات تنتهك خصوصية شخص دون رضاه عبر الإنترنت؟,تجرم المادة الاعتداء على القيم الأسرية أو الخصوصية عبر الرسائل الكثيفة دون موافقة، أو تسليم بيانات للترويج دون موافقة، أو نشر محتوى ينتهك الخصوصية سواء كان صحيحًا أو غير صحيح.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-جرائم تقنية المعلومات,ما حكم إرسال رسائل إلكترونية بكثافة لشخص دون موافقته؟,تجرم المادة الاعتداء على القيم الأسرية أو الخصوصية عبر الرسائل الكثيفة دون موافقة، أو تسليم بيانات للترويج دون موافقة، أو نشر محتوى ينتهك الخصوصية سواء كان صحيحًا أو غير صحيح.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-جرائم تقنية المعلومات,ما حكم منح بيانات شخصية لموقع للترويج دون موافقة صاحبها؟,تجرم المادة الاعتداء على القيم الأسرية أو الخصوصية عبر الر��ائل الكثيفة دون موافقة، أو تسليم بيانات للترويج دون موافقة، أو نشر محتوى ينتهك الخصوصية سواء كان صحيحًا أو غير صحيح.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-جرائم تقنية المعلومات,هل تُعاقب جريمة انتهاك الخصوصية حتى لو كانت المعلومات المنشورة صحيحة؟,تجرم المادة الاعتداء على القيم الأسرية أو الخصوصية عبر الرسائل الكثيفة دون موافقة، أو تسليم بيانات للترويج دون موافقة، أو نشر محتوى ينتهك الخصوصية سواء كان صحيحًا أو غير صحيح.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-جرائم تقنية المعلومات,ما نطاق الأفعال التي تجرمها المادة المتعلقة بحرمة الحياة الخاصة في قانون جرائم تقنية المعلومات؟,تلتزم السلطات المصرية بتيسير التعاون الدولي وتبادل المعلومات وفق الاتفاقيات أو المعاملة بالمثل لمنع جرائم تقنية المعلومات والمساعدة في التحقيق وتتبع الجناة، ويكون مركز الاستعداد لطوارئ الحاسب والشبكات بالجهاز نقطة الاتصال الفنية.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-004,4,تعاون دولي
-جرائم تقنية المعلومات,هل يعتبر نشر محتوى ينتهك الحياة الخاصة عبر الشبكة المعلوماتية جريمة؟,تجرم المادة الاعتداء على القيم الأسرية أو الخصوصية عبر الرسائل الكثيفة دون موافقة، أو تسليم بيانات للترويج دون موافقة، أو نشر محتوى ينتهك الخصوصية سواء كان صحيحًا أو غير صحيح.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-جرائم تقنية المعلومات,ما الفرق بين اختراق الحساب وإتلاف/تعطيل البريد الإلكتروني وفق قانون جرائم تقنية المعلومات؟,تجرم المادة الاعتداء على البريد الإلكتروني أو المواقع أو الحسابات الخاصة بالإتلاف أو التعطيل أو الاختراق، وتشدد العقوبة إذا تعلق الأمر بشخص اعتباري خاص.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-018,18,تجريم وعقوبة
-جرائم تقنية المعلومات,في حالة تعرض شخص لابتزاز إلكتروني، ما الخطوات القانونية العامة للإبلاغ وجمع الأدلة الرقمية؟,تمنح المادة للأدلة الرقمية المستخرجة من الأنظمة والأجهزة والوسائط الإلكترونية حجية الأدلة المادية في الإثبات الجنائي متى توافرت الشروط الفنية المحددة باللائحة التنفيذية.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-011,11,قاعدة إثبات
-جرائم تقنية المعلومات,ما الدليل الرقمي الذي يُفضّل حفظه قبل الإبلاغ عن اختراق حساب؟,عند تعدد المستأجرين يفضل من سبق لوضع اليد أو سجل عقده بحسن نية، وإلا فطلب التعويض.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0573,573,حكم تقريري
-جرائم تقنية المعلومات,ما حكم انتحال شخصية على الإنترنت والإجراءات العامة للتبليغ؟,العقوبة شخصية ولا تفرض إلا بقانون وحكم قضائي، ولا تسري القوانين العقابية بأثر رجعي.,egyptian_constitution,الدستور المصري,EG-CONST-ART-095,95,غير محدد / يحتاج مراجعة بشرية
-جرائم تقنية المعلومات,إذا تم نشر بياناتك الشخصية بدون إذن، ما الإجراءات العامة لطلب إزالتها والتبليغ؟,لا يغير المستأجر العين بدون إذن إلا إذا لم يضر، وإلا ألزم بإعادة الحال والتعويض.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0580,580,التزام / جزاء
-جرائم تقنية المعلومات,ما النص الذي يجرم الاعتداء على القيم الأسرية/حرمة الحياة الخاصة عبر الإنترنت (وما فكرته العامة)؟,يعاقب بالحبس مدة لا تقل عن ستة أشهر وبغ��امة لا تقل عن خمسين ألف جنيه ولا تجاوز مائة ألف جنيه، أو بإحدى هاتين العقوبتين، كل من اعتدى على أى من المبادئ أو القيم الأسرية فى المجتمع المصرى أو انتهك حرمة الحياة الخاصة، أو أرسل بكثافة العديد من الرسائل الإلكترونية لشخص معين دون موافقته، أو منح بيانات شخصية إلى نظام أو موقع إلكترونى للترويج للسلع أو الخدمات دون موافقته، أو نشر عن طريق الشبكة المعلوماتية أو إحدى وسائل تقنية المعلومات معلومات أو أخبارًا أو صورًا وما فى حكمها تنتهك خصوصية أى شخص دون رضاه سواء كانت المعلومات المنشورة صحيحة أو غير صحيحة.,tech_crimes,قانون مكافحة جرائم تقنية المعلومات,EG-TECH-ART-025,25,تجريم وعقوبة
-الأحوال الشخصية,ما الشروط العامة لاستحقاق الزوجة النفقة وفق قانون الأحوال الشخصية؟,تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله.,personal_status,قانون الأحوال الشخصية,EG-PSL-1920-ART-001,1,حكم تنظيمي
-الأحوال الشخصية,متى تسقط نفقة الزوجة؟ (بصياغة عامة),تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله.,personal_status,قانون الأحوال الشخصية,EG-PSL-1920-ART-001,1,حكم تنظيمي
-الأحوال الشخصية,ما القواعد العامة لحضانة الصغير وترتيبها في قانون الأحوال الشخصية؟,تنفذ أحكام تسليم الصغير أو ضمه أو رؤيته أو سكناه وفقاً للمادتين 67 و69 من القانون 1/2000 بالإجراءات المبينة في هذا القرار.,personal_status,قانون الأحوال الشخصية,EG-PSL-2000-MD1087-ART-001,1,حكم إجرائي
-الأحوال الشخصية,ما الحالات العامة التي تتيح للزوجة طلب الطلاق للضرر؟,كنايات الطلاق لا يقع بها الطلاق إلا إذا نوى الزوج الطلاق.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-004,4,حكم تنظيمي
-الأحوال الشخصية,ما الفرق العام بين الطلاق والخلع من حيث الإجراءات والآثار؟,كنايات الطلاق لا يقع بها الطلاق إلا إذا نوى الزوج الطلاق.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-004,4,حكم تنظيمي
-الأحوال الشخصية,ما القواعد العامة لإثبات الزواج أو الطلاق عند النزاع؟,كنايات الطلاق لا يقع بها الطلاق إلا إذا نوى الزوج الطلاق.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-004,4,حكم تنظيمي
-الأحوال الشخصية,ما المبدأ العام في رؤية الصغير وتنظيمها؟,تنفذ أحكام تسليم الصغير أو ضمه أو رؤيته أو سكناه وفقاً للمادتين 67 و69 من القانون 1/2000 بالإجراءات المبينة في هذا القرار.,personal_status,قانون الأحوال الشخصية,EG-PSL-2000-MD1087-ART-001,1,حكم إجرائي
-الأحوال الشخصية,ما هي المستندات العامة المطلوبة لرفع دعوى نفقة؟,لا تسمع دعوى نفقة العدة لأكثر من سنة من تاريخ الطلاق، ولا دعوى الإرث للمطلقة بعد سنة من الطلاق.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-017,17,حكم تنظيمي
-الأحوال الشخصية,ما القواعد العامة لإثبات دخل الزوج في دعوى نفقة؟,تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله.,personal_status,قانون الأحوال الشخصية,EG-PSL-1920-ART-001,1,حكم تنظيمي
-الأحوال الشخصية,ما هي الآثار العامة لثبوت النسب؟,لا تسمع دعوى النسب إذا ثبت عدم التلاقي بين الزوجين، أو أتت الزوجة بالولد بعد سنة من غيبة الزوج أو طلاقها أو وفاته.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-015,15,حكم تنظيمي
-الأحوال الشخصية,ما الإجراءات العامة لعمل إعلام وراثة؟,لا يلزم اتباع إجراءات الحصر والتحفظ إذا كان المال لا يتجاوز 3000 جنيه.,personal_status,قانون الأحوال الشخصية,EG-PSL-2000-ART-035,35,حكم إجرائي
-الأحوال الشخصية,كيف تُقدَّر نفقة الصغير بشكل عام؟,تنفذ أحكام تسليم الصغير أو ضمه أو رؤيته أو سكناه وفقاً للمادتين 67 و69 من القانون 1/2000 بالإجراءات المبينة في هذا القرار.,personal_status,قانون الأحوال الشخصية,EG-PSL-2000-MD1087-ART-001,1,حكم إجرائي
-الأحوال الشخصية,ما الفرق بين نفقة الزوجة ونفقة الصغير؟,تجب النفقة للزوجة من تاريخ العقد الصحيح وتشمل الغذاء والكسوة والمسكن والعلاج. لا تجب النفقة إذا ارتدت أو امتنعت عن تسليم نفسها أو خرجت بدون إذن. نفقة الزوجة دين على الزوج ولها امتياز على أمواله.,personal_status,قانون الأحوال الشخصية,EG-PSL-1920-ART-001,1,حكم تنظيمي
-الأحوال الشخصية,ما القواعد العامة للمتعة والمؤخر بعد الطلاق؟,كنايات الطلاق لا يقع بها الطلاق إلا إذا نوى الزوج الطلاق.,personal_status,قانون الأحوال الشخصية,EG-PSL-1929-ART-004,4,حكم تنظيمي
-الأحوال الشخصية,متى تُمنع الحاضنة من الحضانة بشكل عام؟,يجوز للنيابة العامة إصدار قرار مسبب بتسليم الصغير مؤقتاً لمن تتحقق مصلحته معها عند وجود نزاع على الحضانة.,personal_status,قانون الأحوال الشخصية,EG-PSL-2000-ART-070,70,حكم إجرائي
-القانون المدني,ما المقصود بالالتزام في القانون المدني؟,في الالتزام ببذل عناية يوفي المدين بالتزامه ببذل عناية الشخص العادي، ويبقى مسؤولاً عن الغش والخطأ الجسيم.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0211,211,التزام / حكم تقريري
-القانون المدني,ما الفرق بين البطلان المطلق والبطلان النسبي في القانون المدني؟,العقد الباطل يجوز لكل ذي مصلحة التمسك ببطلانه وللمحكمة القضاء به تلقائياً، ولا يزول بالإجازة. وتسقط دعوى البطلان بـ15 سنة.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0141,141,تعريف / حكم تقريري
-القانون المدني,متى يكون العقد قابلاً للإبطال؟,إذا بطل شق من العقد بطل وحده، إلا إذا تبين أن العقد ما كان ليتم بدونه فيبطل كله (انتقاص العقد).,civil_law,القانون المدني المصري,EG-CIVIL-ART-0143,143,تعريف / حكم تقريري
-القانون المدني,ما هي أركان العقد في القانون المدني بإيجاز؟,إذا بطل العقد وتوافرت فيه أركان عقد آخر، يصح باعتباره ذلك العقد إذا كانت نية المتعاقدين تنصرف إليه (تحول العقد).,civil_law,القانون المدني المصري,EG-CIVIL-ART-0144,144,تعريف / حكم تقريري
-القانون المدني,ما المقصود بالمسؤولية التقصيرية؟,كل خطأ سبب ضرراً للغير يُلزم مرتكبه بالتعويض (القاعدة العامة في المسؤولية التقصيرية).,civil_law,القانون المدني المصري,EG-CIVIL-ART-0163,163,التزام
-القانون المدني,ما شروط استحقاق التعويض عن الفعل الضار؟,الالتزامات غير التعاقدية تخضع لقانون بلد وقوع الفعل المنشئ. لكن الأفعال الضارة في الخارج المشروعة في مصر لا تُعد غير مشروعة.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0021,21,تعريف / حكم تقريري
-القانون المدني,ما الفرق بين الفسخ والبطلان في العقود؟,في العقود الملزمة للجانبين، عند عدم الوفاء يجوز للدائن بعد الإعذار طلب التنفيذ أو الفسخ مع التعويض. ويجوز للقاضي منح أجل أو رفض الفسخ إذا ك��ن الإخلال قليل الأهمية.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0157,157,حق / رخصة
-القانون المدني,ما المقصود بالإثراء بلا سبب وما أثره؟,تسقط دعوى الإثراء بلا سبب بـ3 سنوات من العلم أو 15 سنة من نشوء الحق.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0180,180,إجراءات / تنظيم
-القانون المدني,ما المقصود بالعيب في الرضا (غلط/تدليس/إكراه) بشكل عام؟,إذا أخطر المشتري البائع بالعيب في الوقت الملائم كان له الرجوع بالضمان وفق أحكام المادة 444.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0450,450,حق / إحالة تشريعية
-القانون المدني,ما القاعدة العامة في تنفيذ العقد بحسن نية؟,للمستحق طلب تنفيذ العقد أو فسخه مع التعويض إذا كان بعوض ولم يقم المدين بالتزامه.,civil_law,القانون المدني المصري,EG-CIVIL-ART-0746,746,جزاء

ragas_eval.py

@@ -1,106 +0,0 @@
-# ragas_eval.py
-# تقييم نظام RAG باستخدام Ragas
-# الاستخدام:
-#   1) ضعي الملف ragas_dataset_100.csv بجانب هذا السكربت (أو عدّلي DATASET_PATH)
-#   2) تأكدي أن دالة ask() تعمل وتُرجع (answer, sources)
-#   3) شغّلي: python ragas_eval.py
-#
-# ملاحظات:
-# - لو ما عندك Ground Truth اتركي العمود ground_truth فاضيًا وسيتم تجاهل context_recall تلقائيًا.
-# - Ragas يعتمد على LLM للتقييم؛ يمكنك ضبطه على نفس مزودك (Groq) أو أي LLM آخر.
-
-import os
-import pandas as pd
-from datasets import Dataset
-
-from rag import ask  # <-- تأكدي أن اسم ملفك rag.py وبه ask()
-
-from ragas import evaluate
-from ragas.metrics import (
-    faithfulness,
-    answer_relevancy,
-    context_precision,
-    context_recall,
-)
-
-# (اختياري) استخدمي نفس LLM كمُقيّم
-try:
-    from langchain_groq import ChatGroq
-    EVAL_LLM = ChatGroq(
-        groq_api_key=os.getenv("GROQ_API_KEY"),
-        model_name="llama-3.1-8b-instant",
-        temperature=0
-    )
-except Exception:
-    EVAL_LLM = None
-
-DATASET_PATH = "ragas_dataset_100.csv"
-OUT_PATH = "ragas_results.csv"
-
-def build_eval_rows(df: pd.DataFrame):
-    rows = []
-    for _, r in df.iterrows():
-        q = str(r["question"]).strip()
-        gt = str(r.get("ground_truth", "")).strip()
-
-        ans, sources = ask(q)
-
-        # contexts: النصوص المسترجعة (chunks)
-        contexts = []
-        for s in (sources or []):
-            c = (s.get("content") or "").strip()
-            if c:
-                contexts.append(c)
-
-        row = {
-            "question": q,
-            "answer": ans,
-            "contexts": contexts,
-        }
-        if gt:
-            row["ground_truths"] = [gt]  # ragas expects list[str]
-        rows.append(row)
-    return rows
-
-def main():
-    df = pd.read_csv(DATASET_PATH)
-
-    rows = build_eval_rows(df)
-    dataset = Dataset.from_list(rows)
-
-    # لو في أي Ground Truth فعلاً، نفعل context_recall، وإلا نشيله
-    has_gt = any(("ground_truths" in x) for x in rows)
-    metrics = [faithfulness, answer_relevancy, context_precision]
-    if has_gt:
-        metrics.append(context_recall)
-
-    kwargs = {}
-    if EVAL_LLM is not None:
-        kwargs["llm"] = EVAL_LLM
-
-    result = evaluate(dataset, metrics=metrics, **kwargs)
-
-    # تلخيص
-    print("\n=== RAGAS SUMMARY ===")
-    try:
-        print(result)
-    except Exception:
-        pass
-
-    # تفاصيل لكل سؤال
-    out_df = result.to_pandas()
-    out_df.to_csv(OUT_PATH, index=False, encoding="utf-8-sig")
-    print(f"\nSaved per-question results to: {OUT_PATH}")
-
-    # متوسطات
-    print("\n=== MEANS ===")
-    for col in out_df.columns:
-        if col.startswith("faithfulness") or col.startswith("answer_relevancy") or col.startswith("context_precision") or col.startswith("context_recall"):
-            try:
-                mean = out_df[col].mean()
-                print(f"{col}: {mean:.4f}")
-            except Exception:
-                pass
-
-if __name__ == "__main__":
-    main()