Update README.md

README.md

@@ -4,399 +4,169 @@ tags:
 - sentence-similarity
 - feature-extraction
 - dense
+- retrieval
+- rag
 - generated_from_trainer
 - dataset_size:4038
 - loss:TripletLoss
 - loss:MultipleNegativesRankingLoss
 base_model: Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B
-widget:
-- source_sentence: صعوبة وملل البداية
-  sentences:
-  - على طول رحت لمكتبه، وشرحت له وضعي ووقّع لي بدون ما يعقدها. رجعت للعمادة وسلّمت
-    الطلب وكل شيء مشى تمام.
-  - هالعادة تضمن لك المروءة وتقضي لزوم المحتاج بدون إحراج.
-  - أول يوم كنت ألقى نفسي كل شوي ماسكة الجوال أدور على تويتر وسناب شات، كنت أحس بملل
-    عظيم وكنت فعلًا شبه مكتئبة.
-- source_sentence: تقديم وعد بتجربة شتوية مميزة.
-  sentences:
-  - نصنع لك رفاهية شتوية.
-  - نكّد علي لأن فلوسي على قدّي وما أقدر أكل من برا كل يوم. رحت للغرفة ورتبت أغراضي
-    كلها.
-  - شاورمر بدت قصتهم في التسعينات يوم قرروا يغيرون نظرة الناس للشاورما من أكلة شوارع
-    لأكلة مرتبة.
-- source_sentence: إعداد الشاي وتقييم الطلعة.
-  sentences:
-  - 'هالجو المشحون خلى المجتمع مشدود، وصار صعب تتقبل أي واحد يختلف عنك. الزبدة: السوشيال
-    ميديا ما هي اللي فرقتنا، هي بس كشفت الخلافات اللي كنا خاشينها تحت البساط من سنين.'
-  - وصلنا البر وجلسنا فوق طعس رملي وفرشنا، وحطينا غدانا وسمينا بالله وضربنا بالخمس.
-  - يزرع البن الصالبي في منطقة الإصدار الواقعة بين الشفا وتهامة.
-- source_sentence: توجيه للإعلام والجمهور.
-  sentences:
-  - اللي يدخل أي سهم لازم يكون في باله انه السهم ممكن ينزل مو لازم يصعد ,الأمر الأخر
-    لازم يكون الشراء على دفعات وليس بكامل السيولة بسعر واحد,
-  - حجزت موعد مع مديري وأخبرته بالعرض الجديد وشكرته على الفترة اللي اشتغلت فيها معهم.
-  - 3. أما الكلام المرسل والتشكيك في الذمم والحكام بدون إثباتات هذا يضر رياضتنا وما
-    يطورها، الحكم السعودي بشر ويغلط مثل غيره ولازم ندعمه ونطوره، والإعلام لازم يكون
-    مسؤول ويبتعد عن الشحن والتعصب.
-- source_sentence: اعتبار التراجعات السعرية البسيطة خلال جلسة أو جلستين جزءاً طبيعياً
-    من حركة السهم اليومية.
-  sentences:
-  - حتى لاحظت إن الشاشات قاعدة تعطي تنبيه عن الازدحام في الشارع ، وهذا ساعدني أختصر
-    الطريق.
-  - 'درس تعليمي: من الطبيعي أن يشهد السهم تصحيحًا بسيطًا خلال جلسة أو جلستين.'
-  - لكن عند النظر إلى أدائه على الفاصل الأسبوعي، قد تكتشف أن الصورة مختلفة تمامًا.
 pipeline_tag: sentence-similarity
 library_name: sentence-transformers
+license: apache-2.0
+datasets:
+- Omartificial-Intelligence-Space/Saudi-Semantic-Chunks
+language:
+- ar
 ---
 
-# SentenceTransformer based on Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B
+# SA-Retrieval-Embeddings-0.2B  
+### Saudi Arabic Retrieval-Optimized Sentence Embeddings
 
-This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B](https://huggingface.co/Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
 
-## Model Details
 
-### Model Description
-- **Model Type:** Sentence Transformer
-- **Base model:** [Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B](https://huggingface.co/Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B) <!-- at revision 2fd04570d54124daa8fab1d0a616a18c17d33b8c -->
-- **Maximum Sequence Length:** 512 tokens
-- **Output Dimensionality:** 768 dimensions
-- **Similarity Function:** Cosine Similarity
-<!-- - **Training Dataset:** Unknown -->
-<!-- - **Language:** Unknown -->
-<!-- - **License:** Unknown -->
+This model is a **retrieval-optimized SentenceTransformer**, fine-tuned from **Omartificial-Intelligence-Space/SA-STS-Embeddings-0.2B**, and specifically designed for:
 
-### Model Sources
+- **Semantic retrieval**
+- **RAG (Retrieval-Augmented Generation)**
+- **Paragraph-level semantic search**
+- **Chunk-based document retrieval**
+- **Saudi Arabic dialect understanding**
 
-- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
-- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
-- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+Unlike general semantic similarity models, this model is **explicitly trained to rank the correct semantic chunk at the top**, even among closely related alternatives.
 
-### Full Model Architecture
+---
 
-```
-SentenceTransformer(
-  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
-  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
-)
-```
+## 🔍 What makes this model different?
+
+Most Arabic embedding models are trained on **pairwise similarity only**.  
+This model goes further by incorporating:
+
+- **Summary → Chunk retrieval supervision**
+- **Hard negatives from semantic chunk boundaries**
+- **Triplet-based discrimination**
+- **In-batch negatives via MNLR**
+
+As a result, it excels in **real-world retrieval scenarios**, not just sentence similarity.
+
+---
+
+## 🧠 Training Overview
+
+- **Base Model:** SA-STS-Embeddings-0.2B  
+- **Training Objective:**
+  - MultipleNegativesRankingLoss (primary)
+  - TripletLoss with hard negatives (boundary-based)
+- **Embedding Dimension:** 768
+- **Pooling Strategy:** Mean pooling
+- **Max Sequence Length:** 512 tokens
+- **Training Samples:** 4,038+ supervised retrieval examples
+- **Precision:** FP16
+
+### Training Data
+The model was trained using **Saudi Semantic Chunking data**, where:
+- Each document is split into **3–5 semantic chunks**
+- Each chunk has a **human-written summary**
+- Retrieval task:  
+  *summary → correct chunk* among other chunks from the same document
+
+Dataset:
+👉 **Omartificial-Intelligence-Space/Saudi-Semantic-Chunks**
+
+---
+
+## 📊 Evaluation Results
+
+The model was evaluated on a **hard retrieval benchmark** consisting of  
+**1,515 retrieval cases** across **24 Saudi domains**, using chunk-level negatives.
+
+### 🏆 Leaderboard Comparison
+
+
+
+![leaderboard_comparison-20251223T111700](https://cdn-uploads.huggingface.co/production/uploads/628f7a71dd993507cfcbe587/h3J-dMAjtvdHj1_rVTJIM.png)
 
-## Usage
 
-### Direct Usage (Sentence Transformers)
 
-First install the Sentence Transformers library:
+### Key Takeaways
+- **Best Top-1 Accuracy** → correct chunk ranked first ~88% of the time  
+- **Best MRR** → correct chunk appears very early in ranking  
+- **Excellent Recall@5 (99.2%)** → ideal for RAG pipelines  
+- **Highest FinalScore** → best overall balance of retrieval + discourse awareness  
 
+---
+
+## 📐 Metric Definitions
+
+- **Top-1:** Correct chunk ranked first
+- **MRR:** Mean Reciprocal Rank
+- **Recall@k:** Correct chunk appears in top-k
+- **nDCG:** Ranking quality with position discount
+- **Contrast:** (Intra-chunk similarity − Inter-chunk similarity)
+- **FinalScore:** 0.4 × Top-1 + 0.3 × MRR + 0.2 × Contrast + 0.1 × nDCG
+
+---
+
+## 🧪 Usage
+
+### Install
 ```bash
 pip install -U sentence-transformers
 ```
-
-Then you can load this model and run inference.
 ```python
 from sentence_transformers import SentenceTransformer
 
-# Download from the 🤗 Hub
-model = SentenceTransformer("sentence_transformers_model_id")
-# Run inference
+model = SentenceTransformer(
+    "Omartificial-Intelligence-Space/SA-Retrieval-Embeddings-0.2B"
+)
+
 sentences = [
-    'اعتبار التراجعات السعرية البسيطة خلال جلسة أو جلستين جزءاً طبيعياً من حركة السهم اليومية.',
-    'درس تعليمي: من الطبيعي أن يشهد السهم تصحيحًا بسيطًا خلال جلسة أو جلستين.',
-    'لكن عند النظر إلى أدائه على الفاصل الأسبوعي، قد تكتشف أن الصورة مختلفة تمامًا.',
+    "أفضل وقت لزيارة العلا في الشتاء",
+    "العلا تكون أجمل في الشتاء والجو معتدل",
+    "زحمة الرياض اليوم غير طبيعية"
 ]
-embeddings = model.encode(sentences)
-print(embeddings.shape)
-# [3, 768]
-
-# Get the similarity scores for the embeddings
-similarities = model.similarity(embeddings, embeddings)
-print(similarities)
-# tensor([[1.0000, 0.6997, 0.2252],
-#         [0.6997, 1.0000, 0.2973],
-#         [0.2252, 0.2973, 1.0000]])
-```
 
-<!--
-### Direct Usage (Transformers)
-
-<details><summary>Click to see the direct usage in Transformers</summary>
-
-</details>
--->
-
-<!--
-### Downstream Usage (Sentence Transformers)
-
-You can finetune this model on your own dataset.
-
-<details><summary>Click to expand</summary>
-
-</details>
--->
-
-<!--
-### Out-of-Scope Use
-
-*List how the model may foreseeably be misused and address what users ought not to do with the model.*
--->
-
-<!--
-## Bias, Risks and Limitations
-
-*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
--->
-
-<!--
-### Recommendations
-
-*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
--->
-
-## Training Details
-
-### Training Datasets
-
-#### Unnamed Dataset
-
-* Size: 2,523 training samples
-* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
-* Approximate statistics based on the first 1000 samples:
-  |         | sentence_0                                                                        | sentence_1                                                                         | sentence_2                                                                         |
-  |:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
-  | type    | string                                                                            | string                                                                             | string                                                                             |
-  | details | <ul><li>min: 3 tokens</li><li>mean: 12.3 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 29.72 tokens</li><li>max: 455 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 28.64 tokens</li><li>max: 357 tokens</li></ul> |
-* Samples:
-  | sentence_0                                      | sentence_1                                                                                             | sentence_2                                                                                                        |
-  |:------------------------------------------------|:-------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------|
-  | <code>انقطاع مفاجئ للإنترنت وتعطل العمل.</code> | <code>أمس النت فصل علي فجأة وأنا بوسط اجتماع زووم مهم، وتوهقت ما عرفت وش أسوي.</code>                  | <code>حاولت أطفي المودم وأشغله زي العادة بس ما نفع، قمت دقيت على 900 وأنا مستعجل.</code>                          |
-  | <code>بداية الإصابة والأعراض.</code>            | <code>قبل أسبوع تعثرت وأنا أمشي على الدرج، ومن بعدها ركبتي اليسار صارت توجعني إذا حاولت أثنيها.</code> | <code>اضطريت أدفع بالفيزا كامل المبلغ ومشيت الطلب.</code>                                                         |
-  | <code>3. تفاعل مجتمعي إيجابي.</code>            | <code>3. والناس صاروا يشجعون المبادرة في السوشيال ميديا.</code>                                        | <code>الجدران سميكة والمباني متلاصقة عشان الظل والأمن وتحس بعظمة الأجداد اللي بنوا هالمجد من الطين والتبن.</code> |
-* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
-  ```json
-  {
-      "distance_metric": "TripletDistanceMetric.COSINE",
-      "triplet_margin": 0.25
-  }
-  ```
-
-#### Unnamed Dataset
-
-* Size: 1,515 training samples
-* Columns: <code>sentence_0</code> and <code>sentence_1</code>
-* Approximate statistics based on the first 1000 samples:
-  |         | sentence_0                                                                         | sentence_1                                                                         |
-  |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
-  | type    | string                                                                             | string                                                                             |
-  | details | <ul><li>min: 4 tokens</li><li>mean: 12.92 tokens</li><li>max: 162 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 32.14 tokens</li><li>max: 512 tokens</li></ul> |
-* Samples:
-  | sentence_0                                                          | sentence_1                                                                                                                                              |
-  |:--------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------|
-  | <code>شراء التمور والمغادرة.</code>                                 | <code>بعدها رحت لمحل التمور وأخذت كرتون سكري وكرتون خلاص للبيت.</code>                                                                                  |
-  | <code>المعالجة والتعويض.</code>                                     | <code>رفعت شكوى في التطبيق وعوضوني برصيد في المحفظة.</code>                                                                                             |
-  | <code>شرح استخدام BLE في الأجهزة الصحية الذكية داخل المملكة.</code> | <code>السعودية صارت تستخدم تقنية البلوتوث منخفض الطاقة BLE في الأجهزة الصحية الذكية مثل أجهزة قياس السكر والضغط والأساور اللي تتابع حالة المريض.</code> |
-* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
-  ```json
-  {
-      "scale": 20.0,
-      "similarity_fct": "cos_sim",
-      "gather_across_devices": false
-  }
-  ```
-
-### Training Hyperparameters
-#### Non-Default Hyperparameters
-
-- `per_device_train_batch_size`: 32
-- `per_device_eval_batch_size`: 32
-- `multi_dataset_batch_sampler`: round_robin
-
-#### All Hyperparameters
-<details><summary>Click to expand</summary>
-
-- `overwrite_output_dir`: False
-- `do_predict`: False
-- `eval_strategy`: no
-- `prediction_loss_only`: True
-- `per_device_train_batch_size`: 32
-- `per_device_eval_batch_size`: 32
-- `per_gpu_train_batch_size`: None
-- `per_gpu_eval_batch_size`: None
-- `gradient_accumulation_steps`: 1
-- `eval_accumulation_steps`: None
-- `torch_empty_cache_steps`: None
-- `learning_rate`: 5e-05
-- `weight_decay`: 0.0
-- `adam_beta1`: 0.9
-- `adam_beta2`: 0.999
-- `adam_epsilon`: 1e-08
-- `max_grad_norm`: 1
-- `num_train_epochs`: 3
-- `max_steps`: -1
-- `lr_scheduler_type`: linear
-- `lr_scheduler_kwargs`: {}
-- `warmup_ratio`: 0.0
-- `warmup_steps`: 0
-- `log_level`: passive
-- `log_level_replica`: warning
-- `log_on_each_node`: True
-- `logging_nan_inf_filter`: True
-- `save_safetensors`: True
-- `save_on_each_node`: False
-- `save_only_model`: False
-- `restore_callback_states_from_checkpoint`: False
-- `no_cuda`: False
-- `use_cpu`: False
-- `use_mps_device`: False
-- `seed`: 42
-- `data_seed`: None
-- `jit_mode_eval`: False
-- `bf16`: False
-- `fp16`: False
-- `fp16_opt_level`: O1
-- `half_precision_backend`: auto
-- `bf16_full_eval`: False
-- `fp16_full_eval`: False
-- `tf32`: None
-- `local_rank`: 0
-- `ddp_backend`: None
-- `tpu_num_cores`: None
-- `tpu_metrics_debug`: False
-- `debug`: []
-- `dataloader_drop_last`: False
-- `dataloader_num_workers`: 0
-- `dataloader_prefetch_factor`: None
-- `past_index`: -1
-- `disable_tqdm`: False
-- `remove_unused_columns`: True
-- `label_names`: None
-- `load_best_model_at_end`: False
-- `ignore_data_skip`: False
-- `fsdp`: []
-- `fsdp_min_num_params`: 0
-- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
-- `fsdp_transformer_layer_cls_to_wrap`: None
-- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
-- `parallelism_config`: None
-- `deepspeed`: None
-- `label_smoothing_factor`: 0.0
-- `optim`: adamw_torch_fused
-- `optim_args`: None
-- `adafactor`: False
-- `group_by_length`: False
-- `length_column_name`: length
-- `project`: huggingface
-- `trackio_space_id`: trackio
-- `ddp_find_unused_parameters`: None
-- `ddp_bucket_cap_mb`: None
-- `ddp_broadcast_buffers`: False
-- `dataloader_pin_memory`: True
-- `dataloader_persistent_workers`: False
-- `skip_memory_metrics`: True
-- `use_legacy_prediction_loop`: False
-- `push_to_hub`: False
-- `resume_from_checkpoint`: None
-- `hub_model_id`: None
-- `hub_strategy`: every_save
-- `hub_private_repo`: None
-- `hub_always_push`: False
-- `hub_revision`: None
-- `gradient_checkpointing`: False
-- `gradient_checkpointing_kwargs`: None
-- `include_inputs_for_metrics`: False
-- `include_for_metrics`: []
-- `eval_do_concat_batches`: True
-- `fp16_backend`: auto
-- `push_to_hub_model_id`: None
-- `push_to_hub_organization`: None
-- `mp_parameters`: 
-- `auto_find_batch_size`: False
-- `full_determinism`: False
-- `torchdynamo`: None
-- `ray_scope`: last
-- `ddp_timeout`: 1800
-- `torch_compile`: False
-- `torch_compile_backend`: None
-- `torch_compile_mode`: None
-- `include_tokens_per_second`: False
-- `include_num_input_tokens_seen`: no
-- `neftune_noise_alpha`: None
-- `optim_target_modules`: None
-- `batch_eval_metrics`: False
-- `eval_on_start`: False
-- `use_liger_kernel`: False
-- `liger_kernel_config`: None
-- `eval_use_gather_object`: False
-- `average_tokens_across_devices`: True
-- `prompts`: None
-- `batch_sampler`: batch_sampler
-- `multi_dataset_batch_sampler`: round_robin
-- `router_mapping`: {}
-- `learning_rate_mapping`: {}
-
-</details>
-
-### Framework Versions
-- Python: 3.12.12
-- Sentence Transformers: 5.1.2
-- Transformers: 4.57.3
-- PyTorch: 2.9.0+cu126
-- Accelerate: 1.12.0
-- Datasets: 4.0.0
-- Tokenizers: 0.22.1
-
-## Citation
-
-### BibTeX
-
-#### Sentence Transformers
-```bibtex
-@inproceedings{reimers-2019-sentence-bert,
-    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
-    author = "Reimers, Nils and Gurevych, Iryna",
-    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
-    month = "11",
-    year = "2019",
-    publisher = "Association for Computational Linguistics",
-    url = "https://arxiv.org/abs/1908.10084",
-}
-```
+embeddings = model.encode(sentences, normalize_embeddings=True)
 
-#### TripletLoss
-```bibtex
-@misc{hermans2017defense,
-    title={In Defense of the Triplet Loss for Person Re-Identification},
-    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
-    year={2017},
-    eprint={1703.07737},
-    archivePrefix={arXiv},
-    primaryClass={cs.CV}
-}
-```
+from sklearn.metrics.pairwise import cosine_similarity
 
-#### MultipleNegativesRankingLoss
-```bibtex
-@misc{henderson2017efficient,
-    title={Efficient Natural Language Response Suggestion for Smart Reply},
-    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
-    year={2017},
-    eprint={1705.00652},
-    archivePrefix={arXiv},
-    primaryClass={cs.CL}
-}
+query = "أفضل وقت لزيارة أبها"
+chunks = [
+    "أبها تتميز بأجواء معتدلة في الصيف.",
+    "الرياض مدينة مزدحمة.",
+    "مطاعم جدة متنوعة."
+]
+
+q_emb = model.encode(query, normalize_embeddings=True)
+c_embs = model.encode(chunks, normalize_embeddings=True)
+
+scores = cosine_similarity([q_emb], c_embs)[0]
+for s, c in sorted(zip(scores, chunks), reverse=True):
+    print(round(s, 3), c)
 ```
 
-<!--
-## Glossary
+### 🎯 Intended Use
 
-*Clearly define terms in order to be accessible across audiences.*
--->
+- RAG systems
+- Semantic search engines
+- Knowledge base retrieval
+- Document chunk retrieval
+- Saudi dialect applications
+- Government & enterprise search
 
-<!--
-## Model Card Authors
 
-*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
--->
+### ⚠️ Limitations
 
-<!--
-## Model Card Contact
+- Optimized for Saudi Arabic (dialect + MSA)
+- Not trained for cross-lingual retrieval
+- Not intended for generative tasks
+- Best performance when text is chunked semantically
 
-*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--->
+```bibtext
+@misc{sa_retrieval_embeddings_2025,
+  title = {SA-Retrieval-Embeddings-0.2B: Retrieval-Optimized Saudi Arabic Sentence Embeddings},
+  author = {Omer Nacar},
+  year = {2025},
+  publisher = {HuggingFace}
+}
+```