---
tags:
- sentence-transformers
- cross-encoder
- generated_from_trainer
- dataset_size:34420
- loss:BinaryCrossEntropyLoss
base_model: MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
pipeline_tag: text-ranking
library_name: sentence-transformers
---
# CrossEncoder based on MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
## Model Details
### Model Description
- **Model Type:** Cross Encoder
- **Base model:** [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs)
- **Maximum Sequence Length:** 512 tokens
- **Number of Output Labels:** 1 label
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder)
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
['بعد ستة أيام شغل ورا بعض، المفروض آخد راحة قد إيه في الأسبوع؟', '24 ساعة متصلة (يعني يوم كامل).'],
['إيه هي الحقوق والميزات اللي القانون الجديد للشغل بيديها للستات الحوامل بالتحديد؟', 'ممكن بس بشرطين: ما يزيدش عن 48 ساعة في الأسبوع (من غير حساب الراحة). يتم احتساب الساعات الزايدة كعمل إضافي ويتحسب لها أجر أعلى.'],
['حد من الصحة بييجي يتأكد من سلامة المستشفى اللي بنشتغل فيها؟ (يستخدم كلمة "سلامة" للتعبير عن الجودة)', 'أيوه، في مفتشين من وزارة الصحة أو هيئة السلامة المهنية بيزوروا المستشفيات والمنشآت الصحية علشان يتأكدوا من التزامها بشروط السلامة والصحة المهنية.'],
['لو خدت إجازة في الفترة دي، ده هيقلل من رصيد إجازتي السنوية العادية، ولا ده وضع مختلف ومش هياثر عليها؟', 'أيوه، التأمين الصحي بيغطي الأمراض والإصابات اللي بتحصل أثناء الشغل أو بسبب ظروف الشغل. وفيه حاجة اسمها "إصابة عمل"، ودي بيكون ليها علاج وتعويض خاص.'],
['يعني العقد لازم يبقى عربي بس، حتى لو الشركة اللي طرف فيه مش مصرية؟ ولا ممكن يكون بلغتهم برضه؟', 'الحد الأدنى بيتحدد سنويًا بقرار من الهيئة العامة للتأمينات. في 2025، الحد الأدنى حوالي 1700 جنيه، والحد الأقصى وصل لـ11200 جنيه، وده بيزيد تدريجيًا كل سنة.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'بعد ستة أيام شغل ورا بعض، المفروض آخد راحة قد إيه في الأسبوع؟',
[
'24 ساعة متصلة (يعني يوم كامل).',
'ممكن بس بشرطين: ما يزيدش عن 48 ساعة في الأسبوع (من غير حساب الراحة). يتم احتساب الساعات الزايدة كعمل إضافي ويتحسب لها أجر أعلى.',
'أيوه، في مفتشين من وزارة الصحة أو هيئة السلامة المهنية بيزوروا المستشفيات والمنشآت الصحية علشان يتأكدوا من التزامها بشروط السلامة والصحة المهنية.',
'أيوه، التأمين الصحي بيغطي الأمراض والإصابات اللي بتحصل أثناء الشغل أو بسبب ظروف الشغل. وفيه حاجة اسمها "إصابة عمل"، ودي بيكون ليها علاج وتعويض خاص.',
'الحد الأدنى بيتحدد سنويًا بقرار من الهيئة العامة للتأمينات. في 2025، الحد الأدنى حوالي 1700 جنيه، والحد الأقصى وصل لـ11200 جنيه، وده بيزيد تدريجيًا كل سنة.',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
```
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 34,420 training samples
* Columns: sentence_0, sentence_1, and label
* Approximate statistics based on the first 1000 samples:
| | sentence_0 | sentence_1 | label |
|:--------|:-------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:--------------------------------------------------------------|
| type | string | string | float |
| details | - min: 30 characters
- mean: 108.55 characters
- max: 275 characters
| - min: 19 characters
- mean: 140.71 characters
- max: 399 characters
| - min: 0.0
- mean: 0.2
- max: 1.0
|
* Samples:
| sentence_0 | sentence_1 | label |
|:-----------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
| بعد ستة أيام شغل ورا بعض، المفروض آخد راحة قد إيه في الأسبوع؟ | 24 ساعة متصلة (يعني يوم كامل). | 1.0 |
| إيه هي الحقوق والميزات اللي القانون الجديد للشغل بيديها للستات الحوامل بالتحديد؟ | ممكن بس بشرطين: ما يزيدش عن 48 ساعة في الأسبوع (من غير حساب الراحة). يتم احتساب الساعات الزايدة كعمل إضافي ويتحسب لها أجر أعلى. | 0.0 |
| حد من الصحة بييجي يتأكد من سلامة المستشفى اللي بنشتغل فيها؟ (يستخدم كلمة "سلامة" للتعبير عن الجودة) | أيوه، في مفتشين من وزارة الصحة أو هيئة السلامة المهنية بيزوروا المستشفيات والمنشآت الصحية علشان يتأكدوا من التزامها بشروط السلامة والصحة المهنية. | 1.0 |
* Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters:
```json
{
"activation_fn": "torch.nn.modules.linear.Identity",
"pos_weight": null
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `num_train_epochs`: 10
- `disable_tqdm`: True
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: True
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `hub_revision`: None
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `liger_kernel_config`: None
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional