---
tags:
- sentence-transformers
- cross-encoder
- generated_from_trainer
- dataset_size:4800
- loss:BinaryCrossEntropyLoss
base_model: MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
pipeline_tag: text-ranking
library_name: sentence-transformers
---
# CrossEncoder based on MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
## Model Details
### Model Description
- **Model Type:** Cross Encoder
- **Base model:** [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs)
- **Maximum Sequence Length:** 512 tokens
- **Number of Output Labels:** 1 label
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder)
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
['قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟', 'لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا.'],
['لو حصلت على حكم في قضية تعويض لأنه القانون حددش سقف التعويض؟', 'أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل.'],
['إذا حصل انتهاك للحقوق في مكان الشغل، نقدر نشتكي فين؟ (وزارة القوى العاملة أو المحكمة)', 'المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب.'],
['في أيام محددة السلطات بتتيح فيها راحة (جمعة مثلا)، ساعات الراحة دي بتنحسب ضمن أسبوع شغل؟', 'أيوه ممكن، العامل يقدر يشتغل تاني بعد ما يطلع معاش، بس لازم يعرف إن المعاش ممكن يقل لو دخله الجديد كبير أو لو كان بيشتغل في وظيفة بتتعارض مع شروط المعاش.'],
['ممنوع تشغيل القصر ليلا أو في أعمال خطيرة، القانون قال إيه؟', 'القانون بيمنع تشغيل الأطفال القُصّر في الأعمال الخطيرة أو أثناء الليل، يعني ممنوع يشتغل بعد الساعة 7 مساءً. كمان في قائمة بالأعمال اللي خطر عليهم يشتغلوا فيها، زي البناء أو المواد الكيميائية.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟',
[
'لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا.',
'أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل.',
'المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب.',
'أيوه ممكن، العامل يقدر يشتغل تاني بعد ما يطلع معاش، بس لازم يعرف إن المعاش ممكن يقل لو دخله الجديد كبير أو لو كان بيشتغل في وظيفة بتتعارض مع شروط المعاش.',
'القانون بيمنع تشغيل الأطفال القُصّر في الأعمال الخطيرة أو أثناء الليل، يعني ممنوع يشتغل بعد الساعة 7 مساءً. كمان في قائمة بالأعمال اللي خطر عليهم يشتغلوا فيها، زي البناء أو المواد الكيميائية.',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
```
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 4,800 training samples
* Columns: sentence_0, sentence_1, and label
* Approximate statistics based on the first 1000 samples:
| | sentence_0 | sentence_1 | label |
|:--------|:-----------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:---------------------------------------------------------------|
| type | string | string | float |
| details | - min: 28 characters
- mean: 58.64 characters
- max: 95 characters
| - min: 16 characters
- mean: 141.03 characters
- max: 399 characters
| - min: 0.0
- mean: 0.24
- max: 1.0
|
* Samples:
| sentence_0 | sentence_1 | label |
|:---------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
| قانون 2025 ضد التمييز في الأمور المرتبطة بالحمل، لأي شكل؟ | لا، القانون بيمنع تمامًا إن صاحب العمل يعاقب الضحية اللي اشتكت من تحرش أو إساءة. ولو حصل كده، الضحية ليها حق تشتكي وتاخد تعويض وتحمي نفسها قانونيًا. | 0.0 |
| لو حصلت على حكم في قضية تعويض لأنه القانون حددش سقف التعويض؟ | أيوه، القانون ماحطش حد أقصى للتعويض عن الفصل التعسفي. المحكمة هي اللي بتحدد المبلغ على حسب الضرر اللي حصل للعامل، وبتراعي عدد سنين الخدمة وظروف الفصل. | 1.0 |
| إذا حصل انتهاك للحقوق في مكان الشغل، نقدر نشتكي فين؟ (وزارة القوى العاملة أو المحكمة) | المكافأة هي مبلغ ثابت بياخده العامل عن السنين اللي اشتغلها. أما التعويض، فهو مبلغ إضافي بيتدفع لو حصلت له مشكلة زي فصل تعسفي أو إصابة. الاتنين مختلفين في السبب وطريقة الحساب. | 0.0 |
* Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters:
```json
{
"activation_fn": "torch.nn.modules.linear.Identity",
"pos_weight": null
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `num_train_epochs`: 10
- `disable_tqdm`: True
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: True
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `hub_revision`: None
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `liger_kernel_config`: None
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional