---
tags:
- sentence-transformers
- cross-encoder
- generated_from_trainer
- dataset_size:173920
- loss:BinaryCrossEntropyLoss
base_model: MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
pipeline_tag: text-ranking
library_name: sentence-transformers
---
# CrossEncoder based on MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs
This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
## Model Details
### Model Description
- **Model Type:** Cross Encoder
- **Base model:** [MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs](https://huggingface.co/MatMulMan/araelectra-base-discriminator-tydi-tafseer-pairs)
- **Maximum Sequence Length:** 512 tokens
- **Number of Output Labels:** 1 label
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder)
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
['يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟', 'أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة.'],
['يعني قانون الوظيفة بيلزم أصحاب الشركات إنهم يوفروا أماكن شغل نضيفة وآمنة للعمال، فيها إضاءة كافية وتهوية مظبوطة، ولا ده مش شرط أساسي في التشريع؟ (تغيير في الفاعل من "الشركات" إلى "أصحاب الشركات"، والتركيز على "شرط أساسي")؟', 'لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت.'],
['ممكن أعرف السؤال هنا، لو التغييرات اللي حصلت في العقد خلت الوظيفة مستحيل بالنسبة للعامل، هل من حقه إنه ياخد إجراءات تصعيدية؟ (هذه الصيغة تستخدم لغة أكثر رسمية، وتستبدل "الاعتصام" بـ "إجراءات تصعيدية".)؟', 'النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي.'],
['طيب، مش المفروض بعد ما الحد الأدنى للأجور بقى أعلى بستة وسبعة آلاف جنيه، الشركات دي تعدل أوضاعها؟ ليه لسه مفيش أي تغيير؟ (تركيز على توقع التعديل في الأوضاع)؟', 'مدة الخدمة بتفرق في قيمة التعويض. يعني كل ما العامل كانت خدمته أطول، بيكون التعويض أكبر. وعلشان كده القانون ساب التقدير للمحكمة عشان تحكم بما يتناسب مع كل حالة.'],
['ممكن أعرف فرضًا إن فيه عامل بيشتغل شغلانة فيها خلط، وجاله مرض بيعدي، يبقى من حقه يستحق قد إيه شهر إجازة مرضية عشان يعزل نفسه؟', 'لو الجهات الطبية شافت إن فيه خطر حقيقي، العامل يقدر ياخد إجازة حجر صحي لمدة تصل إلى شهر. وده لحمايته وحماية زمايله في الشغل.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟',
[
'أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة.',
'لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت.',
'النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي.',
'مدة الخدمة بتفرق في قيمة التعويض. يعني كل ما العامل كانت خدمته أطول، بيكون التعويض أكبر. وعلشان كده القانون ساب التقدير للمحكمة عشان تحكم بما يتناسب مع كل حالة.',
'لو الجهات الطبية شافت إن فيه خطر حقيقي، العامل يقدر ياخد إجازة حجر صحي لمدة تصل إلى شهر. وده لحمايته وحماية زمايله في الشغل.',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
```
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 173,920 training samples
* Columns: sentence_0, sentence_1, and label
* Approximate statistics based on the first 1000 samples:
| | sentence_0 | sentence_1 | label |
|:--------|:-------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:---------------------------------------------------------------|
| type | string | string | float |
| details | - min: 33 characters
- mean: 114.82 characters
- max: 326 characters
| - min: 16 characters
- mean: 143.94 characters
- max: 399 characters
| - min: 0.0
- mean: 0.26
- max: 1.0
|
* Samples:
| sentence_0 | sentence_1 | label |
|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------|
| يعني هل التشريع بيحدد إيه أقل حاجة لازم صاحب العمل يوفرها من ناحية أدوات الحماية زي الخوذة أو اللبس الواقي؟ | أيوه، بمجرد ما تبدأ الشغل، صاحب العمل ملزم يسجلك في التأمين الاجتماعي من أول يوم. ولو ما عملش كده، تقدر تشتكيه وهيتحمل الغرامة. | 0.0 |
| يعني قانون الوظيفة بيلزم أصحاب الشركات إنهم يوفروا أماكن شغل نضيفة وآمنة للعمال، فيها إضاءة كافية وتهوية مظبوطة، ولا ده مش شرط أساسي في التشريع؟ (تغيير في الفاعل من "الشركات" إلى "أصحاب الشركات"، والتركيز على "شرط أساسي")؟ | لو المرتب ما اتصرفش لأي سبب (زي الإهمال من جهة العمل)، العامل ليه حق يطالب بيه، وبيتدفع له بأثر رجعي. مفيش حاجة اسمها المرتب يسقط مع الوقت. | 0.0 |
| ممكن أعرف السؤال هنا، لو التغييرات اللي حصلت في العقد خلت الوظيفة مستحيل بالنسبة للعامل، هل من حقه إنه ياخد إجراءات تصعيدية؟ (هذه الصيغة تستخدم لغة أكثر رسمية، وتستبدل "الاعتصام" بـ "إجراءات تصعيدية".)؟ | النسبة بتتقسم كالتالي: العامل: 11% من الأجر التأميني, صاحب العمل: حوالي 18.75%, وده بيغطي المعاشات، إصابات العمل، والتأمين الصحي. | 0.0 |
* Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters:
```json
{
"activation_fn": "torch.nn.modules.linear.Identity",
"pos_weight": null
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `disable_tqdm`: True
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 3
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: True
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `hub_revision`: None
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `liger_kernel_config`: None
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional