README.md

metadata

language:
  - ar
  - en
license: mit
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
widget:
  - source_sentence: ما هي فوائد ممارسة الرياضة بانتظام للصحة العامة؟
    sentences:
      - >-
        تشير الدراسات الحديثة إلى أن تناول القهوة باعتدال قد يقلل من خطر الإصابة
        بأمراض القلب.
      - >-
        ممارسة الرياضة بانتظام تقوي عضلة القلب وتحسن الدورة الدموية وتساعد في
        الحفاظ على وزن صحي، كما أنها تطلق هرمونات تحسن المزاج وتقلل من التوتر
        والقلق.
      - >-
        أظهرت إحصائيات وزارة التربية والتعليم تحسناً في نسب النجاح بالمرحلة
        الثانوية هذا العام.
  - source_sentence: ما هي أهم المعالم السياحية في مدينة القاهرة؟
    sentences:
      - >-
        شهدت أسعار النفط ارتفاعاً ملحوظاً في الأسواق العالمية خلال الأسبوع
        الماضي.
      - >-
        تعتبر القاهرة من أقدم المدن العربية وتضم العديد من المعالم التاريخية
        المهمة مثل الأهرامات وأبو الهول ومتحف الحضارة المصرية والقلعة وخان
        الخليلي والأزهر الشريف.
      - >-
        أكدت الهيئة العامة للأرصاد الجوية أن درجات الحرارة ستشهد انخفاضاً
        تدريجياً بداية من الأسبوع المقبل.
  - source_sentence: ما هي أسباب التلوث البيئي وطرق مكافحته؟
    sentences:
      - >-
        ينتج التلوث البيئي عن النشاط الصناعي والانبعاثات الناتجة عن وسائل النقل
        وحرق الوقود الأحفوري، ويمكن مكافحته من خلال استخدام الطاقة المتجددة
        وتدوير النفايات وتشديد القوانين البيئية.
      - >-
        أعلنت وزارة الصحة عن حملة توعية جديدة للوقاية من الأمراض المعدية مع
        بداية فصل الشتاء.
      - >-
        تستعد الفرق الرياضية المشاركة في البطولة العربية للمباريات النهائية التي
        ستقام الشهر المقبل.
  - source_sentence: كيف تؤثر وسائل التواصل الاجتماعي على العلاقات الأسرية؟
    sentences:
      - >-
        شهدت أسواق العملات الرقمية تقلبات حادة خلال الأيام الماضية مما أثار قلق
        المستثمرين.
      - أعلنت شركة أبل عن إطلاق هاتفها الذكي الجديد بمواصفات تقنية متطورة.
      - >-
        أدت وسائل التواصل الاجتماعي إلى تقليل التفاعل المباشر بين أفراد الأسرة
        الواحدة، وفي بعض الحالات تسببت في قطع الحوار وضعف الروابط الأسرية، لكنها
        في المقابل ساعدت العائلات المتباعدة جغرافياً على البقاء على اتصال.
  - source_sentence: ما هي أحدث التقنيات المستخدمة في مجال الذكاء الاصطناعي؟
    sentences:
      - >-
        تشهد تقنيات الذكاء الاصطناعي تطوراً متسارعاً، وتشمل أحدث التقنيات
        المستخدمة نماذج اللغة الكبيرة وأنظمة الرؤية الحاسوبية والتعلم المعزز،
        بالإضافة إلى تقنيات توليد المحتوى والترجمة الآلية العصبية.
      - >-
        أعلنت وزارة النقل عن مشروع جديد لتطوير شبكة الطرق السريعة لربط المدن
        الرئيسية.
      - >-
        حذرت هيئة الأرصاد الجوية من موجة حر شديدة ستضرب المنطقة خلال الأيام
        القادمة.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - pearson_cosine
  - spearman_cosine
model-index:
  - name: BTE-Base-Ar
    results:
      - task:
          type: semantic-similarity
          name: Semantic Similarity
        dataset:
          name: Unknown
          type: unknown
        metrics:
          - type: pearson_cosine
            value: 0.8597648589357656
            name: Pearson Cosine
          - type: spearman_cosine
            value: 0.8538045888344338
            name: Spearman Cosine

Overview

BTE-Base-Ar is a leading open-source model based on the Transformer architecture, sIt maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. With only 149 million parameters, it offers a perfect balance between performance and efficiency, outperforming larger models while using significantly fewer resources.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Language: ar
• License: mit

Key Features

• Lightweight & Efficient: 149M parameters vs competitors with 278-568M parameters
• Long Text Processing: Handles up to 8192 tokens with sliding window technique
• High-Speed Inference: 3x faster than comparable models
• Arabic Language Optimization: Specifically fine-tuned for Arabic language nuances
• Resource Efficient: 75% less memory consumption than competitors

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Training Methodology

BTE-Base-Ar was trained on a diverse corpus of 741,159,981 tokens from:

• Authentic Arabic and English open-source datasets
• Manually crafted and processed text
• Purpose-generated synthetic data

This comprehensive training approach enables deep understanding of both Arabic & English linguistic contexts.

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ALJIACHI/bte-base-ar")
# Run inference
sentences = [
    'وبيّن: بمقتضى عقيدتنا قُل لَّن يُصِيبَنَا إِلَّا مَا كَتَبَ اللَّهُ لَنَا ، أي أنّ الإنسان المؤمن دائماً يكون في حالة طمأنينة، وهذه العلاقة ما بين العبد وربّه هي علاقة عبدٍ مع سيّده، وكما ورد في بعض الأدعية خيرُك إلينا نازل وشرُّنا إليك صاعد ، نحن نتعامل مع الله سبحانه وتعالى وهو محضُ الخير ومحضُ الرحمة، وكلّ ما يصدر من الله تبارك وتعالى على العبد أن يكون في منتهى العبوديّة والتذلّل اليه جلّ شأنُه .',
    'أعلنت وزارة الصحة عن حملة تطعيم وطنية ضد الأمراض المعدية، تهدف إلى حماية الأطفال من العدوى.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8598
spearman_cosine	0.8538

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 4.0.1
• Transformers: 4.50.3
• PyTorch: 2.3.0+cu121
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.0

Citation

If you use BTE-Base-Ar in your research, please cite:

@software{BTE_Base_Ar_2025,
  author = {Ali Aljiachi},
  title = {BTE-Base-Ar: A Revolutionary Arabic Text Embeddings Model},
  year = {2025},
  publisher = {Hugging Face},
  url = {https://huggingface.co/Aljiachi/bte-base-ar}
}

@misc{modernbert,
      title={Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference}, 
      author={Benjamin Warner and Antoine Chaffin and Benjamin Clavié and Orion Weller and Oskar Hallström and Said Taghadouini and Alexis Gallagher and Raja Biswas and Faisal Ladhak and Tom Aarsen and Nathan Cooper and Griffin Adams and Jeremy Howard and Iacopo Poli},
      year={2024},
      eprint={2412.13663},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13663}, 
}