Qwen3_4B_fine_tuned / README.md
basharalrfooh's picture
Update README.md
5e5b7b9 verified
metadata
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:91123
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
base_model: Qwen/Qwen3-Embedding-4B
widget:
  - source_sentence: >-
      The text mentions various interpretations on applying perfume while in the
      state of Ihram. Could you explain the stance of each school of thought on
      whether it's permissible to wear perfume during Ihram, and what criteria
      they use to distinguish between applying perfume to the body or clothing?
    sentences:
      - >-
        ومتى ظهر له من أحد منهم خيانة عزره على ذلك وأشهره، حتى يرتدع به
        غيره().   وإذا وقع في التطفيف تخاصم جاز أن ينظر فيه المحتسب، إن لم يكن
        مع التخاصم فيه   تجاحد وتناكر. فإن أفضى إلى التجاحد والتناكر كان القضاة
        أحق بالنظر فيه من ولاة الحسبة؛ لأنهم بالأحكام أحق. وكان التأديب فيه إلى
        المحتسب.   فإن تولاه الحاكم جاز لاتصاله بحكمه().   وقد فصل الفقهاء القول
        في التدابير التي تتخذ للحيلولة دون التطفيف والبخس في الكيل والوزن، من
        قيام المحتسب بتفقد عيار الصنج ونحوها على حين غفلة من أصحابها، وتجديد
        النظر في المكاييل ورعاية ما يطففون به المكيال وما إلى ذلك() فليرجع إليه
        في مواطنه من
      - >-
        فيما ذكر الطيب الذي يبقى له جرم بعد الإحرام والذي لا يبقى، وسواء الرجل
        والمرأة الشابة والعجوز().   وذهب الحنفية - في الأصح - إلى عدم جواز
        التطيب للإحرام في الثوب، ولا يجوز أن يلبس ثوب إحرام مطيبا؛ لأنه بذلك
        يكون مستعملا للطيب في إحرامه باستعمال الثوب، وهو محظور على المحرم،
        والفرق: أن الطيب في الثوب منفصل، أما في البدن فهو تابع له، وسنية التطيب
        تحصل بتطييب البدن، فأغنى عن تجويزه في الثوب().   وذهب المالكية: إلى أنه
        إن تطيب قبل الإحرام يجب عليه إزالته عند الإحرام، سواء كان ذلك في بدنه أو
        ثوبه، فإن بقي في البدن أو الثوب بعد الإحرام شيء من جرم الطيب - الذي تطيب
        به قبل
      - >-
        ومهارة يحتاج إلى القصد ليكون استيلاء حقيقيا، وإلا كان استيلاء حكميا. جاء
        في الفتاوى الهندية فيمن علق كوزه، أو وضعه في سطحه، فأمطر السحاب وامتلأ
        الكوز من المطر،   فأخذه إنسان، فالحكم هو استرداد الكوز؛ لأنه ملك صاحبه،
        وأما الماء فإن كان صاحب الكوز قد وضعه من أجل جمع الماء فيسترد الماء
        أيضا، لأن ملكه حقيقي حينئذ، فإن لم يضعه لذلك لم يسترده().   ومن أمثلة
        الأموال المباحة الماء والكلأ والنار والموات والركاز والمعادن والحيوانات
        غير المملوكة. ولكل أحكامه   المطلب الثاني   ما أذن فيه الشارع على وجه
        الانتفاع   17 - وهو ما يسمى بالمنافع العامة، التي جعل الله إباحتها
        تيسيرا على
  - source_sentence: ما الأراء المختلفة حول ترك الرمل في أشواط الطواف الأولى؟
    sentences:
      - >-
        الرشد، أو المجنون إذا عقل يصح أن يكون   من الولي، ولا يحتاج إلى حكم
        حاكم، ويصح أن يكون من الحاكم أيضا عند الاختلاف.   والأنثى عندهم في ذلك
        كالذكر، فيدفع إليها مالها إذا بلغت وأونس رشدها، سواء تزوجت أم لم تتزوج.
        وهناك رواية عن الإمام أحمد أن الحجر لا يزول عن الأنثى حتى تتزوج وتلد، أو
        تمضي عليها سنة في بيت الزوج().   وأما المالكية فقد فرقوا بين ترشيد الصبي
        وترشيد الصبية، وفك الحجر عنهما، وكذلك بين الترشيد للأنثى إذا كانت معلومة
        الرشد وبين غيرها، وفرقوا أيضا بين الترشيد في الأب والوصي والمقدم.   أما
        الصبي فإن كان في ولاية الأب ينفك الحجر عنه بمجرد البلوغ مع حفظه لماله،
      - >-
        ومات في طرابلس الغرب.   من مصنفاته «مواهب الجليل في شرح مختصر خليل» ستة
        مجلدات، في فقه المالكية، و «شرح نظم نظائر رسالة القيرواني» لابن غازي،
        ورسالة في استخراج أوقات الصلاة بالأعمال الفلكية بلا آلة، وجزءان في
        اللغة.   (نيل الابتهاج بتطريز الديباج ص 337، والأعلام للزركلي 7 \ 286،
        والمنهل العذب 1 \ 195، وبروكلمان 2 \ 508 (387) وتكملته 2 \ 526)  
        الحلواني (- 448 ه)   هو عبد العزيز بن أحمد بن نصر، شمس الأئمة الحلواني.
        نسبته إلى بيع الحلواء. وربما قيل له الحلوائي. فقيه حنفي، كان إمام
        الحنفية ببخارى. توفي في كش، ودفن ببخارى.   من تصانيفه: «المبسوط» في
        الفقه، و «شرح أدب
      - >-
        فعليه صدقة لا غير. ويمكنه التدارك بإعادة الطواف، فيسقط عنه الدم أو
        الصدقة. والحكم عند الحنفية كذلك في طواف الوداع().   أما الرمل والاضطباع
        في الطواف فهما سنتان في حق الرجال، في الأشواط الثلاثة الأولى من طواف
        القدوم خاصة، فلو تركهما فلا شيء عليه، ولا يشرع له تداركهما، ومثلهما ترك
        الرمل بين الميلين (الأخضرين) في السعي بين الصفا والمروة. وهذا مذهب
        الحنابلة، وهو الأصح أو الأظهر عند الشافعية، وهو ظاهر كلام الحنفية، قال
        ابن الهمام: إن ترك الرمل في أشواط الطواف الأولى لا يرمل بعد ذلك.   وقال
        المالكية، وهو قول خلاف الأظهر عند الشافعية، وقول القاضي من الحنابلة: أنه
        يقضي
  - source_sentence: >-
      How did the practice of offering the "قلائد" change over time according to
      the information given in the text?
    sentences:
      - >-
        هدية إلى البيت، فيترك التعرض لها من كل أحد تعظيما للبيت وما أهدي إليه.
        وأصل ذلك في القرآن العظيم، قال الله تعالى: يا أيها الذين آمنوا لا تحلوا
        شعائر الله ولا الشهر الحرام ولا الهدي ولا القلائد() قال القرطبي:
        فالشعائر: جمع شعيرة وهي البدنة تهدى إلى البيت، وإشعارها أن يحز سنامها
        ليسيل منها الدم فيعلم أنها هدي. والقلائد قيل في تفسيرها: ما كان الناس
        يتقلدونه أمنة لهم. قال ابن عباس: ثم نسخ ذلك. وقيل المراد بالقلائد: ما
        يعلق على أسنمة الهدايا وأعناقها علامة على أنه لله تعالى، من نعل أو
        غيره(). وقال الله تعالى: جعل الله الكعبة البيت الحرام قياما للناس والشهر
        الحرام والهدي
      - >-
        المتبوع:   9 - من فروع هذه القاعدة: أنه لا يصح تقدم المأموم على إمامه في
        تكبيرة الافتتاح، ولا في غيرها من الأركان، لحديث: «إنما جعل الإمام ليؤتم
        به، فإذا كبر فكبروا...» إلخ الحديث().   و - التابع لا يكون له تابع:   10
        - من فروع هذه القاعدة: لو قطع شخص الأصابع وحدها في جناية وجبت الدية، فإن
        قطع اليد من الكوع لم يلزمه أكثر من الدية، ويجعل الكف تبعا للأصابع، وإن
        قطع زيادة   على ذلك لم يجعل تبعا، بل يلزمه للزيادة حكومة عدل على قدرها؛
        لأن التابع لا يكون له تابع().   ومما خرج عنها توكيل الوكيل غيره دون
        الرجوع إلى موكله، فقد ذكر الحنفية أن للوكيل أن يوكل في حقوق العقد فيما
      - >-
        إلى فئة منهم، ليتقوى بهم، ويستطيع بذلك قهر العدو والظفر به والنصر
        عليه.   والمتحرف لقتال إذا رأى أن يكيد لخصمه ويتغلب عليه، وأن السبيل إلى
        النيل منه والظفر به والنصر عليه، إنما في تغيير خططه، سواء أكانت في تغيير
        المكان، أم في التراجع ليسحب العدو وراءه، ويعاوده بالهجوم عليه إلى غير
        ذلك، مما يطلق عليه (الخدع الحربية) فإنه يباح له ذلك، إذ الحرب خدعة. أما
        لغير ذلك فلا يحل لكل منهما.   الحكم الإجمالي:   3 - التحيز مباح، إذا
        استشعر المتحيز عجزا محوجا إلى الاستنجاد بغيره من المسلمين، وكان   بقصد
        الانضمام إلى فئة، أي جماعة من الناس، ليتقوى بهم على محاربة عدوهم وإيقاع
        الهزيمة
  - source_sentence: >-
      How does Ibn Rushd explain the disagreement among scholars regarding the
      validity of a contract when a detrimental consequence arises from a
      clause?
    sentences:
      - >-
        وفي الإجارة جاء في الشرح الصغير: تفسد الإجارة بالشرط الذي يناقض مقتضى
        العقد، ومحل الفساد إن لم يسقط الشرط، فإن أسقط الشرط صحت().   ويوضح ابن
        رشد سبب اختلاف الفقهاء في صحة العقد بارتفاع المفسد أو عدم صحته. فيقول:
        هل إذا لحق الفساد بالبيع من قبل الشرط يرتفع الفساد إذا ارتفع الشرط، أو
        لا   يرتفع؟ كما لا يرتفع الفساد اللاحق للبيع الحلال من أجل اقتران المحرم
        العين به، كمن باع غلاما بمائة دينار وزق خمر، فلما عقد البيع قال: أدع
        الزق. وهذا البيع مفسوخ عند العلماء بإجماع.   وهذا أيضا ينبني على أصل
        آخر. هو: هل هذا الفساد معقول المعنى أو غير معقول؟ فإن قلنا: هو غير معقول
      - >-
        فيقال: أحللته. ومنه أحل الله البيع() أي أباحه وخير في الفعل والترك، واسم
        الفاعل: محل ومحلل().   والتحليل في الشرع هو: حكم الله تعالى بأن فعلا ما
        هو حلال. قال ابن وهب: قال مالك: لم يكن من فتيا الناس أن يقولوا: هذا حلال
        وهذا حرام، ولكن يقولون: إياكم كذا وكذا، ولم أكن لأصنع هذا. قال
        القرطبي:   ومعنى هذا: أن التحليل والتحريم إنما هو لله عز وجل وليس لأحد
        أن يقول أو يصرح بهذا في عين من الأعيان، إلا أن يكون البارئ تعالى يخبر
        بذلك عنه().   ثم قال: وقد يقوى الدليل على التحريم   عند المجتهد، فلا بأس
        عند ذلك أن يقول ذلك، كما يقول: إن الربا حرام في غير الأعيان الستة.   وقد
        يطلق
      - >-
        الشافعية أن يكون الثلاثة قبل يوم عرفة؛ لأن صوم يوم عرفة بعرفة غير
        مستحب().   ولا يجوز تقديم الثلاثة أو يوم منها على الإحرام بالحج عند
        المالكية والشافعية، وهو قول زفر من الحنفية  :  فصيام ثلاثة أيام في
        الحج() ولأن الصوم عبادة بدنية فلا يجوز تقديمها على وقت وجوبها كسائر
        الصيام الواجب؛ ولأن ما قبله لا يجوز فيه الدم فلم يجز بدله().   وذهب
        الحنفية والحنابلة إلى جواز تقديم الثلاثة على الإحرام بالحج بعد الإحرام
        بالعمرة، وفي رواية عن أحمد إذا حل من العمرة. والدليل على ذلك أن إحرام
        العمرة أحد إحرامي التمتع فجاز الصوم بعده كإحرام الحج. وأما  :  فصيام
        ثلاثة أيام في الحج() فالمراد
  - source_sentence: ما هو الشرط الذي يجب على الواقف اتباعه فيما يتعلق بإدارة وقفه؟
    sentences:
      - >-
        عطف الصلاة على الذكر، والذكر الذي تعقبه الصلاة بلا فصل ليس إلا التحريمة
        فيقتضي هذا النص أن يكون التكبير خارج الصلاة لأن مقتضى العطف المغايرة بين
        المعطوف والمعطوف عليه إذ الشيء لا يعطف على نفسه().   وقال   «تحريمها  
        التكبير»() فأضاف التحريم إلى الصلاة والمضاف غير المضاف إليه لأن الشيء لا
        يضاف إلى نفسه، ولأجل أن تكبيرة الإحرام شرط فهو لا يتكرر كتكرار الأركان
        في كل صلاة كالركوع والسجود فلو كان ركنا لتكرر كما تكرر الأركان. كما
        عللوا كون تكبيرة الإحرام شرطا بأن الركن هو الداخل في الماهية والمصلي لا
        يدخل في الصلاة إلا بفراغه من تكبيرة الإحرام(). وللتوسع فيما يترتب على
      - >-
        والإمكانيات الكافية لها، والله المستعان، وهو ولي
        التوفيق.                                                       الموسوعة
        الفقهية    أ  أئمة   التعريف:   1 - الأئمة لغة: من يقتدى بهم من رئيس أو
        غيره(). مفرده: إمام. ولا يبعد المعنى الاصطلاحي عن المعنى اللغوي، بإطلاقه
        الشامل للمقتدى بهم عموما في مجال الخير والشر، طوعا أو كرها().  
        الإطلاقات المختلفة لهذا المصطلح   2 - يطلق على الأنبياء   أنهم «أئمة» من
        حيث يجب على الخلق اتباعهم، قال الله تعالى عقب ذكر بعض الأنبياء  وجعلناهم
        أئمة يهدون بأمرنا() كما يطلق على الخلفاء «أئمة» لأنهم رتبوا في المحل
        الذي يجب على الناس اتباعهم
      - >-
        عقار ويوقف عليه، بخلاف الموقوف على عمارته يجب ادخاره   لأجلها، وإلا لم
        يعد منه شيء لأجلها؛ لأنه يعرض للضياع أو لظالم يأخذ.   5 - وأما الحنابلة
        فيرجع عندهم إلى شرط الواقف في الإنفاق على الوقف وفي سائر أحواله، لأنه
        ثبت بوقفه، فوجب أن يتبع فيه شرطه. فإن عين الواقف الإنفاق عليه من غلته أو
        من غيرها عمل به رجوعا إلى شرطه، وإن لم يعينه - وكان الموقوف ذا روح
        كالخيل - فإنه ينفق عليه من غلته؛ لأن الوقف يقتضي تحبيس الأصل وتسبيل
        منفعته، ولا يحصل ذلك إلا بالإنفاق عليه فكان ذلك من ضرورته   فإن لم يكن
        للموقوف غلة لضعف به ونحوه فنفقته على الموقوف عليه المعين؛ لأن الوقف
        عندهم يخرج من
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - pearson_cosine
  - spearman_cosine
model-index:
  - name: SentenceTransformer based on Qwen/Qwen3-Embedding-4B
    results:
      - task:
          type: semantic-similarity
          name: Semantic Similarity
        dataset:
          name: eval
          type: eval
        metrics:
          - type: pearson_cosine
            value: 0.9115958782634922
            name: Pearson Cosine
          - type: spearman_cosine
            value: 0.8065364033008666
            name: Spearman Cosine

SentenceTransformer based on Qwen/Qwen3-Embedding-4B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-4B
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 2560 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 2560, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "\u0645\u0627 \u0647\u0648 \u0627\u0644\u0634\u0631\u0637 \u0627\u0644\u0630\u064a \u064a\u062c\u0628 \u0639\u0644\u0649 \u0627\u0644\u0648\u0627\u0642\u0641 \u0627\u062a\u0628\u0627\u0639\u0647 \u0641\u064a\u0645\u0627 \u064a\u062a\u0639\u0644\u0642 \u0628\u0625\u062f\u0627\u0631\u0629 \u0648\u0642\u0641\u0647\u061f",
]
documents = [
    'عقار ويوقف عليه، بخلاف الموقوف على عمارته يجب ادخاره   لأجلها، وإلا لم يعد منه شيء لأجلها؛ لأنه يعرض للضياع أو لظالم يأخذ.   5 - وأما الحنابلة فيرجع عندهم إلى شرط الواقف في الإنفاق على الوقف وفي سائر أحواله، لأنه ثبت بوقفه، فوجب أن يتبع فيه شرطه. فإن عين الواقف الإنفاق عليه من غلته أو من غيرها عمل به رجوعا إلى شرطه، وإن لم يعينه - وكان الموقوف ذا روح كالخيل - فإنه ينفق عليه من غلته؛ لأن الوقف يقتضي تحبيس الأصل وتسبيل منفعته، ولا يحصل ذلك إلا بالإنفاق عليه فكان ذلك من ضرورته   فإن لم يكن للموقوف غلة لضعف به ونحوه فنفقته على الموقوف عليه المعين؛ لأن الوقف عندهم يخرج من',
    'عطف الصلاة على الذكر، والذكر الذي تعقبه الصلاة بلا فصل ليس إلا التحريمة فيقتضي هذا النص أن يكون التكبير خارج الصلاة لأن مقتضى العطف المغايرة بين المعطوف والمعطوف عليه إذ الشيء لا يعطف على نفسه().   وقال   «تحريمها   التكبير»() فأضاف التحريم إلى الصلاة والمضاف غير المضاف إليه لأن الشيء لا يضاف إلى نفسه، ولأجل أن تكبيرة الإحرام شرط فهو لا يتكرر كتكرار الأركان في كل صلاة كالركوع والسجود فلو كان ركنا لتكرر كما تكرر الأركان. كما عللوا كون تكبيرة الإحرام شرطا بأن الركن هو الداخل في الماهية والمصلي لا يدخل في الصلاة إلا بفراغه من تكبيرة الإحرام(). وللتوسع فيما يترتب على',
    'والإمكانيات الكافية لها، والله المستعان، وهو ولي التوفيق.                                                       الموسوعة الفقهية    أ  أئمة   التعريف:   1 - الأئمة لغة: من يقتدى بهم من رئيس أو غيره(). مفرده: إمام. ولا يبعد المعنى الاصطلاحي عن المعنى اللغوي، بإطلاقه الشامل للمقتدى بهم عموما في مجال الخير والشر، طوعا أو كرها().   الإطلاقات المختلفة لهذا المصطلح   2 - يطلق على الأنبياء   أنهم «أئمة» من حيث يجب على الخلق اتباعهم، قال الله تعالى عقب ذكر بعض الأنبياء  وجعلناهم أئمة يهدون بأمرنا() كما يطلق على الخلفاء «أئمة» لأنهم رتبوا في المحل الذي يجب على الناس اتباعهم',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5581, 0.0583, 0.0569]])

Evaluation

Metrics

Semantic Similarity

Metric Value
pearson_cosine 0.9116
spearman_cosine 0.8065

Training Details

Training Dataset

Unnamed Dataset

  • Size: 91,123 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 5 tokens
    • mean: 23.86 tokens
    • max: 69 tokens
    • min: 193 tokens
    • mean: 229.67 tokens
    • max: 295 tokens
  • Samples:
    anchor positive
    من هو عبد الله بن عبد الرحمن النفراوي، وما هي أهم صنفاته؟ للزركلي 1 \ 76؛ وطبقات ابن سعد 6 \ 188-199) ابن أبي زيد (310-386 ه) عبد الله بن عبد الرحمن النفراوي، القيرواني، أبو محمد: فقيه، مفسر من أعيان القيروان. مولده ومنشؤه ووفاته فيها. كان إمام المالكية في عصره. يلقب بقطب المذهب وبمالك الأصغر. قال عنه الذهبي: كان على أصول السلف في الأصول لا يتأول. من تصانيفه: «كتاب النوادر والزيادات»؛ و «مختصر المدونة»؛ و «كتاب الرسالة». (معجم المؤلفين 6 \ 73؛ والأعلام للزركلي 4 \ 230؛ وشذرات الذهب 3 \ 131) ابن أبي ليلى (74-148 ه) هو محمد بن عبد الرحمن بن أبي ليلى يسار (وقيل: داود) بن بلال. أنصاري كوفي. فقيه من أصحاب الرأي. ولي
    كيف يتم توجيه اليمين عندما لا يرغب المدعي في تقديم البينة؟ حق طلب اليمين ولو كانت له بينة حاضرة؛ لأنه مخير بين تقديم البينة أو طلب اليمين. كما قال الحنفية: إن قال المدعى عليه: لا أقر ولا أنكر، لا يستحلف، بل يحبس ليقر أو ينكر. وكذا لو لزم السكوت بلا آفة، عند أبي يوسف. ونقل عن البدائع: الأشبه أنه إنكار فيستحلف(). وتوجيه اليمين يكون من القاضي بطلب المدعي. واستثنى الإمام أبو يوسف أربع مسائل يوجه فيها القاضي اليمين بلا طلب المدعي. أولاها: الرد بالعيب، يحلف المشتري بالله ما رضيت بالعيب. والثانية: الشفيع: بالله ما أبطلت شفعتك. وثالثها: المرأة إذا طلبت فرض النفقة على زوجها الغائب: بالله ما خلف لك زوجك شيئا ولا أعطاك
    contribute to making a text equivalent to an encyclopedia in Islamic scholarship? اسم: المدونات، أو المطولات، أو المبسوطات، أو الأمهات من كتب فقهية لم تراع فيها جميع الخصائص المشار إليها، وإن وجود خصيصة منها أو أكثر، بالقصد أو التوافق، ولا سيما شمول قدر كبير من المادة الفقهية الموثقة، هو الذي يسيغ إطلاق اسم الموسوعات عليها، من باب التجوز لا الحقيقة، لأنها تفتقر إلى أهم الخصائص: اتخاذ المصطلحات المرتبة أساسا للبحث فيها، فضلا عن سهولة الأسلوب وإطلاق الحدود للبيان المتناسق. والفقه الإسلامي غني بأمثال تلك المراجع التي إن خدمت بفهارس تحليلية كانت بمثابة موسوعات مبدئية لمذهب أو أكثر، وهي بهذه الخدمة ستكون مما يوطئ للموسوعة ويسد الفراغ إلى حين. أهداف
  • Loss: MatryoshkaLoss with these parameters:
    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            2560,
            1536,
            768,
            512
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 6
  • gradient_accumulation_steps: 2
  • learning_rate: 0.0001
  • num_train_epochs: 1
  • warmup_steps: 100
  • bf16: True
  • tf32: True
  • load_best_model_at_end: True
  • optim: paged_adamw_8bit

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 6
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 2
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 0.0001
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 100
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: paged_adamw_8bit
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss eval_spearman_cosine
0.0132 100 0.6026 -
0.0263 200 0.3886 -
0.0395 300 0.3765 -
0.0527 400 0.3261 -
0.0658 500 0.3843 0.7993
0.0790 600 0.4116 -
0.0922 700 0.3508 -
0.1053 800 0.4084 -
0.1185 900 0.3508 -
0.1317 1000 0.2892 0.8045
0.1449 1100 0.2915 -
0.1580 1200 0.347 -
0.1712 1300 0.328 -
0.1844 1400 0.3232 -
0.1975 1500 0.2443 0.8042
0.2107 1600 0.2877 -
0.2239 1700 0.3204 -
0.2370 1800 0.293 -
0.2502 1900 0.2974 -
0.2634 2000 0.2575 0.8051
0.2765 2100 0.2418 -
0.2897 2200 0.3061 -
0.3029 2300 0.3158 -
0.3160 2400 0.2764 -
0.3292 2500 0.2824 0.8064
0.3424 2600 0.321 -
0.3555 2700 0.254 -
0.3687 2800 0.3211 -
0.3819 2900 0.2988 -
0.3950 3000 0.2965 0.8063
0.4082 3100 0.2098 -
0.4214 3200 0.2348 -
0.4346 3300 0.2362 -
0.4477 3400 0.2273 -
0.4609 3500 0.2642 0.8061
0.4741 3600 0.2834 -
0.4872 3700 0.2828 -
0.5004 3800 0.2668 -
0.5136 3900 0.2733 -
0.5267 4000 0.3085 0.8069
0.5399 4100 0.3047 -
0.5531 4200 0.2503 -
0.5662 4300 0.2671 -
0.5794 4400 0.2041 -
0.5926 4500 0.3233 0.8066
0.6057 4600 0.3447 -
0.6189 4700 0.2845 -
0.6321 4800 0.2762 -
0.6452 4900 0.3012 -
0.6584 5000 0.2879 0.8066
0.6716 5100 0.267 -
0.6848 5200 0.2649 -
0.6979 5300 0.2975 -
0.7111 5400 0.351 -
0.7243 5500 0.2884 0.8064
0.7374 5600 0.2223 -
0.7506 5700 0.2801 -
0.7638 5800 0.2432 -
0.7769 5900 0.2379 -
0.7901 6000 0.2882 0.8065
0.8033 6100 0.2505 -
0.8164 6200 0.3277 -
0.8296 6300 0.3131 -
0.8428 6400 0.2773 -
0.8559 6500 0.308 0.8065
0.8691 6600 0.2376 -
0.8823 6700 0.2542 -
0.8954 6800 0.2692 -
0.9086 6900 0.212 -
0.9218 7000 0.3418 0.8065
0.9349 7100 0.3699 -
0.9481 7200 0.3073 -
0.9613 7300 0.2819 -
0.9745 7400 0.1871 -
0.9876 7500 0.1755 0.8065
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.14
  • Sentence Transformers: 5.1.2
  • Transformers: 4.57.1
  • PyTorch: 2.9.0+cu128
  • Accelerate: 1.11.0
  • Datasets: 4.3.0
  • Tokenizers: 0.22.1