meet5568/bhash_finetune_phaseB_v2

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 400 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 400, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meet5568/bhash_finetune_phaseB_v2")
# Run inference
sentences = [
    'Mujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nYe aashiqui tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nYe shayari tujhse shuru tujhpe khatam\nTere liye hi saansein mili hai\nTere liye hi mila hai janam\nYe zindagi tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nTum mere haathon mein prem lakeer jaisi ho\nMain deewana Ranjha, tum Heer jaisi ho\nTum aaisi baaton se bekarar karte ho\nMere sabr ka aanchal taar-taar karte ho\nJaao na is tarah baahon se chhut ke\nChahungi main tumhe ab sanam toot ke\nTeri wafaa ke badle mile toh\nManzoor hai har sitam\nYe mausiki tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nHar pal tanhai mein tumhe yaad karta tha\nApni suni duniya main aabaad karta tha\nMain bhi toh hontho se paigam likhti thi\nKore se kagaz pe tera naam likhti thi\nDard ke woh sabhi sakht mausam gaye\nHum mile toh laga pal yahin tham gaye\nAb na juda ho sapne hamare\nJab tak rahe dum mein dum\nYe bekhudi tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do',
    'क्यू रातो को मैं अब चैन से सो ना सकू\nहो ओ ओ ओ\nक्यू आता नहीं मुझे दिन में भी चैन ओ सुकू\nहो ओ ओ ओ\nक्यू ऐसा होता हैं मैं खुद से ही बाते करूं\nओ ओ ओ\nक्यू तू जो बोले कोई सुने ना वो मैं ही सुनु\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता तू बता\nतेरा इंतजार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतू बता आ आ आ तू बता आ आ आ\nक्यू तुझे देखे बिना आता नहीं दिल को सबर हो ओ ओ ओ\nक्यू तेरे चेहरे से हटती नहीं ये नजर हो ओ ओ ओ\nक्यू तुझे पाके मुझे रहता है खोने का डर ओ ओ ओ\nक्यू तेरे सिवा सारी दुनिया से हु मैं बेखबर\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतेरा इंतजार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतू बता आ आ आ तू बता आ आ आ\nये प्यार है जो तुझे हो गया है\nना जाने क्यू तू इसे था बेखबर\nजो आज कल ये तुझे हो रहा है\nनहीं और कुछ प्यार का है असर\nक्यू तेरे जलवो का छटता नहीं है धुंआ हो ओ ओ ओ\nक्यू चले हवा तो लगे की जैसे तूने छुआ हो ओ ओ ओ\nक्यू मांगता है दिल तेरे लिए रोज़ दुआ हो ओ ओ ओ\nक्यू हो रहा जो वो पहले मुझे ना हुआ\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतेरा इंतज़ार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता तू बता\nतू बता आ आ आ तू बता आ आ आ',
    'खटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा.\nबर्बाद दिन ने जो फेंकी यहाँ\nहमने वो कतरन उठाई है\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nकतरन का पोला सा तकिया बना\nउसपे ही नींदें चढ़ाई है\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nजिनते शटर हमपे गिरते गए\nउतने चतुर हम भी बनते गए\nहोक तू बांका, छोटा सा टांका\nदुनिया के मुंह पे लगा.\nहाँ किलो के भाव हमने हौसला है पाया\nरात लम्बी नापने को इंच-टेप लाया\nगह्लास हुई तंग तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nबातों को कड़वी ना दिल पे लिया\nधक्का मिला तो नमस्ते दिया\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nरेशम की या साड़ी सूती की हो\nसबको तसल्ली से पिको किया\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nसपने जो रखे हैं संभाल के\nगीले ना हो जाएँ तिरपाल में\nदुनिया के नाटक को\nआँखों के फाटक से\nचलता तू कर दे ज़रा\nआत्मा को एक एक पुर्जे में मिलाया\nदेख लो मशीन को भी आदमी बनाया\nजेबें जो उधड़ी हैं तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,200 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 5 tokens mean: 308.96 tokens max: 400 tokens	min: 25 tokens mean: 309.99 tokens max: 400 tokens	min: 30 tokens mean: 304.98 tokens max: 400 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Khwaab sangemarmari Khwaab yeh hare bhare Khwaab sangemarmari Khwaab yeh hare bhare Zara jo neend khul gayi Khwaab kaanch ke arrey arrey Idhar gire udhar gire Arrey o re re re re re arre. o re Idhar gire udhar gire Arrey o re re re re re arre. o re Tashtari sambhaal ke. Jaam hai naya. Haath se gira diya. Kaam se gaya. Khwaab yeh falak talak Jaayenge chhlak chhlak Khwaab yeh falak talak Jaayenge chhlak chhlak Jo muh ko lag gayi Khwaab chaat-te arrey arre. Idhar gire udhar gire Arrey o re re re re re arre. o re Idhar gire udhar gire Arrey o re re re re re arre. o re Chaahatein yahaan banti Taash ki tarah. Haath jo jeet li Aish hai yahaan. Khwaab yeh sharaarati Hain tere banawati Khwaab yeh sharaarati Hain banawati Zara jo dhool lag gayi Khwaab chaat-te arrey arre. Idhar gire udhar gire Arrey o re re re re re arre. o re Idhar gire udhar gire Arrey o re re re re re arre. o re Khwaab sangemarmari Khwaab yeh hare bhare Khwaab sangemarmari Khwaab yeh hare bhare Hun. hmm. la la.	सेठजी, तुमने किया कमाल, सेठजी ओ, सेठजी, तुमने किया कमाल, सेठजी "खुंदी की मुद्दत पक गई" "खुंदी की मुद्दत पक गई" ये कह गया रंगूनी दलाल, दलाल, दलाल सेठजी, तुमने किया कमाल, सेठजी वो फ़ेंका पासा क़िस्मत का खुल गया लिफ़ाफ़ा इज़्ज़त का तुम एक के ११ करते थे दाँतों से दमड़ी पकड़े थे जी, दाँतों से दमड़ी पकड़े थे ओ, करोड़पति जलते तुमसे जय बोल रहे, "कंगाल रहे कंगाल" सेठजी, तुमने किया कमाल, सेठजी ओ, सेठजी, तुमने किया कमाल, सेठजी अन्न देकर धरम लिया तुमने अन्न देकर धरम लिया तुमने अंजाने काम किया तुमने अंजाने काम किया तुमने मंदर, बाज़ार, बगीचे, सब चलते तेरे नाम के नीचे अब ओ, छप गए photo जगह-जगह हो गए दुश्मन ठन-ठन पाल रे, ठन-ठन पाल सेठजी, तुमने किया कमाल, सेठजी अब black से नहीं कमाना है ना income tax दबाना है हमने ये दिल में ठाना है कुछ ऐसा करके जाना है जी, कुछ ऐसा करके जाना है ओ, देकर urgent तार बुलाए दिल्ली का कोतवाल, कोतवाल, कोतवाल ओ, सेठजी, तुमने किया कमाल, सेठजी	नज़र वो जो दुश्मन पे भी मेहरबाँ हो नज़र वो जो दुश्मन पे भी मेहरबाँ हो ज़ुबाँ वो जो इक प्यार की दास्ताँ हो किसी ने कहा है, मेरे दोस्तों किसी ने कहा है, मेरे दोस्तों "बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो" किसी ने कहा है, मेरे दोस्तों "बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो" बुरी है बुराई, मेरे दोस्तों बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो ज़माने में सब ज़िंदगी यूँ गुज़ारें ज़माने में सब ज़िंदगी यूँ गुज़ारें गुलिस्ताँ में रहती हैं जैसे बहारें ये कहानी यही है, ज़िंदगानी यही है ये कहानी यही है, ज़िंदगानी यही है जियो आप, औरों को भी जीने दो बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो हसीं हैं बहुत ज़ुल्फ़ के भी फ़साने हसीं हैं बहुत ज़ुल्फ़ के भी फ़साने मोहब्बत की बातें, वफ़ा के तराने ये तराने सुनाओ, ये फ़साने सुनाओ ये तराने सुनाओ, ये फ़साने सुनाओ मगर याद रखो, मेरे साथियों "बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो" किसी ने कहा है, मेरे दोस्तों बुरी है बुराई, मेरे दोस्तों बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो बुरा मत सुनो, बुरा मत द...
  ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇ ਜਲਸਾ ਲਗਾਇਆ ਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆ ਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀ (ਹੋ ਹੋ ਹੋ) ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇ ਜਲਸਾ ਲਗਾਇਆ ਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆ ਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀ ਰਿਸ਼ਮਾਂ ਨੇ, ਰਿਸ਼ਮਾਂ ਨੇ ਹੋ, ਰਿਸ਼ਮਾਂ ਨੇ ਦੂਧੀਆ ਜਿਹੀ ਪਈ ਸੀ ਪੋਸ਼ਾਕ ਮਾਰੀ ਤਾਰਿਆਂ ਨੂੰ ਹਾਕ ਓਹ ਤਾਂ ਹੋਰ ਹੀ ਜਹਾਨ ਸੀ! ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇ ਜਲਸਾ ਲਗਾਇਆ (ਜਲਸਾ ਲਗਾਇਆ) ਜਲਸਾ ਲਗਾਇਆ! ਜਲਸਾ ਲਗਾਇਆ! ਪਿਆਰ ਵਾਲੇ ਪਿੰਡ ਦੀਆਂ ਮਹਿਕ ਦੀਆਂ ਜੂਹਾਂ ਅੱਗੇ ਸੰਧਲੀ ਬਹਿਰੂਹਾਂ ਤੇ ਬਲੌਰੀ ਦਹਲੀਜ਼ ਹੈ ਪਿਆਰ ਵਾਲੇ ਪਿੰਡ ਦੀਆਂ ਮਹਿਕ ਦੀਆਂ ਜੂਹਾਂ ਸੰਧਲੀ ਬਹਿਰੂਹਾਂ ਬਲੌਰੀ ਦਹਲੀਜ਼ ਹੈ ਦਿਲਾਂ ਵਾਲੇ ਕਮਰੇ 'ਚ ਨੂਰ ਹੋਵੇਗਾ, ਜੀ ਹਾਂ! ਜ਼ਰੂਰ ਹੋਵੇਗਾ ਕਿ ਇਸ਼ਕ ਰੌਸ਼ਨੀ ਦੀ ਚੀਜ਼ ਹੈ ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇ ਜਲਸਾ ਲਗਾਇਆ (ਜਲਸਾ ਲਗਾਇਆ) ਹੋ, ਜਲਸਾ ਲਗਾਇਆ! ਜਲਸਾ ਲਗਾਇਆ! (ਹੇ, ਬੱਲੇ-ਬੱਲੇ-ਬੱਲੇ) ਸੁਣਿਆਂ ਕਿ ਤੇਰਾ ਕਾਲ਼ੇ ਰੰਗ ਦਾ ਤਵੀਤ ਵਿੱਚ ਸਾਂਭੇ ਹੋਏ ਨੇ ਗੀਤ ਨੀ ਤੂੰ ਮਾਹੀ Sartaaj ਦੇ (ਹੋ ਹੋ ਹੋ) ਸੁਣਿਆਂ ਕਿ ਤੇਰਾ ਕਾਲ਼ੇ ਰੰਗ ਦਾ ਤਵੀਤ ਸਾਂਭੇ ਹੋਏ ਨੇ ਗੀਤ ਨੀ ਤੂੰ ਮਾਹੀ Sartaaj ਦੇ ਹੋਵੇ ਤਾਂ ਜੇ ਹੋਵੇ ਸੱਚੀ ਐਹੋ ਜਿਹੀ ਪ੍ਰੀਤ ਏਹ ਮੋਹਬੱਤਾਂ ਦੀ ਰੀਤ ਲੋਕੀ ਏਸੇ ਨੂੰ ਨਵਾਜ਼ਦੇ ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇ ਜਲਸਾ ਲਗਾਇਆ ਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆ ਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀ (ਹੋ, ਹੋ, ਹੋ) (ਹੋ, ਹੋ, ਹੋ) (ਹੋ, ਹੋ, ਹੋ) ਜਲਸਾ ਲਗਾਇਆ! (ਹੋ...	सर झुका के, कर सलाम है शाम शानदार आसमां से आ गिरी है शाम शानदार चक दे अँधेरा, चाँद जला दे बल्ब बना के फ़िक्र ना करियो, करना भी क्या है बिजली बचा के सरेआम पिला ख़ुशी के जाम शानदार आसमां से आ गिरी ये शाम शानदार जज़्बात के चिल्लर, को नोट बना के मेहंदी रात पे खुल के लूटा चिंगारियों को, विस्फोट बना के अय्याशी के तू रॉकेट छुड़ा कैसा डर, तू कर गुज़र, ये काम शानदार आसमां से आ गिरी ये शाम शानदार ये शाम शानदार	Uski Rahamat Ke Bina Milta Na Kuch Bhi Yahan Chahe Banda Ye Kare Jitni Bhi Manmaniyaan Mitti Ka Ye Jisam Mitti Me Hi Mile Chahe Banda Ye Kare Jitni Bhi Manmaniyaan Uske Dar Pe Sar Jo Jhukayega Phir Ye Khel Samajh Aayega Bulleya Man Jaa Ye Hawa Kya Hai Uska Karam Ye Khuda Kya Hai Mera Sanam Ye Hawa Kya Hai Uska Karam Ye Khuda Kya Hai Mera Sanam Uski Nazar Me Tu Hai Khilona Mit Jayega Jo Naa Chalega Bulleya Bulleya Man Jaa Uski Rahamat Ke Bina Milta Na Kuch Bhi Yahan Chahe Banda Ye Kare Jitni Bhi Manmaniyaan Mitti Ka Ye Jisam Mitti Me Hi Mile Chahe Banda Ye Kare Jitni Bhi Manmaniyaan Uske Dar Pe Sar Jo Jhukayega Phir Ye Khel Samajh Aayega Bulleya Man Jaa
  आ, अब लौट चलें आ, अब लौट चलें नैन बिछाए, बाँहें पसारे तुझको पुकारे देश तेरा आ, अब लौट चलें आ, अब लौट चलें नैन बिछाए, बाँहें पसारे तुझको पुकारे देश तेरा आजा रे आजा रे आ-आ, आ सहेज है सीधी राह पे चलना देख के, उलझन बच के निकलना कोई ये चाहे माने ना माने बहुत है मुश्किल गिर के सँभलना आ, अब लौट चलें आ, अब लौट चलें नैन बिछाए, बाँहें पसारे तुझको पुकारे देश तेरा आजा रे आजा रे आँख हमारी मंज़िल पर है दिल में ख़ुशी की मस्त लहर है लाख लुभाएँ महल पराए अपना घर फिर अपना घर है आ, अब लौट चलें	प्यारी हैं मुझे देश की ज़मीन मेरे देश के ज़मीन मेरे देश के ज़मीन हो हो प्यारी हैं मुझे देश की ज़मीन मेरे देश के ज़मीन यहाँ न कोई कमी हरियाली की बस्ती हैं यहाँ हवा-हवा में मस्ती हैं यहाँ कही शेरे-वेर कही हिरन-विरन कही पेड़ घने या धुप किरण डग-डग झूमे हाथी पंछी नदियाँ सब साथी हैं यहाँ रंगोली कुदरत की और अजब सी बोली कैसे न प्यार आये बोलो? क्यों न बहार आये बोलो? प्यारी हैं मुझे देश की ज़मीन मेरे देश के ज़मीन मेरे देश के ज़मीन हो हो प्यारी हैं मुझे देश की ज़मीन मेरे देश के ज़मीन यहाँ न कोई कमी This is my world, this is my home From the glory of these mountains To the depth of these blue seas This is our world, this is our home And just a we belong to nature Know that she belongs to you and me यहाँ समुंदरों का बड़ा हैं दिल पानी में जीवन की महफ़िल मछिली मचले कही वाहेर खिल कछुवों की चल मगर हैं कमाल पर्वत-पर्वत उतरे झरने छल-छल कल-कल जीवन करने पंछी उड़ान बड़ा आसमान नीले सपनो का हैं ये जहा (ये सच्चा नूर बरसता हैं) और प्रेम में ये सर झुकता है कैसे न प्यार आये बोलो? क्यों न बहार आये बोलो? प्यारी हैं मुझे देश की ज़म...	Ho. haye Oye happy budday to you. Happy happy budday to you Arrey aire-gaire samjhe magarr. Bas aashiqon pe rahe curfew O banno solah saalon ka tika laga doon (Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin) Oye bachu tere bachpan ka beema karan doon (Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin) Umr chadhti rahegi, saal ghat'te rahenge Aur hoti rahegi guftguu Happy budday to you. Happy-happy budday to you Aire-gaire samjhe magar. Bas aashiqon pe rahe curfew Arrey kichad hai raste me Painche utha doon (Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin) Arrey sardi hai dhakkan me love-peg pila dun (Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin) O badi bhi na hona warna Goonghat tale se bhej denge bana kar bahu. Happy budday to you. Happy-happy budday to you Aire-gaire samjhe magar. Bas aashiqon pe rahe curfew Sadde waddey, sadde naal vaddey Happy shappy, happy shappy budday Sadde waddey, sadde naal vaddey Happy shappy. happy budday to you. O. ek raati jo baarati tere ghar laaya koi Ghanti baji ...

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.4
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 5
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.625	500	0.3535
1.25	1000	0.2739
1.875	1500	0.2128
2.5	2000	0.1293
3.125	2500	0.1045
3.75	3000	0.0605
4.375	3500	0.0378
5.0	4000	0.0286

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.45.2
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}