akdeniz/multilingual-e5-large-rag-instruct-turkish

This is a sentence-transformers model finetuned from [infloat/multilingual-e5-large] on the [akdeniz27/rag_instruct_turkish] dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("akdeniz27/multilingual-e5-large-rag-instruct-turkish")
# Run inference
sentences = [
    'Minsky makinesinin sınırlı bir talimat seti ile Turing tamlığı nasıl gösterdiğini açıklayın. ',
    ' durum-trajectörü, bu "kopya" makinesi için geçerli değildir, çünkü değişken giriş "parametreleri" ile sağlanabilir. "Hesaplamanın ilerlemesi" diyagramı, üç durumlu "busy beaver"ın hesaplaması boyunca başlangıçtan sona kadar "durum" (talimat) ilerlemesini gösterir. En sağda, her adımda Turing "tam yapılandırması" (Kleene "durum", Hopcroft-Ullman "anlık tanım") bulunmaktadır. Eğer makine durdurulup hem "durum kaydedici" hem de tüm bant boşaltılacak olursa, bu "yapılandırmalar" hesaplamanın ilerlemesinde herhangi bir yerden yeniden ateşlenmesi için kullanılabilir (bkz. Turing (1936) "Karar Verilemez", s. 139-140). Basit evrensel bir Turing makinesinden daha fazla hesaplama kapasitesine sahip olduğu düşünülen birçok makinenin aslında daha fazla güce sahip olmadığı gösterilebilir (Hopcroft ve Ullman s. 159, bkz. Minsky (1967)). Belki daha hızlı hesaplayabilirler ya da daha az bellek kullanabilirler ya da talimat setleri daha küçük olabilir, ancak daha güçlü hesaplayamazlar (yani daha fazla matematiksel fonksiyon). (Church–Turing tezini hatırlayın: bu durumun herhangi bir tür makine için geçerli olduğunu "hipotez eder": "hesaplanabilir" olan her şey bazı Turing makineleri tarafından hesaplanabilir.) Bir Turing makinesi, daha esnek ve kısa hale getirilmiş tek yığın itme otomatonuna (PDA) eşdeğerdir ve bu, köşegen numaraların 1\'lerini ve 0\'larını sonsuza dek yazmaya devam eden tatmin edici, dairesel olmayan bir hesaplama makinesi ile elde edilmiştir. (N 1\'e sıfırlanır ve R 0\'a sıfırlanırsa aynı şeyi göreceğiz.) Okuyucu bunu inanmıyorsa, karar makinesi D için bir "stub" yazabilir (stub "D" "tatmin edici" dönecektir) ve ardından kendileri makine H\'nin kendi numarası ile karşılaştığı anın ne olduğunu görebilirler. Bir sayfadan kısa olan girişten sonuca geçiş belirsizdir. Turing "reductio ad absurdum" ile ilerler. Bir E makinesinin varlığını öne sürer, bu makine verilirse o zaman, kendisi bu gözlemi yapmıştır: Wang, makalesinin "iki yaklaşımı birbirine bağlayacağını" umuyordu. Gerçekten de, Minsky bunu doğruluyor: "Turing makinesi teorisinin ilk formülasyonunun bilgisayar benzeri modellere Wang (1957)’de yer aldığı" (Minsky 1967:200). Minsky, bir sayıcı makinesinin Turing eşdeğerliğini göstermeye devam eder. Bilgisayarların basit Turing eşdeğer modellere indirgenmesi (ve tersine) ile ilgili olarak, Minsky\'nin Wang\'ı "ilk formülasyonu yapan" olarak nitelendirmesi tartışmaya açıktır. Hem Minsky\'nin 1961 tarihli makalesi hem de Wang\'ın 1957 tarihli makalesi Shepherdson ve Sturgis (1963) tarafından alıntılanmakta olup, devam eden çizgileri de alıntılar ve özetler. Bu, 1981\'de Elaine Avner tarafından yayınlanan "TUTOR Komutları ve Sistem Değişkenleri (10. baskı)" sayfa S5\'ten alınan aşağıdaki örnekle gösterilmektedir: Aynı sözdizimi, geleneksel programlama dillerindeki while döngüleriyle karşılaştırılabilir bir anlam ile codice_31, codice_32 blokları için kullanılmıştır. Bu, 1981\'de Elaine Avner tarafından yayınlanan "TUTOR Komutları ve Sistem Değişkenleri (10. baskı)" sayfa S6\'dan alınan aşağıdaki örnekle gösterilmektedir: codice_33 ve codice_34 komutları, C temelli dillerin codice_35 ve codice_36 ifadelerine benzer, ancak sağ kenarda indente oturması gerekir. Sol uçları işaretlemek için əə sembollerini sağladı. Sonlu sayıdaki bant sembollerin herhangi biri izin verilmiştir. Talimatlar (eğer evrensel bir makineyse) ve "giriş" ve "çıkış" yalnızca "F-kareler" üzerine yazılmış ve işaretlerin "E-kareler" üzerine çıkması beklenmiştir. Temelde, makinesini her zaman beraber hareket eden iki banda ayırmıştır. Talimatlar, "5-tuple" adı verilen bir tablo biçiminde ortaya çıkmış ve sıralı olarak yürütülmemiştir. Aşağıdaki modeller, tek bant Turing makineleridir ancak (i) sınırlı bant sembolleri {işaret, boş} ve/veya (ii) sıralı, bilgisayar benzeri talimatlar ve/veya (iii) makine-eşlemleri tamamen atomize edilmiş şekilde kısıtlanmıştır. Emil Post, 0 ile değiştirilmiştir: L ← 0), SUCCESSOR (örneğin, L ← L + 1) ve DECREMENT (örneğin, L ← L − 1). Nadir de olsa, bir programcının bu kadar sınırlı bir talimat seti ile "kod" yazması gerekir. Ancak Minsky (Melzak ve Lambek gibi) yalnızca dört genel "tip" talimat ile makinesinin Turing tam olduğunu göstermektedir: koşullu GOTO, koşulsuz GOTO, atama/değiştirme/yerine geçirme ve HALT. "Bir algoritmanın simülasyonu: bilgisayar (computor) dili": Knuth okuyucuya "en iyi yolu öğrenmenin, bir algoritmayı denemek olduğunu... hemen kalem ve kağıt alıp bir örnek üzerinde çalışmayı" tavsiye eder. Ancak 0\'ların ilk n\'ini "0-bar" (0) olarak ardışık olarak dönüştüren bir simülasyon Mn hakkında ne dersiniz? Detayları göstermeden, bu makine F\'nin gerçekten inşa edilebilir olduğunu iddia ediyor. Birkaç şey gerçekleşebilir. F, 0\'ların bulunduğu makinelerin tükenmesi ya da "sonsuz" makineler oluşturması gerekebilir "sıfırları iptal etmek için". Turing şimdi makineler E ve F\'yi bir bileşik makine G\'ye birleştiriyor. G, orijinal M ile başlar, ardından F\'yi kullanarak tüm ardışık makineleri M1, M2, ..., Mn oluşturur. Sonra G, M ile başlayan her makineyi test etmek için E\'yi kullanır. Hem Minsky (1967) s. 21 hem de Boolos-Burgess-Jeffrey (2002) s. 60-61, μ operatörünün soyut bir makine olarak tanımlarını sağlamaktadır; alternatif tanımlar için dipnotu görünüz. Aşağıdaki gösterim, dipnotta bahsedilen "özellik" olmaksızın Minsky\'yi takip eder. Gösterim, Peano Aksiyomları ve ilkel rekürsif fonksiyonlarla yakından ilgili bir "ardıl" sayıcı makine modeli kullanacaktır. Model, (i) bir TALİMATLAR tablosu bulunan sonlu durumlu bir makine ve yeniden adlandıracağımız bir "durum kaydedici" (IR), (ii) her biri yalnızca bir doğal sayı tutabilen birkaç "kaydedici" ve pratikte hesaplama için: gerçek dünya bilgisayarları, Turing makinelerinden farklı tasarımlara dayanmaktadır ve rastgele erişim belleği kullanmaktadır. Turing tamlığı, bir talimatlar sisteminin bir Turing makinesini simüle etme yeteneğidir. Turing tam bir programlama dili teorik olarak bilgisayarlar tarafından gerçekleştirilebilecek tüm görevleri ifade etme yeteneğine sahiptir; sonlu bellek kısıtlamaları görmezden gelinirse hemen hemen tüm programlama dilleri Turing tamdır. Bir Turing makinesi, bir bilgisayar tarafından yapılan tüm veri manipülasyonunu kontrol eden bir CPU\'nun genel bir örneğidir ve kanonik makine, verileri depolamak için sıralı bellek kullanmaktadır. Daha spesifik olarak, bu bir makinedir.',
    ' "boşluk kullanımı"—bu terim, 20. yüzyılın sonuna kadar, tek boşluk cümle aralığı ile eşanlamlıydı. 19. yüzyılın sonlarında daktilonun icadıyla, daktilocular geleneksel dizgi ustalarının kullandığı tarzı taklit etmek için cümleler arasında iki boşluk bırakıyordu. Geniş cümle aralığı 20. yüzyılın ortalarında baskı endüstrisinde azalırken, bu uygulama daktilolarda ve daha sonra bilgisayarlarda devam etti. Muhtemelen bu nedenle, birçok modern kaynak, geniş aralığın daktilo için yaratıldığını yanlış bir şekilde iddia etmektedir. Arzulanan veya doğru cümle aralığı genellikle tartışma konusudur, ancak birçok kaynak artık ek boşluğun gerekli veya istenebilir olmadığını söylemektedir. İkinci biri, bir cümledeki atlamalar (üç nokta kullanarak: . . .) ile cümleler arasındaki atlamalar (bir nokta ve ardından, üç nokta ile bir boşluk kullanarak: . ...) arasındaki farkı belirtmektedir. Modern Dil Derneği (MLA) bir ellipsin tüm kullanımlarında her nokta öncesi ve sonrası boşluklar içermesi gerektiğini belirtirdi. Eğer bir ellips bir atlamayı temsil ediyorsa, ellipsin etrafında köşeli parantezler kullanılmalıdır; bu, alıntının orijinalinde bir duraklama olmadığını netleştirmek içindir: [ . . . ]. Şu anda, MLA stil kılavuzlarından köşeli parantez gerekliliğini kaldırmıştır. Ancak, bazıları parantez kullanımının hala doğru olduğunu savunmaktadır, çünkü bu belirsizliği ortadan kaldırmaktadır. MLA şimdi bir alıntı içinde bir cümleden malzeme çıkarma amacıyla üç noktalı, boşluklu ellips ( . . . ) kullanılmasını belirtmektedir. Cümleler arasında geçiş yaparken (atlanan metin bir nokta içeriyorsa, cümlenin sonunu atlamak da sayılacaktır), dört noktalı, boşluklu (ilk noktanın öncesi hariç) ellips (. . . . ) kullanılmalıdır. Orijinal metinde ellips noktaları varsa, orijinal metinde yer almayan ellips noktaları ayırt edilmelidir. 1950\'lerin ortalarına kadar hem Amerikan hem de İngiliz stil kılavuzları, noktalama ile metin arasında boşlukların eklenmesi gerektiğini belirtmiştir. MacKellar kılavuzu bunları \'saç aralıkları\' olarak tanımladı, ancak kendisi o dönemde yaygın olarak kabul edilen saç aralığından çok daha geniş bir aralık kullandı. Kelimelerin veya noktalamanın ardından gelen boşluklar satır sonlarına tabi tutuluyordu ve kelimeler ile yakın ilişkilendirilmiş noktalama arasındaki boşluklar, kesilmeyen boşluklardı. Ayrıca, satırları justify ederken, boşluklar (elle ilk olarak, sonra makinelerle, şimdi genellikle yazılımla) "oranlı" olarak farklılık göstermekteydi. Geleneksel dizgi ile modern yaygın baskı standartları arasındaki aralık farklılıkları metin içinde kolayca gözlemlenebilir; ancak diğer noktalama ile birleştiğinde, öncelikli boşluk kaybolur ve diğer noktalama devam eder. Bu, dizgi uygulamasında yaygın bir pratiktir. Yazar aşağıdaki örnekleri sunmaktadır: Amerika Birleşik Devletleri\'ndeki hukuki yazımda, "Bluebook" alıntı kılavuzundaki Kural 5.3, ellipslerin kullanımını yönetir ve ilk noktanın öncesinde ve sonraki iki nokta arasında boşluk gerektirir. Eğer bir ellips cümleyi bitiriyorsa, o zaman her biri bir boşlukla ayrılmış üç nokta var; ardından son noktalama gelir (örneğin, Hah . . . ?). Bazı hukuki yazımlarda, bir ellips üç nokta olarak yazılır; bu, "kelime aralığı"ndan daha fazlasıdır. Bazı modern dokunmatik ekran platformlarında, Android ve iOS dahil, ardışık olarak iki boşluk yazmak otomatik olarak cümlenin sonu anlamında yorumlanır ve bir nokta otomatik olarak eklenir. Ancak yalnızca bir boşluk korunur. Birden fazla boşluk, cümleler ile ilişkili olup olmadıkları fark etmeksizin, çoğu Dünya Çapında Ağ içeriğinde varsayılan olarak ortadan kaldırılır. Boşluğun korunması için, CSS beyaz boşluk özelliği ve <pre> etiketi gibi seçenekler mevcuttur. Twitter, kullanıcı girişi üzerindeki extra boşlukları web sitesinde korur. HTML ayrıca, her cümleyi ayrı bir elemente (örneğin, bir span) ayırarak ve CSS kullanarak cümle aralığını ince bir şekilde kontrol ederek çoğaltılmayan birkaç diğer boşluk varlığı içerir. Bu pratikte nadiren uygulanmakta. ASCII ve benzeri erken karakter kodlamaları yalnızca tek bir boşluk sağlar, bu kesilen ve sabit genişliktedir (belirli genişlik, ilgili font tarafından belirtilmiştir). EBCDIC, ASCII\'den daha eski olmasına rağmen, kesilen sabit genişlikte boşluk ("SP"), kesilmeyen sabit genişlikte boşluk ("RSP": "Required SPace") ve sabit genişlikte (ancak mutlaka em genişliğinde olmayan) rakamlar ile sayısal listelerde kullanılması için tasarlanmış alternatif genişlikte kesilmeyen sabit genişlikte boşluk ("NSP": "Numeric SPace") sağladı. HTML ve Unicode, yazarların yazıcı kılavuzlarından ayrışmaya başladığı ve yazarların cümleler arasında çift boşluk bırakması gerektiğini belirttiği yineleyen kayıtları sistemlerde bulunmaktadır. Bu, metin yaratmanın birincil yolu olarak daktilonun yerini almaya başladığı 20. yüzyılın çoğunluğu boyunca geçerliliğini korudu. 1990\'larda stil kılavuzları cümleler arasında tek boşluk önerisine geri döndü. Ancak, biraz daha geniş bir cümle aralığı yerine, stil kılavuzları sadece standart bir kelime aralığı belirtti. Bu artık yayıncılar için gelenek haline gelmiştir. Stil kılavuzları, "neredeyse tüm profesyonel editörlerin bir yazım çalışmasını yayın için düzenlerken onlardan birisi ile yakından çalıştıkları" için yazarlar için önemlidir. Kapsamlı stil kılavuzları, örneğin mevcut metin içinde imleci yerleştirir. Sanal klavye 21 dili destekleyebilir, buna Çince karakter tanıma da dahildir. Vurgu ile alternatif karakterler (örneğin, diğer dillerin alfabalarından harfler) ve emoji, tuşa iki saniye basarak ve açılan pencereden alternatif karakteri seçerek klavyeden yazılabilir. 3.0 güncellemesi, metin kesme, kopyalama veya yapıştırma desteği yanı sıra daha fazla uygulamada yatay klavye desteği de getirdi. iPhone 4S ve üzerindeki cihazlarda, Siri dikte imkanı sağlamaktadır. iOS 8\'den itibaren, App Store aracılığıyla dağıtılan üçüncü taraf klavyelere izin verilmiştir. Öncesinde, yazarların da "Eğer metin justine edilmiş kenarlara sahip olacaksa yalnızca bir boşluk kullanın." ve "Eğer el yazması, her cümleden sonra iki boşlukla zaten yazıldıysa, tüm metinde iki boşluğu bir boşluğa dönüştürmek için Değiştir işlevini kullanın." Yazar, bazı durumlarda yazarın cümleler arasında iki boşluk kullanma isteyebileceği konusunda uyarıyor. Verilen örnekler, bir boşluğun "cümleler arasında belirgin bir görsel ayrım sağlamaması" durumunu içerir; eğer cümlenin sonunda bir kısaltma kullanılıyorsa veya bazı çok küçük orantılı yazı tipleri (10 punto Times gibi) kullanılıyorsa geçerli olabilir.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512 and dim_256
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512	dim_256
cosine_accuracy@1	0.4828	0.4816	0.4611
cosine_accuracy@3	0.6428	0.6355	0.6138
cosine_accuracy@5	0.689	0.6861	0.6653
cosine_accuracy@10	0.7446	0.7414	0.7183
cosine_precision@1	0.4828	0.4816	0.4611
cosine_precision@3	0.2143	0.2118	0.2046
cosine_precision@5	0.1378	0.1372	0.1331
cosine_precision@10	0.0745	0.0741	0.0718
cosine_recall@1	0.4828	0.4816	0.4611
cosine_recall@3	0.6428	0.6355	0.6138
cosine_recall@5	0.689	0.6861	0.6653
cosine_recall@10	0.7446	0.7414	0.7183
cosine_ndcg@10	0.6141	0.6114	0.5893
cosine_mrr@10	0.5723	0.5699	0.548
cosine_map@100	0.5777	0.5752	0.5543

Training Details

Training Dataset

json

• Dataset: json
• Size: 31,110 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 2 tokens mean: 34.22 tokens max: 129 tokens	min: 2 tokens mean: 509.32 tokens max: 512 tokens

• Samples:

  anchor	positive
  Öğrenme ortamında bir desen eşleştirme sisteminin bir öğrenci yanıtının doğruluğunu nasıl belirleyebileceğini açıklayın.	Bu teori, bir dizi ilgili uyarana maruz kalmanın, ortak özelliklerine dayanan "tipik" bir prototipin yaratılmasına yol açtığını öne sürmektedir. Bu, depolanan şablon sayısını standart bir temsil içine eriterek azaltır. Prototip, algısal esnekliği destekler, çünkü şablon eşleştirmeden farklı olarak, yeni uyarıların tanınmasında değişkenlik olmasına izin verir. Örneğin, bir çocuk daha önce hiç bir bahçe sandalyesi görmemişse, yine de bunun bir sandalye olduğunu, dört bacak ve bir oturak özelliklerini anladığı için tanıyabilir. Ancak, bu fikir, olabildiğince deyimsel dizilerin tespiti gecikmeli kalmayı, daha az etkilenmiş talimat sıralamalarının sonraki aşamalarına sınırlamaktadır. Örneğin, bir derleyicinin talimat takvimi aşaması, bir deyimsel dizinin içine başka talimatlar ekleyebilir veya dizideki talimatların sıralamasını değiştirebilir. Bozma aşamasındaki bir desen eşleştirme süreci, muhtemelen değiştirilen deseni tanımlamaz. Daha sonraki aşamalar talimat ifadelerini daha karmaşık i...
  Derin öğrenme mimarileri hangi alanlarda uygulanmıştır?	Kullanılan ana istatistiksel analiz araçları türleri: denetimli ve denetimsiz. Her iki durumda da, şüpheli taleplerin belirlenmesi, talep hakkında verilerin beklenen değerlerle karşılaştırılması yoluyla yapılır. İki yöntem arasındaki ana fark, beklenen değerlerin nasıl elde edildiğidir. Denetimli bir yöntemde, beklenen değerler hem dolandırıcı hem de dolandırıcılık yapmayan taleplerin kayıtlarını analiz ederek elde edilir. Londra'daki Imperial College'dan Richard J. Bolton ve David B. Hand'e göre, bu yöntem dolandırıcılık yapıyor ya da yapmıyor olduğu kesin olarak bilinen taleplerin analiz edilmesini gerektirdiği için bazı dezavantajlara sahiptir ve yalnızca bunlar açık olduğunda kullanılabilir. Makine öğrenimi görevleri birkaç geniş kategoriye ayrılmaktadır. Denetimli öğrenmede, algoritma hem girdileri hem de istenen çıktıları içeren bir veri kümesinin matematiksel modelini oluşturur. Örneğin, bir görüntünün belirli bir nesne içerip içermediğini belirlemek amacıyla eğer görev bu olsa...
  Loews Portofino Bay Hotel, Hard Rock Hotel ve Loews Royal Pacific Resort'ta konaklayan misafirlerin Volcano Bay'de geçerli olmayan hangi ayrıcalığı vardır?	Universal CityWalk'ta Fransız Mahallesi'nde bir after party gerçekleşmektedir. Bu, park girişine dahildir. "Harry Potter Kutlaması", J.K. Rowling'in yazdığı Harry Potter kitaplarının ve bu kitaplara dayanan film serisinin hayranlığını kutlayan, her yıl Ocak ayının son haftasında düzenlenen üç günlük bir etkinliktir. Etkinlik, Universal Parks & Resorts, Warner Bros. Entertainment ve Scholastic iş birliğiyle gerçekleştirilmektedir. 24-26 Ocak 2014 tarihindeki hafta sonu başlayan etkinlik, film yeteneklerinin soru-cevap oturumlarını, panelleri, özel gösterimleri, fotoğraf fırsatlarını, Pottermore sergilerini içermektedir. Ayrıca "Super Silly Fun Land" adlı büyük bir açık alanda kuru ve ıslak oyun alanı ile "The Silly Swirly" adlı bir dönme dolap bulunmaktadır. Alandaki temalı yemek yerleri "Gru'nun Laboratuvar Kafe" ve "Despicable Delights"tır. "DreamWorks Tiyatrosu", DreamWorks Animasyon temalıdır. "Springfield", "The Simpsons" televizyon programına temalıdır. Bu alanda, "The Simpsons R...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256
      ],
      "matryoshka_weights": [
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_512_cosine_ndcg@10	dim_256_cosine_ndcg@10
0.0411	10	47.5394	-	-	-
0.0823	20	33.9373	-	-	-
0.1234	30	13.9767	-	-	-
0.1646	40	7.0534	-	-	-
0.2057	50	8.6349	-	-	-
0.2469	60	7.0066	-	-	-
0.2880	70	5.308	-	-	-
0.3291	80	4.3879	-	-	-
0.3703	90	4.758	-	-	-
0.4114	100	5.9052	-	-	-
0.4526	110	6.4029	-	-	-
0.4937	120	5.7183	-	-	-
0.5348	130	5.4014	-	-	-
0.5760	140	6.1079	-	-	-
0.6171	150	3.9814	-	-	-
0.6583	160	4.759	-	-	-
0.6994	170	5.0529	-	-	-
0.7406	180	4.8713	-	-	-
0.7817	190	5.1563	-	-	-
0.8228	200	5.5485	-	-	-
0.8640	210	6.1785	-	-	-
0.9051	220	4.7994	-	-	-
0.9463	230	5.2129	-	-	-
0.9874	240	3.8221	-	-	-
1.0	244	-	0.6059	0.5982	0.5788
1.0247	250	3.5719	-	-	-
1.0658	260	3.4851	-	-	-
1.1070	270	4.8576	-	-	-
1.1481	280	2.8528	-	-	-
1.1893	290	3.0152	-	-	-
1.2304	300	3.0291	-	-	-
1.2715	310	4.0296	-	-	-
1.3127	320	3.1689	-	-	-
1.3538	330	3.2849	-	-	-
1.3950	340	3.001	-	-	-
1.4361	350	4.0365	-	-	-
1.4772	360	3.3294	-	-	-
1.5184	370	3.5142	-	-	-
1.5595	380	3.4277	-	-	-
1.6007	390	3.2504	-	-	-
1.6418	400	3.6952	-	-	-
1.6830	410	3.1856	-	-	-
1.7241	420	3.393	-	-	-
1.7652	430	3.7428	-	-	-
1.8064	440	3.6785	-	-	-
1.8475	450	3.7742	-	-	-
1.8887	460	3.668	-	-	-
1.9298	470	2.9829	-	-	-
1.9709	480	3.4984	-	-	-
2.0	488	-	0.6082	0.6006	0.5799
2.0082	490	2.9512	-	-	-
2.0494	500	2.6954	-	-	-
2.0905	510	2.288	-	-	-
2.1317	520	2.5603	-	-	-
2.1728	530	2.5011	-	-	-
2.2139	540	1.9443	-	-	-
2.2551	550	2.3688	-	-	-
2.2962	560	2.2218	-	-	-
2.3374	570	1.7337	-	-	-
2.3785	580	2.2435	-	-	-
2.4196	590	2.1024	-	-	-
2.4608	600	2.0842	-	-	-
2.5019	610	1.75	-	-	-
2.5431	620	2.1555	-	-	-
2.5842	630	2.5745	-	-	-
2.6254	640	2.2296	-	-	-
2.6665	650	1.6883	-	-	-
2.7076	660	2.2301	-	-	-
2.7488	670	1.9665	-	-	-
2.7899	680	2.3336	-	-	-
2.8311	690	1.7422	-	-	-
2.8722	700	2.1535	-	-	-
2.9133	710	1.6629	-	-	-
2.9545	720	1.3439	-	-	-
2.9956	730	2.1335	-	-	-
3.0	732	-	0.6138	0.6111	0.5874
3.0329	740	1.4877	-	-	-
3.0741	750	1.2386	-	-	-
3.1152	760	1.5863	-	-	-
3.1563	770	1.3926	-	-	-
3.1975	780	1.8652	-	-	-
3.2386	790	2.0945	-	-	-
3.2798	800	1.8596	-	-	-
3.3209	810	1.1324	-	-	-
3.3620	820	1.9951	-	-	-
3.4032	830	1.2408	-	-	-
3.4443	840	1.8298	-	-	-
3.4855	850	1.7088	-	-	-
3.5266	860	1.5949	-	-	-
3.5678	870	1.4503	-	-	-
3.6089	880	1.5381	-	-	-
3.6500	890	1.3963	-	-	-
3.6912	900	1.3224	-	-	-
3.7323	910	1.3429	-	-	-
3.7735	920	1.203	-	-	-
3.8146	930	1.3812	-	-	-
3.8557	940	1.2026	-	-	-
3.8969	950	1.1872	-	-	-
3.9380	960	1.3515	-	-	-
3.9792	970	1.2189	-	-	-
3.9874	972	-	0.6141	0.6114	0.5893

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}