yosriku/gemma300_faq_v1

SentenceTransformer

This model was finetuned with Unsloth.

based on unsloth/embeddinggemma-300m

This is a sentence-transformers model finetuned from unsloth/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: unsloth/embeddinggemma-300m
• Maximum Sequence Length: 1024 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False, 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "polimiksin b itu antibiotik buat apa?",
]
documents = [
    'Polimiksin B adalah Polimiksin B adalah antibiotik golongan polipeptida yang bekerja secara sistemik (luas) untuk mengatasi dan membantu mencegah infeksi yang disebabkan oleh bakteri. Polimiksin B biasanya dikombinasikan dengan bacitracin atau neomycin . Polimikson B termasuk obat keras yang penggunaannya harus dengan resep dokter.. Polimiksin B tersedia dalam kombinasi dengan zat aktif lain yang digunakan untuk mengatasi infeksi dan inflamasi pada mata, telinga, atau kulit. dan infeksi lainnya sesuai rekomendasi dokter. Polimiksin B bekerja dengan cara merusak dinding sel bakteri sehingga menghentikan pertumbuhan bakteri.. Penggunaan polimiksin B tersedia dalam sediaan kombinasi dengan obat lain dalam bentuk sediaan salep topikal, tetes mata, salep mata, dan tetes telinga. Jika Anda diresepkan bentuk sedian salep, pastikan Anda membersihkan area kulit yang akan dioleskan terlebih dahulu, lalu dioleskan pada bagian kulit yang sakit secara tipis-tipis. Jika Anda mendapat obat dalam bentuk sediaan tetes mata, lakukan langkah-langkah di bawah ini. Cuci tangan terlebih dahulu sebelum menyentuh mata dan menggunakan obat tetes mata. Bersihkan mata sebelum menggunakan obat tetes mata. Gunakan kapas bersih atau tisu lembut untuk membersihkan kotoran atau lendir di sekitar mata. Apabila menggunakan lensa kontak, lepaskan lensa kontak terlebih dahulu, kecuali jika dokter menyarankan Anda untuk membiarkannya tetap terpasang selama menggunakan obat. Kocok obat tetes mata terlebih dahulu. Buka tutup obat tetes mata. Namun, hindari menyentuh bagian ujung botolnya. Sebab, hal tersebut berisiko menyebabkan kontaminasi pada obat tetes mata. Dongakkan kepala ke atas. Gunakan salah satu tangan untuk menarik kelopak mata bagian bawah dan arahkan tatapan mata ke atas. Arahkan bagian ujung botol obat tepat di atas kelopak mata bagian bawah. Pastikan bagian ujung botol obat tetes mata tidak menyentuh mata ataupun kelopak mata secara langsung. Tekan botol obat secara perlahan dan biarkan tetesan cairan obat masuk ke dalam mata. Pejamkan mata, kemudian, tekan lembut sudut mata yang terletak di antara kelopak mata dan hidung selama 1–2 menit. Hal ini bertujuan untuk membantu obat agar dapat\xa0 diserap dengan baik oleh mata, bukan mengalir ke saluran hidung. Jika ada tetesan cairan obat yang keluar, gunakan tisu bersih untuk menyekanya dari kelopak mata yang tertutup. Jika diperlukan, ulangi langkah-langkah di atas pada sisi mata lainnya. Terakhir, cuci tangan menggunakan sabun dan air mengalir. Sedangkan apabila Anda diresepkan bentuk sediaan salep mata, ikuti langkah-langkah berikut. Cuci tangan sebelum dan sesudah mengaplikasikan obat. Pegang ujung tube di dekat mata Anda dengan tangan satunya. Hindari kontak antara ujung tube ke mata atau jari Anda. Tekan tube dan keluarkan obat ke dalam saku di antara kelopak mata bawah dan bola mata. Tutup mata Anda selama 1 hingga 2 menit. Bersihkan ujung tube dengan tisu bersih dan tutup tabung dengan rapat. Namun jika Anda mendapat resep obat tetes telinga, Anda dapat mengikuti langkah berikut. Pastikan obat tetes telinga berada pada suhu normal tubuh. Jika suhu obat tetes telinga terasa dingin, pasien dapat memegang botol obat tetes telinga atau memasukkannya ke dalam saku pakaian selama beberapa menit. Kocok botol obat terlebih dahulu sebelum digunakan, terutama jika tertera label “kocok dahulu” pada kemasan obat tetes telinga. Mencuci tangan dengan sabun dan air mengalir sebelum mulai menggunakan obat tetes telinga. Posisikan badan berbaring miring ke samping hingga telinga yang akan diberikan obat menghadap ke atas. Untuk anak-anak, arahkan si kecil berbaring menyamping atau biarkan kepalanya berada di pangkuan Anda. Pastikan saluran telinga terlihat dalam posisi lurus sehingga obat tetes telinga bisa menjangkau bagian yang perlu ditangani. Tarik bagian atas telinga ke atas dan ke bawah. Untuk anak berusia di bawah 3 tahun, orang tua dapat menarik bagian atas telinga ke bawah dan ke belakang. Pegang pipet obat tetes telinga di bagian atas telinga. Pastikan pipet tidak menyentuh telinga. Kemudian, Anda bisa meneteskan obat tetes telinga dari pipet tersebut sesuai dengan dosis yang dianjurkan oleh dokter. Letakkan kembali pipet ke dalam botol obat tetes telinga dan pastikan pipet tersebut tidak bersentuhan dengan apa pun agar tidak terkontaminasi. Tetaplah berada dalam posisi yang sama selama 3–5 menit untuk memastikan obat tetes telinga mengalir turun ke saluran telinga. Menggerakkan telinga atau menekan daun telinga secara perlahan juga bisa membantu. Jika harus menggunakan obat tetes telinga di kedua sisi, tunggulah selama 5–10 menit sebelum meneteskan obat tersebut di sisi telinga lainnya. Hal ini bertujuan memastikan obat pada saluran telinga pertama memiliki waktu yang cukup untuk bekerja secara optimal. Ikuti aturan pakai obat sesuai petunjuk dokter yang tertera pada label resep dengan teliti. Jika merasa petunjuk atau aturan pakai kurang jelas, minta dokter atau apoteker untuk menjelaskannya secara lengkap. Selalu beritahukan dokter atau apoteker Anda bila Anda sedang hamil atau menyusui. Agar polimiksin B bekerja maksimal, pastikan Anda menggunakannya secara teratur pada waktu yang sama setiap hari. Selesaikan atau habiskan pengobatan polimiksin B sesuai dengan rekomendasi dokter, meski gejala sudah hilang. Lanjutkan pengobatan hingga jangka waktu penggunaan antibiotik selesai atau obat yang diresepkan dokter habis agar terhindar dari resistensi antibiotik (menurunnya kemampuan obat dalam membunuh bakteri). Jika Anda lupa menggunakan polimiksin B, segera gunakan dosis yang terlewat begitu Anda ingat. Namun apabila sudah mendekati waktu pakai obat berikutnya, abaikan dosis yang terlewat tadi dan kembali ke jadwal dosis normal. Jangan menggandakan dosis dalam kondisi apa pun.. Sebelum menggunakan polimiksin B, informasikan kepada dokter atau apoteker jika Anda memiliki riwayat alergi terhadap polimiksin B atau bahan yang terkandung di dalamnya.. Polimiksin dapat menimbulkan risiko efek samping. Konsultasikan kepada dokter bila Anda mengalami efek samping akibat polimiksin B topikal seperti berikut. Gangguan kulit: Gatal, ruam, iritasi, sensasi perih atau terbakar, kemerahan, atau kekeringan pada kulit. Sedangkan polimiksin B tetes atau salep mata dapat menimbulkan risiko efek samping seperti berikut. Gangguan mata: Gatal, iritasi, kemerahan, atau pembengkakan pada mata. Sedian polimiksin B tetes telinga mungkin menimbulkan risiko efek samping di bawah ini. Gangguan telinga: Sensasi terbakar atau perih pada telinga. Beberapa efek samping yang ditimbulkan polimiksin B mungkin membutuhkan pertolongan medis yang segera. Jika Anda mengalami gejala di bawah ini setelah penggunaan polimiksin B, segera hubungi dokter. Reaksi alergi: Gatal atau ruam, dada sesak, kesulitan bernapas, dan pembengkakan pada wajah, tangan, mulut, atau tenggorokan. Jika terdapat efek samping lain yang tak kunjung membaik selama menggunakan obat ini, segera hubungi dokter.. Obat yang digunakan pada kulit, mata, atau telinga umumnya tidak dipengaruhi oleh obat lain. Beri tahu dokter atau apoteker jika Anda mengonsumsi obat lain, termasuk obat herbal seperti obat tradisional Tiongkok ( traditional Chinese medicine ), suplemen, dan obat yang Anda beli tanpa resep dokter lainnya. Pastikan untuk memberitahu dokter jika Anda menggunakan krim, salep, losion, atau obat lainnya pada bagian kulit yang terkena. Hindari penggunaan kosmetik atau produk perawatan kulit lainnya pada bagian kulit yang terkena.. Sediaan tetes mata dan tetes telinga yang telah dibuka memiliki batas waktu penggunaan obat ( beyond use date atau BUD), yang berbeda dengan tanggal kadaluarsa obat ( expired date ). Selalu periksa rekomendasi manufaktur dari produk yang Anda gunakan, atau tanyakan kepada apoteker Anda terkait penyimpanan dan pembuangan obat. Kategori Kehamilan C Kelas Terapi Antibiotik Lain; Antiinfeksi & Antiseptik Mata; Antiinfeksi & Antiseptik Telinga. Merek Dagang* Inmatrol (kombinasi dengan neomisin dan deksametason), Spectron (kombinasi dengan neomisin), Alletrol Compositum Forte (kombinasi dengan deksametason dan neomisin), Otopain (kombinasi dengan neomisin, fludrokortison, dan lidokain), Liposin (kombinasi dengan basitrasin, neomisin, dan lidokain), Enbatic Plus (kombinasi dengan neomisin dan basitrasin), Tigalin (kombinasi dengan basitrasin dan neomisin), dll. *Merek obat-obatan yang disebutkan mungkin tidak tersedia di Indonesia. Diskusikan dengan dokter atau apoteker terkait alternatif obat yang tersedia dan sesuai dengan kebutuhan medis Anda.',
    'Paket: X-RAY DIGITI , Deskripsi: X\\-Ray Digiti adalah pemeriksaan x\\-ray yang cepat dan tidak invasif untuk melihat tulang dan sendi pada jari tangan atau kaki, ideal untuk mendeteksi patah tulang, dislokasi, infeksi, atau artritis. Pemeriksaan ini memberikan gambar yang jelas untuk membantu dokter menilai kelainan atau cedera pada jari... Paket ini tersedia di MRCCC SILOAM HOSPITALS SEMANGGI, RSU SYUBBANUL WATHON, RUMAH SAKIT PUTERA BAHAGIA, RUMAH SAKIT SILOAM BANGKA, SILOAM HEART HOSPITAL, SILOAM HOSPITALS AGORA CEMPAKA PUTIH, SILOAM HOSPITALS AMBON, SILOAM HOSPITALS ASRI, SILOAM HOSPITALS BALIKPAPAN, SILOAM HOSPITALS BANJARMASIN, SILOAM HOSPITALS BEKASI SEPANJANG JAYA, SILOAM HOSPITALS BEKASI TIMUR, SILOAM HOSPITALS BOGOR, SILOAM HOSPITALS BUTON, SILOAM HOSPITALS DENPASAR, SILOAM HOSPITALS DHIRGA SURYA MEDAN, SILOAM HOSPITALS JAMBI, SILOAM HOSPITALS JEMBER, SILOAM HOSPITALS KEBON JERUK, SILOAM HOSPITALS KELAPA DUA, SILOAM HOSPITALS KUPANG, SILOAM HOSPITALS LABUAN BAJO, SILOAM HOSPITALS LIPPO VILLAGE, SILOAM HOSPITALS LUBUK LINGGAU, SILOAM HOSPITALS MAKASSAR, Siloam Hospitals Mampang, SILOAM HOSPITALS MANADO, SILOAM HOSPITALS MATARAM, SILOAM HOSPITALS PAAL DUA, SILOAM HOSPITALS PALANGKARAYA, SILOAM HOSPITALS PURWAKARTA, SILOAM HOSPITALS SEMARANG, SILOAM HOSPITALS SENTOSA, SILOAM HOSPITALS SURABAYA, SILOAM HOSPITALS TB SIMATUPANG, SILOAM HOSPITALS YOGYAKARTA, SILOAM SRIWIJAYA.',
    'Apa itu Flu (Influenza)? Penyebab Flu Gejala Flu Komplikasi Flu Diagnosis Flu Pengobatan Flu Cara Mencegah Flu Flu adalah gangguan sistem pernapasan yang disebabkan oleh infeksi virus. Kondisi ini sering kali terjadi ketika memasuki musim pancaroba karena cenderung mudah menular ke orang lain, terutama pada 34 hari pertama saat penderitanya terinfeksi oleh virus flu. Mari kenali penyebab, gejala, pengobatan, hingga langkah pencegahan flu selengkapnya melalui ulasan berikut. Apa itu Flu (Influenz',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.3281, 0.0910, 0.2075]], dtype=torch.float16)

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0119
cosine_accuracy@3	0.0163
cosine_accuracy@5	0.0282
cosine_accuracy@10	0.0379
cosine_precision@1	0.0119
cosine_precision@3	0.0054
cosine_precision@5	0.0056
cosine_precision@10	0.0038
cosine_recall@1	0.0119
cosine_recall@3	0.0163
cosine_recall@5	0.0282
cosine_recall@10	0.0379
cosine_ndcg@10	0.0223
cosine_mrr@10	0.0176
cosine_map@100	0.0211

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6056
cosine_accuracy@3	0.7627
cosine_accuracy@5	0.8126
cosine_accuracy@10	0.87
cosine_precision@1	0.6056
cosine_precision@3	0.2542
cosine_precision@5	0.1625
cosine_precision@10	0.087
cosine_recall@1	0.6056
cosine_recall@3	0.7627
cosine_recall@5	0.8126
cosine_recall@10	0.87
cosine_ndcg@10	0.7358
cosine_mrr@10	0.6931
cosine_map@100	0.6975

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.6165
cosine_accuracy@3	0.7573
cosine_accuracy@5	0.8093
cosine_accuracy@10	0.8646
cosine_precision@1	0.6165
cosine_precision@3	0.2524
cosine_precision@5	0.1619
cosine_precision@10	0.0865
cosine_recall@1	0.6165
cosine_recall@3	0.7573
cosine_recall@5	0.8093
cosine_recall@10	0.8646
cosine_ndcg@10	0.7372
cosine_mrr@10	0.6967
cosine_map@100	0.7015

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,281 training samples
• Columns: question and passage_text
• Approximate statistics based on the first 1000 samples:

  	question	passage_text
  type	string	string
  details	min: 7 tokens mean: 16.85 tokens max: 39 tokens	min: 16 tokens mean: 223.11 tokens max: 1024 tokens

• Samples:

  question	passage_text
  dr A. A. Ayu Nancy Karang itu spesialis apa?	Berikut informasi profil dokter dr. A. A. Ayu Nancy Karang, SpTHT-KL dengan spesialisasi Otorinolaringologi (THTBKL): Sub-spesialisasi: Spesialis Telinga Hidung Tenggorok Bedah Kepala dan Leher, Rumah Sakit: Siloam Hospitals Denpasar, Treatment: Irigasi Nasal, Nasal Endoskopi, Esofagektomi, Tiroidektomi, Gejala/Penyakit: Radang Amandel, Sinusitis, Vertigo, Suara Serak, Rhinitis, Kanker Laring, Polip Hidung, Otitis Media Akut, Pendidikan: Universitas Udayana, Universitas Udayana
  dr. Karina Anindita Sp.PD itu dokter penyakit dalam di Siloam Mataram ya? bisa obatin diabetes?	Berikut informasi profil dokter dr. Karina Anindita, M.Biomed, Sp.PD dengan spesialisasi Penyakit Dalam: Sub-spesialisasi: Spesialis Penyakit Dalam, Rumah Sakit: Siloam Hospitals Mataram, Treatment: Ultrasonografi USG, Computed Tomography CT Scan, Elektrokardiogram EKG, Gejala/Penyakit: Gastritis, Infeksi Saluran Pencernaan, Hipertensi, Hiperkolesterolemia, Diabetes Melitus Tipe 2, Penyakit Autoimun, Asam Urat, Infeksi Saluran Kemih ISK, Infeksi Virus, Pendidikan: Universitas Udayana, Universitas Katolik Atma Jaya
  isk sama mens itu ada hubungannya ga sih? trus biar ga kena isk pas mens gimana?	Apakah Infeksi Saluran Kemih Bisa Menghambat Menstruasi? Apakah Antibiotik Memengaruhi Siklus Menstruasi? Apakah Menstruasi Bisa Meningkatkan Risiko Infeksi Saluran Kemih? Cara Mengurangi Risiko Infeksi Saluran Kemih saat Menstruasi Infeksi saluran kemih (ISK) dikenal sebagai salah satu masalah kesehatan yang cukup umum terjadi, terutama pada wanita. Kondisi ini ditandai dengan adanya gejala seperti nyeri saat buang air kecil, sering buang air kecil, hingga rasa tidak nyaman di bagian perut bawa

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 411 evaluation samples
• Columns: question and passage_text
• Approximate statistics based on the first 411 samples:

  	question	passage_text
  type	string	string
  details	min: 7 tokens mean: 16.8 tokens max: 34 tokens	min: 18 tokens mean: 214.26 tokens max: 1024 tokens

• Samples:

  question	passage_text
  gerd bisa gara2 stres ga sih?	GERD karena Stres, Bisakah Terjadi? Pengaruh Stres Terhadap Sistem Pencernaan Cara Mengatasi GERD Karena Stres Lambung merupakan organ pencernaan yang memiliki lingkungan relatif asam dengan tingkat keasaman (pH) kurang dari 4.0. Produksi asam lambung memiliki peran penting dalam pencernaan dan pemecahan komponen nutrisi yang dapat diserap oleh tubuh, seperti karbohidrat, asam amino, dan lemak. Ketika mengalami GERD, isi lambung dapat naik kembali ke kerongkongan sehingga menyebabkan gejala yang
  Sosmed itu ngaruh gak sih ke mental remaja? Ada tips biar gak kecanduan?	Pengaruh Media Sosial terhadap Kesehatan Mental Remaja A. Dampak Positif Media Sosial B. Dampak Negatif Media Sosial Tips Mencegah Kecanduan Sosial Media pada Remaja Penggunaan media sosial telah menjadi bagian tak terpisahkan dari kehidupan remaja. Namun, di balik keterhubungannya yang luas, terdapat dampak yang signifikan terhadap kesehatan mental mereka. Bila tidak menggunakannya secara bijak, media sosial dapat meningkatkan risiko cemas dan rendah diri. Mari simak ulasan selengkapnya tentang
  bundle branch block itu apa ya?	Apa itu Bundle Branch Block? Penyebab Bundle Branch Block Penyebab Right Bundle Branch Block Penyebab Left Bundle Branch Block Gejala Bundle Branch Block Diagnosis Bundle Branch Block Pengobatan Bundle Branch Block Bundle branch block (BBB) adalah salah satu gangguan pada impuls atau sinyal listrik yang bertugas untuk membuat bilik jantung (ventrikel) berkontraksi. Kondisi ini dapat menyebabkan detak jantung menjadi tidak teratur dan terkadang bisa menyulitkan kerja jantung dalam memompa darah k

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• max_steps: 30
• warmup_ratio: 0.03
• prompts: {'question': '', 'passage_text': ''}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3.0
• max_steps: 30
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'question': '', 'passage_text': ''}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
-1	-1	-	-	0.0248
0.1923	5	3.6639	2.1836	0.2744
0.3846	10	1.7712	1.2148	0.6205
0.5769	15	1.0428	0.7920	0.6602
0.7692	20	0.767	0.5776	0.6937
0.9615	25	0.5539	0.4934	0.7197
1.1538	30	0.4564	0.4619	0.7358
-1	-1	-	-	0.7372

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.1
• Transformers: 4.56.2
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}