SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Maximum Sequence Length: 128 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'PENDIDIKAN JASMANI SEKOLAH DASAR - Administrasi dan Organisasi Olahraga, Aktivitas Ritmik Sekolah Dasar, Anatomi Manusia, Asesmen Olahraga, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bulutangkis, Dasar -dasar Gizi, Dasar-Dasar Pendidikan Jasmani, Desain Sarana dan Prasarana Pembelajaran, Fisiologi Manusia, Fisiologi Olahraga, Futsal, Ilmu Pendidikan, Kepramukaan dan Aktivitas Luar Kelas, Keterampilan Dasar Atletik, Keterampilan Dasar Pencak Silat, Keterampilan Dasar Renang, Keterampilan Dasar Senam, Kinesiologi, Kurikulum dan Pembelajaran PJSD, Literasi Aktivitas Fisik, Literasi Digital, Manajemen dan Praktikum UKS, Manajemen Ekstrakulikuler Olahraga Sekolah Dasar, Manajemen Pendidikan, Masase dan Pencegahan Penanganan Cidera, Media Pembelajaran PJSD, Metodologi Penelitian, Model Pembelajaran PJSD, Olahraga dan Kebugaran Jasmani, Panahan, Pancasila, Pemanduan Siswa Berbakat, Pembelajaran Akuatik Sekolah Dasar, Pembelajaran Atletik Sekolah Dasar, Pembelajaran Mikro PJSD, Pembelajaran Motorik, Pembelajaran Olahraga Permainan, Pembelajaran Senam Sekolah Dasar, Pendidikan Agama Buddha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Inklusi, Pendidikan Jasmani Adaptif dan Olahraga Disabilitas, Pendidikan Kesehatan Sekolah Dasar, Pendidikan Kewarganegaraan, Pengembangan Kemampuan Gerak Dasar, Penilaian Pembelajaran PJSD, Perencanaan Pembelajaran Penjas, Perkembangan Motorik, Permainan Bola Basket, Permainan Bola Voli, Permainan dan Olahraga Tradisional, Permainan Sepak Bola, Persiapan Profesi Guru Penjas Sekolah Dasar, Petanque, Psikologi Olahraga, Psikologi Pendidikan, Sejarah dan Filsafat Pendidikan Jasmani, Sepak Takraw, Softball, Sosiologi dan Antropologi Pendidikan, Sosiologi Olahraga, Statistika Pendidikan Jasmani, Strategi Pembelajaran PJSD, Teknologi Pembelajaran PJSD, Tenis Lapangan, Tenis Meja, Teori Bermain, Tugas Akhir Sarjana',
    'ARSITEKTUR - Arsitektur Berkelanjutan, Bahan Bangunan, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Building Information Modeling untuk Arsitektur, Estetika Bentuk, Estimasi Biaya, Fisika Bangunan, Gambar Arsitektur, Kesehatan, Keselamatan dan Lingkungan, Literasi Sosial dan Arsitektur, Manajemen Konstruksi, Metodologi Penelitian, Model Pengembangan Perumahan dan Permukiman, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengantar Arsitektur, Perancangan Arsitektur, Perancangan Tapak, Perencanaan dan Estimasi Biaya, Perencanaan Kota dan Kawasan, Pra Tugas Akhir, Praktik Industri, Pranata dan Etika Profesi, Prinsip dan Dasar Struktur, Proyek Kewirausahaan, Sejarah Perkembangan Arsitektur Dunia, Sejarah Perkembangan Arsitektur Nusantara, Struktur dan Konstruksi Dasar 1, Struktur dan Konstruksi Dasar 2, Studio Perancangan Arsitektur 1, Studio Perancangan Arsitektur 2, Studio Perancangan Arsitektur 3, Studio Perancangan Arsitektur 4, Studio Perancangan Arsitektur 5, Studio Perancangan Arsitektur 6, Tata Ruang Bangunan Hunian, Tata Ruang Bangunan Pendidikan, Teknik Komunikasi dan Presentasi, Teknologi Hijau, Tugas Akhir Sarjana, Utilitas Bangunan, Workshop Elemen Arsitektur 1, Workshop Elemen Arsitektur 2',
    'PENGOBATAN TRADISIONAL INDONESIA - Akupunktur Titik Meridian dan Energi Yang pada Organ Manusia, Akupunktur Titik Meridian dan Energi Yin pada Organ Manusia, Anatomi Manusia dan Histologi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bantuan Hidup Dasar, Biokimia dan Biofisika Manusia, Bisnis Pengelolaan Usaha Kesehatan Tradisional Dan Kebugaran Masyarakat, Botani Herbal, Budidaya Tanaman Obat, Diagnostik dan Patofisiologi Cedera, Etika, Komunikasi, dan Hukum Profesi Kesehatan Tradisional, Farmakologi Herbal, Fisiologi Manusia, Fisiologi Terapi Olahraga dan Terapi Latihan, Formulasi dan Terapi Sediaan Herbal Oral, Formulasi dan Terapi Sediaan Herbal Topikal, Ilmu Kesehatan, Keamanan, Kesehatan, dan Keselamatan Kerja, Kreativitas, Inovasi dan Kewirausahaan, Landasan Diagnosis dan Sindrom Terapi Manipulatif Pengobatan Tradisional, Landasan Teori Akupunktur, Landasan Teori Diagnosis dan Sindrom Pada Titik Meridian dan Energi Tubuh, Landasan Teori Terapi Pijat, Manajemen Penyelenggaraan Kesehatan Tradisional, Masase, Metodologi Penelitian, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Penerapan Akupunktur Pada Diagnosis, Penulisan Proposal Tugas Akhir, Praktik Industri Mandiri, Praktik Industri Terbimbing, Prinsip Penatalaksanaan Akupunktur, Promosi Kesehatan Tradisional, Psikologi Olahraga dan Kesehatan, Riset dan Proyek Ilmiah, Statistika, Terapi Latihan Ekstremitas Atas, Terapi Latihan Ektremitas Bawah, Terapi Masase Cedera Olahraga Ekstremitas Atas, Terapi Masase Penyakit Degeneratif Diabetes Melitus dan Asma, Terapi Masase Penyakit Degeneratif Jantung, Hipertensi dan Athritis, Terapi Nutrisi dan Gizi, Terapi Olahraga Kebugaran Sistem Energi Aerobik, Terapi Olahraga Kebugaran Sistem Energi Anaerobik, Terapi Pijat Bayi dan Anak Usia Dini, Terapi Pijat Ibu Hamil dan Pasca Melahirkan, Terapi Pijat Tradisional Budaya Barat, Tugas Akhir Sarjana Terapan, Wellness Pengobatan Tradisional dan Kebugaran dalam Ruangan, Wellness Pengobatan Tradisional dan Kebugaran Luar Ruangan',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 4,656 training samples
Columns: sentence_0, sentence_1, and label

Approximate statistics based on the first 1000 samples:

	sentence_0	sentence_1	label
type	string	string	float
details	min: 76 tokens mean: 127.79 tokens max: 128 tokens	min: 76 tokens mean: 126.91 tokens max: 128 tokens	min: -1.75 mean: -1.35 max: 4.65

Samples:

sentence_0	sentence_1	label
ILMU KEOLAHRAGAAN - Adaptasi Latihan, Administrasi Keuangan Olahraga, Aktivitas Aerobik, Aktivitas Jasmani Adaptif, Aktivitas Rekreasi Terapi, Akuatik Adaptif, Analisis Teknologi Keolahragaan, Anatomi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Biokimia Olahraga, Biomekanika Olahraga, Bulutangkis, Dasar- dasar Terapi Manipulatif, Dasar-dasar Latihan Beban, Dasar-dasar Terapi, Data Analisa, Etika dan Perilaku Olahraga, Evaluasi dan Analisis Kebugaran Jasmani, Filsafat Ilmu, Fisiologi Manusia, Fisiologi Olahraga, Gizi Olahraga, Hukum dan Etika Olahraga, Ilmu Gizi, Ilmu Kesehatan Masyarakat, Ilmu Kesehatan Mental, Industri Olahraga, Karya Ilmiah Olahraga, Kebugaran Jasmani Komponen Motorik, Kesehatan Olahraga, Keterampilan Dasar Atletik, Keterampilan Dasar Bolabasket, Keterampilan Dasar Bolavoli, Keterampilan Dasar Pencaksilat, Keterampilan Dasar Renang, Keterampilan Dasar Senam, Keterampilan Dasar Sepakbola, Kewirausahaan, Kinesiologi, Kinesiologi Adaptif, Komunikasi Olahraga, Kulia...	PENDIDIKAN ILMU PENGETAHUAN SOSIAL - Administrasi dan Organisasi, Analisis Data Kualitatif, Analisis Data Kuantitatif, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Budaya Lokal dan Nasional, Ekonomi Internasional, Ekonomi Kreatif, Etika Profesi Keguruan, Ilmu Pendidikan, Kajian Buku Teks Ilmu Pengetahuan Sosial, Kajian Gender dan Pembangunan, Kajian Kebencanaan, Kajian Keistimewaan Yogyakarta, Kajian Kependudukan dan Etnisitas, Kajian Modal Sosial, Kajian Peradaban Dunia, Kearifan Lokal Indonesia, Kebijakan Sosial, Kekuasaan, Kewenangan dan Pemerintahan, Kepemimpinan Nasional, Kerjasama Internasional, Konsep Dasar Ekonomi, Konsep Dasar Geografi, Konsep Dasar Ilmu Pengetahuan Sosial, Konsep Dasar Sejarah, Konsep Dasar Sosiologi, Konservasi Sumber Daya Alam, Kuliah Kerja Nyata, Kuliah Lapangan 1, Kuliah Lapangan 2, Kurikulum Pendidikan Ilmu Pengetahuan Sosial, Literasi Keruangan, Literasi Peta, Manajemen Konflik, Manajemen Laboratorium Ilmu Pengetahuan Sosial, Manajemen Pendidikan, Ma...	`-1.4769`
TATA BUSANA - Aksesori Fesyen, Apresiasi Seni dan Budaya, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Batik, Bisnis Fesyen Digital, Bordir Manual Digital, Busana Anak, Busana Pria, Busana Wanita, Dasar Teknologi Busana, Desain dan Ilustrasi Fesyen, Desain Digital, Desain Elementer dan Anatomi, Desain Kostum, Desain Virtual, Draping, Etika Profesi, Fesyen dan Pariwisata, Fotografi Jurnalistik Fesyen, Grading Pola, Grooming, Hak Kekayaan Intelektual , Haute Couture, Kebaya dan Bridal, Kesehatan, Keselamatan Kerja, dan Lingkungan Hidup, Komunikasi Bisnis dan Public Speaking, Konstruksi Pola Busana, Kreativitas, Inovasi, dan Kewirausahaan, Literasi Konsumen, Matematika Terapan, Media Branding, Merchandising, Metodologi Penelitian, Modeling dan Event Organizer, Olahraga dan Kebugaran Jasmani, Ornamen, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan P...	PENDIDIKAN KESEJAHTERAAN KELUARGA - Evaluasi Pembelajaran Vokasional, Filsafat Ilmu Dan Etika Profesi, Hospitality, Ilmu Pendidikan, Inovasi Model Pembelajaran Vokasional, Kajian Seni dan Budaya Fesyen, Kajian Seni dan Budaya Kecantikan, Kajian Seni dan Budaya Kuliner, Kajian Seni dan Budaya Prakarya Kewirausahaan, Kewirausahaan, Manajemen Bisnis Fesyen, Manajemen Bisnis Kecantikan, Manajemen Bisnis Keluarga, Manajemen Bisnis Kuliner, Manajemen Pendidikan dan Pelatihan Vokasional, Metodologi Penelitian, Pemberdayaan Keluarga dan Masyarakat, Pendidikan Kesejahteraan Keluarga, Pengembangan Kurikulum Pendidikan Vokasional, Penulisan Karya Ilmiah, Proposal Tugas Akhir Magister, Psikologi Pendidikan, Riset Produk Fesyen, Riset Produk Kecantikan, Riset Produk Kreatif Kewirausahaan, Riset Produk Kuliner, Statistika, Teknopreneur dan Startup Digital, Tugas Akhir Magister	`-1.2641`
STATISTIKA - Algoritma dan Pemrograman Statistika, Aljabar Linear dan Matriks, Analisis Big Data, Analisis Bisnis, Analisis dan Perancangan Survei, Analisis Data Berbasis Cloud, Analisis Data dan Visualisasi, Analisis Data Hilang, Analisis Data Kategorik, Analisis Data Tak Terstruktur, Analisis Data Teks, Analisis Mediasi Statistik, Analisis Regresi, Analisis Runtun Waktu, Analisis Survival, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Basis Data untuk Statistika, Biostatistika Terapan, Dana Pensiun, Ekonometrika, Ekonomi dan Pasar Keuangan, Jaringan Syaraf Tiruan, Kalkulus Dasar untuk Statistika, Kalkulus Lanjut untuk Statistika, Kecerdasan Buatan untuk Analisis Data, Komputasi Statistika, Kuliah Kerja Nyata, Logika dan Himpunan, Matematika Aktuaria, Matematika Investasi, Matematika Keuangan, Metodologi Penelitian, Model Linear, Olahraga dan Kebugaran Jasmani, Optimisasi Statistika, Pancasila, Pemodelan Multilevel, Pemodelan Persamaan Struktural, Pemodelan Risiko, Pemrograman Desai...	`ILMU TEKNIK - Desain Penelitian, Filsafat Ilmu Teknik, Green Technology, Kekhususan, Matrikulasi 1, Matrikulasi 2, Penulisan Akademik, Proposal Tugas Akhir Doktor, Publikasi I, Publikasi II, Publikasi III, Seminar Hasil, Seminar Kemajuan Penelitian I, Seminar Kemajuan Penelitian II, Statistika, Tugas Akhir Doktor`	`-1.5152`

Loss: CosineSimilarityLoss with these parameters:

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
per_device_eval_batch_size: 16
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
1.7182	500	2.0934

Framework Versions

Python: 3.11.13
Sentence Transformers: 4.1.0
Transformers: 4.53.3
PyTorch: 2.6.0+cu124
Accelerate: 1.9.0
Datasets: 4.0.0
Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

Downloads last month: 2

Safetensors

Model size

0.1B params

Tensor type

F32

Model tree for tikanosa/fine-tuned-sbert-prodi

Base model

sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

Finetuned

(301)

this model

Paper for tikanosa/fine-tuned-sbert-prodi

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Paper • 1908.10084 • Published Aug 27, 2019 • 12