tikanosa/fine-tuned-sbert-prodi

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'PENDIDIKAN JASMANI SEKOLAH DASAR - Administrasi dan Organisasi Olahraga, Aktivitas Ritmik Sekolah Dasar, Anatomi Manusia, Asesmen Olahraga, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bulutangkis, Dasar -dasar Gizi, Dasar-Dasar Pendidikan Jasmani, Desain Sarana dan Prasarana Pembelajaran, Fisiologi Manusia, Fisiologi Olahraga, Futsal, Ilmu Pendidikan, Kepramukaan dan Aktivitas Luar Kelas, Keterampilan Dasar Atletik, Keterampilan Dasar Pencak Silat, Keterampilan Dasar Renang, Keterampilan Dasar Senam, Kinesiologi, Kurikulum dan Pembelajaran PJSD, Literasi Aktivitas Fisik, Literasi Digital, Manajemen dan Praktikum UKS, Manajemen Ekstrakulikuler Olahraga Sekolah Dasar, Manajemen Pendidikan, Masase dan Pencegahan Penanganan Cidera, Media Pembelajaran PJSD, Metodologi Penelitian, Model Pembelajaran PJSD, Olahraga dan Kebugaran Jasmani, Panahan, Pancasila, Pemanduan Siswa Berbakat, Pembelajaran Akuatik Sekolah Dasar, Pembelajaran Atletik Sekolah Dasar, Pembelajaran Mikro PJSD, Pembelajaran Motorik, Pembelajaran Olahraga Permainan, Pembelajaran Senam Sekolah Dasar, Pendidikan Agama Buddha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Inklusi, Pendidikan Jasmani Adaptif dan Olahraga Disabilitas, Pendidikan Kesehatan Sekolah Dasar, Pendidikan Kewarganegaraan, Pengembangan Kemampuan Gerak Dasar, Penilaian Pembelajaran PJSD, Perencanaan Pembelajaran Penjas, Perkembangan Motorik, Permainan Bola Basket, Permainan Bola Voli, Permainan dan Olahraga Tradisional, Permainan Sepak Bola, Persiapan Profesi Guru Penjas Sekolah Dasar, Petanque, Psikologi Olahraga, Psikologi Pendidikan, Sejarah dan Filsafat Pendidikan Jasmani, Sepak Takraw, Softball, Sosiologi dan Antropologi Pendidikan, Sosiologi Olahraga, Statistika Pendidikan Jasmani, Strategi Pembelajaran PJSD, Teknologi Pembelajaran PJSD, Tenis Lapangan, Tenis Meja, Teori Bermain, Tugas Akhir Sarjana',
    'ARSITEKTUR - Arsitektur Berkelanjutan, Bahan Bangunan, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Building Information Modeling untuk Arsitektur, Estetika Bentuk, Estimasi Biaya, Fisika Bangunan, Gambar Arsitektur, Kesehatan, Keselamatan dan Lingkungan, Literasi Sosial dan Arsitektur, Manajemen Konstruksi, Metodologi Penelitian, Model Pengembangan Perumahan dan Permukiman, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengantar Arsitektur, Perancangan Arsitektur, Perancangan Tapak, Perencanaan dan Estimasi Biaya, Perencanaan Kota dan Kawasan, Pra Tugas Akhir, Praktik Industri, Pranata dan Etika Profesi, Prinsip dan Dasar Struktur, Proyek Kewirausahaan, Sejarah Perkembangan Arsitektur Dunia, Sejarah Perkembangan Arsitektur Nusantara, Struktur dan Konstruksi Dasar 1, Struktur dan Konstruksi Dasar 2, Studio Perancangan Arsitektur 1, Studio Perancangan Arsitektur 2, Studio Perancangan Arsitektur 3, Studio Perancangan Arsitektur 4, Studio Perancangan Arsitektur 5, Studio Perancangan Arsitektur 6, Tata Ruang Bangunan Hunian, Tata Ruang Bangunan Pendidikan, Teknik Komunikasi dan Presentasi, Teknologi Hijau, Tugas Akhir Sarjana, Utilitas Bangunan, Workshop Elemen Arsitektur 1, Workshop Elemen Arsitektur 2',
    'PENGOBATAN TRADISIONAL INDONESIA - Akupunktur Titik Meridian dan Energi Yang pada Organ Manusia, Akupunktur Titik Meridian dan Energi Yin pada Organ Manusia, Anatomi Manusia dan Histologi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bantuan Hidup Dasar, Biokimia dan Biofisika Manusia, Bisnis Pengelolaan Usaha Kesehatan Tradisional Dan Kebugaran Masyarakat, Botani Herbal, Budidaya Tanaman Obat, Diagnostik dan Patofisiologi Cedera, Etika, Komunikasi, dan Hukum Profesi Kesehatan Tradisional, Farmakologi Herbal, Fisiologi Manusia, Fisiologi Terapi Olahraga dan Terapi Latihan, Formulasi dan Terapi Sediaan Herbal Oral, Formulasi dan Terapi Sediaan Herbal Topikal, Ilmu Kesehatan, Keamanan, Kesehatan, dan Keselamatan Kerja, Kreativitas, Inovasi dan Kewirausahaan, Landasan Diagnosis dan Sindrom Terapi Manipulatif Pengobatan Tradisional, Landasan Teori Akupunktur, Landasan Teori Diagnosis dan Sindrom Pada Titik Meridian dan Energi Tubuh, Landasan Teori Terapi Pijat, Manajemen Penyelenggaraan Kesehatan Tradisional, Masase, Metodologi Penelitian, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Penerapan Akupunktur Pada Diagnosis, Penulisan Proposal Tugas Akhir, Praktik Industri Mandiri, Praktik Industri Terbimbing, Prinsip Penatalaksanaan Akupunktur, Promosi Kesehatan Tradisional, Psikologi Olahraga dan Kesehatan, Riset dan Proyek Ilmiah, Statistika, Terapi Latihan Ekstremitas Atas, Terapi Latihan Ektremitas Bawah, Terapi Masase Cedera Olahraga Ekstremitas Atas, Terapi Masase Penyakit Degeneratif Diabetes Melitus dan Asma, Terapi Masase Penyakit Degeneratif Jantung, Hipertensi dan Athritis, Terapi Nutrisi dan Gizi, Terapi Olahraga Kebugaran Sistem Energi Aerobik, Terapi Olahraga Kebugaran Sistem Energi Anaerobik, Terapi Pijat Bayi dan Anak Usia Dini, Terapi Pijat Ibu Hamil dan Pasca Melahirkan, Terapi Pijat Tradisional Budaya Barat, Tugas Akhir Sarjana Terapan, Wellness Pengobatan Tradisional dan Kebugaran dalam Ruangan, Wellness Pengobatan Tradisional dan Kebugaran Luar Ruangan',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, -0.0246,  0.1769],
#         [-0.0246,  1.0000, -0.0062],
#         [ 0.1769, -0.0062,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,656 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 76 tokens mean: 127.79 tokens max: 128 tokens	min: 76 tokens mean: 126.91 tokens max: 128 tokens	min: -1.75 mean: -1.35 max: 4.65

• Samples:

  sentence_0	sentence_1	label
  ILMU KEOLAHRAGAAN - Adaptasi Latihan, Administrasi Keuangan Olahraga, Aktivitas Aerobik, Aktivitas Jasmani Adaptif, Aktivitas Rekreasi Terapi, Akuatik Adaptif, Analisis Teknologi Keolahragaan, Anatomi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Biokimia Olahraga, Biomekanika Olahraga, Bulutangkis, Dasar- dasar Terapi Manipulatif, Dasar-dasar Latihan Beban, Dasar-dasar Terapi, Data Analisa, Etika dan Perilaku Olahraga, Evaluasi dan Analisis Kebugaran Jasmani, Filsafat Ilmu, Fisiologi Manusia, Fisiologi Olahraga, Gizi Olahraga, Hukum dan Etika Olahraga, Ilmu Gizi, Ilmu Kesehatan Masyarakat, Ilmu Kesehatan Mental, Industri Olahraga, Karya Ilmiah Olahraga, Kebugaran Jasmani Komponen Motorik, Kesehatan Olahraga, Keterampilan Dasar Atletik, Keterampilan Dasar Bolabasket, Keterampilan Dasar Bolavoli, Keterampilan Dasar Pencaksilat, Keterampilan Dasar Renang, Keterampilan Dasar Senam, Keterampilan Dasar Sepakbola, Kewirausahaan, Kinesiologi, Kinesiologi Adaptif, Komunikasi Olahraga, Kulia...	PENDIDIKAN ILMU PENGETAHUAN SOSIAL - Administrasi dan Organisasi, Analisis Data Kualitatif, Analisis Data Kuantitatif, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Budaya Lokal dan Nasional, Ekonomi Internasional, Ekonomi Kreatif, Etika Profesi Keguruan, Ilmu Pendidikan, Kajian Buku Teks Ilmu Pengetahuan Sosial, Kajian Gender dan Pembangunan, Kajian Kebencanaan, Kajian Keistimewaan Yogyakarta, Kajian Kependudukan dan Etnisitas, Kajian Modal Sosial, Kajian Peradaban Dunia, Kearifan Lokal Indonesia, Kebijakan Sosial, Kekuasaan, Kewenangan dan Pemerintahan, Kepemimpinan Nasional, Kerjasama Internasional, Konsep Dasar Ekonomi, Konsep Dasar Geografi, Konsep Dasar Ilmu Pengetahuan Sosial, Konsep Dasar Sejarah, Konsep Dasar Sosiologi, Konservasi Sumber Daya Alam, Kuliah Kerja Nyata, Kuliah Lapangan 1, Kuliah Lapangan 2, Kurikulum Pendidikan Ilmu Pengetahuan Sosial, Literasi Keruangan, Literasi Peta, Manajemen Konflik, Manajemen Laboratorium Ilmu Pengetahuan Sosial, Manajemen Pendidikan, Ma...	-1.4769
  TATA BUSANA - Aksesori Fesyen, Apresiasi Seni dan Budaya, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Batik, Bisnis Fesyen Digital, Bordir Manual Digital, Busana Anak, Busana Pria, Busana Wanita, Dasar Teknologi Busana, Desain dan Ilustrasi Fesyen, Desain Digital, Desain Elementer dan Anatomi, Desain Kostum, Desain Virtual, Draping, Etika Profesi, Fesyen dan Pariwisata, Fotografi Jurnalistik Fesyen, Grading Pola, Grooming, Hak Kekayaan Intelektual , Haute Couture, Kebaya dan Bridal, Kesehatan, Keselamatan Kerja, dan Lingkungan Hidup, Komunikasi Bisnis dan Public Speaking, Konstruksi Pola Busana, Kreativitas, Inovasi, dan Kewirausahaan, Literasi Konsumen, Matematika Terapan, Media Branding, Merchandising, Metodologi Penelitian, Modeling dan Event Organizer, Olahraga dan Kebugaran Jasmani, Ornamen, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan P...	PENDIDIKAN KESEJAHTERAAN KELUARGA - Evaluasi Pembelajaran Vokasional, Filsafat Ilmu Dan Etika Profesi, Hospitality, Ilmu Pendidikan, Inovasi Model Pembelajaran Vokasional, Kajian Seni dan Budaya Fesyen, Kajian Seni dan Budaya Kecantikan, Kajian Seni dan Budaya Kuliner, Kajian Seni dan Budaya Prakarya Kewirausahaan, Kewirausahaan, Manajemen Bisnis Fesyen, Manajemen Bisnis Kecantikan, Manajemen Bisnis Keluarga, Manajemen Bisnis Kuliner, Manajemen Pendidikan dan Pelatihan Vokasional, Metodologi Penelitian, Pemberdayaan Keluarga dan Masyarakat, Pendidikan Kesejahteraan Keluarga, Pengembangan Kurikulum Pendidikan Vokasional, Penulisan Karya Ilmiah, Proposal Tugas Akhir Magister, Psikologi Pendidikan, Riset Produk Fesyen, Riset Produk Kecantikan, Riset Produk Kreatif Kewirausahaan, Riset Produk Kuliner, Statistika, Teknopreneur dan Startup Digital, Tugas Akhir Magister	-1.2641
  STATISTIKA - Algoritma dan Pemrograman Statistika, Aljabar Linear dan Matriks, Analisis Big Data, Analisis Bisnis, Analisis dan Perancangan Survei, Analisis Data Berbasis Cloud, Analisis Data dan Visualisasi, Analisis Data Hilang, Analisis Data Kategorik, Analisis Data Tak Terstruktur, Analisis Data Teks, Analisis Mediasi Statistik, Analisis Regresi, Analisis Runtun Waktu, Analisis Survival, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Basis Data untuk Statistika, Biostatistika Terapan, Dana Pensiun, Ekonometrika, Ekonomi dan Pasar Keuangan, Jaringan Syaraf Tiruan, Kalkulus Dasar untuk Statistika, Kalkulus Lanjut untuk Statistika, Kecerdasan Buatan untuk Analisis Data, Komputasi Statistika, Kuliah Kerja Nyata, Logika dan Himpunan, Matematika Aktuaria, Matematika Investasi, Matematika Keuangan, Metodologi Penelitian, Model Linear, Olahraga dan Kebugaran Jasmani, Optimisasi Statistika, Pancasila, Pemodelan Multilevel, Pemodelan Persamaan Struktural, Pemodelan Risiko, Pemrograman Desai...	ILMU TEKNIK - Desain Penelitian, Filsafat Ilmu Teknik, Green Technology, Kekhususan, Matrikulasi 1, Matrikulasi 2, Penulisan Akademik, Proposal Tugas Akhir Doktor, Publikasi I, Publikasi II, Publikasi III, Seminar Hasil, Seminar Kemajuan Penelitian I, Seminar Kemajuan Penelitian II, Statistika, Tugas Akhir Doktor	-1.5152

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss",
      "cos_score_transformation": "torch.nn.modules.linear.Identity"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
1.7182	500	2.0934

Training Time

• Training: 4.6 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}