tikanosa/eduSBERT_BE

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'PENDIDIKAN TEKNIK BUSANA - Adi Busana, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Batik, Bisnis Fesyen, Bordir, Busana Daerah, Busana Wanita, Dasar Desain, Desain Digital, Desain Kostum, Desain Mode, Draping, Etika Profesi, Fondasi Pendidikan Teknologi dan Vokasional, Fotografi Fashion, Ilmu Pendidikan, Ilmu Tekstil, Jurnalistik Fashion, Karya Inovasi Produk Fashion, Kesehatan, Keselamatan dan Lingkungan, Komunikasi Bisnis, Konstruksi Pola, Kuliah Kerja Nyata, Kurikulum dan Pembelajaran Vokasional, Literasi Digital, Manajemen Industri Kreatif, Manajemen Pendidikan, Manajemen Peragaan Busana, Manajemen Retail, Media Pembelajaran Vokasional, Metodologi Penelitian, Model Pembelajaran Vokasional, Olahraga dan Kebugaran Jasmani, Pancasila, Pelengkap Busana, Pembelajaran Mikro Vokasional, Pemberdayaan Keluarga dan Masyarakat, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Inklusi, Pendidikan Kewarganegaraan, Pendidikan Konsumen, Pengetahuan Busana, Penilaian Pembelajaran Vokasional, Perencanaan dan Pengendalian Produksi Garmen, Pola Digital, Praktik Industri, Praktik Kependidikan, Produksi Busana Custom Made, Produksi Busana Industri, Proyek Kewirausahaan, Psikologi Pendidikan, Rekayasa Pola, Seminar Proposal Skripsi, Sosiologi dan Antropologi Pendidikan, Statistika, Tailoring, Teknik Membuat Kain, Teknologi Hijau, Teknologi Menjahit, Teknologi Tekstil, Tekstil dan Garmen Merchandising, Trend Forecasting, Tugas Akhir Sarjana, Visual Merchandising',
    'KIMIA - Analisis Bahan Industri, Aplikasi Kimiawi Teori Grup, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bioanorganik, Biokimia, Biokimia Fisik, Biokimia Lanjut, Biologi untuk Kimia, Bioteknologi Molekuler, Dasar Reaksi Anorganik, Dasar-dasar Kimia Analitik, Dasar-dasar Kimia Komputasi, Dinamika Molekuler, Elektrokimia Analisis, Elusidasi Struktur Senyawa Anorganik, Elusidasi Struktur Senyawa Organik, Enzimologi, Fisika untuk Kimia, Geokimia, Instrumentasi Kimia, Isolasi dan Identifikasi Senyawa Bahan Alam, Kesetimbangan Kimia, Kewirausahaan Kimia, Kimia Anorganik Dasar, Kimia Anorganik Zat Padat dan Kristalografi, Kimia Bahan Pangan, Kimia Dasar, Kimia Farmasi, Kimia Forensik, Kimia Industri, Kimia Inti, Kimia Katalis, Kimia Komputasi Lanjut, Kimia Koordinasi dan Organologam, Kimia Korosi dan Pelapisan Permukaan, Kimia Kosmetik, Kimia Kuantum, Kimia Lingkungan, Kimia Material, Kimia Medisinal, Kimia Minyak Bumi dan Energi, Kimia Organik Dasar, Kimia Organik Fisik, Kimia Organik Sintesis, Kimia Permukaan, Kimia Polimer, Koloid dan Surfaktan, Kuliah Kerja Nyata, Manajemen Industri, Matematika untuk Kimia, Mekanisme Reaksi Anorganik, Mekanisme Reaksi Senyawa Organik, Metode Pemisahan Kimia, Metodologi Penelitian, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengelolaan Laboratorium Kimia, Pengelolaan Limbah Bahan Berbahaya dan Beracun, Praktik Kerja Lapangan, Radioanalisis, Sains dan Pemrograman Data, Sintesis Kimia Anorganik, Spektroskopi Atomik dan Molekuler, Statistika Dasar, Struktur Senyawa Organik Polifungsional, Teknologi Fermentasi, Teknologi Membran, Teknologi Nanokimia, Toksikologi, Topik-topik Penelitian Kimia, Tugas Akhir Sarjana, Wawasan dan Kajian Matematika dan Ilmu Pengetahuan Alam',
    'D3 TEKNIK ELEKTRONIKA - Pendidikan Agama, Pendidikan Pancasila, Pendidikan Kewarganegaraan, Bahasa Indonesia, Bahasa Inggris, Matematika Terapan, Fisika Terapan, Rangkaian Listrik, Elektronika Analog, Sistem Digital, Mikroprosesor dan Mikrokontroler, Pengukuran Elektronika, Sistem Kendali, Elektronika Daya, Instrumentasi, Sistem Embedded, Pengolahan Sinyal',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 13,200 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 76 tokens mean: 123.87 tokens max: 128 tokens	min: 76 tokens mean: 113.19 tokens max: 128 tokens	min: 0.0 mean: 0.07 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  PENDIDIKAN BAHASA JERMAN - Advanced Listening, Advanced Reading, Apresiasi Seni dan Budaya, Aussprache Schulung, B1 Prfungsvorbereitung, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Deutsch fuer Reisefuehrung, Deutsch im Hotel, Deutsche Geschichte, Einfuehrung in die Linguistik, Einfuehrung in die Literaturwissenschaft, Fraseologi, Grammatik fuer Anfnger, Grammatik fuer Fortgeschrittene, Grammatik fuer Fortgeschrittene Anfnger, Grammatik fuer Mittelstufe, Ilmu Pendidikan, Intermediate Listening, KKN, Kreativitas, Inovasi, dan Kewirausahaan, Kulturkunde, Kurikulum dan Pembelajaran Bahasa Jerman, Landeskunde, Lesen fuer Fortgeschrittene, Linguistik in der Sprachlehre, Listening for Beginners, Literasi Digital, Literatur in der Sprachlehre, Manajemen Pendidikan, Media Pembelajaran dan TI Pembelajaran Bahasa Jerman, Methodik und Didaktik fuer den DaF-Unterricht, Metodologi Penelitian Pendidikan, Model Pembelajaran Bahasa Jerman, Olahraga dan Kebugaran Jasmani, Pancasila, Pembelajaran Mi...	PENDIDIKAN TEKNIK ELEKTRONIKA - Algoritma dan Bahasa Pemrograman, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bengkel Elektronika, Capstone Design, Elektronika Analog, Fisika Elektronika, Fondasi Pendidikan Teknologi dan Vokasional, Gambar Teknik Elektronika Computer Aided Design, Ilmu Pendidikan, Instalasi dan Mesin Listrik, Internet of Things, Kesehatan, Keselamatan dan Lingkungan, Kuliah Kerja Nyata, Kurikulum dan Pembelajaran Teknik Elektronika, Manajemen Pendidikan, Matematika, Media Pembelajaran Teknik Elektronika, Metodologi Penelitian, Model Pembelajaran Teknik Elektronika, Olahraga dan Kebugaran Jasmani, Pancasila, Pembelajaran Mikro, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Inklusi, Pendidikan Kewarganegaraan, Pengolahan Sinyal Digital, Penilaian Pembelajaran Teknik Elektronika, Perancangan Sistem Elek...	0.0028565432876348495
  ILMU SEJARAH - Bahasa Belanda Sumber I, Bahasa Belanda Sumber II, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Budaya Lokal dan Nasional, Dasar-dasar Teori dan Metodologi Sejarah, Filsafat Sejarah, Historiografi Indonesia, Historiografi Umum, Kearsipan dan Perpustakaan, Kepariwisataan, Kuliah Kerja Lapangan I, Kuliah Kerja Lapangan II, Kuliah Kerja Nyata, Metode Sejarah, Metodologi Penelitian, Museologi, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengantar Ilmu Sejarah, Pengantar Ilmu Sosial, Pengantar Sejarah Indonesia, Pengembangan Laboratorium I Tekstual, Pengembangan Laboratorium II Visual, Penulisan Ilmiah Kreatif, Perspektif Global, Praktek Penelitian Sejarah, Praktik Kerja Lapangan, Sejarah Agraria, Sejarah Amerika, Sejarah Asia Barat, Sejarah Asia ...	SMK TEKNIK OTOTRONIK - Pendidikan Agama dan Budi Pekerti, Pendidikan Pancasila, Bahasa Indonesia, Matematika, Bahasa Inggris, Informatika, Projek Ilmu Pengetahuan Alam dan Sosial, Projek Kreatif dan Kewirausahaan, Praktik Kerja Lapangan, Dasar-dasar Teknik Otomotif, Gambar Teknik Otomotif, Teknologi Dasar Otomotif, Pekerjaan Dasar Teknik Otomotif, Keselamatan dan Kesehatan Kerja Otomotif, Elektronika Otomotif, Sensor dan Aktuator Otomotif, Engine Management System, Sistem Kontrol Elektronik Kendaraan, Diagnosis Kendaraan Berbasis Komputer, Kelistrikan Bodi Kendaraan, Jaringan Komunikasi Kendaraan (CAN Bus)	0.0013291053473949432
  PSIKOLOGI - Analisis Jabatan, Asesmen Center, Asesmen dan Intervensi Perkembangan, Asesmen Inteligensi dan Bakat, Asesmen Kepribadian, Bahasa Inggris Tujuan Khusus, Biopsikologi, Desain Instruksional, Desain Pelatihan, Dinamika Kelompok, Ekologi Perkembangan Manusia, Filsafat Manusia, Hambatan dalam Perkembangan, Intervensi Psikologis, Kesehatan Mental dan Psikopatologi, Kesejahteraan Anak dan Remaja, Kode Etik Psikologi, Konstruksi Alat Ukur, Kuliah Kerja Nyata, Magang, Manajemen Sumber Daya Manusia, Metodologi Penelitian Kualitatif, Metodologi Penelitian Kuantitatif, Modifikasi Perilaku, Observasi dan Wawancara, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengasuhan Positif, Pengembangan Diri dan Karir, Pengembangan Organisasi, Penyusunan Skala Psikologis, P...	D3 AKUNTANSI - Pendidikan Agama, Pendidikan Pancasila, Pendidikan Kewarganegaraan, Bahasa Indonesia, Bahasa Inggris, Matematika Terapan, Fisika Terapan, Pengantar Akuntansi, Akuntansi Keuangan, Akuntansi Biaya, Akuntansi Manajemen, Perpajakan, Auditing, Sistem Informasi Akuntansi, Komputer Akuntansi, Akuntansi Sektor Publik, Pengantar Ekonomi, Manajemen Keuangan	0.0013608684530481696

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 10
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.6061	500	0.0548
1.2121	1000	0.0164
1.8182	1500	0.0134
2.4242	2000	0.0107
3.0303	2500	0.0108
3.6364	3000	0.0088
4.2424	3500	0.0084
4.8485	4000	0.0081
5.4545	4500	0.007
6.0606	5000	0.0076
6.6667	5500	0.0066
7.2727	6000	0.0066
7.8788	6500	0.0063
8.4848	7000	0.0059
9.0909	7500	0.0058
9.6970	8000	0.0054

Framework Versions

• Python: 3.13.15
• Sentence Transformers: 3.4.1
• Transformers: 4.57.6
• PyTorch: 2.11.0+cu130
• Accelerate: 1.15.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}