acostillio/SemantiSearchNepaliSbert

SentenceTransformer based on acostillio/sbert-nepalilaw-genq

This is a sentence-transformers model finetuned from acostillio/sbert-nepalilaw-genq on the nepali_legal_query_para dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: acostillio/sbert-nepalilaw-genq
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • nepali_legal_query_para

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'मालपोत कार्यालयको निर्णय बदर गर्ने सर्वोच्च अदालतको फैसला र कानून बमोजिम निर्णय गर्न पठाई दिने आदेश',
    'सर्वोच्च अदालतले मालपोत कार्यालय रौतहटको मिति २०४९।१।९ को निर्णय र पुनरावेदन अदालत हेटौंडाको फैसला वदर हुने ठहर गर्\u200dयो। कानून बमोजिम निर्णय गर्न दुवै पक्षलाई मालपोत कार्यालय रौतहटमा तारेख तोकी पठाई दिने आदेश दियो।',
    'यस मुद्दामा, निवेदकले अन्तःशुल्क विभागले अन्तःशुल्क कार्यालयलाई लेखेको पत्र र सो पत्रको आधारमा अन्तःशुल्क कार्यालयले जारी गरेको पत्रहरू बदर गर्न माग गरेका छन्। निवेदकले आर्थिक वर्ष २०३२।३३ मा कबुलियत गरेबमोजिम न्यूनतम अन्तःशुल्क तिर्नुपर्ने भन्ने आदेशलाई चुनौती दिएका छन्।',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: similarity_validation
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	nan
spearman_cosine	nan

Training Details

Training Dataset

nepali_legal_query_para

• Dataset: nepali_legal_query_para at 19ecb97
• Size: 11,686 training samples
• Columns: query and passage
• Approximate statistics based on the first 1000 samples:

  	query	passage
  type	string	string
  details	min: 8 tokens mean: 31.69 tokens max: 512 tokens	min: 11 tokens mean: 104.93 tokens max: 512 tokens

• Samples:

  query	passage
  सरकारी अड्डाको छाप वा कर्मचारीको छाप दस्तखत किर्ते नगरी लाइसेन्स बनाउने प्रयोजनका लागि पेश गरिएको नागरिकताको फोटोकपीलाई किर्ते मान्न मिल्ने नमिल्ने बारे नजिर।	मुलुकी ऐन, किर्ते कागजको १२ नं. अन्तर्गत थप सजाय हुनका लागि सरकारी अड्डाको छाप वा सरकारी काममा सरकारी कर्मचारीको छाप दस्तखत वा सो छाप दस्तखत भएको सरकारी कागज किर्ते गरेको हुनुपर्छ। लाइसेन्स बनाउने प्रयोजनका लागि पेश गरिएको नागरिकताको फोटोकपीलाई सरकारी अड्डा वा कर्मचारीको छाप दस्तखत किर्ते गरेको मान्न मिल्दैन।
  पितृत्वको ठेगान नभएको नाबालकलाई वंशजको नाताले नागरिकता दिन मिल्छ कि मिल्दैन भन्ने विषयमा केन्द्रित मुद्दाहरूको सारांश खोज्नुहोस्।	यो मुद्दा नेपाल अधिराज्यको संविधान, २०४७ को धारा ९(२) अनुसार पितृत्वको ठेगान नभएको नाबालकलाई वंशजको नाताले नागरिकता दिने प्रावधानले नेपाली आमाबाट जन्मिएका तर बाबुको ठेगान नभएका नाबालकहरूलाई नागरिकता दिन मिल्छ कि मिल्दैन भन्ने विषयमा केन्द्रित छ।
  पत्नीले परपुरुषसँग करणी गरेको आरोपमा आधारित मुद्दाको संक्षिप्त विवरण खोज	यस मुद्दामा, वादीले प्रतिवादीहरूले जारी गरेको आरोप लगाएका छन्, जसमा प्रतिवादीहरूले वादीको पत्नीसँग करणी गरेको दावी गरिएको छ। मुद्दाको मुख्य प्रश्न यो हो कि प्रतिवादीहरूले जारी गरेको प्रमाणित हुन्छ कि हुँदैन।

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

nepali_legal_query_para

• Dataset: nepali_legal_query_para at 19ecb97
• Size: 1,460 evaluation samples
• Columns: query and passage
• Approximate statistics based on the first 1000 samples:

  	query	passage
  type	string	string
  details	min: 6 tokens mean: 30.16 tokens max: 183 tokens	min: 11 tokens mean: 105.97 tokens max: 512 tokens

• Samples:

  query	passage
  पुनरावेदन गर्न पाउने कानुनी उपचारको बाटो हुँदाहुँदै असाधारण अधिकार क्षेत्रमा प्रवेश गरेको हुनाले रिट निवेदन खारेज हुने ठहरेको मुद्दा।	अदालतले निवेदकलाई पुनरावेदन गर्न पाउने कानुनी उपचारको बाटो हुँदाहुँदै सो उपयोग नगरी असाधारण अधिकार क्षेत्रमा प्रवेश गरेको हुनाले रिट निवेदनमा माग बमोजिम आदेश जारी गर्न नमिल्ने ठहर गर्यो। रिट निवेदन खारेज हुने निर्णय भयो।
  अ मुलुकी ऐन, न्याय प्रशासन ऐन, प्रमाण ऐन र लेनदेन व्यवहारसँग सम्बन्धित कानूनी प्रावधानहरूको व्याख्या र प्रयोग भएका मुद्दाहरू खोज्नुहोस्।	यस ऐनको दफा ९(१) (क) बमोजिम पुनरावेदन अदालत, पाटनको फैसला उपर सर्वोच्च अदालतमा पुनरावेदन गरिएको छ। अ.वं. ७२ नं. अनुसार एउटै फिरादमा धेरै दावीहरू समावेश गर्न नमिल्ने भन्ने पुनरावेदकको जिकिरलाई अदालतले अस्वीकार गरेको छ। अ.वं. १८० नं. बमोजिम फिराद खारेज गर्नुपर्ने पुनरावेदकको जिकिरलाई अदालतले अस्वीकार गरेको छ। अ.वं. १८४, १८५ नं. को कानूनी व्याख्याको सवालमा पुनरावेदकको जिकिर रहेको। प्रमाण ऐन, ०३१ को दफा ५४ को विपरित फैसला भएको भन्ने पुनरावेदकको भनाई रहेको। लेनदेन व्यवहारको ४० नं. को म्याद भित्र प्रस्तुत फिराद परेको छैन भन्ने पुनरावेदकको भनाई रहेको। लेनदेन व्यवहारको २ नं. यसमा लाग्न सक्ने होइन भन्ने पुनरावेदकको भनाई रहेको।
  अदालतको विश्लेषणमा, प्रशासनिक निकायले कसैलाई शान्ति सुरक्षाको लागि उपस्थित गराउनुलाई तारेख मान्न नमिल्ने अवस्थाको कानुनी आधार खोज्नुहोस्।	अदालतले अञ्चलाधीश कार्यालयले निवेदकलाई तारेखमा राखेको भन्ने कुरा खण्डित भएको ठहर गरेको छ। तारेख पर्चा पेश नभएको र शान्ति सुरक्षाको लागि उपस्थित गराएकोलाई मात्र तारेखमा राखिएको भन्न नमिल्ने अदालतको विश्लेषण छ। कुनै हक हनन नभएकोले रिट निवेदन खारेज हुने ठहर छ।

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• learning_rate: 3e-05
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	similarity_validation_spearman_cosine
0.0685	200	0.0621	-	-
0.1369	400	0.0467	-	-
0.2054	600	0.0349	-	-
0.2739	800	0.0849	-	-
0.3423	1000	0.1015	-	-
0.4108	1200	0.0668	-	-
0.4793	1400	0.0854	-	-
0.5478	1600	0.071	-	-
0.6162	1800	0.0479	-	-
0.6333	1850	-	0.0421	nan
0.6847	2000	0.0463	-	-
0.7532	2200	0.0488	-	-
0.8216	2400	0.056	-	-
0.8901	2600	0.0322	-	-
0.9586	2800	0.041	-	-
1.0270	3000	0.0197	-	-
1.0955	3200	0.0291	-	-
1.1640	3400	0.0268	-	-
1.2325	3600	0.0314	-	-
1.2667	3700	-	0.0366	nan
1.3009	3800	0.0139	-	-
1.3694	4000	0.0386	-	-
1.4379	4200	0.0124	-	-
1.5063	4400	0.0265	-	-
1.5748	4600	0.0128	-	-
1.6433	4800	0.0263	-	-
1.7117	5000	0.0282	-	-
1.7802	5200	0.0149	-	-
1.8487	5400	0.0126	-	-
1.9000	5550	-	0.0365	nan
1.9172	5600	0.031	-	-
1.9856	5800	0.0217	-	-
2.0541	6000	0.0131	-	-
2.1226	6200	0.0089	-	-
2.1910	6400	0.0099	-	-
2.2595	6600	0.0095	-	-
2.3280	6800	0.0098	-	-
2.3964	7000	0.0109	-	-
2.4649	7200	0.0107	-	-
2.5334	7400	0.0063	0.0323	nan
2.6018	7600	0.0154	-	-
2.6703	7800	0.0162	-	-
2.7388	8000	0.0155	-	-
2.8073	8200	0.0054	-	-
2.8757	8400	0.0095	-	-
2.9442	8600	0.0109	-	-
3.0127	8800	0.013	-	-
3.0811	9000	0.0058	-	-
3.1496	9200	0.0037	-	-
3.1667	9250	-	0.0178	nan
3.2181	9400	0.0036	-	-
3.2865	9600	0.0108	-	-
3.3550	9800	0.0114	-	-
3.4235	10000	0.0149	-	-
3.4920	10200	0.0062	-	-
3.5604	10400	0.0131	-	-
3.6289	10600	0.0076	-	-
3.6974	10800	0.0083	-	-
3.7658	11000	0.003	-	-
3.8001	11100	-	0.0201	nan
3.8343	11200	0.0017	-	-
3.9028	11400	0.0012	-	-
3.9712	11600	0.0109	-	-

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 3.4.1
• Transformers: 4.51.1
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}