nepali-legal-e5-finetuned

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the nepali_legal_qa dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
  • Language: nep
  • License: apache-2.0

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ritesh-07/nepali-legal-e5-finetuned")
# Run inference
sentences = [
    'query: ऐनको दफा ९४ मा उल्लेख भए बमोजिम कार्यालयको अधिकार र काम के हो?',
    'passage: कार्यालयलाई रोजगारदाता, व्यवस्थापकीय स्तरको श्रम, वा उद्यमको अन्य श्रमबाट आवश्यक विषयमा जानकारी वा सूचना प्राप्त गर्ने अधिकार छ। यसले रोजगारदाता, व्यवस्थापकीय स्तरको श्रमिक वा अन्य श्रमिकलाई उपस्थित हुन बोलाउन पनि सक्छ। साथै कार्यालयले यस ऐन अन्तर्गत बनेको कुनै कार्यलाई तुरुन्त सच्याउन आवश्यक निर्देशन दिन सक्नेछ ',
    'passage: दिईएको पाठ अनुसार "विदेशी मुद्रामा रहेको सम्पत्ति" भन्नाले नेपाली रुपैयाँ बाहेक विदेशी मुद्रामा रहेको कुनै पनि सम्पत्ति सम्झनु पर्छ।',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.6637, -0.0652],
#         [ 0.6637,  1.0000, -0.0505],
#         [-0.0652, -0.0505,  1.0000]])

Evaluation

Metrics

Information Retrieval

Metric Value
cosine_accuracy@1 0.7559
cosine_accuracy@3 0.9007
cosine_accuracy@5 0.9326
cosine_accuracy@10 0.9599
cosine_precision@1 0.7559
cosine_precision@3 0.3002
cosine_precision@5 0.1865
cosine_precision@10 0.096
cosine_recall@1 0.7559
cosine_recall@3 0.9007
cosine_recall@5 0.9326
cosine_recall@10 0.9599
cosine_ndcg@10 0.8647
cosine_mrr@10 0.8335
cosine_map@100 0.8353

Training Details

Training Dataset

nepali_legal_qa

  • Dataset: nepali_legal_qa at 0fd9cca
  • Size: 9,882 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 10 tokens
    • mean: 21.23 tokens
    • max: 68 tokens
    • min: 7 tokens
    • mean: 48.1 tokens
    • max: 256 tokens
  • Samples:
    anchor positive
    query: अनुमति नलिइकन व्यक्तिगत जानकारी कहिले संकलन गर्न सकिन्छ? passage: निम्न परिस्थितिमा सहमति नलिई व्यक्तिगत जानकारी सङ्कलन गर्न सकिन्छ: यदि व्यक्तिगत जानकारी त्यस्तो अधिकारीले सङ्कलन गरेको सोही कानून बमोजिम अख्तियार प्रयोग गरी सङ्कलन गरेको हो भने, त्यस्तो सूचना सङ्कलन गर्ने व्यवस्था भएमा प्रचलित कानून बमोजिमको अधिकारी, अनुसन्धान, फौजदारी अपराधको अभियोग वा अदालती कारबाही वा कानूनको प्रवर्तन अन्तर्गत कारबाहीको क्रममा सङ्कलन भएमा वा कुनै संस्था वा सार्वजनिक निकायले जानकारी सङ्कलन गर्ने, राख्ने वा गर्न लागेको व्यक्तिले यस्तो शरीरको कुनै पनि पद होस्।
    query: के राष्ट्र बैंकले मर्जर वा एक्विजिसनको आवेदन अस्वीकार गर्न सक्छ? passage: हो, राष्ट्र बैंकले मर्जर वा एक्विजिसनको लागि गरेको निवेदन उपयुक्त नभएमा अस्वीकार गर्न सक्छ। राष्ट्र बैंकले त्यसको कारण सहित सम्बन्धित बैंक वा वित्तीय संस्थालाई सूचित गर्नेछ।
    query: प्रवेशपत्रको उद्देश्य के हो? passage: प्रवेशपत्रको उद्देश्य भनेको अनुसन्धानको सम्बन्धमा खोजी र जफत गर्ने उद्देश्यले अधिकृत व्यक्तिहरूको आवास वा सम्पत्तिमा प्रवेश गरेको कागजात बनाउनु हो।
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false
    }
    

Evaluation Dataset

nepali_legal_qa

  • Dataset: nepali_legal_qa at 0fd9cca
  • Size: 1,098 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 10 tokens
    • mean: 21.32 tokens
    • max: 64 tokens
    • min: 11 tokens
    • mean: 46.08 tokens
    • max: 256 tokens
  • Samples:
    anchor positive
    query: ऐन बमोजिम दण्डनीय अपराधको सम्बन्धमा बरामद गरिएको सामान लिलामी गर्ने प्रक्रिया के हो? passage: ऐन बमोजिम सजाय हुने अपराधको सम्बन्धमा जफत गरिएका सामान वा वस्तुहरू जसमा खिया लाग्ने, भाँच्ने वा क्षय हुने सम्भावना छ वा जसको कुनै मालिक छैन, प्रचलित कानूनमा उल्लेख भएबमोजिम प्रक्रिया पूरा गरी लिलामी गर्न सकिनेछ।
    query: विभागको लिखित अधिकार बिना विभागका अधिकारीले ऐनको दफा ८२ बमोजिमको अधिकार प्रयोग गर्न सक्छ? passage: होइन, ऐनको दफा ८२(२) बमोजिम कुनै पनि अधिकारीले उपदफा (१) मा उल्लिखित अधिकारहरू विभागबाट लिखित अधिकार नलिई प्रयोग गर्न पाउने छैन।
    query: प्रतिनिधि सभाको संरचना के हो? passage: प्रतिनिधि सभामा देहायबमोजिम कुल दुई सय पचहत्तर सदस्य रहनेछन्: (क) पहिलो विगतको निर्वाचन प्रणालीबाट निर्वाचित हुने एक सय पैंसठ सदस्य, एक भूगोल र जनसङ्ख्याका आधारमा छुट्याइएका एक सय ६५ निर्वाचन क्षेत्रका प्रत्येक निर्वाचन क्षेत्रबाट निर्वाचित हुने र (ख) राजनीतिक दललाई मतदाताले मतदान गर्ने समानुपातिक निर्वाचन प्रणालीबाट एक सय १० सदस्य निर्वाचित हुने । पूरै देशलाई एउटै निर्वाचन क्षेत्रका रूपमा लिइएको छ।
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • gradient_accumulation_steps: 4
  • learning_rate: 1e-05
  • lr_scheduler_type: cosine
  • warmup_ratio: 0.1
  • fp16: True
  • remove_unused_columns: False
  • load_best_model_at_end: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 8
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 4
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: None
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: False
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss Validation Loss nepali_legal_ir_eval_cosine_ndcg@10
0.3236 100 0.197 - -
0.6472 200 0.0107 - -
0.9709 300 0.0118 - -
1.2945 400 0.0042 - -
1.6181 500 0.0035 0.0081 0.8647
1.9417 600 0.0031 - -
2.2654 700 0.0013 - -
2.5890 800 0.0014 - -
2.9126 900 0.002 - -
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.12.12
  • Sentence Transformers: 5.2.1
  • Transformers: 4.57.6
  • PyTorch: 2.9.0+cu126
  • Accelerate: 1.12.0
  • Datasets: 4.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
5
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ritesh-07/nepali-legal-e5-finetuned

Finetuned
(169)
this model

Dataset used to train ritesh-07/nepali-legal-e5-finetuned

Papers for ritesh-07/nepali-legal-e5-finetuned

Evaluation results