multilingual-e5-large trained on TripLegal-CL Legal Spanish.

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the trip_legal-cl dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
  • Language: es
  • License: apache-2.0

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/multilingual-e5-large-es-legal-300k-v3")
# Run inference
queries = [
    "\u00bfBajo qu\u00e9 fundamentos y normativas la Sala de Admisi\u00f3n de la Corte Constitucional admiti\u00f3 a tr\u00e1mite la acci\u00f3n de inconstitucionalidad N.\u00ba 59-22-IN contra el art\u00edculo 54 de la Ley Org\u00e1nica de Desarrollo Econ\u00f3mico y Sostenibilidad Fiscal tras la pandemia COVID-19?",
]
documents = [
    'La Sala de Admisión de la Corte Constitucional, en su auto de 15 de septiembre de 2022, resolvió admitir a trámite la causa N.º 59-22-IN, al considerar que la demanda de inconstitucionalidad interpuesta por ZAIMELLA DEL ECUADOR SOCIEDAD ANÓNIMA cumplía con los requisitos legales para su procedencia. Se verificó que la demanda fue interpuesta de manera oportuna, conforme lo habilita el artículo 78.1 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC), que permite la presentación de estas acciones en cualquier momento por razones de contenido. Además, la Sala determinó que los argumentos expuestos por el accionante, relativos a la vulneración de los principios de igualdad, no discriminación, equidad tributaria, incentivos a la producción nacional y comercio justo, eran claros, determinados, específicos y pertinentes en relación con las normas constitucionales que se consideraban infringidas, tal como lo exigen los artículos 77 y 78 de la LOGJCC.',
    'La Tercera Sala de lo Civil y Mercantil de la Corte Suprema de Justicia rechazó el recurso de casación en el juicio ejecutivo N° 27-2006, interpuesto por Amparo Mercedes Romero Murrieta contra Esther Marlene Beltrán Baquerizo, basándose en el artículo 2 de la Codificación de la Ley de Casación. Este artículo establece que el recurso de casación procede contra sentencias y autos que pongan fin a procesos de conocimiento, y no contra aquellos dictados en juicios ejecutivos. La Sala citó doctrina de autores como Caravantes y Francisco Beceña para diferenciar los procesos de conocimiento de los ejecutivos, señalando que estos últimos no buscan declarar derechos dudosos, sino ejecutar los ya reconocidos por títulos con fuerza suficiente. Se recordó que la legislación ecuatoriana, tras una reforma inspirada en un veto presidencial, incluyó explícitamente la frase "de conocimiento" en el artículo 2, limitando la casación a dichos procesos. Además, se mencionó que en los juicios ejecutivos la cosa juzgada no es definitiva, ya que el deudor puede iniciar vía ordinaria, lo que refuerza la naturaleza no casable de estas resoluciones. Por lo tanto, el recurso extraordinario de casación no era aplicable a un juicio ejecutivo.',
    'El derecho a recurrir un fallo judicial se fundamenta en garantías procesales básicas, como la establecida en el artículo 8 de la Convención Interamericana sobre Derechos Humanos, que consagra el derecho de toda persona inculpada de un delito a que se presuma su inocencia y, durante el proceso, a gozar de garantías mínimas, incluyendo el "derecho de recurrir del fallo ante juez o tribunal superior". De manera concordante, la Constitución de la República del Ecuador, en su artículo 169, establece que el sistema procesal es un medio para la realización de la justicia, promoviendo principios como la eficacia y las garantías del debido proceso. El artículo 76, numeral 7, literal m) de la Constitución ecuatoriana refuerza esta garantía como parte del derecho a la defensa, coincidiendo con la jurisprudencia de la Corte Interamericana de Derechos Humanos, que señala que impugnar un fallo busca proteger el derecho de defensa al permitir la revisión de decisiones que puedan contener errores perjudiciales. Sin embargo, este derecho no es ilimitado; el artículo 652 del Código Orgánico Integral Penal (COIP) establece que la impugnación se regirá por las reglas específicas del Código, disponiendo que las sentencias, resoluciones o autos definitivos solo serán impugnables en los casos y formas expresamente determinados, limitando así el ejercicio de este derecho a los parámetros legales fijados.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7146, -0.0363,  0.1301]])

Evaluation

Metrics

Information Retrieval

Metric legal-spanish-e5-eval-50kq-80kd legal-spanish-eval-30kq-50kd
cosine_accuracy@1 0.9365 0.9515
cosine_accuracy@3 0.9716 0.9791
cosine_accuracy@5 0.9806 0.986
cosine_accuracy@10 0.9887 0.9927
cosine_precision@1 0.9365 0.9515
cosine_precision@3 0.3239 0.3264
cosine_precision@5 0.1961 0.1972
cosine_precision@10 0.0989 0.0993
cosine_recall@1 0.9365 0.9515
cosine_recall@3 0.9716 0.9791
cosine_recall@5 0.9806 0.986
cosine_recall@10 0.9887 0.9927
cosine_ndcg@10 0.9638 0.973
cosine_mrr@10 0.9557 0.9666
cosine_map@100 0.9562 0.9669

Training Details

Training Dataset

trip_legal-cl

  • Dataset: trip_legal-cl at fa72982
  • Size: 300,000 training samples
  • Columns: query and pos
  • Approximate statistics based on the first 1000 samples:
    query pos
    type string string
    details
    • min: 26 tokens
    • mean: 52.62 tokens
    • max: 107 tokens
    • min: 63 tokens
    • mean: 234.57 tokens
    • max: 458 tokens
  • Samples:
    query pos
    ¿Por qué la Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión? La Primera Sala de la Suprema Corte de Justicia de la Nación declaró infundado el recurso de reclamación 456/2019, confirmando el desechamiento del recurso de revisión, al determinar que los agravios presentados por Manuel Contreras Ramos no combatían las razones del acuerdo de presidencia recurrido. El acuerdo de desechamiento se basó en la inexistencia de una cuestión propiamente constitucional, mientras que los agravios del recurrente se enfocaron en demostrar la importancia y trascendencia del asunto, sin desvirtuar la falta de un tema de constitucionalidad. La Sala aplicó la tesis 1a. XXXVI/2018 (10a.) para señalar que los agravios que no desvirtúan la inexistencia de una cuestión constitucional son inoperantes, y que la falta de un tema de constitucionalidad es suficiente para confirmar el desechamiento.
    ¿Es constitucionalmente válido que un tribunal arbitral, en el marco de un conflicto económico laboral en el sector estatal, ejerza el control difuso de normas, y cómo lo abordó la Corte Suprema en la apelación Nº 33979-2023? La Corte Suprema, en su decisión sobre la apelación Nº 33979-2023, afirmó la validez constitucional del ejercicio del control difuso por parte de los tribunales arbitrales. Citando el artículo 139 de la Constitución Política del Perú, que reconoce la jurisdicción arbitral como excepción a la exclusividad de la justicia estatal, la Corte señaló que los órganos arbitrales deben adherirse a las normas legales y a los derechos fundamentales. Hizo referencia a la jurisprudencia del Tribunal Constitucional, específicamente los Expedientes Nº 6167-2005-PHC/TC y Nº 00142-2011-PA/TC, que establecen que los tribunales arbitrales, ante una incompatibilidad entre una norma constitucional y una legal aplicable al caso, deben preferir la norma constitucional. La Corte concluyó que el tribunal arbitral en este caso ejerció el control difuso conforme a sus facultades constitucionales y a la ley, desestimando así el agravio del apelante.
    ¿Cuál fue la razón principal por la que la Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP presentada por SCTGLOBAL Soluciones Contables y Tributarias Cía. Ltda. contra las decisiones de la Unidad Judicial Civil de Quito? La Corte Constitucional inadmitió la acción extraordinaria de protección N.° 3028-22-EP debido a que la compañía accionante no cumplió con los requisitos de admisibilidad establecidos en el artículo 62 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC). Específicamente, en relación con los cargos sobre la vulneración del derecho a recurrir y la libertad de contratación, la Corte determinó que la accionante solo demostró su inconformidad con la decisión y el trámite del pago de honorarios, sin presentar un argumento jurídico completo que identificara la justificación de la supuesta vulneración. Respecto al cargo de falta de motivación, la Corte consideró que no existía un argumento mínimamente completo que permitiera identificar la supuesta falta de motivación, sino una mixtura de vicios motivacionales. Por lo tanto, la demanda incumplió el número 1 del artículo 62 de la LOGJCC, al no existir un argumento claro sobre el derecho violado y su relación inmed...
  • Loss: CachedMultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "mini_batch_size": 16,
        "gather_across_devices": false
    }
    

Evaluation Dataset

trip_legal-cl

  • Dataset: trip_legal-cl at fa72982
  • Size: 50,000 evaluation samples
  • Columns: query and pos
  • Approximate statistics based on the first 1000 samples:
    query pos
    type string string
    details
    • min: 29 tokens
    • mean: 52.99 tokens
    • max: 105 tokens
    • min: 92 tokens
    • mean: 239.62 tokens
    • max: 512 tokens
  • Samples:
    query pos
    ¿Cuáles fueron las razones específicas por las que la Sala Especializada de lo Penal de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134? La Sala Especializada de lo Penal, Penal Militar, Penal Policial y Tránsito de la Corte Nacional de Justicia declaró inadmisible el recurso de casación interpuesto por César Alfonso Chuquitarco Allauca en el caso No. 05282-2016-00134 debido a que el escrito de interposición no cumplió con los requisitos formales y técnicos exigidos para este tipo de recurso extraordinario. Específicamente, el recurrente no identificó la causal de casación bajo la cual fundamentaba su impugnación, ni presentó un razonamiento jurídico que demostrara la infracción de la ley. Además, se evidenció que el recurrente pretendía una nueva revisión de hechos y una revaloración de la prueba, lo cual está expresamente prohibido en la casación según el artículo 656, inciso segundo, del Código Orgánico Integral Penal (COIP). La Sala determinó que los argumentos no fueron expuestos de manera técnica, autónoma, taxativa y suficiente, ni se indicó cómo se transgredió la norma legal ni la influencia del error en la deci...
    ¿Qué acción legal interpuso Nelson Maza Obando tras el auto de sobreseimiento a favor de Fausto Javier Albán Gallo y cuál fue la decisión de la Sala Penal de la Corte Provincial de Justicia de Pichincha al respecto? Tras el auto de sobreseimiento dictado el 2 de mayo de 2019 a favor de Fausto Javier Albán Gallo, Nelson Maza Obando, en calidad de procurador judicial de Franco Agustín Ordóñez Godoy, interpuso un recurso de apelación contra dicho auto. La Sala Penal de la Corte Provincial de Justicia de Pichincha, mediante resolución del 3 de julio de 2019, aceptó el recurso de apelación y dictó un auto de llamamiento a juicio en contra de Fausto Javier Albán Gallo por el delito de hurto.
    ¿Qué argumentos utilizó el accionante para sostener que la disposición general tercera de la Ley para el Fomento Productivo afectaba el derecho a la seguridad jurídica y qué efecto solicitó para la declaratoria de inconstitucionalidad? El accionante, Rubén Alfonso Cuesta Domínguez, argumentó que la disposición general tercera de la Ley para el Fomento Productivo vulneraba el derecho a la seguridad jurídica al desconocer las características de previsibilidad y estabilidad del ordenamiento jurídico. Sostuvo que los trabajadores carecían de certeza sobre qué normativa se aplicaría para el cálculo de sus utilidades, y que existía una modificación expresa de las reglas para ejercicios fiscales anteriores a la expedición de la norma. Según su criterio, esto afectaba de manera grave e irreparable situaciones jurídicas consolidadas de trabajadores que reclamaban utilidades de años previos a 2018. Por esta razón, el accionante consideró "imperativo que la declaratoria de inconstitucionalidad" tuviera "efecto retroactivo", buscando así restablecer las condiciones jurídicas previas a la vigencia de la norma impugnada y asegurar el pago de las utilidades adeudadas.
  • Loss: CachedMultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "mini_batch_size": 16,
        "gather_across_devices": false
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 128
  • per_device_eval_batch_size: 128
  • learning_rate: 2e-05
  • num_train_epochs: 1
  • warmup_ratio: 0.03
  • warmup_steps: 0.03
  • fp16: True
  • prompts: {'query': 'query: ', 'pos': 'passage: '}
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 128
  • per_device_eval_batch_size: 128
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_ratio: 0.03
  • warmup_steps: 0.03
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • enable_jit_checkpoint: False
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • use_cpu: False
  • seed: 42
  • data_seed: None
  • bf16: False
  • fp16: True
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: -1
  • ddp_backend: None
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • auto_find_batch_size: False
  • full_determinism: False
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • use_cache: False
  • prompts: {'query': 'query: ', 'pos': 'passage: '}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss legal-spanish-e5-eval-50kq-80kd_cosine_ndcg@10 legal-spanish-eval-30kq-50kd_cosine_ndcg@10
-1 -1 - - 0.8535 -
0.0085 20 2.5365 - - -
0.0171 40 0.3805 - - -
0.0256 60 0.0485 - - -
0.0341 80 0.0279 - - -
0.0427 100 0.0236 0.0163 0.9400 -
0.0512 120 0.0244 - - -
0.0597 140 0.0189 - - -
0.0683 160 0.0171 - - -
0.0768 180 0.0186 - - -
0.0853 200 0.0130 0.0120 0.9470 -
0.0939 220 0.0158 - - -
0.1024 240 0.0151 - - -
0.1109 260 0.0199 - - -
0.1195 280 0.0126 - - -
0.1280 300 0.0117 0.0117 0.9487 -
0.1365 320 0.0159 - - -
0.1451 340 0.0133 - - -
0.1536 360 0.0141 - - -
0.1621 380 0.0133 - - -
0.1706 400 0.0203 0.0107 0.9514 -
0.1792 420 0.0130 - - -
0.1877 440 0.0135 - - -
0.1962 460 0.0098 - - -
0.2048 480 0.0139 - - -
0.2133 500 0.0142 0.0095 0.9520 -
0.2218 520 0.0090 - - -
0.2304 540 0.0098 - - -
0.2389 560 0.0110 - - -
0.2474 580 0.0090 - - -
0.2560 600 0.0132 0.0089 0.9544 -
0.2645 620 0.0084 - - -
0.2730 640 0.0091 - - -
0.2816 660 0.0101 - - -
0.2901 680 0.0098 - - -
0.2986 700 0.0114 0.0086 0.9547 -
0.3072 720 0.0128 - - -
0.3157 740 0.0093 - - -
0.3242 760 0.0124 - - -
0.3328 780 0.0075 - - -
0.3413 800 0.0058 0.0077 0.9573 -
0.3498 820 0.0084 - - -
0.3584 840 0.0087 - - -
0.3669 860 0.0100 - - -
0.3754 880 0.0122 - - -
0.3840 900 0.0085 0.0075 0.9568 -
0.3925 920 0.0081 - - -
0.4010 940 0.0081 - - -
0.4096 960 0.0082 - - -
0.4181 980 0.0108 - - -
0.4266 1000 0.0105 0.0069 0.9597 -
0.4352 1020 0.0079 - - -
0.4437 1040 0.0101 - - -
0.4522 1060 0.0055 - - -
0.4608 1080 0.0086 - - -
0.4693 1100 0.0068 0.0069 0.9594 -
0.4778 1120 0.0071 - - -
0.4863 1140 0.0069 - - -
0.4949 1160 0.0110 - - -
0.5034 1180 0.0076 - - -
0.5119 1200 0.0092 0.0068 0.9592 -
0.5205 1220 0.0062 - - -
0.5290 1240 0.0117 - - -
0.5375 1260 0.0084 - - -
0.5461 1280 0.0110 - - -
0.5546 1300 0.0076 0.0064 0.9609 -
0.5631 1320 0.0076 - - -
0.5717 1340 0.0090 - - -
0.5802 1360 0.0086 - - -
0.5887 1380 0.0060 - - -
0.5973 1400 0.0086 0.0062 0.9609 -
0.6058 1420 0.0045 - - -
0.6143 1440 0.0063 - - -
0.6229 1460 0.0092 - - -
0.6314 1480 0.0070 - - -
0.6399 1500 0.0060 0.0061 0.9599 -
0.6485 1520 0.0067 - - -
0.6570 1540 0.0078 - - -
0.6655 1560 0.0074 - - -
0.6741 1580 0.0062 - - -
0.6826 1600 0.0078 0.0055 0.9620 -
0.6911 1620 0.0068 - - -
0.6997 1640 0.0065 - - -
0.7082 1660 0.0064 - - -
0.7167 1680 0.0080 - - -
0.7253 1700 0.0060 0.0055 0.9620 -
0.7338 1720 0.0061 - - -
0.7423 1740 0.0049 - - -
0.7509 1760 0.0060 - - -
0.7594 1780 0.0062 - - -
0.7679 1800 0.0074 0.0054 0.9634 -
0.7765 1820 0.0069 - - -
0.7850 1840 0.0084 - - -
0.7935 1860 0.0062 - - -
0.8020 1880 0.0072 - - -
0.8106 1900 0.0054 0.0054 0.9626 -
0.8191 1920 0.0089 - - -
0.8276 1940 0.0069 - - -
0.8362 1960 0.0045 - - -
0.8447 1980 0.0075 - - -
0.8532 2000 0.0065 0.0052 0.9638 -
0.8618 2020 0.0091 - - -
0.8703 2040 0.0055 - - -
0.8788 2060 0.0053 - - -
0.8874 2080 0.0077 - - -
0.8959 2100 0.0067 0.0052 0.9634 -
0.9044 2120 0.0052 - - -
0.9130 2140 0.0064 - - -
0.9215 2160 0.0064 - - -
0.9300 2180 0.0065 - - -
0.9386 2200 0.0077 0.0051 0.9635 -
0.9471 2220 0.0063 - - -
0.9556 2240 0.0073 - - -
0.9642 2260 0.0044 - - -
0.9727 2280 0.0070 - - -
0.9812 2300 0.0066 0.0050 0.9637 -
0.9898 2320 0.0049 - - -
0.9983 2340 0.0058 - - -
-1 -1 - - 0.9638 0.9730

Framework Versions

  • Python: 3.12.12
  • Sentence Transformers: 5.2.2
  • Transformers: 5.1.0
  • PyTorch: 2.9.0+cu128
  • Accelerate: 1.12.0
  • Datasets: 4.5.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
Downloads last month
-
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for wilfredomartel/multilingual-e5-TripLegalCL-300k

Finetuned
(175)
this model

Papers for wilfredomartel/multilingual-e5-TripLegalCL-300k

Evaluation results

  • Cosine Accuracy@1 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.936
  • Cosine Accuracy@3 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.972
  • Cosine Accuracy@5 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.981
  • Cosine Accuracy@10 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.989
  • Cosine Precision@1 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.936
  • Cosine Precision@3 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.324
  • Cosine Precision@5 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.196
  • Cosine Precision@10 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.099
  • Cosine Recall@1 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.936
  • Cosine Recall@3 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.972
  • Cosine Recall@5 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.981
  • Cosine Recall@10 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.989
  • Cosine Ndcg@10 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.964
  • Cosine Mrr@10 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.956
  • Cosine Map@100 on legal spanish e5 eval 50kq 80kd
    self-reported
    0.956
  • Cosine Accuracy@1 on legal spanish eval 30kq 50kd
    self-reported
    0.952
  • Cosine Accuracy@3 on legal spanish eval 30kq 50kd
    self-reported
    0.979
  • Cosine Accuracy@5 on legal spanish eval 30kq 50kd
    self-reported
    0.986
  • Cosine Accuracy@10 on legal spanish eval 30kq 50kd
    self-reported
    0.993
  • Cosine Precision@1 on legal spanish eval 30kq 50kd
    self-reported
    0.952