RamsesDIIP/me5-large-construction-esp-cat-v2

Multilingual E5 Large trained with triplet loss

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-esp-cat-v2")
# Run inference
sentences = [
    "query: Paret divisòria per a interior de panell de fusta contralaminada de 150 mm de gruix formada per 5 capes de fusta d'avet C24, encolades amb adhesiu sense urea-formaldehíde amb la disposició transversal de la fusta en les dues cares del panell, amb tractament hidròfug, amb acabat superficial tipus habitatge en les dues cares amb fusta d'avet roig amb fusta de Làrix europeu envernissat en l'altre en l'altre col·locat amb fixacions mecàniques, desolidarització del suport amb banda resilient de cautxú EPDM extruït, fixada amb grapes; unió entre panells encadellat fixats amb cargols d'acer i segellat de la cara interior dels junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat de la cara exterior amb cinta autoadhessiva de polietilè amb adhesiu acrílic sense dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat, prèvia aplicació d'imprimació incolora a base d' una dispersió acrílica sense dissolvents; resolució de traves amb cargols d'acer; fixació de panells amb elements d'acer galvanitzat",
    "passage: Paret separadora per a interiors de panell de fusta contralaminada de 150 mm de gruix composta per 5 capes de fusta d'avet C24, encolades amb adhesiu sense urea-formaldehíde, amb la disposició transversal de la fusta a les dues cares del panell, tractada per a resistència a la humitat, amb acabat superficial de tipus residencial en ambdues cares amb fusta d'avet roig i fusta de Làrix europeu envernissat a l'altre costat, instal·lada amb fixacions mecàniques, desolidarització del suport mitjançant banda resilient de cautxú EPDM extruït, fixada amb grapes; unió entre panells encadenada amb cargols d'acer i segellat de la cara interior dels junts amb cinta adhesiva de goma butílica, amb armadura de polièster i segellat de la cara exterior amb cinta autoadhesiva de polietilè amb adhesiu acrílic sense dissolvents, amb armadura de polietilè i pel·lícula de separació de paper siliconat, després d'aplicar una imprimació incolora a base d'una dispersió acrílica sense dissolvents; resolució de traves amb cargols d'acer; fixació de panells amb elements d'acer galvanitzat.",
    "passage: Paret divisòria per a exterior de panell de fusta massissa de 200 mm de gruix formada per 3 capes de fusta de pi, encolades amb adhesiu amb urea-formaldehíde amb la disposició longitudinal de la fusta en una sola cara del panell, sense tractament hidròfug, amb acabat superficial tipus industrial en una sola cara amb fusta de pi blanc, col·locat amb soldadura, unió entre panells amb encaix fixats amb cargols de plàstic i segellat de la cara interior dels junts amb cinta adhesiva de polipropilè, amb armadura de fibra de vidre i segellat de la cara exterior amb cinta de tela amb adhesiu de cautxú, amb armadura de fibra de vidre i pel·lícula de separació de plàstic, prèvia aplicació d'imprimació colorida a base d'una dispersió aquosa; resolució de traves amb cargols de plàstic; fixació de panells amb elements de plàstic reciclable.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.881
dot_accuracy	0.119
manhattan_accuracy	0.8801
euclidean_accuracy	0.881
max_accuracy	0.881

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	1.0
dot_accuracy	0.0
manhattan_accuracy	1.0
euclidean_accuracy	1.0
max_accuracy	1.0

Triplet

• Dataset: test-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	1.0
dot_accuracy	0.0
manhattan_accuracy	1.0
euclidean_accuracy	1.0
max_accuracy	1.0

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 10,590 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 28 tokens mean: 111.15 tokens max: 320 tokens	min: 28 tokens mean: 108.5 tokens max: 316 tokens	min: 23 tokens mean: 101.87 tokens max: 303 tokens

• Samples:

  anchor	positive	negative
  query: Filtre per a tub de 65 mm de diàmetre nominal, de 25 bar de pressió màxima de servei, cilíndric, amb portafiltres de 6" de diàmetre i muntat entre tubs	passage: Filtre per a tub de 65 mm de diàmetre nominal, amb una pressió màxima de 25 bar, de forma cilíndrica, equipat amb un portafiltres de 6" de diàmetre i instal·lat entre les canonades.	passage: Filtre per a tub de 50 mm de diàmetre nominal, de 20 bar de pressió màxima de servei, rectangular, amb portafiltres de 4" de diàmetre i instal·lat en línia amb vàlvules.
  query: Radiador de fosa de 24 elements amb 3 columnes, de 725 mm d'alçària màxima, per a aigua calenta de 6 bar i 110 °C, com a màxim i amb suport per a anar encastat, amb valvuleria termostabilitzable per a sistema monotubular i purgador automàtic	passage: Radiador de fosa de 24 elements amb 3 columnes, d'una alçària màxima de 725 mm, dissenyat per a aigua calenta a 6 bar i 110 °C, amb suport per a instal·lar encastat, incloent valvuleria termostabilitzable per a sistema monotubular i purgador automàtic.	passage: Radiador de fosa de 20 elements amb 4 columnes, de 600 mm d'alçària mínima, per a aigua freda de 4 bar i 80 °C, com a mínim i amb suport per a instal·lar a la paret, amb valvuleria manual per a sistema bitubular i purgador manual.
  query: Tanca per a espais públics de perfils de fusta tractada tornejats de disposició horitzontal i vertical, de 975 a 1075 mm d'alçària amb estructura de muntants de fusta tractada, encastada al suport amb daus de formigó, en entorn urbà sense dificultat de mobilitat, en voreres > 3 i <= 5 m d'amplària o calçada/plataforma única > 7 i <= 12 m d'amplària, amb afectació per serveis o elements de mobiliari urbà, en actuacions de més de 100 m	passage: Tanca per a zones públiques amb perfils de fusta tractada, dissenyada tant en posició horitzontal com vertical, amb una alçària que varia entre 975 i 1075 mm, suportada per muntants de fusta tractada fixats a la base amb blocs de formigó, adequada per a entorns urbans amb mobilitat accessible, en voreres d'amplada entre 3 i 5 m o en calçades/plataformes d'amplada entre 7 i 12 m, tenint en compte la presència de serveis o mobiliari urbà, per a projectes que superin els 100 m.	passage: Tanca per a espais privats de perfils de metall galvanitzat amb disposició vertical i horitzontal, de 800 a 1000 mm d'alçària amb estructura de muntants de metall, fixada al sòl amb fonaments de formigó, en entorn rural amb dificultats de mobilitat, en camins > 2 i <= 4 m d'amplària o carreteres/plataformes > 5 i <= 10 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de menys de 50 m.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 10,590 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 16 tokens mean: 111.13 tokens max: 341 tokens	min: 16 tokens mean: 108.44 tokens max: 310 tokens	min: 16 tokens mean: 102.0 tokens max: 331 tokens

• Samples:

  anchor	positive	negative
  query: Tubo de aluminio extrusionado de 76 mm de diámetro, para señales de tráfico, colocada, en entorno urbano sin dificultad de movilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de más de100 m	passage: Tubo de aluminio extruido de 76 mm de diámetro, destinado a señales viales, instalado en áreas urbanas con fácil acceso, en aceras de hasta 3 m de ancho o en calzadas/plataformas de hasta 7 m de ancho, considerando la interferencia de servicios o mobiliario urbano, en proyectos que superen los 100 m.	passage: Tubo de acero galvanizado de 80 mm de diámetro, para estructuras temporales, instalado en área rural con restricciones de acceso, en caminos <= 4 m de ancho o terrenos de servicio <= 8 m de ancho, sin interferencia de servicios o elementos de infraestructura, en proyectos de menos de 50 m.
  query: Pavimento de losa de hormigón para pavimentos de 40x40 cm y 8 cm de espesor, de forma cuadrado, textura pétrea, precio alto, sobre lecho de arena de 5 cm de espesor, con relleno de juntas con arena fina y compactación del pavimento acabado, en entorno urbano con dificultad de mobilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, con afectación por servicios o elementos de mobiliario urbano, en actuaciones de hasta 1 m2	passage: Losas de concreto de 40x40 cm y 8 cm de grosor, con acabado rugoso, instaladas sobre una base de arena de 5 cm, con juntas rellenadas con arena fina y compactación final, en áreas urbanas con acceso limitado, en aceras de entre 3 y 5 m de ancho o calzadas de 7 a 12 m de ancho, considerando la interferencia de servicios y mobiliario urbano, en proyectos de hasta 1 m2.	passage: Pavimento de losa de cerámica para pavimentos de 30x30 cm y 1 cm de espesor, de forma rectangular, textura lisa, precio bajo, sobre base de grava de 2 cm de espesor, con sellado de juntas con silicona y nivelación del pavimento terminado, en entorno rural con fácil acceso, en caminos > 1 y <= 3 m de ancho o senderos/plataformas individuales > 5 y <= 7 m de ancho, sin afectación por servicios o elementos de mobiliario rural, en actuaciones de hasta 2 m2.
  query: Reducción concéntrica de polietileno PE 100, fabricación manipulada, diámetro nominal DN 225 - DN 160, presión nominal PN 10 (SDR 17), para unión por soldadura a tope, de acuerdo con la norma UNE-EN 12201-3 y colocado en el fondo de la zanja en entorno urbano sin dificultad de movilidad, sin afectación por presencia de servicios en la zanja, con presencia de entibación	passage: Reducción concéntrica de polietileno PE 100, fabricada a medida, con diámetros nominales DN 225 - DN 160, presión nominal PN 10 (SDR 17), diseñada para unión por soldadura a tope, cumpliendo con la norma UNE-EN 12201-3 y colocada en el fondo de la zanja en un entorno urbano, garantizando fácil acceso y sin interferencias por servicios existentes, con soporte de entibación.	passage: Reducción excéntrica de polietileno PE 80, fabricación estándar, diámetro nominal DN 200 - DN 125, presión nominal PN 6 (SDR 21), para unión por soldadura eléctrica, de acuerdo con la norma UNE-EN 12201-2 y colocado en la parte superior de la zanja en entorno rural con dificultad de movilidad, con afectación por presencia de servicios en la zanja, sin necesidad de entibación.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 4e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 4e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	validation-set_max_accuracy	test-set_max_accuracy
0	0	-	-	0.8810	-
0.1416	200	0.341	0.0055	1.0	-
0.2833	400	0.0079	0.0060	0.9991	-
0.4249	600	0.005	0.0020	1.0	-
0.5666	800	0.0013	0.0063	0.9981	-
0.7082	1000	0.0048	0.0044	0.9991	-
0.8499	1200	0.003	0.0048	1.0	-
0.9915	1400	0.013	0.0034	1.0	-
1.1331	1600	0.0135	0.0021	1.0	-
1.2748	1800	0.0063	0.0038	1.0	-
1.4164	2000	0.0066	0.0026	0.9991	-
1.5581	2200	0.0016	0.0027	0.9991	-
1.6997	2400	0.0013	0.0008	1.0	-
1.8414	2600	0.0034	0.0017	1.0	-
1.9830	2800	0.0045	0.0016	1.0	-
2.1246	3000	0.001	0.0004	1.0	-
2.2663	3200	0.0033	0.0009	1.0	-
2.4079	3400	0.0013	0.0019	0.9991	-
2.5496	3600	0.0009	0.0005	1.0	-
2.6912	3800	0.0023	0.0019	1.0	-
2.8329	4000	0.0012	0.0026	1.0	-
2.9745	4200	0.0003	0.0005	1.0	-
3.1161	4400	0.0021	0.0017	1.0	-
3.2578	4600	0.0012	0.0076	0.9991	-
3.3994	4800	0.0006	0.0004	1.0	-
3.5411	5000	0.0002	0.0010	1.0	-
3.6827	5200	0.0003	0.0010	1.0	-
3.8244	5400	0.0012	0.0013	1.0	-
3.9660	5600	0.0004	0.0011	1.0	-
4.1076	5800	0.0001	0.0029	1.0	-
4.2493	6000	0.0001	0.0016	1.0	-
4.3909	6200	0.0002	0.0042	1.0	-
4.5326	6400	0.0001	0.0033	1.0	-
4.6742	6600	0.0003	0.0015	1.0	-
4.8159	6800	0.0001	0.0009	1.0	-
4.9575	7000	0.0001	0.0002	1.0	-
5.0992	7200	1.6191	2.4829	0.6893	-
5.2408	7400	2.4855	2.4829	0.5921	-
5.3824	7600	2.484	2.4829	0.6308	-
5.5241	7800	2.4877	2.4829	0.5005	-
5.6657	8000	2.4875	2.4829	0.5137	-
5.8074	8200	2.479	2.4829	0.5024	-
5.9490	8400	2.5288	2.4165	0.6789	-
6.0907	8600	2.5154	2.4829	0.4476	-
6.2323	8800	2.4743	2.4829	0.4920	-
6.3739	9000	2.476	2.4829	0.4589	-
6.5156	9200	2.4589	2.4829	0.4259	-
6.6572	9400	2.4584	2.4829	0.4117	-
6.7989	9600	2.4546	2.4829	0.4287	-
6.9405	9800	2.4623	2.4829	0.4410	-
7.0822	10000	2.4525	2.4829	0.4429	-
7.2238	10200	2.4396	2.4829	0.4514	-
7.3654	10400	2.422	2.4829	0.4570	-
7.5071	10600	2.4302	2.4829	0.4287	-
7.6487	10800	2.3866	2.4829	0.4259	-
7.7904	11000	2.4037	2.4829	0.4353	-
7.9320	11200	2.3875	2.4829	0.4315	-
8.0737	11400	2.3916	2.4829	0.4212	-
8.2153	11600	2.3829	2.4829	0.4079	-
8.3569	11800	2.3571	2.4829	0.4306	-
8.4986	12000	2.3312	2.4829	0.4297	-
8.6402	12200	2.3204	2.4829	0.4032	-
8.7819	12400	2.3304	2.4829	0.4268	-
8.9235	12600	2.3034	2.4829	0.4259	-
9.0652	12800	2.2823	2.4829	0.4070	-
9.2068	13000	2.2553	2.4829	0.4278	-
9.3484	13200	2.2879	2.4829	0.4372	-
9.4901	13400	2.2382	2.4829	0.4278	-
9.6317	13600	2.2388	2.4829	0.4466	-
9.7734	13800	2.2279	2.4829	0.4410	-
9.9150	14000	2.2446	2.4829	0.4551	-
10.0	14120	-	-	1.0	1.0

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}