RamsesDIIP/me5-large-construction-adapter-v2

Multilingual E5 Large with Linear Adapter for Construction Terms

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
  (linear_adapter): MyLinearAdapter(
    (linear): Linear(in_features=1024, out_features=1024, bias=True)
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-adapter-v2")
# Run inference
sentences = [
    'Pavimento de loseta para paso de peatones de color con tacos de 20x20x4 cm, colocado a pique de maceta con mortero mixto 1:2:10 y lechada de color con cemento blanco de albañilería, en entorno urbano sin dificultad de movilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de 1 a 10 m2',
    'Pavimento de baldosas para zonas peatonales de color, con piezas de 20x20x4 cm, instalado a nivel de la maceta utilizando mortero en proporción 1:2:10 y lechada de color con cemento blanco, en un área urbana con accesibilidad adecuada, en aceras de más de 3 y hasta 5 m de ancho o en calzadas/plataformas únicas de más de 7 y hasta 12 m de ancho, sin interferencias de servicios o mobiliario urbano, en proyectos de entre 1 y 10 m2.',
    'Pavimento de loseta para áreas recreativas de color con tacos de 30x30x5 cm, instalado a nivel de césped con mortero de alta resistencia y lechada de color con cemento gris, en entorno rural con acceso restringido, en senderos > 2 y <= 4 m de ancho o caminos de tierra > 5 y <= 10 m de ancho, con afectación por servicios de jardinería y elementos decorativos, en proyectos de 5 a 15 m2.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	1.0
dot_accuracy	0.0057
manhattan_accuracy	1.0
euclidean_accuracy	1.0
max_accuracy	1.0

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,412 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 25 tokens mean: 106.15 tokens max: 317 tokens	min: 24 tokens mean: 102.11 tokens max: 282 tokens	min: 20 tokens mean: 86.67 tokens max: 265 tokens

• Samples:

  anchor	positive	negative
  Valla de brezo con puntas recortadas, de calidad extra nacional, de 130 cm de altura, colocada con grapas sobre valla existente accesible desde el suelo, en entorno urbano con dificultad de mobilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de más de100 m	Cerca de brezo de calidad superior, de 130 cm de altura, instalada con grapas sobre una valla ya existente, en un área urbana con limitaciones de movilidad, en aceras de entre 3 y 5 m de ancho o en calzadas de 7 a 12 m de ancho, sin interferencias de servicios o mobiliario urbano, en proyectos que superen los 100 m.	Valla de madera tratada, de 150 cm de altura, instalada con tornillos sobre una base de hormigón, en un entorno rural con fácil acceso, en caminos de más de 5 m de ancho, sin interferencias de vegetación o estructuras cercanas, en proyectos de menos de 50 m.
  De zanjas y pozos de cimentación, con hormigón autocompactante HA - 35 / AC - E1 / 12 / IIa + Qb, tamaño máximo del árido 12 mm, con >= 350 kg/m3 de cemento, aditivo superplastificante, apto para clase de exposición IIa+Qb, colocado desde camión	Excavación de cimientos y pozos, utilizando hormigón autocompactante HA - 35 / AC - E1 / 12 / IIa + Qb, con un tamaño máximo de árido de 12 mm, conteniendo al menos 350 kg/m3 de cemento y un aditivo superplastificante, adecuado para la clase de exposición IIa+Qb, vertido directamente desde el camión.	De zanjas y pozos de cimentación, con hormigón convencional de resistencia 25 MPa, tamaño máximo del árido 20 mm, con 250 kg/m3 de cemento, sin aditivos, apto para clase de exposición I, colocado manualmente.
  Pavimento de losa de hormigón para pavimentos de 40x40 cm y 7 cm de espesor, de forma cuadrado, textura rugosa, precio superior, sobre lecho de arena de 3 cm de espesor, con relleno de juntas con arena fina y compactación del pavimento acabado	Losas de concreto de 40x40 cm y 7 cm de grosor, con superficie rugosa, instaladas sobre una base de arena de 3 cm, con juntas rellenadas con arena fina y compactación final del pavimento.	Pavimento de cerámica para baldosas de 30x30 cm y 1 cm de espesor, de forma rectangular, textura lisa, precio inferior, sobre base de grava de 5 cm de espesor, con sellado de juntas con silicona y acabado pulido del suelo.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 0.5
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 176 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 176 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 29 tokens mean: 107.48 tokens max: 317 tokens	min: 30 tokens mean: 103.39 tokens max: 254 tokens	min: 27 tokens mean: 88.36 tokens max: 216 tokens

• Samples:

  anchor	positive	negative
  Hormigonado para muro, con hormigón para armar con aditivo hidrófugo HA - 35 / F / 20 / XC4 + XF1 + XA3 con una cantidad de cemento de 350 kg/m3 i relación agua cemento =< 0.45, colocado con cubilote	Colocación de hormigón para muros, utilizando mezcla de hormigón con aditivo impermeabilizante HA - 35 / F / 20 / XC4 + XF1 + XA3, con una dosificación de cemento de 350 kg/m3 y una relación agua-cemento menor o igual a 0.45, vertido con cubilote.	Hormigonado para pavimento, utilizando mezcla de asfalto con aditivo antideslizante AC - 20 / B / 15 / XA2 + XF2 + XA1 con una cantidad de betún de 250 kg/m3 y relación betún agregado =< 0.50, aplicado con rodillo.
  Pavimento de 20 cm de espesorhormigón con fibras HAF-30/A-3-3/F/12-60/IIb+F, tamaño máximo del árido 12 mm, con >= 325 kg/m3 de cemento y entre 30 y 35 kg/m3 de fibras de acero conformadas en extremos, apto para clase de exposición IIb+F, extendido con transporte interior mecánico eléctrico, tendido y vibrado mecánico, fratasado mecánico añadiendo 4 kg/m2 de polvo de cuarzo gris	Losa de hormigón de 20 cm de grosor, reforzada con fibras HAF-30/A-3-3/F/12-60/IIb+F, con un tamaño máximo de árido de 12 mm, que contiene al menos 325 kg/m3 de cemento y entre 30 y 35 kg/m3 de fibras de acero en los extremos, adecuada para la clase de exposición IIb+F, aplicada mediante transporte mecánico eléctrico, colocación y vibrado mecánico, y acabado mecánico con 4 kg/m2 de polvo de cuarzo gris.	Pavimento de 15 cm de espesor de asfalto modificado con polímeros, tamaño máximo del árido 10 mm, con >= 300 kg/m3 de betún y entre 25 y 30 kg/m3 de aditivos, apto para clase de exposición I, extendido con transporte manual, tendido y compactado manualmente, acabado con una capa de sellador.
  Cable de fibra óptica para uso exterior, con 2 fibras de tipo monomodo de designación G.652.D, estructura interna multitubo (estructura holgada), relleno de gel hidrófugo, elemento de refuerzo de fibra de vidrio, con cubierta de polietileno, armadura metálica de protección anti-roedores, clase de reacción al fuego Eca según la norma UNE-EN 50575, instalado	Cable de fibra óptica exterior, compuesto por 2 fibras monomodo G.652.D, con diseño multitubo, relleno de gel resistente al agua, refuerzo de fibra de vidrio, revestido en polietileno y protegido con armadura metálica contra roedores, cumpliendo con la clase de reacción al fuego Eca según la norma UNE-EN 50575, instalado.	Cable de fibra óptica para uso interior, con 4 fibras de tipo multimodo de designación OM3, estructura interna de tubo único (estructura apretada), relleno de espuma, elemento de refuerzo de acero, con cubierta de PVC, sin armadura, clase de reacción al fuego B2ca según la norma UNE-EN 50575, en proceso de instalación.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 0.5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	validation-set_max_accuracy
0.8475	200	0.1416	0.0302	0.9943
1.6949	400	0.0148	0.0148	1.0
2.5424	600	0.0047	0.0127	1.0
3.0	708	-	-	1.0

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}