WesleySAlves's picture
Upload fine-tuned e5-hazmat model
039d1d7 verified
|
Raw
History Blame Contribute Delete
27.4 kB
---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- dense
- generated_from_trainer
- dataset_size:8498
- loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-base
widget:
- source_sentence: 'query: Lusan Creme Alisante Suave Profissional 220g O caminho
para o cabelo perfeito requer cuidados especiais, e hoje você pode conseguir essa
mudança com a ajuda da Lisahair.
Livre de crueldade
Este produto é feito sem machucar nenhum animal.'
sentences:
- 'query: Porta Talher E Utensiios Inox Escorredor Garfo Concha Porta Talher e Utensiios
Inox Escorredor Garfo Concha Cozinha
Este Porta Talher e Utensiios Inox Escorredor Garfo Concha Cozinha é exatamente
o que você precisa. Um produto belo, prático, durável e que facilitará muito a
sua rotina.
Produzido com material durável e de ótima qualidade, este Porta Ta'
- "query: Jogo Balança Sapo Matemática Equilíbrio Brinquedo Educativo A Balança\
\ Divertida Numérica Sapo Sapinho Matemática Educativo é um jogo de tabuleiro\
\ educativo que proporciona diversão e aprendizado para crianças a partir de 5\
\ anos. Com o tema de sapos e matemática, o jogo estimula o raciocínio lógico\
\ e o desenvolvimento das habilidades numéricas dos pequenos. \n"
- 'query: Frigideira antiaderente de granito Cubestutensil, frigideira de 10 camadas'
- source_sentence: 'query: Tapete Sala 2,0x3,0 Azul Marinho Antiderrapante Macio Apolo
Tapete Sala 2,0x3,0 Azul Marinho Antiderrapante Macio Apolo
DESCRIÇÃO
Tapetes são acessórios de decoração que vestem os cômodos, deixando-os mais aconchegantes
e bonitos. Com os nossos tapetes você poderá desfrutar de momentos mais confortáveis.
Dono de grande maciez e elaborado para oferecer uma '
sentences:
- 'query: Alisante Plastia Liso Definitiva Alisa3x Mais Afro 2x1000ml Alisante Plastia
Liso Definitiva Alisa3x Mais Afro 2x1000ml
Selagem orgânica, escovas profissionais.
Tratamento de alto desempenho que proporciona alisamento extremo aos fios, alisa
3x mais e também cabelos afros. Pode ser utilizada em todos os tipos de cabelo.
Contém blends de aminoácidos. Possui'
- 'query: Protetor solar Sallve Protetor Solar Facial FPS60 Toque Seco Com Cor en
creme'
- "query: Cinto Couro Feminino Country Trabalhado Que Troca De Fivela CINTO UNISSEX\n\
\nCinto produzido em couro legítimo, idealizando qualidade e beleza.\n\n\nCARACTERÍSTICAS:\n\
\ Produzido em couro legítimo bovino, de qualidade e durabilidade incomparáveis;\n\
\ Cinto confeccionado em apenas uma tira de couro costurado, garantindo assim\
\ muita flexibilidade;\n Fivela trabalhada;\n "
- source_sentence: "query: Carregador USB Lelo Sona 2 Travel Clitoris Mini Sucker\
\ Purple Lelo Sona 2 Travel Mini Clitoral Sucker \n \n Prepare-se para embarcar\
\ em sua próxima grande aventura com o SONA™ 2 Travel como acompanhante. Este\
\ mini vibrador, com seu formato elegante e discreto, chegou para ajudá-lo imediatamente\
\ a ter um orgasmo onde quer que esteja, para que você possa desfrutar"
sentences:
- 'query: Suplemento en polpa Xymogen Ácido Fólico'
- 'query: Hair Spray Pacinos Extra Forte 400ml Cabelo Fixação'
- 'query: Luminária mata inseto Correia Ecom Repelente Mata Mosquito Led Uv Eletrônico
Insetos'
- source_sentence: 'query: Tinta Esmalte Extra Acetinado 225ml Branco Renner Extra
Esmalte possui fórmula com teor reduzido de solventes (VOC - compostos orgânicos
voláteis). Protege as superfícies e proporciona acabamento brilhante, acetinado
ou fosco. Contém silicone, facilitando a limpeza e reduzindo a aderência de sujeira.
Oferece ótimo rendimento, excelente cobertura e '
sentences:
- 'query: Revestimentodescontaminante VonixxPremium Desengraxante Limpador'
- 'query: Tinta spray esmalte Acuario Acuario -'
- 'query: Boneca Angelina Loira + Boneca Angelina Negra Com Acessórios Uma amizade
fiel
A partir de hoje, toda criança será acompanhada por alguém incondicional, capaz
de transformar o mundo em um lugar encantador.
Personagens inesquecíveis
Com Boneca angelina loira + boneca angelina negra com acessórios, as experiências
das crianças serão incríveis! Seu design favore'
- source_sentence: 'query: Tinta Esmalte Sintético Brilhante Glasu! 3,6l Cores Cor
Verde Colonial ESMALTE SINTÉTICO STANDARD GLASU! (ANTERIORMENTE CHAMADO DE GLASURIT).
Indicado para pintura de superfícies de madeira, metal, alumínio e galvanizados,
para ambientes internos e externos. É um produto de fácil aplicação, secagem rápida,
bom alastramento e boa aderência.
CARACTERÍSTICAS
- Secagem m'
sentences:
- 'query: Extintor de incêndio industrial móvel, Mxkfi-003, 68kg, Classe A, b, c'
- 'query: Travesseiro Nativa Serena'
- 'query: Conjunto térmico para camiseta de bebê, calças de algodão, 50 GB, cor
branca, tamanho 12 meses'
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy
- cosine_accuracy_threshold
- cosine_f1
- cosine_f1_threshold
- cosine_precision
- cosine_recall
- cosine_ap
- cosine_mcc
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-base
results:
- task:
type: binary-classification
name: Binary Classification
dataset:
name: hazmat eval
type: hazmat-eval
metrics:
- type: cosine_accuracy
value: 0.8566666666666667
name: Cosine Accuracy
- type: cosine_accuracy_threshold
value: 0.8463509678840637
name: Cosine Accuracy Threshold
- type: cosine_f1
value: 0.8491228070175437
name: Cosine F1
- type: cosine_f1_threshold
value: 0.8463509678840637
name: Cosine F1 Threshold
- type: cosine_precision
value: 0.8962962962962963
name: Cosine Precision
- type: cosine_recall
value: 0.8066666666666666
name: Cosine Recall
- type: cosine_ap
value: 0.9343418382109772
name: Cosine Ap
- type: cosine_mcc
value: 0.7169269748849046
name: Cosine Mcc
---
# SentenceTransformer based on intfloat/multilingual-e5-base
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision 835193815a3936a24a0ee7dc9e3d48c1fbb19c55 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("WesleySAlves/e5-hazmat-classifier")
# Run inference
sentences = [
'query: Tinta Esmalte Sintético Brilhante Glasu! 3,6l Cores Cor Verde Colonial ESMALTE SINTÉTICO STANDARD GLASU! (ANTERIORMENTE CHAMADO DE GLASURIT).\n\nIndicado para pintura de superfícies de madeira, metal, alumínio e galvanizados, para ambientes internos e externos. É um produto de fácil aplicação, secagem rápida, bom alastramento e boa aderência.\n\nCARACTERÍSTICAS\n- Secagem m',
'query: Extintor de incêndio industrial móvel, Mxkfi-003, 68kg, Classe A, b, c',
'query: Travesseiro Nativa Serena',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9624, 0.8195],
# [0.9624, 1.0000, 0.7870],
# [0.8195, 0.7870, 1.0000]])
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Binary Classification
* Dataset: `hazmat-eval`
* Evaluated with [<code>BinaryClassificationEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.BinaryClassificationEvaluator)
| Metric | Value |
|:--------------------------|:-----------|
| cosine_accuracy | 0.8567 |
| cosine_accuracy_threshold | 0.8464 |
| cosine_f1 | 0.8491 |
| cosine_f1_threshold | 0.8464 |
| cosine_precision | 0.8963 |
| cosine_recall | 0.8067 |
| **cosine_ap** | **0.9343** |
| cosine_mcc | 0.7169 |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 8,498 training samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 1000 samples:
| | anchor | positive |
|:--------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 10 tokens</li><li>mean: 50.14 tokens</li><li>max: 140 tokens</li></ul> | <ul><li>min: 9 tokens</li><li>mean: 52.57 tokens</li><li>max: 161 tokens</li></ul> |
* Samples:
| anchor | positive |
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>query: Gerador de cloro para piscina ATClor Gerador 3em1</code> | <code>query: Adesivo Chevrolet Adesivo</code> |
| <code>query: Cinto Chacal Cinto de couro</code> | <code>query: Taca De Cristal Soda P/ Agua Elisabeth 350ml Azul 6 Peças</code> |
| <code>query: Boneca de pelúcia Capivara com Chef Grande Boneca macia e macia marrom claro Boneca Capivara Soft Chef Capivara Material de enchimento: algodão PP <br> Faixa etária aplicável: 0+ <br> Cor: marrom <br> Tamanho: 30CM <br> Embalagem: 1 x pelúcia <br> <br> *Especificidades: * <br> - Primeira qualidade: nossos bichos de pelúcia capycho são feitos de materiais cuidadosamente selecionados com excelente desempenho, preenchidos com algodã</code> | <code>query: Webcam Webcam Microfone USB PC Windows Mac Zoom Você não precisa mais se preocupar se o seu PC não tiver uma câmera. Este dispositivo Zoomy fornece a qualidade de imagem e os recursos de que você precisa para se comunicar de forma fácil e eficaz em realidade virtual.</code> |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 500 evaluation samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 500 samples:
| | anchor | positive |
|:--------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 11 tokens</li><li>mean: 48.39 tokens</li><li>max: 131 tokens</li></ul> | <ul><li>min: 9 tokens</li><li>mean: 52.09 tokens</li><li>max: 134 tokens</li></ul> |
* Samples:
| anchor | positive |
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>query: Gerador de cloro para piscina ATClor Gerador 3em1</code> | <code>query: Adesivo Chevrolet Adesivo</code> |
| <code>query: Cinto Chacal Cinto de couro</code> | <code>query: Taca De Cristal Soda P/ Agua Elisabeth 350ml Azul 6 Peças</code> |
| <code>query: Boneca de pelúcia Capivara com Chef Grande Boneca macia e macia marrom claro Boneca Capivara Soft Chef Capivara Material de enchimento: algodão PP <br> Faixa etária aplicável: 0+ <br> Cor: marrom <br> Tamanho: 30CM <br> Embalagem: 1 x pelúcia <br> <br> *Especificidades: * <br> - Primeira qualidade: nossos bichos de pelúcia capycho são feitos de materiais cuidadosamente selecionados com excelente desempenho, preenchidos com algodã</code> | <code>query: Webcam Webcam Microfone USB PC Windows Mac Zoom Você não precisa mais se preocupar se o seu PC não tiver uma câmera. Este dispositivo Zoomy fornece a qualidade de imagem e os recursos de que você precisa para se comunicar de forma fácil e eficaz em realidade virtual.</code> |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 64
- `learning_rate`: 2e-05
- `num_train_epochs`: 5
- `warmup_steps`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 64
- `per_device_eval_batch_size`: 8
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 5
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: None
- `warmup_ratio`: None
- `warmup_steps`: 0.1
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `enable_jit_checkpoint`: False
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `use_cpu`: False
- `seed`: 42
- `data_seed`: None
- `bf16`: False
- `fp16`: True
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: -1
- `ddp_backend`: None
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `parallelism_config`: None
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `group_by_length`: False
- `length_column_name`: length
- `project`: huggingface
- `trackio_space_id`: trackio
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `hub_revision`: None
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `auto_find_batch_size`: False
- `full_determinism`: False
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `include_num_input_tokens_seen`: no
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `liger_kernel_config`: None
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: True
- `use_cache`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional
- `router_mapping`: {}
- `learning_rate_mapping`: {}
</details>
### Training Logs
| Epoch | Step | Training Loss | Validation Loss | hazmat-eval_cosine_ap |
|:-------:|:-------:|:-------------:|:---------------:|:---------------------:|
| 0.3759 | 50 | 4.1700 | - | - |
| 0.7519 | 100 | 4.0818 | - | - |
| 1.0 | 133 | - | 1.7933 | 0.9210 |
| 1.1278 | 150 | 3.8759 | - | - |
| 1.5038 | 200 | 3.8106 | - | - |
| 1.8797 | 250 | 3.7647 | - | - |
| **2.0** | **266** | **-** | **1.6138** | **0.9411** |
| 2.2556 | 300 | 3.6884 | - | - |
| 2.6316 | 350 | 3.6794 | - | - |
| 3.0 | 399 | - | 1.5537 | 0.9284 |
| 3.0075 | 400 | 3.6409 | - | - |
| 3.3835 | 450 | 3.6014 | - | - |
| 3.7594 | 500 | 3.5970 | - | - |
| 4.0 | 532 | - | 1.5148 | 0.9298 |
| 4.1353 | 550 | 3.5763 | - | - |
| 4.5113 | 600 | 3.5623 | - | - |
| 4.8872 | 650 | 3.5422 | - | - |
| 5.0 | 665 | - | 1.4926 | 0.9343 |
* The bold row denotes the saved checkpoint.
### Framework Versions
- Python: 3.12.13
- Sentence Transformers: 5.3.0
- Transformers: 5.0.0
- PyTorch: 2.10.0+cu128
- Accelerate: 1.13.0
- Datasets: 4.0.0
- Tokenizers: 0.22.2
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->