Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper
• 1908.10084 • Published
• 12
This is a sentence-transformers model finetuned from BAAI/bge-small-en-v1.5. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'Qual é a capacidade de armazenamento padrão do disco rígido dos computadores utilizados no Laboratório de Organização de Computadores e Sistemas Digitais e qual é a velocidade de rotação mínima do disco rígido?',
'Projeto Pedagógico do Curso de Graduação em Ciência da Computação – Bacharelado **MINISTÉRIO DA EDUCAÇÃO**\n**UNIVERSIDADE FEDERAL DA FRONTEIRA SUL – UFFS**\n**PRÓ-REITORIA DE GRADUAÇÃO**\n**DIRETORIA DE PEDAGÓGICA****14.4 Laboratórios****14.4.2 Laboratórios de Organização de Computadores e Sistemas Digitais**O objetivo principal do Laboratório de Organização de Computadores e Sistemas Digitais é dar suporte às atividades teóricas e práticas das disciplinas de circuitos digitais, sistemas digitais, organização de computadores, arquitetura de computadores, linguagens de descrição de hardware (optativa) e tópicos em automação industrial (optativa). Este laboratório deve permitir que o aluno do curso de Ciência da Computação possa desenvolver atividades práticas (experimentos e projetos) envolvendo sistemas digitais, tais como: implementar circuitos combinacionais, implementar circuitos sequenciais, realizar simulações via software de circuitos combinacionais e sequenciais, realizar prototipagem de sistemas digitais em PLDs e FPGAs, além da implementação de circuitos inteligentes através da programação de microcontroladores. Na tabela abaixo são descritos os materiais necessários à implantação e funcionamento do laboratório. | Tabela 14: Descrição dos materiais do laboratório: “Laboratório de Organização de Computadores e Sistemas Digitais” | | |\n|---|---|---|\n| Laboratório de Organização de Computadores e Sistemas Digitais | | |\n| Professor responsável: Luciano Lores Caimi | | |\n| Alunos por turma: 25 | | |\n| Área: 80 m2 | | Localização: Campus Chapecó |\n| Qtd | Descrição | |\n| 19 | Bancada com 1 metro por 2 metros com tomadas (8 tomadas) | |\n| 30 | Cadeira Giratória com rodas | |\n| 3 | Armário (2,0 x 0,8 x 1,80) (L x P x A) | |\n| 1 | Quadro branco | |\n| 30 | Computadores com processador quad-core frequência de 2.2 GHz e FSB 800 MHz ou superior 4 Mb RAM (memória tipo DIMM SDRAM DDR2 ou superior) Disco rígido padrão Serial ATA II com capacidade de armazenamento de 400 Gbytes (ou superior) e rotação 7200 rpm (ou superior) Unidade óptica do tipo DVD-RW Monitor de vídeo LCD com tela de 19 polegadas, tela do tipo Matriz | |\n| | Ativa – TFT LCD, interface digital, dot pitch de 0.264 mm e resolução\ngráfica de 1280 x 1024 à 75 Hz\nTeclado padrão ABNT-2 com interface USB\nMouse óptico com 3 botões, rolagem e interface USB\nInterface de rede Gigabit Ethernet padrão IEEE 802.3x compatível com as\nvelocidades 10/100/1000, para conexão de cabo de par trançado, com\nconectores RJ-45.\nInterface para vídeo com alocação dinâmica de memória, que suporte a\nresolução de 1900 x 1200 com taxa de atualização de 85 Hz e interface\ndigital.\n02 (duas) interfaces para teclado e mouse padrão USB.\n01 (uma) interface serial integrada na placa mãe, com conector de 9 pinos\npadrão.\n04 (quatro) interfaces USB (além das interfaces para mouse e teclado).\nGabinete tool less |\n|---|---|\n| | Ativa – TFT LCD, interface digital, dot pitch de 0.264 mm e resolução gráfica de 1280 x 1024 à 75 Hz Teclado padrão ABNT-2 com interface USB Mouse óptico com 3 botões, rolagem e interface USB Interface de rede Gigabit Ethernet padrão IEEE 802.3x compatível com as velocidades 10/100/1000, para conexão de cabo de par trançado, com conectores RJ-45.',
'| | | |\n| OBJETIVO | | | |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. | | | |\n| REFERÊNCIAS BÁSICAS | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| REFERÊNCIAS COMPLEMENTARES | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX649 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXVII | 2 | 30 |\n| EMENTA | | | |\n| Conteúdo variável respeitando os objetivos mencionados. | | | |\n| OBJETIVO | | | |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. | | | |\n| REFERÊNCIAS BÁSICAS | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| REFERÊNCIAS COMPLEMENTARES | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX650 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXVIII | 2 | 30 |\n| EMENTA | | | |\n| Conteúdo variável respeitando os objetivos mencionados. | | | |\n| OBJETIVO | | | |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. | | | |\n| REFERÊNCIAS BÁSICAS | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| REFERÊNCIAS COMPLEMENTARES | | | |\n| Contemplada no plano da disciplina a ser ministrada. | | | |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX651 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXIX | 2 | 30 |\n| EMENTA | | | |\n| Conteúdo variável respeitando os objetivos mencionados. | | | |\n| OBJETIVO | | | |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. | | | |\n| REFERÊNCIAS BÁSICAS | | | |\n| Contemplada no plano da disciplina a ser ministrada.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
InformationRetrievalEvaluator| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.5895 |
| cosine_accuracy@3 | 0.784 |
| cosine_accuracy@5 | 0.8519 |
| cosine_accuracy@10 | 0.9136 |
| cosine_precision@1 | 0.5895 |
| cosine_precision@3 | 0.2613 |
| cosine_precision@5 | 0.1704 |
| cosine_precision@10 | 0.0914 |
| cosine_recall@1 | 0.5895 |
| cosine_recall@3 | 0.784 |
| cosine_recall@5 | 0.8519 |
| cosine_recall@10 | 0.9136 |
| cosine_ndcg@10 | 0.7532 |
| cosine_mrr@10 | 0.7018 |
| cosine_map@100 | 0.7071 |
| dot_accuracy@1 | 0.5895 |
| dot_accuracy@3 | 0.784 |
| dot_accuracy@5 | 0.8519 |
| dot_accuracy@10 | 0.9136 |
| dot_precision@1 | 0.5895 |
| dot_precision@3 | 0.2613 |
| dot_precision@5 | 0.1704 |
| dot_precision@10 | 0.0914 |
| dot_recall@1 | 0.5895 |
| dot_recall@3 | 0.784 |
| dot_recall@5 | 0.8519 |
| dot_recall@10 | 0.9136 |
| dot_ndcg@10 | 0.7532 |
| dot_mrr@10 | 0.7018 |
| dot_map@100 | 0.7071 |
sentence_0 and sentence_1| sentence_0 | sentence_1 | |
|---|---|---|
| type | string | string |
| details |
|
|
| sentence_0 | sentence_1 |
|---|---|
Qual é a cidade onde a sede da Universidade Federal da Fronteira Sul está localizada? |
MINISTÉRIO DA EDUCAÇÃO |
Qual o número da lei que criou a Universidade Federal da Fronteira Sul? |
MINISTÉRIO DA EDUCAÇÃO |
Qual é o nome do reitor da Universidade Federal da Fronteira Sul (UFFS) e qual cidade é a sede da reitoria da instituição? |
Tem abrangência interestadual com sede na cidade catarinense de Chapecó, trêscampino Rio Grande do Sul – Cerro Largo, Erechim e Passo Fundo – e dois campino Paraná – Laranjeiras do Sul e Realeza. Endereço da Reitoria: |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
eval_strategy: stepsper_device_train_batch_size: 10per_device_eval_batch_size: 10num_train_epochs: 5multi_dataset_batch_sampler: round_robinoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 10per_device_eval_batch_size: 10per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1num_train_epochs: 5max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.0warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Falsehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseeval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseeval_use_gather_object: Falsebatch_sampler: batch_samplermulti_dataset_batch_sampler: round_robin| Epoch | Step | cosine_map@100 |
|---|---|---|
| 1.0 | 33 | 0.5410 |
| 1.5152 | 50 | 0.5947 |
| 2.0 | 66 | 0.6343 |
| 3.0 | 99 | 0.6711 |
| 3.0303 | 100 | 0.6735 |
| 4.0 | 132 | 0.7057 |
| 4.5455 | 150 | 0.7044 |
| 5.0 | 165 | 0.7071 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Base model
BAAI/bge-small-en-v1.5