guipa01/best-telos-model

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Você atende na Unidade de Saúde Familiar um homem de 45 anos, solteiro, motorista de camião, que veio ao consultório para exame de rotina. Ele relata que não faz exercício físico devido aos seus horários irregulares e que a sua dieta inclui principalmente carnes vermelhas, ovos e fritos, uma vez que costuma comer frequentemente em restaurantes de beira de estrada. Nega tabagismo. Nega dor torácica, cefaleias, tonturas ou outros sintomas. Não possui antecedentes de doença cardiovascular. O pai faleceu recentemente por AVC aos 77 anos. Pesa 110kg, tem 1,70m de altura e perímetro abdominal de 103cm. Ao avaliá-lo, constata TA = 140/90 mmHg e FC = 98 bpm. Sem outras alterações ao exame físico. Ele retorna com o mesmo nível tensional e as análises laboratoriais solicitadas mostram colesterol total = 220 mg/dL; HDL-c = 50 mg/dL; triglicerídeos = 150 mg/dL; glicemia em jejum = 80 mg/dL e creatinina = 0,8. O risco ASCVD foi de 2,8%. Em relação ao quadro e perfil lipídico deste doente, qual é a proposta terapêutica mais adequada até posterior reavaliação clínica?',
    'Orientar dieta e atividade física.',
    'Prescrever fibrato isoladamente.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4082, 0.2864],
#         [0.4082, 1.0000, 0.4301],
#         [0.2864, 0.4301, 1.0000]])

Evaluation

Metrics

Information Retrieval

• Datasets: RAG_Benchmark and Vigilante-Medico
• Evaluated with InformationRetrievalEvaluator

Metric	RAG_Benchmark	Vigilante-Medico
cosine_accuracy@1	0.5	0.1759
cosine_accuracy@3	0.68	0.2731
cosine_accuracy@5	0.78	0.3287
cosine_accuracy@10	0.84	0.4352
cosine_precision@1	0.5	0.1759
cosine_precision@3	0.2267	0.091
cosine_precision@5	0.156	0.0657
cosine_precision@10	0.084	0.0435
cosine_recall@1	0.5	0.1759
cosine_recall@3	0.68	0.2731
cosine_recall@5	0.78	0.3287
cosine_recall@10	0.84	0.4352
cosine_ndcg@10	0.6643	0.2909
cosine_mrr@10	0.6086	0.2465
cosine_map@100	0.6143	0.261

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,937 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 21 tokens mean: 164.29 tokens max: 256 tokens	min: 3 tokens mean: 30.91 tokens max: 202 tokens	min: 3 tokens mean: 29.83 tokens max: 200 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Mulher, 54 anos, faz acompanhamento na Unidade de Saúde Familiar há seis anos por hipertensão arterial, em uso de losartan 100mg/dia. O seu peso é normal, não fuma e pratica caminhada de 40 minutos durante cinco dias da semana. Os exames de laboratório solicitados, de acordo com as Diretrizes Brasileiras de Hipertensão Arterial, estão normais. Porém, nos últimos três meses, os níveis tensionais estão em elevação. As duas últimas medidas chegaram a 160x100mmHg. O médico optou então por acrescentar um segundo fármaco ao esquema terapêutico. Dos grupos farmacológicos listados e disponíveis na Unidade de Saúde, qual o mais apropriado?	Diuréticos tiazídicos (hidroclorotiazida)	Betabloqueadores (atenolol)
  Menino, 4 anos, comparece à Unidade de Saúde Familiar com encaminhamento da escola, devido a dificuldade em comunicar e interagir com outras crianças. A escola refere também agressividade quando é contrariado. Durante a consulta, os pais referem agitação e têm a sensação de ele não se concentrar, nem para assistir a desenhos animados. A família relata que ele apresenta interesse por poucos brinquedos, normalmente os mesmos, e que aprendeu a fazer contas de somar recentemente, mas lê os números desde os 2 anos de idade. Qual a hipótese diagnóstica mais provável?	Perturbação do Espetro do Autismo	Não há nenhuma perturbação, o comportamento é o esperado para a idade.
  “A Política Nacional de Humanização (PNH) deve estar inserida em todas as políticas e programas do SUS. A PNH busca transformar as relações de trabalho a partir da ampliação do grau de contacto e da comunicação entre as pessoas e grupos, tirando-os do isolamento e das relações de poder hierarquizadas; reconhecer que as diferentes especialidades e práticas de saúde podem conversar com a experiência daquele que é assistido. Juntos, esses saberes podem produzir saúde de forma mais corresponsável”. O texto acima refere-se a qual princípio da Política Nacional de Humanização?	Transversalidade	Clínica ampliada e partilhada

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	RAG_Benchmark_cosine_ndcg@10	Vigilante-Medico_cosine_ndcg@10
-1	-1	0.6643	-
0.4115	100	-	0.2909

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.2
• Transformers: 5.0.0
• PyTorch: 2.9.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}