qnaug/embeddinggemma-300m-vimedical

SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the viet_med_qa dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • viet_med_qa
• Language: vi

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("qnaug/embeddinggemma-300m-medical")
# Run inference
queries = [
    "Hồi hải mã đóng vai trò gì trong việc ghi nhớ, đặc biệt là định hướng đường đi?",
]
documents = [
    'Hồi hải mã là một cấu trúc quan trọng của não bộ, có tác dụng cải thiện khả năng ghi nhớ. Nó chứa các tế bào thần kinh đặc biệt được gọi là tế bào lưới, có vai trò như một tấm bản đồ di động, giúp ghi nhớ những nơi bạn đã đến và con đường bạn đã đi.Trong đó, các ô vị trí giúp xác định vị trí và các ô lưới giúp hình thành mối quan hệ không gian giữa nơi này và nơi khác. Một nghiên cứu ở Anh cho thấy kích thước hồi hải mã của các tài xế taxi lớn hơn nhiều so với người bình thường.Mặc dù hai loại ghi nhớ song song tồn tại, nhưng bộ não mỗi người có xu hướng chỉ thiên về một bên. Một số người giỏi trong việc điều hướng dựa vào các sự vật trên đường đi. Ví dụ, những người này có thể nói “Tôi đến trạm xăng và rẽ phải”. Trong khi đó, có những người có xu hướng dựa vào trí nhớ không gian để định hướng. Họ có thể nói “Tôi sẽ đi 50m về phía bắc, sau đó 50m về phía đông”.Kỹ năng định hướng, đặc biệt là trong việc tìm đường có thể luyện tập. Càng ra ngoài và đi nhiều nơi thì khả năng định hướng sẽ càng tốt. Ngoài ra, bạn cũng nên kết hợp với việc tập thể dục nhằm cải thiện lưu lượng máu đến não hoặc chơi các trò chơi như xếp hình, học một ngôn ngữ mới để kích thích sự phát triển của các tế bào thần kinh mới và tăng cường các kết nối thần kinh.',
    'Phương pháp điều trị tăng tiết mồ hôi tùy thuộc vào nguyên nhân gây bệnh. Vì vậy, việc quan trọng nhất là phải xác định được nguyên nhân gây mồ hôi tiết ra nhiều. Đối với tăng tiết mồ hôi thứ phát do các bệnh lý khác cần được điều trị dứt điểm tình trạng bệnh lý. Đối với tăng tiết mồ hôi nguyên phát do rối loạn thần kinh thực vật có 4 phương pháp điều trị bao gồm:\n2.1 Điều trị nội khoa\nCó 2 loại thuốc được dùng để điều trị chứng mồ hôi tiết ra nhiều đó là thuốc bôi ngoài da và thuốc kháng cholinergic dạng uống:Thuốc bôi: thuốc bôi là cách đơn giản nhất để điều trị chứng ra mồ hôi tiết ra nhiều. Thông thường, các loại thuốc bôi này sẽ chứa các thành phần như muối nhôm clorua, có tác dụng se khít lỗ chân lông khiến mồ hôi không thể thoát ra bên ngoài. Tuy nhiên, do thuốc bôi này chỉ có tác dụng tạm thời và chỉ thích hợp với những vùng da nhỏ như lòng bàn tay, bàn chân và nách nên bạn phải dùng thường xuyên hàng ngày.Thuốc kháng cholinergic: như glycopyrrolate, oxybutynin, propantheline,... có thể giúp làm giảm tiết mồ hôi nhờ tác dụng ức chế hoạt động của hệ thần kinh giao cảm. Thuốc kháng cholinergic có thể gây ra một số tác dụng phụ như: khô miệng, bí tiểu, táo bón, loạn nhịp tim, mờ mắt,... Do đó, bạn chỉ nên sử dụng thuốc theo phác đồ điều trị và hướng dẫn của bác sĩ.\n2.2 Điện di ion\nPhương pháp điện di ion thường được thực hiện để điều trị đổ mồ hôi tay và chân. Khi thực hiện, bạn sẽ được ngâm bàn tay hoặc bàn chân vào một dung dịch điện ly có dòng điện thấp chạy qua khoảng 10 miliampe trong khoảng thời gian từ 20 – 30 phút. Để việc điều trị có hiệu quả cao, bạn cần tiến hành thực hiện điện di ion ít nhất 3 lần/tuần trong tháng đầu tiên, và những tháng tiếp theo có thể giảm tần suất xuống thành 2 – 4 lần/tháng. Phương pháp điện di ion khá an toàn và có thể có hiệu quả trong vòng 6 tháng điều trị, sau đó chứng tình trạng mồ hôi tiết ra nhiều vẫn có thể tái phát. Ngoài ra, bạn cũng cần lưu ý là phương pháp điện di ion không phù hợp dùng cho phụ nữ mang thai, người bệnh động kinh, người có đặt máy tạo nhịp tim,...\n2.3 Tiêm botox\nTiêm botox là một phương pháp thường được sử dụng để điều trị chứng đổ mồ hôi ra nhiều ở lòng bàn tay, bàn chân và nách. Bác sĩ sẽ tiến hành tiêm nhiều mũi botulinum dưới da nhằm ngăn chặn cơ thể giải phóng các chất dẫn truyền thần kinh có thể kích thích tuyến mồ hôi tăng bài tiết. Tuy nhiên, tiêm botox có thể khiến bạn gặp phải một số tác dụng không mong muốn như dị ứng da, buồn nôn, đau đầu, giảm thị lực, sụp mí, bí tiểu, tim đập nhanh,...\n\n\n\nTiêm botox điều trị tăng tiết mồ hôi\n\n\n2.4 Phẫu thuật\nCắt đốt hạch giao cảm là phương án được thực hiện cuối cùng nếu như những phương pháp trên điều trị không có hiệu quả. Khi hạch giao cảm ở ngực bị cắt bỏ, mồ hôi tay chân và nách sẽ không thể tiết ra được nữa. Tuy nhiên, sẽ có biến chứng đồ mồ hôi bù trừ ở các bộ phận khác của cơ thể. Nhìn chung, dù phương pháp này có thể điều trị triệt để nhưng có thể gây ra nhiều biến chứng như dị ứng thuốc gây mê, nhiễm trùng sau mổ, hội chứng Horner gây sụp mí mắt,...Tóm lại, mồ hôi tiết ra là tình trạng sinh lý rất tốt, giúp cơ thể điều hòa nhiệt độ và loại bỏ độc tố ra khỏi cơ thể. Tuy nhiên, mồ hôi tiết ra nhiều có thể là do rối loạn thần kinh thực vật hoặc là triệu chứng của một số bệnh lý như cường giáp, nhiễm độc, rối loạn nội tiết,... Mồ hôi tiết ra nhiều không ảnh hưởng tới sức khỏe nhưng tác động không nhỏ đến cuộc sống và công việc của bạn. Cách điều trị bệnh tăng tiết mồ hôi phụ thuộc vào nguyên nhân gây nên. Tăng tiết mồ hôi thứ phát cần điều trị dứt điểm các bệnh lý mắc phải. Đối với đổ mồ hôi nguyên phát do rối loạn thần kinh thực vật sẽ được điều trị bằng phương pháp đốt hạch giao cảm.Tại Bệnh viện Đa khoa Quốc tế Vinmec điều trị chứng đổ mồ hôi tay chân do rối loạn thần kinh thực vật bằng phương pháp phẫu thuật nội soi cắt đốt hạch giao cảm, nhằm giảm tăng tiết mồ hôi tay chân và được thực hiện bởi bác sĩ giàu kinh nghiệm cùng với các trang thiết bị hiện đại. Người bệnh sẽ được tiến hành sàng lọc trước, phẫu thuật và kiểm tra, theo dõi sau phẫu thuật theo phác đồ điều trị chuẩn Quốc tế. Phẫu thuật trị đổ mồ hôi tay chân bằng phương pháp nội soi ngực đã cho kết quả vượt trội: Có hiệu quả tức thì, phẫu thuật một lần cho tác dụng lâu dài, tính thẩm mỹ cao, an toàn và thời gian nằm viện ngắn. Ưu điểm của phương pháp phẫu thuật nội soi cắt hạch giao cảm là chi phí thấp, thời gian lưu viện ngắn, biểu hiện chân tay khô hơn sau phẫu thuật, sinh hoạt trở lại sớm và thuận tiện cũng như tăng sự tự tin cho người bệnh.',
    'Cần lấy thai nhi ra trong thời gian dưới 10 phút thì gây mê toàn thân gần như là lựa chọn bắt buộc.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.6710, 0.0260, 0.0939]])

Evaluation

Metrics

Information Retrieval

• Datasets: clean-val-only
• Evaluated with InformationRetrievalEvaluator

Metric	Base model (clean)	Fine-tuned (clean)
cosine_accuracy@1	0.4425	0.8471
cosine_accuracy@3	0.6182	0.9328
cosine_accuracy@5	0.6779	0.9544
cosine_accuracy@10	0.7668	0.9772
cosine_precision@1	0.4425	0.8471
cosine_precision@3	0.2061	0.3109
cosine_precision@5	0.1356	0.1909
cosine_precision@10	0.0767	0.0977
cosine_recall@1	0.4425	0.8471
cosine_recall@3	0.6182	0.9328
cosine_recall@5	0.6779	0.9544
cosine_recall@10	0.7668	0.9772
cosine_ndcg@10	0.5994	0.9151
cosine_mrr@10	0.5465	0.8949
cosine_map@100	0.5533	0.8957

Training Details

Training Dataset

viet_med_qa

• Dataset: viet_med_qa at 4d311bd
• Size: 9,590 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 20.09 tokens max: 123 tokens	min: 8 tokens mean: 200.26 tokens max: 1868 tokens

• Samples:

  anchor	positive
  Nguyên nhân gây ra bệnh Wilson là gì?	Nguyên nhân bệnh Wilson là do di truyền gây tích tụ quá nhiều đồng trong cơ thể. Bệnh di truyền gen lặn trên nhiễm sắc thể thường. Điều này có nghĩa là trong bệnh Wilson, cơ thể phải nhận 2 gen ATP7B bất thường (1 từ cha và 1 từ mẹ). Đây là rối loạn di truyền hiếm gặp, chiếm tỷ lệ 1/30.000 người.Ở bệnh Wilson, một phần gen nằm trên nhiễm sắc thể số 13 không hoạt động, (ATP7B). Gen giúp kiểm soát việc thải đồng của tế bào gan vào mật. Tuy nhiên, do lỗi gen không hoạt động được nên đồng bị tích tụ trong tế bào gan, khi lượng đồng vượt quá mức, sẽ tràn vào máu và lắng đọng ở các cơ quan khác của cơ thể (não, mắt và các cơ quan khác).
  Phù bạch mạch là gì và cơ chế bệnh sinh của nó như thế nào?	Phù bạch mạch (bạch mạch còn gọi là mạch bạch huyết) là sự tích tụ bệnh lý của dịch trong mô mềm do hậu quả của việc kém dẫn lưu bạch huyết, dẫn đến viêm, phì đại mô mỡ và xơ hóa. Phù bạch mạch xảy ra do sự tích tụ của dịch ở khoảng kẽ và hệ thống mạch bạch huyết trong da và mô dưới da. Điều này sau đó kích thích các nguyên bào sợi, tế bào sừng và tế bào mỡ, dẫn đến sự lắng đọng collagen và glycosaminoglycans trong da và mô dưới da, dẫn đến phì đại da và phá hủy các sợi đàn hồi.Theo truyền thống, nó được định nghĩa là phù khoảng kẽ và tích tụ protein do khiếm khuyết trong hệ thống dẫn lưu bạch huyết. Những phát hiện gần đây cho thấy nồng độ protein ở khoảng kẽ có thể thấp ở một số type phù bạch mạch.
  Hạ phosphat máu cấp tính có thể xảy ra do những nguyên nhân nào?	Hạ phosphat máu xảy ra khi nồng độ phosphat huyết thanh dưới 2,5 mg/dL. Có nhiều nguyên nhân gây hạ phosphat máu cấp tính như:Toan ceton đái tháo đường;Nghiện rượu cấp tính;Bỏng nặng;Bệnh nhân nuôi dưỡng tĩnh mạch;Hội chứng gặp ở bệnh nhân suy dinh dưỡng kéo dài được nuôi ăn lại;Kiềm hô hấp nặng.Hạ phosphat máu có thể ở dạng cấp tính hoặc mãn tính. Đối với hạ phosphat máu cấp tính, phosphat huyết thanh sẽ giảm xuống dưới 1 mg/dL và thường chồng lấp với hạ phosphat mạn tính.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 4,
      "gather_across_devices": false
  }
  

Evaluation Dataset

viet_med_qa

• Dataset: viet_med_qa at 4d311bd
• Size: 1,066 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 7 tokens mean: 19.71 tokens max: 101 tokens	min: 11 tokens mean: 192.08 tokens max: 1643 tokens

• Samples:

  anchor	positive
  Vệ sinh bằng nước muối và băng keo có đảm bảo vệ sinh chống nhiễm trùng không?	Vệ sinh bằng nước muối và băng keo sẽ không đảm bảo yêu cầu vệ sinh chống nhiễm trùng tại chỗ xỏ khuyên và có thể dẫn đến nguy cơ nhiễm trùng máu (mặc dù thấp, tùy thuộc và tình trạng vết thương, sức đề kháng và bệnh nền nếu có...)
  Nêu một số biểu hiện lâm sàng thường gặp của chứng co cứng?	Bệnh cảnh lâm sàng của co cứng có thể rất phong phú do các yếu tố khác nhau, một biểu hiện co cứng đầy đủ nhất theo thứ tự bao gồm: Tăng trương lực khi nghỉ xảy ra ở một số trường hợp. Đồng động (syncinésies): Co cơ không tự chủ kèm theo khi người bệnh làm các động tác có ý thức hay khi khám phản xạ gân cơ, bằng chứng cho thấy mất tính chọn lọc vận động hay tình trạng “ rối loạn ức chế ” các sợi Ia. Đa động: Hoạt động xen kẽ của các cơ chủ vận và đối vận. Tăng phản xạ gân xương: biểu hiện một phần của hội chứng tháp. Giảm khả năng vận động do liệt và rối loạn phối hợp điều khiển cơ
  Để đánh giá tình trạng chảy máu ở bệnh nhân điều trị thuốc kháng đông đường uống mới (NOAC), cần thực hiện những đánh giá nào?	Để điều trị thích hợp các biến chứng chảy máu do sử dụng NOACs thì việc đánh giá bệnh nhân rất quan trọng giúp phân độ nặng của chảy máu, tình trạng kháng đông hoặc bệnh nền chỉ định điều trị kháng đông. Các đánh giá ban đầu cần thiết ở bệnh nhân gồm:Đánh giá mức độ nghiêm trọng của chảy máu và độ tổn thương cầm máu, khai thác kỹ bệnh sử và các thuốc đang sử dụngMột chảy máu nặng là khi: Chảy máu ở các cơ quan quan trọng (não- màng cứng, màng tim, hốc mắt, khớp lớn,...), giảm Hg trên 2g, truyền trên 2 đơn vị máu hoặc phẫu thuật lớn, dùng thuốc vận mạchĐánh giá nguy cơ thuyên tắc nặng khi ngưng thuốc NOACsCó thể cần xét nghiệm đo lường hiệu quả kháng đông để kiểm tra hoạt tính của NOACs

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 4,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	miriad-eval-1kq-31kd_cosine_ndcg@10	clean-val-only_cosine_ndcg@10
0.1667	100	1.0212	0.2408	-	-
0.3333	200	0.1305	0.1251	-	-
0.5	300	0.0833	0.1088	-	-
0.6667	400	0.0787	0.0978	-	-
0.8333	500	0.0651	0.0950	-	-
1.0	600	0.0565	0.0888	-	-
1.1667	700	0.0517	0.0834	-	-
1.3333	800	0.0231	0.0917	-	-
1.5	900	0.0382	0.0850	-	-
1.6667	1000	0.0432	0.0750	-	-
1.8333	1100	0.0421	0.0710	-	-
2.0	1200	0.043	0.0691	-	-
2.1667	1300	0.0243	0.0651	-	-
2.3333	1400	0.0258	0.0673	-	-
2.5	1500	0.0181	0.0647	-	-
2.6667	1600	0.0257	0.0655	-	-
2.8333	1700	0.0206	0.0650	-	-
3.0	1800	0.0242	0.0650	-	-
-1	-1	-	-	0.8011	0.9151

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.1.0
• Transformers: 4.56.1
• PyTorch: 2.8.0+cu126
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}