hienNguyen197/my-embedding-gemma_v1

SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hienNguyen197/my-embedding-gemma_v1")
# Run inference
queries = [
    "Qu\u00e2n \u0111\u1ed9i \u0111\u1ea7u tri\u1ec1u L\u00ea \u0111\u01b0\u1ee3c chia th\u00e0nh nh\u1eefng lo\u1ea1i h\u00ecnh \u0111\u01a1n v\u1ecb ch\u00ednh n\u00e0o?",
]
documents = [
    'Đầu triều đại nhà Lê, binh chế được tổ chức thành các loại đơn vị nào?',
    'Chính sách tuyển quân của nhà Lê tập trung vào những đối tượng nào?',
    'Thông báo số 22 - TB/TW ban hành ngày 21-10-1980 đã đề cập đến những điểm cấp bách nào về phương thức quản lý hợp tác xã?',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.7388, 0.5888, 0.1010]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,295 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 15 tokens mean: 33.7 tokens max: 71 tokens	min: 13 tokens mean: 34.1 tokens max: 66 tokens	min: 12 tokens mean: 26.37 tokens max: 61 tokens

• Samples:

  anchor	positive	negative
  Trong 6 tháng đầu năm 1970, lực lượng vũ trang và nhân dân miền Nam đã đạt được những kết quả gì trong việc phá kế hoạch bình định của Mỹ và chính quyền Sài Gòn?	Trong nửa đầu năm 1970, lực lượng vũ trang và nhân dân miền Nam đã đạt được những thành tựu gì trong việc làm thất bại âm mưu bình định của Mỹ và chính quyền Sài Gòn?	Kế hoạch bình định của Mỹ và chính quyền Sài Gòn đã được triển khai như thế nào ở miền Nam vào năm 1970?
  Những yếu tố nào đã được Nhà nước xem xét khi quyết định giá bán lẻ chuẩn một số mặt hàng thuộc nhu cầu cơ bản?	Nhà nước đã cân nhắc những yếu tố gì trong việc xác định giá bán lẻ tiêu chuẩn cho các mặt hàng thiết yếu?	Người tiêu dùng xem xét những yếu tố nào để quyết định mua các mặt hàng thiết yếu?
  Mặc dù sôi nổi và lan rộng, những phong trào yêu nước và dân chủ ở Việt Nam sau Chiến tranh thế giới lần thứ nhất đã gặp phải những hạn chế gì về phạm vi hoạt động và tổ chức?	Những phong trào yêu nước và dân chủ tại Việt Nam sau Thế chiến thứ nhất, dù có sự sôi nổi và lan rộng, đã đối mặt với những giới hạn nào về quy mô và cách thức tổ chức?	Các phong trào yêu nước và dân chủ ở Việt Nam sau Chiến tranh thế giới lần thứ nhất đã đạt được những thành tựu đáng kể nào trong việc khơi dậy tinh thần dân tộc?

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 255 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 255 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 14 tokens mean: 35.07 tokens max: 72 tokens	min: 16 tokens mean: 35.56 tokens max: 75 tokens	min: 14 tokens mean: 27.12 tokens max: 48 tokens

• Samples:

  anchor	positive	negative
  Xã Vĩnh Thạnh (Long Thành - Đồng Nai) đã thoát khỏi tình trạng bị nước mặn bao vây nhờ hoạt động cụ thể nào của cộng đồng Công giáo?	Cộng đồng Công giáo tại xã Vĩnh Thạnh (Long Thành - Đồng Nai) đã thực hiện hoạt động gì để giải quyết vấn đề xâm nhập mặn?	Xã Vĩnh Thạnh (Long Thành - Đồng Nai) đang đối mặt với vấn đề nước ngọt khan hiếm do hạn hán kéo dài.
  Kết quả của cuộc đấu tranh chống chủ trương 'chấn hưng Phật giáo' và các tổ chức phản động đội lốt tôn giáo là gì?	Cuộc đấu tranh nhằm chống lại chủ trương 'chấn hưng Phật giáo' và những tổ chức phản động núp bóng tôn giáo đã mang lại những kết quả gì?	Chủ trương 'chấn hưng Phật giáo' có những mục tiêu chính là gì?
  Theo các nguồn tài liệu được đề cập, Lý Công Uẩn đã truy phong và ban tước hiệu cho những ai trong gia tộc sau khi lên ngôi?	Dựa trên các tài liệu, Lý Công Uẩn đã ban tước hiệu cho những thành viên nào trong gia tộc sau khi ông đăng cơ?	Sau khi lên ngôi, Lý Công Uẩn đã dời đô về Thăng Long.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• prompts: task: sentence similarity | query:

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: task: sentence similarity | query:
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.6969	200	0.0356
1.3937	400	0.0461
2.0906	600	0.021
2.7875	800	0.0056
3.4843	1000	0.0014
4.1812	1200	0.0003
4.8780	1400	0.0003

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}