Hugging Face's logo

htdht
/
e5_base_finetuned_5000

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:3500
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Áo phông nữ mùa hè Anygrew Áo thun không tay cổ chữ V cho quần legging Áo sơ mi dáng rộng Anygrew Áo cỡ lớn',
    'Tên sản phẩm: Áo phông nữ mùa hè Anygrew Áo thun không tay cổ chữ V cho quần legging Áo sơ mi dáng rộng Thương hiệu: Anygrew Danh mục: Quần áo > Áo cỡ lớn dành cho nữ > Áo cỡ lớn > Áo cỡ lớn Mô tả: Áo thun giản dị mùa hè dành cho nữ của Anygrew Áo dài không tay cổ chữ V cho quần legging Áo sơ mi dáng rộng Giới tính: Phụ nữ, Quý cô, Nữ Chất liệu áo: 95% rayon và 5% spandex. Chất liệu vải rất mềm, Độ vừa vặn của áo: Cổ thoải mái Đường viền cổ: Cổ chữ V Chiều dài tay áo: Không tay Mùa: Xuân, Hạ, Thu Đặc điểm: Áo dài nữ này có độ bồng bềnh và độ che phủ đẹp ở viền trang trí vùng bụng và đáy để có được bạn trong tình trạng tốt hơn. Lưu ý: 1. Bảo quản: Giặt máy hoặc giặt tay trong nước lạnh, không dùng thuốc tẩy, không giặt khô, treo hoặc phơi khô. 2. So sánh cẩn thận bảng kích thước, sau đó chọn sản phẩm phù hợp với bạn. Bạn có thể xem bảng kích thước trong hình ảnh sản phẩm. 3. Do chụp ảnh và ánh sáng của các màn hình khác nhau, vui lòng cho phép một số khác biệt về màu sắc. Tags: Bán chạy nhất > Giảm giá',
    'Tên sản phẩm: Đặc điểm của thương hiệu thời trang Deus Essenciais Slogan tay ngắn SimpleTT-shirt cưới nam và nữ Danh mục: Roupas Masculinas > Blusas > Camisetas Mô tả: Phong cách: Thời trang dạo phố Mã sản phẩm: DX6010 Thành phần vải chính: Cotton Hoa văn: Chữ Phiên bản: Rời Loại nguồn: Hàng điểm Người: Thích hợp cho người: Thanh thiếu niên Danh mục sản phẩm mua sắm: phổ biến của giới trẻ (18-40 tuổi) Phong cách: áo chui đầu Loại cổ áo: không có cổ Kiểu dáng cổ tròn: cổ tròn Chiều dài tay áo: Tay áo ngắn Có mũ trùm đầu hoặc không có mũ trùm đầu Độ dày: Thông thường Thương hiệu: ZONE Essentials Thích hợp cho các mùa: Thích hợp cho các mùa: Bốn mùa Phạm vi lỗi: 1-3 Có hàng hay không: không Mùa phát hành: 2021Tên vải Cotton mùa hè Thành phần vải chính:100 Các tình huống áp dụng: Giải trí Chi tiết phong cách in:In Chủ đề in: Logo thương hiệu Thủ công: In/In và nhuộm Rất lớn,Cũng có màu đen lớn Kích thước: S, M, L, Mô tả: Phong cách: Thời trang đường phố Mã sản phẩm: DX6010 Thành phần vải chính: Cotton Họa tiết: Chữ cái Phiên bản: Rời Loại nguồn: Hàng tại chỗ Thích hợp cho mọi người: Thanh thiếu niên Sản phẩm mua sắm Thể loại: Độ phổ biến của giới trẻ (18-40 tuổi) Phong cách: Áo chui đầu Loại cổ áo: Không cổ Kiểu dáng: cổ tròn Chiều dài tay áo: Tay áo ngắn có mũ trùm đầu hoặc không: Không có mũ trùm đầu Độ dày: Thông thường Thương hiệu: ESSENTIALS ZONE Thích hợp cho các mùa: Bốn mùa Phạm vi sai số: 1-3 Hàng tồn kho hay không: Không Năm phát hành/Mùa: 2021 Tên vải mùa hè: Cotton Nội dung của vải chính Thành phần: 100 Áp dụng Kịch bản:Phong cách giải trí Chi tiết:In ấn Chủ đề in ấn:Thương hiệuLOGO Thủ công:In/In và nhuộm Màu sắc:Trắng quá lớn,Đen quá lớn Kích thước:S,M,L,XL Có thương hiệu riêng được ủy quyền:Không Cho dù xuất khẩu xuyên biên giới là độc quyền:Có Loại:Áo thun TT-Tay áo vest Kiểu tay áo trễ vai Nguồn cung cấp thiết kế ban đầu:Không Có báo cáo kiểm tra chất lượng hay không:Không Gram Trọng lượng: 250g Chất liệu Chức năng: Mặt trời Bảo vệ, Làm khô nhanh, Thoáng khí, Chống tia cực tím, Chống nhăn, Chống mài mòn, Hút ẩm, Độ bền màu cao, Cảm giác mát mẻ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9076, 0.0763],
#         [0.9076, 1.0000, 0.0730],
#         [0.0763, 0.0730, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 3,500 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 100 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 12 tokens
    • mean: 47.94 tokens
    • max: 134 tokens
    • min: 73 tokens
    • mean: 279.16 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    Cốc hình nón tuyết hình hoa 4oz có thể tái sử dụng siêu dễ thương 25 gói. Bát chống rò rỉ đầy màu sắc Cung cấp nón tuyết hoàn hảo cho bữa tiệc sinh nhật trẻ em hoặc buổi nấu ăn mùa hè. Bát dễ cầm để đựng đá bào, đồ ăn nhẹ, kem. Avant Grub Cốc Tên sản phẩm: Cốc hình nón tuyết hình hoa 4oz có thể tái sử dụng siêu dễ thương 25 gói. Bát chống rò rỉ đầy màu sắc Cung cấp nón tuyết hoàn hảo cho bữa tiệc sinh nhật trẻ em hoặc buổi nấu ăn mùa hè. Bát dễ cầm để đựng đá bào, đồ ăn nhẹ, kem. Thương hiệu: Avant Grub Danh mục: Đồ chơi & Trò chơi > Dụng cụ dự tiệc > Bộ đồ ăn cho bữa tiệc > Cốc Mô tả: TẠO HÌNH NÓN TUYẾT VÀ SLUSHIES ĐỂ BÉ BẤT NGỜ TRONG NHỮNG CÚP HOA SIÊU VUI VẺ ĐẦY MÀU SẮC NÀY! Mùa hè lại đến và không có gì có thể đánh bại được cái nóng như nón tuyết hay đá bào. Nhưng không có gì tệ hơn việc nó chảy qua đáy cốc giấy hoặc bát xuống sàn hoặc sân sau, phải không? Vấn đề đã được giải quyết! Cốc nhựa chịu lực của chúng tôi giữ kem hoặc kem của con bạn ở đúng vị trí -- được cất giữ an toàn cho đến khi chạm vào miệng trẻ. Ngoài ra, chúng có đáy phẳng để có thể đặt trên đế lót ly, mặt bàn và lan can boong nếu cần. Không còn vết dính hoặc vết bẩn cần dọn dẹp, dù trong nhà hay ngoài trời. Trẻ em thích màu sắc tươi sáng và thiết kế ho...
    AVRIL Bóng ngoài trời mềm Bóng bay bong bóng Wubble Bóng bơm hơi trong suốt Tương tác chống rách Thể thao bên ngoài Trẻ em chơi Bóng bay Tên sản phẩm: AVRIL Bóng ngoài trời mềm Bóng bay bong bóng Wubble Bóng bơm hơi trong suốt Tương tác chống rách Thể thao bên ngoài Trẻ em chơi Danh mục: Gia đình và cuộc sống > Trang trí tiệc > Bóng bay Mô tả: Tên sản phẩm: Bóng bay đồ chơi Đặc điểm: Vui nhộn cho gia đình, Thiết kế đáng yêu, Chất liệu an toàn Màu sắc: Xanh dương, Xanh lục, Hồng, Vàng Đường kính thổi S: 30cm,M: 40cm,L:60cm Gói hàng bao gồm: 1 * Bóng bay Số lượng: 1 Chất liệu: TPR Lưu ý: 1. Vui lòng cho phép sai số 1-3cm do đo lường thủ công. 2. Màu sắc có thể thay đổi tùy thuộc vào màn hình hiển thị khác nhau, xin vui lòng thông cảm.
    TheLovely Women & Plus Áo sơ mi dài tay cổ tròn & viền áo kiểu Jersey thoải mái vừa vặn TheLovely Áo cánh bảo hộ lao động nữ Tên sản phẩm: TheLovely Women & Plus Áo sơ mi dài tay cổ tròn & viền áo kiểu Jersey thoải mái vừa vặn Thương hiệu: TheLovely Danh mục: Quần áo > Quần áo nữ > Quần áo bảo hộ lao động nữ > Áo cánh bảo hộ lao động nữ Mô tả: TheLovely Women & Plus Cổ tròn tay dài vừa vặn thoải mái & Áo phông có viền Hem Jersey là loại áo phông hoàn hảo có thể mặc với quần, váy hoặc thậm chí là quần legging trong bất kỳ dịp nào. TheLovely Women & Plus Cổ tròn tay dài vừa vặn thoải mái & Áo phông có viền Hem Jersey của Zenana đang có hàng và sẵn sàng giao hàng! Hãy chắc chắn mua hàng từ "TheLovely" để bạn hài lòng và đảm bảo chất lượng! The Lovely là người bán duy nhất bán Áo phông dài tay cổ chữ V có viền cổ chữ V thư giãn của Zenana tại Walmart.com. Số đo: S(0-4)-Ngực: 36in, Chiều dài: 29in | M(4-8)-Ngực: 38in, Dài: 29,5in | L(8-10)-Ngực: 40in, Dài: 30in | XL(10-12)-Ngực: 42in, Dài: 30,5in | 1X(12-14)-Ngực: 44in, Dài: 31in | 2X(16-18)-Ngực: 46in, Dài: 31,5in | 3X(18-20)-Ngực: 48in, Dài: 32i...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

  • Size: 750 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 100 samples:
    anchor positive
    type string string
    modality text text
    details
    • min: 16 tokens
    • mean: 46.67 tokens
    • max: 148 tokens
    • min: 64 tokens
    • mean: 269.84 tokens
    • max: 512 tokens
  • Samples:
    anchor positive
    SKL Home của Saturday Knight Ltd. Khăn tắm thông, lúa mì SKL Home Khăn tắm Tên sản phẩm: SKL Home của Saturday Knight Ltd. Khăn tắm thông, lúa mì Thương hiệu: SKL Home Danh mục: Gia đình & Nhà bếp > Tắm > Khăn tắm Mô tả: Trốn vào rừng hoặc chọn cảm giác trong cabin với khăn tắm Pinehaven. Thiết kế hình quả thông và cành cây phù hợp với phong cách trang trí phòng tắm theo chủ đề cổ điển và ngày lễ, đồng thời kết hợp độc đáo trong những ngôi nhà kiểu nhà nghỉ và nơi nghỉ dưỡng. Mua bộ sưu tập phối hợp của Pinehaven để hoàn thiện diện mạo.SKL Home của Saturday Knight Ltd. mang cá tính, sự vui nhộn và tinh tế đến những không gian thân mật nhất trong nhà bạn với các sản phẩm từ phụ kiện phòng tắm và rèm tắm, đến khăn tắm, rèm cửa và hơn thế nữa. Cho dù phong cách của bạn là lạc quan và hiện đại hay cổ điển và ấm cúng, SKL Home đều mang đến vẻ ngoài phù hợp với hầu hết mọi phong cách trang trí. Kết hợp hơn 40 năm kinh nghiệm, cảm hứng thiết kế toàn cầu và chất lượng chế tạo cao cấp, SKL Home tiếp tục dẫn đầu về phụ kiện gia đình.
    Thắt lưng thun nhỏ Calça Guy Đàn hồi đàn hồi Eo đàn hồi Đàn hồi Slimmer Calça de Tornadura Fat mm Chân nhựa Calça de Plastico Calça de verão Fina Cor da luz Tencel Denim Quần jean Tên sản phẩm: Thắt lưng thun nhỏ Calça Guy Đàn hồi đàn hồi Eo đàn hồi Đàn hồi Slimmer Calça de Tornadura Fat mm Chân nhựa Calça de Plastico Calça de verão Fina Cor da luz Tencel Denim Danh mục: Quần áo nữ tính > Quần jean Mô tả: Đắt! Hy vọng Hope Caro sẽ chi số tiền tối thiểu và có được sản phẩm chất lượng tốt. Các bạn yên tâm nhé, tất cả các sản phẩm trong cửa hàng đều được chính chủ lựa chọn kỹ lưỡng và chất lượng được kiểm soát chặt chẽ. Bạn thân mến, hãy chắc chắn mua hàng, được bảo vệ bởi việc mua hàng của bạn. Nếu bạn thích nó, cũng như theo dõi chúng tôi, tôi chúc bạn mua hàng vui vẻ! Nếu bạn có bất kỳ nghi ngờ nào về kích thước, vui lòng liên hệ với chúng tôi với tư cách là bộ phận chăm sóc khách hàng và chúng tôi sẽ phản hồi sau. #女装 #牛仔裤 #牛仔裤
    Combo 2 Lon sữa bột Värna Tiểu Đường (Lon 850g) - Chỉ số đường huyết thấp nhất (GI = 26.9) Värna Sữa bột Tên sản phẩm: Combo 2 Lon sữa bột Värna Tiểu Đường (Lon 850g) - Chỉ số đường huyết thấp nhất (GI = 26.9) Thương hiệu: Värna Danh mục: Thực phẩm và đồ uống > Sữa - trứng > Sữa > Sữa bột Mô tả: BỘ SẢN PHẨM BAO GỒM 02 Thực phẩm dinh dưỡng y học Värna Diabetes - Chỉ số đường huyết thấp nhất (GI = 26,9) (Lon 850g) THÔNG TIN CHI TIẾT Ứng dụng tinh hoa khoa học dinh dưỡng Châu Âu cùng 20 năm am hiểu sâu sắc thể trạng đặc thù của người đái tháo đường, tiền đái tháo đường, đái tháo đường thai kỳ Việt Nam từ Chuyên gia dinh dưỡng NutiFood. Thực phẩm dinh dưỡng y học Värna Diabetes với công thức đặc chế dưới sự giám sát của Viện Nghiên Cứu Dinh Dưỡng NutiFood Thụy Điển – NNRIS, có chỉ số GI thấp (GI = 26,9), giúp ổn định đường huyết, tốt cho tim mạch và tăng cường sức đề kháng. Sản phẩm được sản xuất tại Thụy Điển dưới sự giám sát chặt chẽ theo tiêu chuẩn chất lượng nghiêm ngặt của Viện Nghiên Cứu Dinh Dưỡng NutiFood Thụy Điển. HƯỚNG DẪN SỬ DỤNG - Rửa tay và dụng cụ thật sạch trước khi pha - Đun ...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • num_train_epochs: 1
  • learning_rate: 1e-05
  • warmup_steps: 0.1
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 8
  • num_train_epochs: 1
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch_fused
  • optim_args: None
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 1
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: False
  • fp16: True
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 8
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss Validation Loss
0.0457 20 0.4549 -
0.0913 40 0.0963 -
0.1370 60 0.0051 -
0.1826 80 0.0006 -
0.2283 100 0.0001 -
0.2740 120 0.0005 -
0.3196 140 0.0006 -
0.3653 160 0.0002 -
0.4110 180 0.0003 -
0.4566 200 0.0001 -
0.5023 220 0.0001 -
0.5479 240 0.0001 -
0.5936 260 0.0001 -
0.6393 280 0.0001 -
0.6849 300 0.0003 -
0.7306 320 0.0001 -
0.7763 340 0.0001 -
0.8219 360 0.0000 -
0.8676 380 0.0001 -
0.9132 400 0.0000 -
0.9589 420 0.0001 -
1.0 438 - 0.0001

Training Time

  • Training: 4.8 minutes

Framework Versions

  • Python: 3.12.13
  • Sentence Transformers: 5.5.1
  • Transformers: 5.10.1
  • PyTorch: 2.11.0+cu128
  • Accelerate: 1.13.0
  • Datasets: 4.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}
Downloads last month
314
Safetensors
Model size
0.3B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for htdht/e5_base_finetuned_5000

Base model

intfloat/multilingual-e5-base
Finetuned
(143)
this model

Papers for htdht/e5_base_finetuned_5000