QuangDuy/gn-trvn-bert-base-stage2

SentenceTransformer based on QuangDuy/bert-base-stage2-hf

This is a sentence-transformers model finetuned from QuangDuy/bert-base-stage2-hf. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: QuangDuy/bert-base-stage2-hf
• Maximum Sequence Length: 4096 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 4096, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Tổng số tiền mà người chơi đã chi tiêu vào việc mua vé lô đề và trò chơi số từ ngày 10 đến 16 tháng 6 năm 2024 là bao nhiêu?',
    'Dưới đây là bảng "Quản lý lô đề và trò chơi số" theo yêu cầu của bạn: | STT | Tên Trò Chơi | Số Lô Đề | Ngày Mua | Giá Mua | Tình Trạng | Số Trúng | Ngày Trúng | Giá Trúng | Lợi Nhược | | --- | ------------ | -------- | -------- | ------- | ---------- | -------- | ---------- | --------- | --------- | | 1 | Keno | 12345 | 2024-06-10 | 10000 VND | Đã mua | 12345 | 2024-06-15 | 500000 VND | Lợi | | 2 | Xổ Số Miền Bắc | 67890 | 2024-06-12 | 15000 VND | Đã mua | | | | Thua | | 3 | Power 6/55 | 112233 | 2024-06-13 | 20000 VND | Đã mua | | | | Thua | | 4 | Xổ Số Miền Nam | 445566 | 2024-06-14 | 10000 VND | Đã mua | 445566 | 2024-06-18 | 1000000 VND | Lợi | | 5 | Mega 6/45 | 778899 | 2024-06-15 | 10000 VND | Đã mua | | | | Thua | | 6 | Vietlott Max 4D | 101010 | 2024-06-16 | 25000 VND | Đã mua | | | | Thua |',
    '| Ngày | Số tiền đặt cược | Tỷ lệ thắng thua | Lợi nhuận | | --- | --- | --- | --- | | 2024-06-15 | 500,000 VND | 1:2 | 1,000,000 VND | | 2024-06-16 | 750,000 VND | 1:3 | 2,250,000 VND | | 2024-06-17 | 1,000,000 VND | 1:1.5 | 500,000 VND | | 2024-06-18 | 1,250,000 VND | 1:2 | 2,500,000 VND | | 2024-06-19 | 1,500,000 VND | 1:1 | 0 VND | | 2024-06-20 | 1,750,000 VND | 1:2.5 | 4,375,000 VND |',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6223, 0.3250],
#         [0.6223, 1.0000, 0.2825],
#         [0.3250, 0.2825, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 365,440 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 11 tokens mean: 24.3 tokens max: 43 tokens	min: 59 tokens mean: 336.26 tokens max: 687 tokens	min: 101 tokens mean: 345.76 tokens max: 714 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  "Lịch sử mua hàng của Trần Thị Mai chủ yếu liên quan đến loại sản phẩm nào?"	Dưới đây là bảng thông tin khách hàng mẫu: | Tên Khách Hàng | Nhu Cầu | Phản Hồi | Lịch Sử Mua Hàng | Ghi Chú | | --- | --- | --- | --- | --- | | Nguyễn Văn Nam | Thiết bị công nghệ mới nhất | Thích thú với dịch vụ, mong muốn có thêm khuyến mãi | 2 laptop, 1 smartphone trong năm qua | Khách hàng thường xuyên, thích các sản phẩm công nghệ cao | | Trần Thị Mai | Sản phẩm hữu cơ, không chứa hóa chất | Rất hài lòng về chất lượng sản phẩm và dịch vụ | Mua hàng hàng tháng, chủ yếu là thực phẩm và mỹ phẩm | Khách hàng thân thiết, quan tâm đến sức khỏe và môi trường | | Lê Quốc Anh | Dịch vụ tư vấn tài chính | Đánh giá cao sự chuyên nghiệp của nhân viên | Sử dụng dịch vụ tư vấn đầu tư hàng quý | Khách hàng tiềm năng, quan tâm đến lĩnh vực tài chính | Bảng trên cho thấy ba khách hàng với nhu cầu đa dạng từ công nghệ, sức khỏe đến tài chính. Tất cả họ đều phản hồi tích cực về chất lượng sản phẩm và dịch vụ. Đặc biệt, Trần Thị Mai và Lê Quốc Anh là những khách hàng thường xuyên, mua hàng định kỳ....	Dưới đây là bảng "Khách hàng - Hàng hóa" với 5 cột và 7 dòng: | Mã Khách Hàng | Tên Khách Hàng | Mã Sản Phẩm | Tên Sản Phẩm | Số Lượng | |----------------|----------------|-------------|--------------|----------| | KH001 | Nguyễn Văn A | SP001 | Điện thoại iPhone 12 Pro Max | 2 | | KH002 | Trần Thị B | SP002 | Laptop Dell XPS 13 | 1 | | KH003 | Lê Minh C | SP003 | Máy ảnh Canon EOS R5 | 1 | | KH004 | Đặng Thị D | SP004 | Tai nghe không dây Sony WF-1000XM4 | 3 | | KH005 | Phạm Văn E | SP005 | Loa Bluetooth JBL Flip 5 | 2 | | KH006 | Hoàng Thị F | SP006 | Đồng hồ thông minh Apple Watch Series 6 | 1 | | KH007 | Nguyễn Thị G | SP007 | Bộ nhớ ngoài SanDisk Extreme Pro 1TB | 1 | Theo bảng trên, chúng ta thấy rằng đa số khách hàng đều mua một sản phẩm ngoại trừ khách hàng Nguyễn Văn A và Đặng Thị D mua hai và ba sản phẩm tương ứng. Các sản phẩm được mua bao gồm điện thoại di động, laptop, máy ảnh, tai nghe không dây, loa bluetooth, đồng hồ thông minh và bộ nhớ ngoài. Điều này cho thấy sự đa d...
  Người nào trong số này có tổng điểm nguy cơ là 8.5/10 và những yếu tố nào dẫn đến điểm số cao như vậy?	| STT | Tuổi | Giới tính | Thói quen sinh hoạt | Chế độ ăn uống | Yếu tố môi trường | Tổng điểm nguy cơ | Đánh giá | | --- | ---- | --------- | ------------------ | --------------- | ----------------- | ----------------- | -------- | | 1 | 45 | Nam | Tập thể dục 2 lần/tuần, hút thuốc 10 điếu/ngày | Ăn nhiều thịt đỏ, ít rau xanh | Môi trường công nghiệp với ô nhiễm không khí | 7.5/10 | Nguy cơ cao | | 2 | 30 | Nữ | Tập thể dục hàng ngày, không hút thuốc | Ăn chay, uống đủ nước mỗi ngày | Môi trường sống sạch sẽ, thoáng mát | 1.5/10 | Nguy cơ thấp | | 3 | 60 | Nam | Không tập thể dục, hút thuốc | Ăn nhiều thức ăn nhanh, ít trái cây | Môi trường sống ở khu vực đô thị đông đúc | 8.5/10 | Nguy cơ rất cao | | 4 | 25 | Nữ | Tập thể dục 3 lần/tuần, không hút thuốc | Ăn cân đối, hạn chế đồ ngọt | Môi trường làm việc văn phòng, ít tiếp xúc với môi trường tự nhiên | 3.5/10 | Nguy cơ trung bình | | 5 | 50 | Nam | Tập thể dục 5 lần/tuần, không hút thuốc | Ăn cân đối, không uống rượu bia | Môi trườn...	| Tên Công Nhân | Đánh Giá Hiệu Suất | Điểm Chăm Sóc Đời Sống | | -------------- | ------------------- | --------------------- | | Nguyễn Văn A | 8.5 | 9.2 | | Trần Thị B | 7.0 | 6.5 | | Lê Minh C | 9.2 | 8.9 | | Dương Thị D | 6.6 | 7.1 | | Phạm Văn E | 8.0 | 8.3 | Bảng đánh giá trên cho thấy hiệu suất công việc và mức độ chăm sóc đời sống của 5 công nhân trong công ty. Chúng ta có thể nhận thấy rằng, công nhân Nguyễn Văn A và Lê Minh C đều có hiệu suất làm việc cao, đồng thời cũng nhận được sự chăm sóc đời sống tốt từ công ty với điểm số khá cao. Ngược lại, công nhân Trần Thị B và Dương Thị D có hiệu suất làm việc và điểm chăm sóc đời sống thấp hơn so với các người khác. Điều này có thể chỉ ra một số vấn đề cần được quan tâm hơn từ phía quản lý.
  Ai là thành viên của đội Evil Geniuses và họ đã đạt được vị trí nào tại giải EPICENTER Major?	Dưới đây là bảng thông tin về một số đội Dota 2: |STT|Tên Đội|Thành Viên|Huấn Luyện Viên|Giải Đấu|Vị Trí|Năm|Số Giải Đấu Tham Gia|Số Giải Đấu Thắng| |---|---|---|---|---|---|---|---|---| |1|Team Secret|Matumbaman, Nisha, Zai, Puppey, YapzOr|Heen|The International|Á quân|2023|15|8| |2|Evil Geniuses|Arteezy, Sumail, Yeek, Cr1t-, SVG|Fly|EPICENTER Major|Vô địch|2023|14|7| |3|Team Liquid|Miracle-, MinD_ContRoL, MATUMBAMAN, GH, Boxi|Heen|MDL Disneyland Paris Major|Vô địch|2023|16|9| |4|Vici Gaming|Ori, Yang, Eurus, Pyw, Papasha|Super|ONE Esports Singapore Major|Vô địch|2023|12|5| |5|OG|Ana, Topson, Ceb, JerAx, N0tail|No one|The International|Vô địch|2023|10|6| Bảng trên cung cấp thông tin chi tiết về 5 đội Dota 2 hàng đầu. Mỗi dòng đại diện cho một đội, bao gồm tên đội, danh sách thành viên, huấn luyện viên và thành tích của họ trong các giải đấu lớn nhất năm 2023. Đặc biệt, Team Secret đã tham gia nhiều giải đấu nhất với 15 giải nhưng chỉ đứng thứ hai sau Team Liquid với số giải thắng cao ...	| Tên Nhân Vật | Vai Trò | Chiến Lược | | --- | --- | --- | | Evelynn | Ám Sát Thủ | Sử dụng kỹ năng "Đèn Đỏ" để tăng khả năng tấn công bất ngờ, tập trung vào mục tiêu yếu nhất. | | Zed | Hỗ Trợ Ám Sát | Dùng "Vũ Điệu Tử Thần" để hỗ trợ Evelynn trong việc hạ gục mục tiêu nhanh chóng. | | Kindred | Kiểm Soát Đường Dài | Sử dụng "Lệnh Của Người Thú" để kiểm soát tầm nhìn và cung cấp thông tin về vị trí kẻ địch. | Bảng trên mô tả cách phân chia vai trò và chiến lược cho từng nhân vật trong đội hình Team Phù Thủy - Ác Quỷ - Hư Không. Evelynn với vai trò ám sát thủ, cô sẽ là mũi nhọn tấn công, tận dụng khả năng tấn công bất ngờ của mình để tiêu diệt mục tiêu yếu nhất. Zed, với vai trò hỗ trợ ám sát, sẽ giúp Evelynn trong việc tiêu diệt mục tiêu một cách nhanh chóng. Cuối cùng, Kindred đảm nhiệm vai trò kiểm soát đường dài, cung cấp tầm nhìn rộng rãi và thông tin chính xác về vị trí kẻ địch, tạo lợi thế cho cả đội.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "CachedMultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• weight_decay: 0.01
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	validation loss
0.0088	50	17.1649	-
0.0175	100	14.196	-
0.0263	150	9.5959	-
0.0350	200	6.077	-
0.0438	250	4.4074	-
0.0525	300	3.5874	-
0.0613	350	3.1536	-
0.0701	400	2.6915	-
0.0788	450	2.4523	-
0.0876	500	2.2638	-
0.0963	550	2.0062	-
0.1051	600	1.8582	-
0.1138	650	1.8401	-
0.1226	700	1.7504	-
0.1313	750	1.5564	-
0.1401	800	1.5198	-
0.1489	850	1.4919	-
0.1576	900	1.4584	-
0.1664	950	1.31	-
0.1751	1000	1.3581	-
0.1839	1050	1.3266	-
0.1926	1100	1.3095	-
0.2014	1150	1.1982	-
0.2102	1200	1.259	-
0.2189	1250	1.1388	-
0.2277	1300	1.1435	-
0.2364	1350	1.213	-
0.2452	1400	1.165	-
0.2539	1450	1.115	-
0.2627	1500	1.1298	-
0.2715	1550	1.0668	-
0.2802	1600	1.0342	-
0.2890	1650	1.0769	-
0.2977	1700	0.9763	-
0.3065	1750	1.0313	-
0.3152	1800	0.9633	-
0.3240	1850	0.9322	-
0.3327	1900	0.9684	-
0.3415	1950	0.9918	-
0.3503	2000	0.9091	9.4352
0.3590	2050	0.9261	-
0.3678	2100	0.8668	-
0.3765	2150	0.8802	-
0.3853	2200	0.8919	-
0.3940	2250	0.8873	-
0.4028	2300	0.8893	-
0.4116	2350	0.8042	-
0.4203	2400	0.7789	-
0.4291	2450	0.7707	-
0.4378	2500	0.7974	-
0.4466	2550	0.8056	-
0.4553	2600	0.7435	-
0.4641	2650	0.7621	-
0.4729	2700	0.7581	-
0.4816	2750	0.7118	-
0.4904	2800	0.7393	-
0.4991	2850	0.7386	-
0.5079	2900	0.6877	-
0.5166	2950	0.6948	-
0.5254	3000	0.7364	-
0.5342	3050	0.6794	-
0.5429	3100	0.6783	-
0.5517	3150	0.6671	-
0.5604	3200	0.6736	-
0.5692	3250	0.6854	-
0.5779	3300	0.6689	-
0.5867	3350	0.6048	-
0.5954	3400	0.6899	-
0.6042	3450	0.5997	-
0.6130	3500	0.6467	-
0.6217	3550	0.6265	-
0.6305	3600	0.6185	-
0.6392	3650	0.6106	-
0.6480	3700	0.6288	-
0.6567	3750	0.6638	-
0.6655	3800	0.648	-
0.6743	3850	0.5578	-
0.6830	3900	0.5623	-
0.6918	3950	0.5835	-
0.7005	4000	0.5459	9.3268
0.7093	4050	0.6002	-
0.7180	4100	0.5543	-
0.7268	4150	0.5894	-
0.7356	4200	0.5092	-
0.7443	4250	0.5021	-
0.7531	4300	0.5475	-
0.7618	4350	0.5208	-
0.7706	4400	0.522	-
0.7793	4450	0.5461	-
0.7881	4500	0.5222	-
0.7968	4550	0.5002	-
0.8056	4600	0.5228	-
0.8144	4650	0.4747	-
0.8231	4700	0.4656	-
0.8319	4750	0.4876	-
0.8406	4800	0.4792	-
0.8494	4850	0.4424	-
0.8581	4900	0.4766	-
0.8669	4950	0.4423	-
0.8757	5000	0.4244	-
0.8844	5050	0.4662	-
0.8932	5100	0.4758	-
0.9019	5150	0.4361	-
0.9107	5200	0.4356	-
0.9194	5250	0.4462	-
0.9282	5300	0.4418	-
0.9370	5350	0.4284	-
0.9457	5400	0.4284	-
0.9545	5450	0.4419	-
0.9632	5500	0.3858	-
0.9720	5550	0.4201	-
0.9807	5600	0.4081	-
0.9895	5650	0.3745	-
0.9982	5700	0.3909	-
1.0070	5750	0.3398	-
1.0158	5800	0.2987	-
1.0245	5850	0.297	-
1.0333	5900	0.271	-
1.0420	5950	0.295	-
1.0508	6000	0.2903	9.3045
1.0595	6050	0.2533	-
1.0683	6100	0.29	-
1.0771	6150	0.2944	-
1.0858	6200	0.2888	-
1.0946	6250	0.2747	-
1.1033	6300	0.2539	-
1.1121	6350	0.2756	-
1.1208	6400	0.2987	-
1.1296	6450	0.2708	-
1.1384	6500	0.2905	-
1.1471	6550	0.2813	-
1.1559	6600	0.2499	-
1.1646	6650	0.3033	-
1.1734	6700	0.2743	-
1.1821	6750	0.276	-
1.1909	6800	0.2864	-
1.1996	6850	0.2836	-
1.2084	6900	0.2677	-
1.2172	6950	0.2421	-
1.2259	7000	0.2446	-
1.2347	7050	0.2445	-
1.2434	7100	0.2566	-
1.2522	7150	0.2503	-
1.2609	7200	0.2817	-
1.2697	7250	0.2441	-
1.2785	7300	0.2408	-
1.2872	7350	0.2692	-
1.2960	7400	0.2484	-
1.3047	7450	0.2804	-
1.3135	7500	0.2433	-
1.3222	7550	0.2224	-
1.3310	7600	0.2364	-
1.3398	7650	0.2595	-
1.3485	7700	0.2419	-
1.3573	7750	0.2502	-
1.3660	7800	0.2591	-
1.3748	7850	0.2392	-
1.3835	7900	0.2131	-
1.3923	7950	0.2231	-
1.4011	8000	0.237	9.3240
1.4098	8050	0.2248	-
1.4186	8100	0.2096	-
1.4273	8150	0.2272	-
1.4361	8200	0.219	-
1.4448	8250	0.2265	-
1.4536	8300	0.2247	-
1.4623	8350	0.2475	-
1.4711	8400	0.2372	-
1.4799	8450	0.2206	-
1.4886	8500	0.2284	-
1.4974	8550	0.2197	-
1.5061	8600	0.1962	-
1.5149	8650	0.2358	-
1.5236	8700	0.1972	-
1.5324	8750	0.217	-
1.5412	8800	0.2184	-
1.5499	8850	0.1985	-
1.5587	8900	0.1941	-
1.5674	8950	0.1978	-
1.5762	9000	0.1944	-
1.5849	9050	0.2024	-
1.5937	9100	0.1966	-
1.6025	9150	0.2097	-
1.6112	9200	0.1669	-
1.6200	9250	0.2006	-
1.6287	9300	0.1858	-
1.6375	9350	0.2126	-
1.6462	9400	0.1881	-
1.6550	9450	0.1856	-
1.6637	9500	0.1779	-
1.6725	9550	0.175	-
1.6813	9600	0.174	-
1.6900	9650	0.1912	-
1.6988	9700	0.1772	-
1.7075	9750	0.1741	-
1.7163	9800	0.1957	-
1.7250	9850	0.1961	-
1.7338	9900	0.1813	-
1.7426	9950	0.1969	-
1.7513	10000	0.2066	-

Framework Versions

• Python: 3.11.17
• Sentence Transformers: 5.1.2
• Transformers: 4.57.1
• PyTorch: 2.4.0+cu124
• Accelerate: 1.15.0
• Datasets: 3.6.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}