Hugging Face's logo

thang1943
/
multilingual-e5-large-v3

Sentence Similarity
sentence-transformers
TensorBoard
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:55802
loss:MultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
Metrics Community
multilingual-e5-large-v3 / README.md
thang1943's picture
thang1943
multilingual-e5-large-v3
91b6946 verified
preview code
|
raw
history blame contribute delete
62.6 kB
 ---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:55802
- loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-large
widget:
- source_sentence: 'Mã tương đương: 19.0112.1850, Tên dịch vụ kỹ thuật theo Thông
tư 23/2024/TT-BYT: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Tên dịch vụ
phê duyệt giá: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Phân Loại PTTT:
T1, Mức giá: 499.800, Ghi chú: Chưa bao gồm dược chất phóng xạ, hợp chất đánh
dấu, vật tư phóng xạ và các thuốc bổ trợ khác, nếu có sử dụng.'
sentences:
- Chào bác sĩ, tôi làm nội trợ, hàng ngày thường phải đứng lâu để nấu nướng, dọn
dẹp, điều này có thể gây ra những bệnh xương khớp nào ạ? Ngoài ra, với các động
tác tay như băm, dùng máy đánh bột, máy đánh trứng… có thể dẫn đến nguy cơ bệnh
gì đối với cổ tay, thưa BS?
- Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA
- HSV 1+2 IgG miễn dịch tự động
- source_sentence: ảnh bạn đọc cung cấp cho alobacsi chào bạn, tổn thương ở da đầu
của bạn có dạng một bệnh nấm da, thường gặp nhất là lang ben. bệnh do một loại
nấm thuộc nhóm malassezia furfur hay còn gọi là pityrosporum orbiculaire (một
loại nấm gây bệnh ở lớp sừng). bệnh chủ yếu gặp ở lứa tuổi thanh thiếu niên khi
tuyến bã tăng cường hoạt động hay ở những người mắc bệnh lý làm tăng tiết mồ hôi,
thay đổi thành phần hóa học của mồ hôi. bệnh tăng lên ở thời tiết nóng ẩm và khi
cơ thể bị tăng tiết mồ hôi. bề mặt tổn thương có vảy cám mịn, có thể cạo bong
dễ dàng được gọi là dấu hiệu vỏ bào. nấm lang ben được chẩn đoán dựa trên lâm
sàng kết hợp với xét nghiệm soi tươi tìm nấm. điều trị lang ben không khó nhưng
bệnh hay bị tái phát, do đó, để điều trị triệt để, tuỳ theo mức độ nặng cần phối
hợp điều trị bằng thuốc tại chỗ và thuốc toàn thân đủ thời gian quy định, vệ sinh
thân thể và vật dụng, thay đổi lối sống để không còn môi trường thuận lợi cho
nấm phát triển và gây bệnh. bạn nên khám bác sĩ da liễu để được kê toa và hướng
dẫn dùng thuốc. nên hạn chế tối đa việc ra mồ hôi, nếu có thì nên lau khô, giữ
thoáng, mặc quần áo mát mẻ, thấm hút mồ hôi và nên vệ sinh thân thể, giặt phơi
quần áo thường xuyên. thân mến!
sentences:
- Bác sĩ cho em hỏi trường hợp da đầu của em là bị gì ạ, ngứa và đỏ da đầu, nhất
là ra trời nắng nóng và khi mới cắt tóc. Lông mày hay vùng râu của em cũng bị
đỏ và có vảy ạ, nhờ BS tư vấn giúp em với (ZL Quang Vũ)
- Em đang là sinh viên. Dạo này em hay bị nhức đầu, đôi lúc buồn nôn, thay
đổi tư thế đột ngột thì bị choáng. Em từng bị viêm xoang. Em hay thức
khuya. Xin hỏi bác sĩ em bị bệnh gì và cách chữa. Em xin cám ơn (Thanh
Quang - Baby...@yahoo.com)
- Thưa bác sĩ, ê buốt răng có thể ảnh hưởng thế nào đến sức khỏe và cuộc sống của
bệnh nhân?
- source_sentence: '- chào bạn,huyết khối mạch máu não có thể phân thành huyết khối
động mạch và huyết khối tĩnh mạch. cả hai đều là tình trạng nguy hiểm, cần điều
trị tích cực và theo dõi sát phòng ngừa biến chứng. do đó, phải được điều trị
ở bệnh viện chuyên khoa lớn. nếu được bạn vui lòng cung cấp thêm thông tin về
phim chụp ct scan hoặc mri sọ não và các xét nghiệm, toa thuốc liên quan để bác
sĩ tư vấn cụ thể hơn cho bạn nhé!thân mến.mời tham khảo thêm:>> bệnh nhân nhồi
máu não liệu có thể sử dụng nattoenzym?>> người già đi đứng không vững là dấu
hiệu tắc mạch máu não? huyết khối hay còn gọi là cục máu đông được hình thành
bởi các yếu tố đông máu, giúp cầm máu. khi bạn bị thương, chảy máu, quá trình
tạo cục máu đông sẽ được kích hoạt. tiểu cầu sẽ ngưng tập đến vị trí bị tổn thương,
tạo ra các nút chặn, cùng với các yếu tố đông máu hình thành các sợi fibrin giữ
tiểu cầu lại với nhau, phóng thích các chất hóa học để hình thành cục máu đông.
các protein trong cơ thể sẽ giúp xác định thời điểm dừng quá trình tạo huyết khối.tuy
nhiên, huyết khối trong lòng mạch lại là “hung thần” vì nó gây ra những biến chứng
nguy hiểm tới hệ tuần hoàn, não, và nguy cơ gây đột quỵ cao. huyết khối đi trong
lòng mạch làm cản trở tốc độ dòng máu, khiến máu trong lòng mạch sẽ lắng đọng
dần dần gây ra thuyên tắc, làm việc cung cấp máu tới mô và cơ quan trong cơ thể
bị gián đoạn.'
sentences:
- Nếu mà hay uống trà và cafe thì có nên tẩy trắng răng không ạ? Răng tôi hơi vàng,
muốn tẩy trắng nhưng tôi lo rằng tẩy trắng xong vẫn uống trà và cafe như cũ thì
răng sẽ đen hơn và liên tục phải tẩy. (Bạn đọc hỏi qua hotline 08983 08983)
- Thưa bác sĩ tắc nghẽn mạch máu não có cần mổ không, làm thế nào máu mới lưu thông
và có bị làm sao không bác sĩ? Em đi khám người ta nói không sao chỉ có cục máu
đông đọng lại làm tắc nghẽn mạch máu thôi về uống thuốc đều là từ từ nó tan, nhưng
em lo lắm bác sĩ ơi!
- Định lượng Bilirubin toàn phần [dịch]
- source_sentence: '- chào em,về nguyên tắc quan hệ vợ chồng không làm ảnh hưởng đến
tiến trình lành của vết thương. tuy nhiên, trong quá trình này có thể xảy ra những
va chạm hoặc chịu lực ở chân khiến cho chân dễ bị tổn thương nặng hơn.sử dụng
các chất kích thích như rượu bia quá nhiều có thể làm cho vết thương lâu lành,
ngoài ra, rượu bia có thể phản ứng với một số loại thuốc giảm đau làm tổn hại
dạ dày nặng nề hơn. do đó em cần thận trọng!'
sentences:
- Em chào BS, Em bị ngã và được chẩn đoán là vỡ xương gót chân, em chỉ bó bột thôi
không phải mổ. Em đã bó bột được 15 ngày và tháo ra đi đắp thuốc nam, em đã đi
chụp lại thầy thuốc nói chân em đang can lại rồi, liệu như vậy em đã tập đi được
chưa, và em phải làm như thế nào? Mong BS sớm trả lời em với. (Đinh Duy Khánh
- Phú Thọ)
- Em chào BS, Em năm nay 29 tuổi, em mới mổ gối do bị đứt dây chằng chéo trước
và rách sụn chêm vì chơi thể thao bị té, đến nay đã được 3 tuần. BS cho em hỏi
em quan hệ vợ chồng có được không? Em uống bia có ảnh hưởng gì đến việc hồi phục
không? Xin cảm ơn. (Khánh Duy - lee.d…@gmail.com)
- Chào bác sĩ ạ, Mẹ cháu bị sưng một bên lưng ngay cột sống, đi khám mới biết bị
gai cột sống. Cộng thêm mẹ cháu còn bị khớp nữa nên đêm nào cũng đau âm ỉ không
ngủ được. Bác sĩ có thể chỉ giúp cháu bệnh viện nào trị dứt được căn bệnh này
và cách để giảm đau vào mỗi lần bệnh hành được không ạ? Mẹ cháu không uống thuốc
giảm đau được vì bị bệnh bao tử. Chân thành cảm ơn bác sĩ. (Oanh Nguyen - zuasieu...@gmail.com)
- source_sentence: 'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và
thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm
chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe
mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết
áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi
trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây
chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một
biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy
yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu...
chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên
bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu
chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng
chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn
tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên
đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.'
sentences:
- Chào bác sĩ, BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị
làm sao ạ? Chân thành cảm ơn BS. (Trúc - quynhtruc...@gmail.com)
- Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích
thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh
Anh - TP.HCM)
- Tôi năm nay 48 tuổi, bị sốt bại liệt từ nhỏ. Chân trái ngắn hơn chân phải và yếu
hơn. Tôi muốn mổ kéo chân có được không, xin bác sĩ tư vấn giúp.
datasets:
- thang1943/questions_answers_final_v3
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-large
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 768
type: dim_768
metrics:
- type: cosine_accuracy@1
value: 0.7237054291345637
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.8482350833184017
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.8781580361942304
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.9166815982798782
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.7237054291345637
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.2827450277728006
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.17563160723884605
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.0916681598279878
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.7237054291345637
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.8482350833184017
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.8781580361942304
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.9166815982798782
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.8226378385801015
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.7923031089040777
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.7951255677002171
name: Cosine Map@100
---
# SentenceTransformer based on intfloat/multilingual-e5-large
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3) dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 1024 dimensions
- **Similarity Function:** Cosine Similarity
- **Training Dataset:**
- [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3)
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-v3")
# Run inference
sentences = [
'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.',
'Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh Anh - TP.HCM)',
'Chào bác sĩ, BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị làm sao ạ? Chân thành cảm ơn BS. (Trúc - quynhtruc...@gmail.com)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Information Retrieval
* Dataset: `dim_768`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.7237 |
| cosine_accuracy@3 | 0.8482 |
| cosine_accuracy@5 | 0.8782 |
| cosine_accuracy@10 | 0.9167 |
| cosine_precision@1 | 0.7237 |
| cosine_precision@3 | 0.2827 |
| cosine_precision@5 | 0.1756 |
| cosine_precision@10 | 0.0917 |
| cosine_recall@1 | 0.7237 |
| cosine_recall@3 | 0.8482 |
| cosine_recall@5 | 0.8782 |
| cosine_recall@10 | 0.9167 |
| **cosine_ndcg@10** | **0.8226** |
| cosine_mrr@10 | 0.7923 |
| cosine_map@100 | 0.7951 |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### questions_answers_final_v3
* Dataset: [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3) at [eac0552](https://huggingface.co/datasets/thang1943/questions_answers_final_v3/tree/eac0552f9b4568689e444408ac1f88d75ae2c353)
* Size: 55,802 training samples
* Columns: <code>answers</code> and <code>queries</code>
* Approximate statistics based on the first 1000 samples:
| | answers | queries |
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 3 tokens</li><li>mean: 208.2 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 85.92 tokens</li><li>max: 512 tokens</li></ul> |
* Samples:
| answers | queries |
|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Mã tương đương: 03.4155.0542, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Tên dịch vụ phê duyệt giá: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Phân Loại PTTT: P1, Mức giá: 4.594.500, Ghi chú: Chưa bao gồm nẹp vít, ốc, dao cắt sụn và lưỡi bào, bộ dây bơm nước, đầu đốt, tay dao điện, gân sinh học, gân đồng loại.</code> | <code>Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button</code> |
| <code>chào bạn, ung thư gan không lây qua ăn uống, sinh hoạt chung trước tiên phải khẳng định ung thư gan không lây. hoàn toàn không lây qua ăn uống, sinh hoạt chung bạn nhé. các chất dịch của người bệnh cũng không làm lây lan bệnh. chỉ có viêm gan, như viêm gan a lây qua nước bọt, ăn uống chung… chứ ung thư gan hoàn toàn không lây qua đường ăn uống. tuy nhiên, những người bị viêm gan b hoặc c mãn tính có biến chứng ung thư gan thì có thể lây bệnh viêm gan c, hoặc viêm gan b qua đường máu hoặc đường dịch tiết. như vậy, bạn cần kiểm tra xem bệnh ung thư gan của ông có phải do biến chứng từ viêm gan b, c hay không. nếu không phải do biến chứng từ viêm gan thì không ngại lây. vẫn có thể cho ông bà cùng ăn chung, không ngại bà bị lây bệnh. gia đình có thể cho ông ăn uống thoải mái, không cần kiêng cữ gì đâu, để những tháng cuối đời của ông được như ý, vui vẻ.có thể nói một sự thật khá đau buồn là ung thư gan đã di căn, thời gian còn lại của bệnh nhân chỉ trong vòng từ 6 -12 tháng.cố gắng lên bạn...</code> | <code>Ông tôi mới phát hiện bị ung thư gan, đã bị di căn. Vì ông tôi gần 90 tuổi nên gia đình không muốn mổ xẻ hoặc làm ông đau đớn, nên con cháu thống nhất sẽ đưa ông về nhà điều trị ngoại trú. Vì ông bà rất tình cảm, vẫn hay ăn chung nên chúng tôi muốn biết ung thu gan có lây không? Bà ăn uống cùng ông có làm sao không ạ? Ngoài ra, thưa bác sĩ, ung thư gan đã di căn có thể sống được bao lâu? Có cần kiêng cữ món gì không? Chân thành cảm ơn bác sĩ. (Bạn đọc)</code> |
| <code>Mã tương đương: 14.0151.0813, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Đặt ống silicon tiền phòng điều trị glôcôm, Tên dịch vụ phê duyệt giá: Đặt ống silicon tiền phòng điều trị glôcôm, Phân Loại PTTT: PDB, Mức giá: 1.644.100, Ghi chú: Chưa bao gồm ống silicon.</code> | <code>Đặt ống silicon tiền phòng điều trị glôcôm</code> |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 10
- `per_device_eval_batch_size`: 1
- `learning_rate`: 1e-06
- `num_train_epochs`: 1
- `lr_scheduler_type`: constant_with_warmup
- `warmup_ratio`: 0.1
- `bf16`: True
- `tf32`: False
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 10
- `per_device_eval_batch_size`: 1
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 1e-06
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: constant_with_warmup
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: False
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
<details><summary>Click to expand</summary>
| Epoch | Step | Training Loss | dim_768_cosine_ndcg@10 |
|:-------:|:--------:|:-------------:|:----------------------:|
| 0.0022 | 10 | 1.0725 | - |
| 0.0045 | 20 | 0.9312 | - |
| 0.0067 | 30 | 0.8916 | - |
| 0.0090 | 40 | 0.9559 | - |
| 0.0112 | 50 | 0.9385 | - |
| 0.0134 | 60 | 0.932 | - |
| 0.0157 | 70 | 0.8783 | - |
| 0.0179 | 80 | 0.9689 | - |
| 0.0202 | 90 | 0.9096 | - |
| 0.0224 | 100 | 0.8127 | - |
| 0.0246 | 110 | 0.8836 | - |
| 0.0269 | 120 | 0.875 | - |
| 0.0291 | 130 | 0.7447 | - |
| 0.0314 | 140 | 0.719 | - |
| 0.0336 | 150 | 0.7221 | - |
| 0.0358 | 160 | 0.6853 | - |
| 0.0381 | 170 | 0.6243 | - |
| 0.0403 | 180 | 0.5494 | - |
| 0.0426 | 190 | 0.5801 | - |
| 0.0448 | 200 | 0.434 | - |
| 0.0470 | 210 | 0.3835 | - |
| 0.0493 | 220 | 0.4194 | - |
| 0.0515 | 230 | 0.3993 | - |
| 0.0538 | 240 | 0.4722 | - |
| 0.0560 | 250 | 0.4243 | - |
| 0.0582 | 260 | 0.334 | - |
| 0.0605 | 270 | 0.2327 | - |
| 0.0627 | 280 | 0.183 | - |
| 0.0650 | 290 | 0.2109 | - |
| 0.0672 | 300 | 0.2534 | - |
| 0.0694 | 310 | 0.222 | - |
| 0.0717 | 320 | 0.2471 | - |
| 0.0739 | 330 | 0.1994 | - |
| 0.0762 | 340 | 0.2001 | - |
| 0.0784 | 350 | 0.1089 | - |
| 0.0806 | 360 | 0.1568 | - |
| 0.0829 | 370 | 0.0801 | - |
| 0.0851 | 380 | 0.082 | - |
| 0.0874 | 390 | 0.1205 | - |
| 0.0896 | 400 | 0.129 | - |
| 0.0918 | 410 | 0.1083 | - |
| 0.0941 | 420 | 0.1177 | - |
| 0.0963 | 430 | 0.0538 | - |
| 0.0986 | 440 | 0.2064 | - |
| 0.1008 | 450 | 0.0553 | - |
| 0.1030 | 460 | 0.1577 | - |
| 0.1053 | 470 | 0.1717 | - |
| 0.1075 | 480 | 0.0883 | - |
| 0.1098 | 490 | 0.0355 | - |
| 0.1120 | 500 | 0.1754 | - |
| 0.1142 | 510 | 0.1565 | - |
| 0.1165 | 520 | 0.1607 | - |
| 0.1187 | 530 | 0.0686 | - |
| 0.1210 | 540 | 0.085 | - |
| 0.1232 | 550 | 0.0933 | - |
| 0.1254 | 560 | 0.0916 | - |
| 0.1277 | 570 | 0.0339 | - |
| 0.1299 | 580 | 0.1332 | - |
| 0.1322 | 590 | 0.1247 | - |
| 0.1344 | 600 | 0.0857 | - |
| 0.1366 | 610 | 0.0895 | - |
| 0.1389 | 620 | 0.1396 | - |
| 0.1411 | 630 | 0.1071 | - |
| 0.1434 | 640 | 0.0839 | - |
| 0.1456 | 650 | 0.0214 | - |
| 0.1478 | 660 | 0.0568 | - |
| 0.1501 | 670 | 0.0485 | - |
| 0.1523 | 680 | 0.0785 | - |
| 0.1546 | 690 | 0.1071 | - |
| 0.1568 | 700 | 0.1198 | - |
| 0.1591 | 710 | 0.0352 | - |
| 0.1613 | 720 | 0.0172 | - |
| 0.1635 | 730 | 0.1381 | - |
| 0.1658 | 740 | 0.0806 | - |
| 0.1680 | 750 | 0.1238 | - |
| 0.1703 | 760 | 0.0931 | - |
| 0.1725 | 770 | 0.0702 | - |
| 0.1747 | 780 | 0.0589 | - |
| 0.1770 | 790 | 0.1454 | - |
| 0.1792 | 800 | 0.1521 | - |
| 0.1815 | 810 | 0.0975 | - |
| 0.1837 | 820 | 0.0807 | - |
| 0.1859 | 830 | 0.0539 | - |
| 0.1882 | 840 | 0.0864 | - |
| 0.1904 | 850 | 0.1547 | - |
| 0.1927 | 860 | 0.1256 | - |
| 0.1949 | 870 | 0.037 | - |
| 0.1971 | 880 | 0.097 | - |
| 0.1994 | 890 | 0.0949 | - |
| 0.2016 | 900 | 0.0284 | - |
| 0.2039 | 910 | 0.1728 | - |
| 0.2061 | 920 | 0.0504 | - |
| 0.2083 | 930 | 0.0769 | - |
| 0.2106 | 940 | 0.031 | - |
| 0.2128 | 950 | 0.0595 | - |
| 0.2151 | 960 | 0.0691 | - |
| 0.2173 | 970 | 0.0853 | - |
| 0.2195 | 980 | 0.0124 | - |
| 0.2218 | 990 | 0.0482 | - |
| 0.2240 | 1000 | 0.1254 | - |
| 0.2263 | 1010 | 0.0187 | - |
| 0.2285 | 1020 | 0.1364 | - |
| 0.2307 | 1030 | 0.0645 | - |
| 0.2330 | 1040 | 0.0707 | - |
| 0.2352 | 1050 | 0.1193 | - |
| 0.2375 | 1060 | 0.0724 | - |
| 0.2397 | 1070 | 0.0773 | - |
| 0.2419 | 1080 | 0.048 | - |
| 0.2442 | 1090 | 0.0972 | - |
| 0.2464 | 1100 | 0.0433 | - |
| 0.2487 | 1110 | 0.0607 | - |
| 0.2509 | 1120 | 0.0907 | - |
| 0.2531 | 1130 | 0.0351 | - |
| 0.2554 | 1140 | 0.0816 | - |
| 0.2576 | 1150 | 0.0517 | - |
| 0.2599 | 1160 | 0.0616 | - |
| 0.2621 | 1170 | 0.0475 | - |
| 0.2643 | 1180 | 0.1408 | - |
| 0.2666 | 1190 | 0.1076 | - |
| 0.2688 | 1200 | 0.09 | - |
| 0.2711 | 1210 | 0.0548 | - |
| 0.2733 | 1220 | 0.0744 | - |
| 0.2755 | 1230 | 0.1068 | - |
| 0.2778 | 1240 | 0.1186 | - |
| 0.2800 | 1250 | 0.0566 | - |
| 0.2823 | 1260 | 0.0711 | - |
| 0.2845 | 1270 | 0.1216 | - |
| 0.2867 | 1280 | 0.0619 | - |
| 0.2890 | 1290 | 0.1642 | - |
| 0.2912 | 1300 | 0.0667 | - |
| 0.2935 | 1310 | 0.1369 | - |
| 0.2957 | 1320 | 0.0746 | - |
| 0.2979 | 1330 | 0.0529 | - |
| 0.3002 | 1340 | 0.0676 | - |
| 0.3024 | 1350 | 0.0655 | - |
| 0.3047 | 1360 | 0.0412 | - |
| 0.3069 | 1370 | 0.0314 | - |
| 0.3091 | 1380 | 0.0366 | - |
| 0.3114 | 1390 | 0.0677 | - |
| 0.3136 | 1400 | 0.021 | - |
| 0.3159 | 1410 | 0.0846 | - |
| 0.3181 | 1420 | 0.0047 | - |
| 0.3203 | 1430 | 0.0257 | - |
| 0.3226 | 1440 | 0.1086 | - |
| 0.3248 | 1450 | 0.0711 | - |
| 0.3271 | 1460 | 0.0591 | - |
| 0.3293 | 1470 | 0.0441 | - |
| 0.3315 | 1480 | 0.1062 | - |
| 0.3338 | 1490 | 0.0814 | - |
| 0.3360 | 1500 | 0.0502 | - |
| 0.3383 | 1510 | 0.0316 | - |
| 0.3405 | 1520 | 0.189 | - |
| 0.3427 | 1530 | 0.0479 | - |
| 0.3450 | 1540 | 0.0723 | - |
| 0.3472 | 1550 | 0.0314 | - |
| 0.3495 | 1560 | 0.0376 | - |
| 0.3517 | 1570 | 0.1575 | - |
| 0.3539 | 1580 | 0.0132 | - |
| 0.3562 | 1590 | 0.0851 | - |
| 0.3584 | 1600 | 0.0755 | - |
| 0.3607 | 1610 | 0.0749 | - |
| 0.3629 | 1620 | 0.0587 | - |
| 0.3651 | 1630 | 0.0867 | - |
| 0.3674 | 1640 | 0.0912 | - |
| 0.3696 | 1650 | 0.0289 | - |
| 0.3719 | 1660 | 0.0555 | - |
| 0.3741 | 1670 | 0.0813 | - |
| 0.3763 | 1680 | 0.0172 | - |
| 0.3786 | 1690 | 0.0809 | - |
| 0.3808 | 1700 | 0.0702 | - |
| 0.3831 | 1710 | 0.1098 | - |
| 0.3853 | 1720 | 0.0524 | - |
| 0.3875 | 1730 | 0.0051 | - |
| 0.3898 | 1740 | 0.0489 | - |
| 0.3920 | 1750 | 0.0262 | - |
| 0.3943 | 1760 | 0.0149 | - |
| 0.3965 | 1770 | 0.0815 | - |
| 0.3987 | 1780 | 0.0606 | - |
| 0.4010 | 1790 | 0.061 | - |
| 0.4032 | 1800 | 0.1599 | - |
| 0.4055 | 1810 | 0.0275 | - |
| 0.4077 | 1820 | 0.0673 | - |
| 0.4099 | 1830 | 0.0829 | - |
| 0.4122 | 1840 | 0.1204 | - |
| 0.4144 | 1850 | 0.0436 | - |
| 0.4167 | 1860 | 0.1417 | - |
| 0.4189 | 1870 | 0.0566 | - |
| 0.4211 | 1880 | 0.0207 | - |
| 0.4234 | 1890 | 0.006 | - |
| 0.4256 | 1900 | 0.0805 | - |
| 0.4279 | 1910 | 0.068 | - |
| 0.4301 | 1920 | 0.0409 | - |
| 0.4323 | 1930 | 0.0695 | - |
| 0.4346 | 1940 | 0.0792 | - |
| 0.4368 | 1950 | 0.126 | - |
| 0.4391 | 1960 | 0.0282 | - |
| 0.4413 | 1970 | 0.0701 | - |
| 0.4435 | 1980 | 0.0149 | - |
| 0.4458 | 1990 | 0.1448 | - |
| 0.4480 | 2000 | 0.1568 | - |
| 0.4503 | 2010 | 0.0665 | - |
| 0.4525 | 2020 | 0.0489 | - |
| 0.4547 | 2030 | 0.0252 | - |
| 0.4570 | 2040 | 0.1204 | - |
| 0.4592 | 2050 | 0.11 | - |
| 0.4615 | 2060 | 0.1115 | - |
| 0.4637 | 2070 | 0.0261 | - |
| 0.4659 | 2080 | 0.0313 | - |
| 0.4682 | 2090 | 0.0183 | - |
| 0.4704 | 2100 | 0.0342 | - |
| 0.4727 | 2110 | 0.0369 | - |
| 0.4749 | 2120 | 0.0506 | - |
| 0.4772 | 2130 | 0.0859 | - |
| 0.4794 | 2140 | 0.0483 | - |
| 0.4816 | 2150 | 0.1365 | - |
| 0.4839 | 2160 | 0.0626 | - |
| 0.4861 | 2170 | 0.0952 | - |
| 0.4884 | 2180 | 0.0422 | - |
| 0.4906 | 2190 | 0.0263 | - |
| 0.4928 | 2200 | 0.0344 | - |
| 0.4951 | 2210 | 0.0574 | - |
| 0.4973 | 2220 | 0.0837 | - |
| 0.4996 | 2230 | 0.055 | - |
| 0.5018 | 2240 | 0.1217 | - |
| 0.5040 | 2250 | 0.0597 | - |
| 0.5063 | 2260 | 0.0124 | - |
| 0.5085 | 2270 | 0.088 | - |
| 0.5108 | 2280 | 0.0325 | - |
| 0.5130 | 2290 | 0.0428 | - |
| 0.5152 | 2300 | 0.036 | - |
| 0.5175 | 2310 | 0.0512 | - |
| 0.5197 | 2320 | 0.1216 | - |
| 0.5220 | 2330 | 0.0717 | - |
| 0.5242 | 2340 | 0.004 | - |
| 0.5264 | 2350 | 0.1664 | - |
| 0.5287 | 2360 | 0.0873 | - |
| 0.5309 | 2370 | 0.043 | - |
| 0.5332 | 2380 | 0.0411 | - |
| 0.5354 | 2390 | 0.0355 | - |
| 0.5376 | 2400 | 0.0804 | - |
| 0.5399 | 2410 | 0.2921 | - |
| 0.5421 | 2420 | 0.0628 | - |
| 0.5444 | 2430 | 0.1446 | - |
| 0.5466 | 2440 | 0.0256 | - |
| 0.5488 | 2450 | 0.0709 | - |
| 0.5511 | 2460 | 0.0814 | - |
| 0.5533 | 2470 | 0.0701 | - |
| 0.5556 | 2480 | 0.074 | - |
| 0.5578 | 2490 | 0.0055 | - |
| 0.5600 | 2500 | 0.0719 | - |
| 0.5623 | 2510 | 0.0423 | - |
| 0.5645 | 2520 | 0.0277 | - |
| 0.5668 | 2530 | 0.0164 | - |
| 0.5690 | 2540 | 0.1647 | - |
| 0.5712 | 2550 | 0.0532 | - |
| 0.5735 | 2560 | 0.0801 | - |
| 0.5757 | 2570 | 0.0591 | - |
| 0.5780 | 2580 | 0.1082 | - |
| 0.5802 | 2590 | 0.0407 | - |
| 0.5824 | 2600 | 0.0042 | - |
| 0.5847 | 2610 | 0.0175 | - |
| 0.5869 | 2620 | 0.0438 | - |
| 0.5892 | 2630 | 0.0794 | - |
| 0.5914 | 2640 | 0.0847 | - |
| 0.5936 | 2650 | 0.0507 | - |
| 0.5959 | 2660 | 0.0713 | - |
| 0.5981 | 2670 | 0.0246 | - |
| 0.6004 | 2680 | 0.0833 | - |
| 0.6026 | 2690 | 0.0551 | - |
| 0.6048 | 2700 | 0.0628 | - |
| 0.6071 | 2710 | 0.0657 | - |
| 0.6093 | 2720 | 0.0499 | - |
| 0.6116 | 2730 | 0.1524 | - |
| 0.6138 | 2740 | 0.0432 | - |
| 0.6160 | 2750 | 0.0261 | - |
| 0.6183 | 2760 | 0.0544 | - |
| 0.6205 | 2770 | 0.0315 | - |
| 0.6228 | 2780 | 0.0622 | - |
| 0.625 | 2790 | 0.0462 | - |
| 0.6272 | 2800 | 0.0192 | - |
| 0.6295 | 2810 | 0.0083 | - |
| 0.6317 | 2820 | 0.0284 | - |
| 0.6340 | 2830 | 0.0283 | - |
| 0.6362 | 2840 | 0.0063 | - |
| 0.6384 | 2850 | 0.0127 | - |
| 0.6407 | 2860 | 0.037 | - |
| 0.6429 | 2870 | 0.0682 | - |
| 0.6452 | 2880 | 0.0543 | - |
| 0.6474 | 2890 | 0.1699 | - |
| 0.6496 | 2900 | 0.0644 | - |
| 0.6519 | 2910 | 0.0294 | - |
| 0.6541 | 2920 | 0.0844 | - |
| 0.6564 | 2930 | 0.0954 | - |
| 0.6586 | 2940 | 0.0058 | - |
| 0.6608 | 2950 | 0.0714 | - |
| 0.6631 | 2960 | 0.0465 | - |
| 0.6653 | 2970 | 0.0035 | - |
| 0.6676 | 2980 | 0.0361 | - |
| 0.6698 | 2990 | 0.0081 | - |
| 0.6720 | 3000 | 0.0302 | - |
| 0.6743 | 3010 | 0.0673 | - |
| 0.6765 | 3020 | 0.0414 | - |
| 0.6788 | 3030 | 0.0576 | - |
| 0.6810 | 3040 | 0.1145 | - |
| 0.6832 | 3050 | 0.0663 | - |
| 0.6855 | 3060 | 0.1084 | - |
| 0.6877 | 3070 | 0.0739 | - |
| 0.6900 | 3080 | 0.0034 | - |
| 0.6922 | 3090 | 0.0324 | - |
| 0.6944 | 3100 | 0.0555 | - |
| 0.6967 | 3110 | 0.0866 | - |
| 0.6989 | 3120 | 0.036 | - |
| 0.7012 | 3130 | 0.0863 | - |
| 0.7034 | 3140 | 0.0988 | - |
| 0.7056 | 3150 | 0.04 | - |
| 0.7079 | 3160 | 0.0469 | - |
| 0.7101 | 3170 | 0.0743 | - |
| 0.7124 | 3180 | 0.07 | - |
| 0.7146 | 3190 | 0.0546 | - |
| 0.7168 | 3200 | 0.068 | - |
| 0.7191 | 3210 | 0.1288 | - |
| 0.7213 | 3220 | 0.0338 | - |
| 0.7236 | 3230 | 0.045 | - |
| 0.7258 | 3240 | 0.0266 | - |
| 0.7280 | 3250 | 0.0993 | - |
| 0.7303 | 3260 | 0.0388 | - |
| 0.7325 | 3270 | 0.0397 | - |
| 0.7348 | 3280 | 0.0571 | - |
| 0.7370 | 3290 | 0.0808 | - |
| 0.7392 | 3300 | 0.0789 | - |
| 0.7415 | 3310 | 0.0402 | - |
| 0.7437 | 3320 | 0.0199 | - |
| 0.7460 | 3330 | 0.0458 | - |
| 0.7482 | 3340 | 0.072 | - |
| 0.7504 | 3350 | 0.0916 | - |
| 0.7527 | 3360 | 0.0397 | - |
| 0.7549 | 3370 | 0.0062 | - |
| 0.7572 | 3380 | 0.0592 | - |
| 0.7594 | 3390 | 0.0421 | - |
| 0.7616 | 3400 | 0.0752 | - |
| 0.7639 | 3410 | 0.0646 | - |
| 0.7661 | 3420 | 0.0591 | - |
| 0.7684 | 3430 | 0.0742 | - |
| 0.7706 | 3440 | 0.0178 | - |
| 0.7728 | 3450 | 0.0301 | - |
| 0.7751 | 3460 | 0.0096 | - |
| 0.7773 | 3470 | 0.0163 | - |
| 0.7796 | 3480 | 0.0277 | - |
| 0.7818 | 3490 | 0.0292 | - |
| 0.7841 | 3500 | 0.0464 | - |
| 0.7863 | 3510 | 0.0427 | - |
| 0.7885 | 3520 | 0.1283 | - |
| 0.7908 | 3530 | 0.0372 | - |
| 0.7930 | 3540 | 0.0784 | - |
| 0.7953 | 3550 | 0.133 | - |
| 0.7975 | 3560 | 0.0197 | - |
| 0.7997 | 3570 | 0.0575 | - |
| 0.8020 | 3580 | 0.072 | - |
| 0.8042 | 3590 | 0.0361 | - |
| 0.8065 | 3600 | 0.0922 | - |
| 0.8087 | 3610 | 0.017 | - |
| 0.8109 | 3620 | 0.0655 | - |
| 0.8132 | 3630 | 0.0812 | - |
| 0.8154 | 3640 | 0.0164 | - |
| 0.8177 | 3650 | 0.0358 | - |
| 0.8199 | 3660 | 0.0437 | - |
| 0.8221 | 3670 | 0.0417 | - |
| 0.8244 | 3680 | 0.0249 | - |
| 0.8266 | 3690 | 0.0828 | - |
| 0.8289 | 3700 | 0.0013 | - |
| 0.8311 | 3710 | 0.114 | - |
| 0.8333 | 3720 | 0.0541 | - |
| 0.8356 | 3730 | 0.0473 | - |
| 0.8378 | 3740 | 0.0082 | - |
| 0.8401 | 3750 | 0.0072 | - |
| 0.8423 | 3760 | 0.0519 | - |
| 0.8445 | 3770 | 0.0805 | - |
| 0.8468 | 3780 | 0.132 | - |
| 0.8490 | 3790 | 0.0725 | - |
| 0.8513 | 3800 | 0.0985 | - |
| 0.8535 | 3810 | 0.1151 | - |
| 0.8557 | 3820 | 0.0562 | - |
| 0.8580 | 3830 | 0.0428 | - |
| 0.8602 | 3840 | 0.0299 | - |
| 0.8625 | 3850 | 0.045 | - |
| 0.8647 | 3860 | 0.0877 | - |
| 0.8669 | 3870 | 0.0926 | - |
| 0.8692 | 3880 | 0.0565 | - |
| 0.8714 | 3890 | 0.0552 | - |
| 0.8737 | 3900 | 0.0974 | - |
| 0.8759 | 3910 | 0.0209 | - |
| 0.8781 | 3920 | 0.0873 | - |
| 0.8804 | 3930 | 0.0091 | - |
| 0.8826 | 3940 | 0.0705 | - |
| 0.8849 | 3950 | 0.2158 | - |
| 0.8871 | 3960 | 0.0558 | - |
| 0.8893 | 3970 | 0.0217 | - |
| 0.8916 | 3980 | 0.0257 | - |
| 0.8938 | 3990 | 0.0414 | - |
| 0.8961 | 4000 | 0.0358 | - |
| 0.8983 | 4010 | 0.0268 | - |
| 0.9005 | 4020 | 0.0073 | - |
| 0.9028 | 4030 | 0.078 | - |
| 0.9050 | 4040 | 0.0115 | - |
| 0.9073 | 4050 | 0.0883 | - |
| 0.9095 | 4060 | 0.0238 | - |
| 0.9117 | 4070 | 0.0383 | - |
| 0.9140 | 4080 | 0.0364 | - |
| 0.9162 | 4090 | 0.0389 | - |
| 0.9185 | 4100 | 0.0738 | - |
| 0.9207 | 4110 | 0.0787 | - |
| 0.9229 | 4120 | 0.0527 | - |
| 0.9252 | 4130 | 0.1483 | - |
| 0.9274 | 4140 | 0.0168 | - |
| 0.9297 | 4150 | 0.0292 | - |
| 0.9319 | 4160 | 0.074 | - |
| 0.9341 | 4170 | 0.0022 | - |
| 0.9364 | 4180 | 0.005 | - |
| 0.9386 | 4190 | 0.0984 | - |
| 0.9409 | 4200 | 0.0304 | - |
| 0.9431 | 4210 | 0.074 | - |
| 0.9453 | 4220 | 0.0661 | - |
| 0.9476 | 4230 | 0.0478 | - |
| 0.9498 | 4240 | 0.0805 | - |
| 0.9521 | 4250 | 0.0283 | - |
| 0.9543 | 4260 | 0.0668 | - |
| 0.9565 | 4270 | 0.0217 | - |
| 0.9588 | 4280 | 0.0161 | - |
| 0.9610 | 4290 | 0.0391 | - |
| 0.9633 | 4300 | 0.1008 | - |
| 0.9655 | 4310 | 0.073 | - |
| 0.9677 | 4320 | 0.0178 | - |
| 0.9700 | 4330 | 0.0495 | - |
| 0.9722 | 4340 | 0.0018 | - |
| 0.9745 | 4350 | 0.0453 | - |
| 0.9767 | 4360 | 0.014 | - |
| 0.9789 | 4370 | 0.1036 | - |
| 0.9812 | 4380 | 0.0365 | - |
| 0.9834 | 4390 | 0.0488 | - |
| 0.9857 | 4400 | 0.0104 | - |
| 0.9879 | 4410 | 0.0556 | - |
| 0.9901 | 4420 | 0.0456 | - |
| 0.9924 | 4430 | 0.0855 | - |
| 0.9946 | 4440 | 0.0026 | - |
| 0.9969 | 4450 | 0.108 | - |
| 0.9991 | 4460 | 0.0436 | - |
| **1.0** | **4464** | **-** | **0.8226** |
* The bold row denotes the saved checkpoint.
</details>
### Framework Versions
- Python: 3.10.16
- Sentence Transformers: 3.4.1
- Transformers: 4.49.0
- PyTorch: 2.6.0+cu124
- Accelerate: 1.5.2
- Datasets: 3.3.2
- Tokenizers: 0.21.0
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->