multilingual-e5-large-v3

91b6946 verified 11 months ago

62.6 kB

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:55802
  - loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-large
widget:
  - source_sentence: >-
      Mã tương đương: 19.0112.1850, Tên dịch vụ kỹ thuật theo Thông tư
      23/2024/TT-BYT: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Tên dịch
      vụ phê duyệt giá: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Phân
      Loại PTTT: T1, Mức giá: 499.800, Ghi chú: Chưa bao gồm dược chất phóng xạ,
      hợp chất đánh dấu, vật tư phóng xạ và các thuốc bổ trợ khác, nếu có sử
      dụng.
    sentences:
      - >-
        Chào bác sĩ, tôi làm nội trợ, hàng ngày thường phải đứng lâu để nấu
        nướng, dọn dẹp, điều này có thể gây ra những bệnh xương khớp nào ạ?
        Ngoài ra, với các động tác tay như băm, dùng máy đánh bột, máy đánh
        trứng… có thể dẫn đến nguy cơ bệnh gì đối với cổ tay, thưa BS?
      - Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA
      - HSV 1+2 IgG miễn dịch tự động
  - source_sentence: >-
      ảnh bạn đọc cung cấp cho alobacsi chào bạn, tổn thương ở da đầu của bạn có
      dạng một bệnh nấm da, thường gặp nhất là lang ben. bệnh do một loại nấm
      thuộc nhóm malassezia furfur hay còn gọi là pityrosporum orbiculaire (một
      loại nấm gây bệnh ở lớp sừng). bệnh chủ yếu gặp ở lứa tuổi thanh thiếu
      niên khi tuyến bã tăng cường hoạt động hay ở những người mắc bệnh lý làm
      tăng tiết mồ hôi, thay đổi thành phần hóa học của mồ hôi. bệnh tăng lên ở
      thời tiết nóng ẩm và khi cơ thể bị tăng tiết mồ hôi. bề mặt tổn thương có
      vảy cám mịn, có thể cạo bong dễ dàng được gọi là dấu hiệu vỏ bào. nấm lang
      ben được chẩn đoán dựa trên lâm sàng kết hợp với xét nghiệm soi tươi tìm
      nấm. điều trị lang ben không khó nhưng bệnh hay bị tái phát, do đó, để
      điều trị triệt để, tuỳ theo mức độ nặng cần phối hợp điều trị bằng thuốc
      tại chỗ và thuốc toàn thân đủ thời gian quy định, vệ sinh thân thể và vật
      dụng, thay đổi lối sống để không còn môi trường thuận lợi cho nấm phát
      triển và gây bệnh. bạn nên khám bác sĩ da liễu để được kê toa và hướng dẫn
      dùng thuốc. nên hạn chế tối đa việc ra mồ hôi, nếu có thì nên lau khô, giữ
      thoáng, mặc quần áo mát mẻ, thấm hút mồ hôi và nên vệ sinh thân thể, giặt
      phơi quần áo thường xuyên. thân mến!
    sentences:
      - >-
        Bác sĩ cho em hỏi trường hợp da đầu của em là bị gì ạ, ngứa và đỏ da
        đầu, nhất là ra trời nắng nóng và khi mới cắt tóc. Lông mày hay vùng râu
        của em cũng bị đỏ và có vảy ạ, nhờ BS tư vấn giúp em với (ZL Quang Vũ)
      - >-
        Em đang là sinh viên. Dạo này em hay bị nhức đầu, đôi lúc buồn
        nôn, thay đổi tư thế đột ngột thì bị choáng. Em từng bị viêm
        xoang. Em hay thức khuya. Xin hỏi bác sĩ em bị bệnh gì và cách
        chữa. Em xin cám ơn (Thanh Quang - Baby...@yahoo.com)
      - >-
        Thưa bác sĩ, ê buốt răng có thể ảnh hưởng thế nào đến sức khỏe và cuộc
        sống của bệnh nhân?
  - source_sentence: >-
      - chào bạn,huyết khối mạch máu não có thể phân thành huyết khối động mạch
      và huyết khối tĩnh mạch. cả hai đều là tình trạng nguy hiểm, cần điều trị
      tích cực và theo dõi sát phòng ngừa biến chứng. do đó, phải được điều trị
      ở bệnh viện chuyên khoa lớn. nếu được bạn vui lòng cung cấp thêm thông tin
      về phim chụp ct scan hoặc mri sọ não và các xét nghiệm, toa thuốc liên
      quan để bác sĩ tư vấn cụ thể hơn cho bạn nhé!thân mến.mời tham khảo
      thêm:>> bệnh nhân nhồi máu não liệu có thể sử dụng nattoenzym?>> người già
      đi đứng không vững là dấu hiệu tắc mạch máu não? huyết khối hay còn gọi là
      cục máu đông được hình thành bởi các yếu tố đông máu, giúp cầm máu. khi
      bạn bị thương, chảy máu, quá trình tạo cục máu đông sẽ được kích hoạt.
      tiểu cầu sẽ ngưng tập đến vị trí bị tổn thương, tạo ra các nút chặn, cùng
      với các yếu tố đông máu hình thành các sợi fibrin giữ tiểu cầu lại với
      nhau, phóng thích các chất hóa học để hình thành cục máu đông. các protein
      trong cơ thể sẽ giúp xác định thời điểm dừng quá trình tạo huyết khối.tuy
      nhiên, huyết khối trong lòng mạch lại là “hung thần” vì nó gây ra những
      biến chứng nguy hiểm tới hệ tuần hoàn, não, và nguy cơ gây đột quỵ cao.
      huyết khối đi trong lòng mạch làm cản trở tốc độ dòng máu, khiến máu trong
      lòng mạch sẽ lắng đọng dần dần gây ra thuyên tắc, làm việc cung cấp máu
      tới mô và cơ quan trong cơ thể bị gián đoạn.
    sentences:
      - >-
        Nếu mà hay uống trà và cafe thì có nên tẩy trắng răng không ạ? Răng tôi
        hơi vàng, muốn tẩy trắng nhưng tôi lo rằng tẩy trắng xong vẫn uống trà
        và cafe như cũ thì răng sẽ đen hơn và liên tục phải tẩy.  (Bạn đọc hỏi
        qua hotline 08983 08983)
      - >-
        Thưa bác sĩ tắc nghẽn mạch máu não có cần mổ không, làm thế nào máu mới
        lưu thông và có bị làm sao không bác sĩ? Em đi khám người ta nói không
        sao chỉ có cục máu đông đọng lại làm tắc nghẽn mạch máu thôi về uống
        thuốc đều là từ từ nó tan, nhưng em lo lắm bác sĩ ơi!
      - Định lượng Bilirubin toàn phần [dịch]
  - source_sentence: >-
      - chào em,về nguyên tắc quan hệ vợ chồng không làm ảnh hưởng đến tiến
      trình lành của vết thương. tuy nhiên, trong quá trình này có thể xảy ra
      những va chạm hoặc chịu lực ở chân khiến cho chân dễ bị tổn thương nặng
      hơn.sử dụng các chất kích thích như rượu bia quá nhiều có thể làm cho vết
      thương lâu lành, ngoài ra, rượu bia có thể phản ứng với một số loại thuốc
      giảm đau làm tổn hại dạ dày nặng nề hơn. do đó em cần thận trọng!
    sentences:
      - >-
        Em chào BS,  Em bị ngã và được chẩn đoán là vỡ xương gót chân, em chỉ bó
        bột thôi không phải mổ. Em đã bó bột  được 15 ngày và tháo ra đi đắp
        thuốc nam, em đã đi chụp lại thầy thuốc nói chân em đang can lại rồi,
        liệu như vậy em đã tập đi được chưa, và em phải làm như thế nào? Mong BS
        sớm trả lời em với.  (Đinh Duy Khánh - Phú Thọ)
      - >-
        Em chào BS,  Em năm nay 29 tuổi, em mới mổ gối do bị đứt dây chằng chéo
        trước và rách sụn chêm vì chơi thể thao bị té, đến nay đã được 3 tuần. 
        BS cho em hỏi em quan hệ vợ chồng có được không?  Em uống bia có ảnh
        hưởng gì đến việc hồi phục không? Xin cảm ơn.  (Khánh Duy -
        lee.d…@gmail.com)
      - >-
        Chào bác sĩ ạ,  Mẹ cháu bị sưng một bên lưng ngay cột sống, đi khám mới
        biết bị gai cột sống. Cộng thêm mẹ cháu còn bị khớp nữa nên đêm nào cũng
        đau âm ỉ không ngủ được. Bác sĩ có thể chỉ giúp cháu bệnh viện nào trị
        dứt được căn bệnh này và cách để giảm đau vào mỗi lần bệnh hành được
        không ạ? Mẹ cháu không uống thuốc giảm đau được vì bị bệnh bao tử. Chân
        thành cảm ơn bác sĩ.  (Oanh Nguyen - zuasieu...@gmail.com)
  - source_sentence: >-
      huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi
      tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí
      theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn
      khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó
      chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp
      hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi
      huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp
      thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây
      ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van
      tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một
      triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng
      mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu
      chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn
      bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy
      nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời
      gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để
      được chẩn đoán thêm.
    sentences:
      - >-
        Chào bác sĩ,  BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú
        là bị làm sao ạ? Chân thành cảm ơn BS.  (Trúc - quynhtruc...@gmail.com)
      - >-
        Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác
        sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh
        gì? (Pham Minh Anh - TP.HCM)
      - >-
        Tôi năm nay 48 tuổi, bị sốt bại liệt từ nhỏ. Chân trái ngắn hơn chân
        phải và yếu hơn. Tôi muốn mổ kéo chân có được không, xin bác sĩ tư vấn
        giúp.
datasets:
  - thang1943/questions_answers_final_v3
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on intfloat/multilingual-e5-large
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.7237054291345637
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.8482350833184017
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8781580361942304
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.9166815982798782
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.7237054291345637
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.2827450277728006
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.17563160723884605
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0916681598279878
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.7237054291345637
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.8482350833184017
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.8781580361942304
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.9166815982798782
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.8226378385801015
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.7923031089040777
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.7951255677002171
            name: Cosine Map@100

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the questions_answers_final_v3 dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- questions_answers_final_v3

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("multilingual-e5-large-v3")
# Run inference
sentences = [
    'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.',
    'Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh Anh - TP.HCM)',
    'Chào bác sĩ,  BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị làm sao ạ? Chân thành cảm ơn BS.  (Trúc - quynhtruc...@gmail.com)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.7237
cosine_accuracy@3	0.8482
cosine_accuracy@5	0.8782
cosine_accuracy@10	0.9167
cosine_precision@1	0.7237
cosine_precision@3	0.2827
cosine_precision@5	0.1756
cosine_precision@10	0.0917
cosine_recall@1	0.7237
cosine_recall@3	0.8482
cosine_recall@5	0.8782
cosine_recall@10	0.9167
cosine_ndcg@10	0.8226
cosine_mrr@10	0.7923
cosine_map@100	0.7951

Training Details

Training Dataset

questions_answers_final_v3

Dataset: questions_answers_final_v3 at eac0552
Size: 55,802 training samples
Columns: answers and queries
Approximate statistics based on the first 1000 samples:
answers queries
type string string
details
min: 3 tokens
mean: 208.2 tokens
max: 512 tokens

min: 4 tokens
mean: 85.92 tokens
max: 512 tokens

	answers	queries
type	string	string
details	min: 3 tokens mean: 208.2 tokens max: 512 tokens	min: 4 tokens mean: 85.92 tokens max: 512 tokens

Samples:

answers	queries
Mã tương đương: 03.4155.0542, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Tên dịch vụ phê duyệt giá: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Phân Loại PTTT: P1, Mức giá: 4.594.500, Ghi chú: Chưa bao gồm nẹp vít, ốc, dao cắt sụn và lưỡi bào, bộ dây bơm nước, đầu đốt, tay dao điện, gân sinh học, gân đồng loại.	`Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button`
chào bạn, ung thư gan không lây qua ăn uống, sinh hoạt chung trước tiên phải khẳng định ung thư gan không lây. hoàn toàn không lây qua ăn uống, sinh hoạt chung bạn nhé. các chất dịch của người bệnh cũng không làm lây lan bệnh. chỉ có viêm gan, như viêm gan a lây qua nước bọt, ăn uống chung… chứ ung thư gan hoàn toàn không lây qua đường ăn uống. tuy nhiên, những người bị viêm gan b hoặc c mãn tính có biến chứng ung thư gan thì có thể lây bệnh viêm gan c, hoặc viêm gan b qua đường máu hoặc đường dịch tiết. như vậy, bạn cần kiểm tra xem bệnh ung thư gan của ông có phải do biến chứng từ viêm gan b, c hay không. nếu không phải do biến chứng từ viêm gan thì không ngại lây. vẫn có thể cho ông bà cùng ăn chung, không ngại bà bị lây bệnh. gia đình có thể cho ông ăn uống thoải mái, không cần kiêng cữ gì đâu, để những tháng cuối đời của ông được như ý, vui vẻ.có thể nói một sự thật khá đau buồn là ung thư gan đã di căn, thời gian còn lại của bệnh nhân chỉ trong vòng từ 6 -12 tháng.cố gắng lên bạn...	Ông tôi mới phát hiện bị ung thư gan, đã bị di căn. Vì ông tôi gần 90 tuổi nên gia đình không muốn mổ xẻ hoặc làm ông đau đớn, nên con cháu thống nhất sẽ đưa ông về nhà điều trị ngoại trú. Vì ông bà rất tình cảm, vẫn hay ăn chung nên chúng tôi muốn biết ung thu gan có lây không? Bà ăn uống cùng ông có làm sao không ạ? Ngoài ra, thưa bác sĩ, ung thư gan đã di căn có thể sống được bao lâu? Có cần kiêng cữ món gì không? Chân thành cảm ơn bác sĩ. (Bạn đọc)
`Mã tương đương: 14.0151.0813, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Đặt ống silicon tiền phòng điều trị glôcôm, Tên dịch vụ phê duyệt giá: Đặt ống silicon tiền phòng điều trị glôcôm, Phân Loại PTTT: PDB, Mức giá: 1.644.100, Ghi chú: Chưa bao gồm ống silicon.`	`Đặt ống silicon tiền phòng điều trị glôcôm`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 10
per_device_eval_batch_size: 1
learning_rate: 1e-06
num_train_epochs: 1
lr_scheduler_type: constant_with_warmup
warmup_ratio: 0.1
bf16: True
tf32: False
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 10
per_device_eval_batch_size: 1
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 1e-06
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: constant_with_warmup
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: False
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10
0.0022	10	1.0725	-
0.0045	20	0.9312	-
0.0067	30	0.8916	-
0.0090	40	0.9559	-
0.0112	50	0.9385	-
0.0134	60	0.932	-
0.0157	70	0.8783	-
0.0179	80	0.9689	-
0.0202	90	0.9096	-
0.0224	100	0.8127	-
0.0246	110	0.8836	-
0.0269	120	0.875	-
0.0291	130	0.7447	-
0.0314	140	0.719	-
0.0336	150	0.7221	-
0.0358	160	0.6853	-
0.0381	170	0.6243	-
0.0403	180	0.5494	-
0.0426	190	0.5801	-
0.0448	200	0.434	-
0.0470	210	0.3835	-
0.0493	220	0.4194	-
0.0515	230	0.3993	-
0.0538	240	0.4722	-
0.0560	250	0.4243	-
0.0582	260	0.334	-
0.0605	270	0.2327	-
0.0627	280	0.183	-
0.0650	290	0.2109	-
0.0672	300	0.2534	-
0.0694	310	0.222	-
0.0717	320	0.2471	-
0.0739	330	0.1994	-
0.0762	340	0.2001	-
0.0784	350	0.1089	-
0.0806	360	0.1568	-
0.0829	370	0.0801	-
0.0851	380	0.082	-
0.0874	390	0.1205	-
0.0896	400	0.129	-
0.0918	410	0.1083	-
0.0941	420	0.1177	-
0.0963	430	0.0538	-
0.0986	440	0.2064	-
0.1008	450	0.0553	-
0.1030	460	0.1577	-
0.1053	470	0.1717	-
0.1075	480	0.0883	-
0.1098	490	0.0355	-
0.1120	500	0.1754	-
0.1142	510	0.1565	-
0.1165	520	0.1607	-
0.1187	530	0.0686	-
0.1210	540	0.085	-
0.1232	550	0.0933	-
0.1254	560	0.0916	-
0.1277	570	0.0339	-
0.1299	580	0.1332	-
0.1322	590	0.1247	-
0.1344	600	0.0857	-
0.1366	610	0.0895	-
0.1389	620	0.1396	-
0.1411	630	0.1071	-
0.1434	640	0.0839	-
0.1456	650	0.0214	-
0.1478	660	0.0568	-
0.1501	670	0.0485	-
0.1523	680	0.0785	-
0.1546	690	0.1071	-
0.1568	700	0.1198	-
0.1591	710	0.0352	-
0.1613	720	0.0172	-
0.1635	730	0.1381	-
0.1658	740	0.0806	-
0.1680	750	0.1238	-
0.1703	760	0.0931	-
0.1725	770	0.0702	-
0.1747	780	0.0589	-
0.1770	790	0.1454	-
0.1792	800	0.1521	-
0.1815	810	0.0975	-
0.1837	820	0.0807	-
0.1859	830	0.0539	-
0.1882	840	0.0864	-
0.1904	850	0.1547	-
0.1927	860	0.1256	-
0.1949	870	0.037	-
0.1971	880	0.097	-
0.1994	890	0.0949	-
0.2016	900	0.0284	-
0.2039	910	0.1728	-
0.2061	920	0.0504	-
0.2083	930	0.0769	-
0.2106	940	0.031	-
0.2128	950	0.0595	-
0.2151	960	0.0691	-
0.2173	970	0.0853	-
0.2195	980	0.0124	-
0.2218	990	0.0482	-
0.2240	1000	0.1254	-
0.2263	1010	0.0187	-
0.2285	1020	0.1364	-
0.2307	1030	0.0645	-
0.2330	1040	0.0707	-
0.2352	1050	0.1193	-
0.2375	1060	0.0724	-
0.2397	1070	0.0773	-
0.2419	1080	0.048	-
0.2442	1090	0.0972	-
0.2464	1100	0.0433	-
0.2487	1110	0.0607	-
0.2509	1120	0.0907	-
0.2531	1130	0.0351	-
0.2554	1140	0.0816	-
0.2576	1150	0.0517	-
0.2599	1160	0.0616	-
0.2621	1170	0.0475	-
0.2643	1180	0.1408	-
0.2666	1190	0.1076	-
0.2688	1200	0.09	-
0.2711	1210	0.0548	-
0.2733	1220	0.0744	-
0.2755	1230	0.1068	-
0.2778	1240	0.1186	-
0.2800	1250	0.0566	-
0.2823	1260	0.0711	-
0.2845	1270	0.1216	-
0.2867	1280	0.0619	-
0.2890	1290	0.1642	-
0.2912	1300	0.0667	-
0.2935	1310	0.1369	-
0.2957	1320	0.0746	-
0.2979	1330	0.0529	-
0.3002	1340	0.0676	-
0.3024	1350	0.0655	-
0.3047	1360	0.0412	-
0.3069	1370	0.0314	-
0.3091	1380	0.0366	-
0.3114	1390	0.0677	-
0.3136	1400	0.021	-
0.3159	1410	0.0846	-
0.3181	1420	0.0047	-
0.3203	1430	0.0257	-
0.3226	1440	0.1086	-
0.3248	1450	0.0711	-
0.3271	1460	0.0591	-
0.3293	1470	0.0441	-
0.3315	1480	0.1062	-
0.3338	1490	0.0814	-
0.3360	1500	0.0502	-
0.3383	1510	0.0316	-
0.3405	1520	0.189	-
0.3427	1530	0.0479	-
0.3450	1540	0.0723	-
0.3472	1550	0.0314	-
0.3495	1560	0.0376	-
0.3517	1570	0.1575	-
0.3539	1580	0.0132	-
0.3562	1590	0.0851	-
0.3584	1600	0.0755	-
0.3607	1610	0.0749	-
0.3629	1620	0.0587	-
0.3651	1630	0.0867	-
0.3674	1640	0.0912	-
0.3696	1650	0.0289	-
0.3719	1660	0.0555	-
0.3741	1670	0.0813	-
0.3763	1680	0.0172	-
0.3786	1690	0.0809	-
0.3808	1700	0.0702	-
0.3831	1710	0.1098	-
0.3853	1720	0.0524	-
0.3875	1730	0.0051	-
0.3898	1740	0.0489	-
0.3920	1750	0.0262	-
0.3943	1760	0.0149	-
0.3965	1770	0.0815	-
0.3987	1780	0.0606	-
0.4010	1790	0.061	-
0.4032	1800	0.1599	-
0.4055	1810	0.0275	-
0.4077	1820	0.0673	-
0.4099	1830	0.0829	-
0.4122	1840	0.1204	-
0.4144	1850	0.0436	-
0.4167	1860	0.1417	-
0.4189	1870	0.0566	-
0.4211	1880	0.0207	-
0.4234	1890	0.006	-
0.4256	1900	0.0805	-
0.4279	1910	0.068	-
0.4301	1920	0.0409	-
0.4323	1930	0.0695	-
0.4346	1940	0.0792	-
0.4368	1950	0.126	-
0.4391	1960	0.0282	-
0.4413	1970	0.0701	-
0.4435	1980	0.0149	-
0.4458	1990	0.1448	-
0.4480	2000	0.1568	-
0.4503	2010	0.0665	-
0.4525	2020	0.0489	-
0.4547	2030	0.0252	-
0.4570	2040	0.1204	-
0.4592	2050	0.11	-
0.4615	2060	0.1115	-
0.4637	2070	0.0261	-
0.4659	2080	0.0313	-
0.4682	2090	0.0183	-
0.4704	2100	0.0342	-
0.4727	2110	0.0369	-
0.4749	2120	0.0506	-
0.4772	2130	0.0859	-
0.4794	2140	0.0483	-
0.4816	2150	0.1365	-
0.4839	2160	0.0626	-
0.4861	2170	0.0952	-
0.4884	2180	0.0422	-
0.4906	2190	0.0263	-
0.4928	2200	0.0344	-
0.4951	2210	0.0574	-
0.4973	2220	0.0837	-
0.4996	2230	0.055	-
0.5018	2240	0.1217	-
0.5040	2250	0.0597	-
0.5063	2260	0.0124	-
0.5085	2270	0.088	-
0.5108	2280	0.0325	-
0.5130	2290	0.0428	-
0.5152	2300	0.036	-
0.5175	2310	0.0512	-
0.5197	2320	0.1216	-
0.5220	2330	0.0717	-
0.5242	2340	0.004	-
0.5264	2350	0.1664	-
0.5287	2360	0.0873	-
0.5309	2370	0.043	-
0.5332	2380	0.0411	-
0.5354	2390	0.0355	-
0.5376	2400	0.0804	-
0.5399	2410	0.2921	-
0.5421	2420	0.0628	-
0.5444	2430	0.1446	-
0.5466	2440	0.0256	-
0.5488	2450	0.0709	-
0.5511	2460	0.0814	-
0.5533	2470	0.0701	-
0.5556	2480	0.074	-
0.5578	2490	0.0055	-
0.5600	2500	0.0719	-
0.5623	2510	0.0423	-
0.5645	2520	0.0277	-
0.5668	2530	0.0164	-
0.5690	2540	0.1647	-
0.5712	2550	0.0532	-
0.5735	2560	0.0801	-
0.5757	2570	0.0591	-
0.5780	2580	0.1082	-
0.5802	2590	0.0407	-
0.5824	2600	0.0042	-
0.5847	2610	0.0175	-
0.5869	2620	0.0438	-
0.5892	2630	0.0794	-
0.5914	2640	0.0847	-
0.5936	2650	0.0507	-
0.5959	2660	0.0713	-
0.5981	2670	0.0246	-
0.6004	2680	0.0833	-
0.6026	2690	0.0551	-
0.6048	2700	0.0628	-
0.6071	2710	0.0657	-
0.6093	2720	0.0499	-
0.6116	2730	0.1524	-
0.6138	2740	0.0432	-
0.6160	2750	0.0261	-
0.6183	2760	0.0544	-
0.6205	2770	0.0315	-
0.6228	2780	0.0622	-
0.625	2790	0.0462	-
0.6272	2800	0.0192	-
0.6295	2810	0.0083	-
0.6317	2820	0.0284	-
0.6340	2830	0.0283	-
0.6362	2840	0.0063	-
0.6384	2850	0.0127	-
0.6407	2860	0.037	-
0.6429	2870	0.0682	-
0.6452	2880	0.0543	-
0.6474	2890	0.1699	-
0.6496	2900	0.0644	-
0.6519	2910	0.0294	-
0.6541	2920	0.0844	-
0.6564	2930	0.0954	-
0.6586	2940	0.0058	-
0.6608	2950	0.0714	-
0.6631	2960	0.0465	-
0.6653	2970	0.0035	-
0.6676	2980	0.0361	-
0.6698	2990	0.0081	-
0.6720	3000	0.0302	-
0.6743	3010	0.0673	-
0.6765	3020	0.0414	-
0.6788	3030	0.0576	-
0.6810	3040	0.1145	-
0.6832	3050	0.0663	-
0.6855	3060	0.1084	-
0.6877	3070	0.0739	-
0.6900	3080	0.0034	-
0.6922	3090	0.0324	-
0.6944	3100	0.0555	-
0.6967	3110	0.0866	-
0.6989	3120	0.036	-
0.7012	3130	0.0863	-
0.7034	3140	0.0988	-
0.7056	3150	0.04	-
0.7079	3160	0.0469	-
0.7101	3170	0.0743	-
0.7124	3180	0.07	-
0.7146	3190	0.0546	-
0.7168	3200	0.068	-
0.7191	3210	0.1288	-
0.7213	3220	0.0338	-
0.7236	3230	0.045	-
0.7258	3240	0.0266	-
0.7280	3250	0.0993	-
0.7303	3260	0.0388	-
0.7325	3270	0.0397	-
0.7348	3280	0.0571	-
0.7370	3290	0.0808	-
0.7392	3300	0.0789	-
0.7415	3310	0.0402	-
0.7437	3320	0.0199	-
0.7460	3330	0.0458	-
0.7482	3340	0.072	-
0.7504	3350	0.0916	-
0.7527	3360	0.0397	-
0.7549	3370	0.0062	-
0.7572	3380	0.0592	-
0.7594	3390	0.0421	-
0.7616	3400	0.0752	-
0.7639	3410	0.0646	-
0.7661	3420	0.0591	-
0.7684	3430	0.0742	-
0.7706	3440	0.0178	-
0.7728	3450	0.0301	-
0.7751	3460	0.0096	-
0.7773	3470	0.0163	-
0.7796	3480	0.0277	-
0.7818	3490	0.0292	-
0.7841	3500	0.0464	-
0.7863	3510	0.0427	-
0.7885	3520	0.1283	-
0.7908	3530	0.0372	-
0.7930	3540	0.0784	-
0.7953	3550	0.133	-
0.7975	3560	0.0197	-
0.7997	3570	0.0575	-
0.8020	3580	0.072	-
0.8042	3590	0.0361	-
0.8065	3600	0.0922	-
0.8087	3610	0.017	-
0.8109	3620	0.0655	-
0.8132	3630	0.0812	-
0.8154	3640	0.0164	-
0.8177	3650	0.0358	-
0.8199	3660	0.0437	-
0.8221	3670	0.0417	-
0.8244	3680	0.0249	-
0.8266	3690	0.0828	-
0.8289	3700	0.0013	-
0.8311	3710	0.114	-
0.8333	3720	0.0541	-
0.8356	3730	0.0473	-
0.8378	3740	0.0082	-
0.8401	3750	0.0072	-
0.8423	3760	0.0519	-
0.8445	3770	0.0805	-
0.8468	3780	0.132	-
0.8490	3790	0.0725	-
0.8513	3800	0.0985	-
0.8535	3810	0.1151	-
0.8557	3820	0.0562	-
0.8580	3830	0.0428	-
0.8602	3840	0.0299	-
0.8625	3850	0.045	-
0.8647	3860	0.0877	-
0.8669	3870	0.0926	-
0.8692	3880	0.0565	-
0.8714	3890	0.0552	-
0.8737	3900	0.0974	-
0.8759	3910	0.0209	-
0.8781	3920	0.0873	-
0.8804	3930	0.0091	-
0.8826	3940	0.0705	-
0.8849	3950	0.2158	-
0.8871	3960	0.0558	-
0.8893	3970	0.0217	-
0.8916	3980	0.0257	-
0.8938	3990	0.0414	-
0.8961	4000	0.0358	-
0.8983	4010	0.0268	-
0.9005	4020	0.0073	-
0.9028	4030	0.078	-
0.9050	4040	0.0115	-
0.9073	4050	0.0883	-
0.9095	4060	0.0238	-
0.9117	4070	0.0383	-
0.9140	4080	0.0364	-
0.9162	4090	0.0389	-
0.9185	4100	0.0738	-
0.9207	4110	0.0787	-
0.9229	4120	0.0527	-
0.9252	4130	0.1483	-
0.9274	4140	0.0168	-
0.9297	4150	0.0292	-
0.9319	4160	0.074	-
0.9341	4170	0.0022	-
0.9364	4180	0.005	-
0.9386	4190	0.0984	-
0.9409	4200	0.0304	-
0.9431	4210	0.074	-
0.9453	4220	0.0661	-
0.9476	4230	0.0478	-
0.9498	4240	0.0805	-
0.9521	4250	0.0283	-
0.9543	4260	0.0668	-
0.9565	4270	0.0217	-
0.9588	4280	0.0161	-
0.9610	4290	0.0391	-
0.9633	4300	0.1008	-
0.9655	4310	0.073	-
0.9677	4320	0.0178	-
0.9700	4330	0.0495	-
0.9722	4340	0.0018	-
0.9745	4350	0.0453	-
0.9767	4360	0.014	-
0.9789	4370	0.1036	-
0.9812	4380	0.0365	-
0.9834	4390	0.0488	-
0.9857	4400	0.0104	-
0.9879	4410	0.0556	-
0.9901	4420	0.0456	-
0.9924	4430	0.0855	-
0.9946	4440	0.0026	-
0.9969	4450	0.108	-
0.9991	4460	0.0436	-
1.0	4464	-	0.8226

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.16
Sentence Transformers: 3.4.1
Transformers: 4.49.0
PyTorch: 2.6.0+cu124
Accelerate: 1.5.2
Datasets: 3.3.2
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}