--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:55802 - loss:MultipleNegativesRankingLoss base_model: intfloat/multilingual-e5-large widget: - source_sentence: 'Mã tương đương: 19.0112.1850, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Tên dịch vụ phê duyệt giá: Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA, Phân Loại PTTT: T1, Mức giá: 499.800, Ghi chú: Chưa bao gồm dược chất phóng xạ, hợp chất đánh dấu, vật tư phóng xạ và các thuốc bổ trợ khác, nếu có sử dụng.' sentences: - Chào bác sĩ, tôi làm nội trợ, hàng ngày thường phải đứng lâu để nấu nướng, dọn dẹp, điều này có thể gây ra những bệnh xương khớp nào ạ? Ngoài ra, với các động tác tay như băm, dùng máy đánh bột, máy đánh trứng… có thể dẫn đến nguy cơ bệnh gì đối với cổ tay, thưa BS? - Xạ hình lưu thông dịch não tủy với ¹¹¹In - DTPA - HSV 1+2 IgG miễn dịch tự động - source_sentence: ảnh bạn đọc cung cấp cho alobacsi chào bạn, tổn thương ở da đầu của bạn có dạng một bệnh nấm da, thường gặp nhất là lang ben. bệnh do một loại nấm thuộc nhóm malassezia furfur hay còn gọi là pityrosporum orbiculaire (một loại nấm gây bệnh ở lớp sừng). bệnh chủ yếu gặp ở lứa tuổi thanh thiếu niên khi tuyến bã tăng cường hoạt động hay ở những người mắc bệnh lý làm tăng tiết mồ hôi, thay đổi thành phần hóa học của mồ hôi. bệnh tăng lên ở thời tiết nóng ẩm và khi cơ thể bị tăng tiết mồ hôi. bề mặt tổn thương có vảy cám mịn, có thể cạo bong dễ dàng được gọi là dấu hiệu vỏ bào. nấm lang ben được chẩn đoán dựa trên lâm sàng kết hợp với xét nghiệm soi tươi tìm nấm. điều trị lang ben không khó nhưng bệnh hay bị tái phát, do đó, để điều trị triệt để, tuỳ theo mức độ nặng cần phối hợp điều trị bằng thuốc tại chỗ và thuốc toàn thân đủ thời gian quy định, vệ sinh thân thể và vật dụng, thay đổi lối sống để không còn môi trường thuận lợi cho nấm phát triển và gây bệnh. bạn nên khám bác sĩ da liễu để được kê toa và hướng dẫn dùng thuốc. nên hạn chế tối đa việc ra mồ hôi, nếu có thì nên lau khô, giữ thoáng, mặc quần áo mát mẻ, thấm hút mồ hôi và nên vệ sinh thân thể, giặt phơi quần áo thường xuyên. thân mến! sentences: - Bác sĩ cho em hỏi trường hợp da đầu của em là bị gì ạ, ngứa và đỏ da đầu, nhất là ra trời nắng nóng và khi mới cắt tóc. Lông mày hay vùng râu của em cũng bị đỏ và có vảy ạ, nhờ BS tư vấn giúp em với (ZL Quang Vũ) - Em đang là sinh viên. Dạo này em hay bị nhức đầu, đôi lúc buồn nôn, thay đổi tư thế đột ngột thì bị choáng. Em từng bị viêm xoang. Em hay thức khuya. Xin hỏi bác sĩ em bị bệnh gì và cách chữa. Em xin cám ơn (Thanh Quang - Baby...@yahoo.com) - Thưa bác sĩ, ê buốt răng có thể ảnh hưởng thế nào đến sức khỏe và cuộc sống của bệnh nhân? - source_sentence: '- chào bạn,huyết khối mạch máu não có thể phân thành huyết khối động mạch và huyết khối tĩnh mạch. cả hai đều là tình trạng nguy hiểm, cần điều trị tích cực và theo dõi sát phòng ngừa biến chứng. do đó, phải được điều trị ở bệnh viện chuyên khoa lớn. nếu được bạn vui lòng cung cấp thêm thông tin về phim chụp ct scan hoặc mri sọ não và các xét nghiệm, toa thuốc liên quan để bác sĩ tư vấn cụ thể hơn cho bạn nhé!thân mến.mời tham khảo thêm:>> bệnh nhân nhồi máu não liệu có thể sử dụng nattoenzym?>> người già đi đứng không vững là dấu hiệu tắc mạch máu não? huyết khối hay còn gọi là cục máu đông được hình thành bởi các yếu tố đông máu, giúp cầm máu. khi bạn bị thương, chảy máu, quá trình tạo cục máu đông sẽ được kích hoạt. tiểu cầu sẽ ngưng tập đến vị trí bị tổn thương, tạo ra các nút chặn, cùng với các yếu tố đông máu hình thành các sợi fibrin giữ tiểu cầu lại với nhau, phóng thích các chất hóa học để hình thành cục máu đông. các protein trong cơ thể sẽ giúp xác định thời điểm dừng quá trình tạo huyết khối.tuy nhiên, huyết khối trong lòng mạch lại là “hung thần” vì nó gây ra những biến chứng nguy hiểm tới hệ tuần hoàn, não, và nguy cơ gây đột quỵ cao. huyết khối đi trong lòng mạch làm cản trở tốc độ dòng máu, khiến máu trong lòng mạch sẽ lắng đọng dần dần gây ra thuyên tắc, làm việc cung cấp máu tới mô và cơ quan trong cơ thể bị gián đoạn.' sentences: - Nếu mà hay uống trà và cafe thì có nên tẩy trắng răng không ạ? Răng tôi hơi vàng, muốn tẩy trắng nhưng tôi lo rằng tẩy trắng xong vẫn uống trà và cafe như cũ thì răng sẽ đen hơn và liên tục phải tẩy. (Bạn đọc hỏi qua hotline 08983 08983) - Thưa bác sĩ tắc nghẽn mạch máu não có cần mổ không, làm thế nào máu mới lưu thông và có bị làm sao không bác sĩ? Em đi khám người ta nói không sao chỉ có cục máu đông đọng lại làm tắc nghẽn mạch máu thôi về uống thuốc đều là từ từ nó tan, nhưng em lo lắm bác sĩ ơi! - Định lượng Bilirubin toàn phần [dịch] - source_sentence: '- chào em,về nguyên tắc quan hệ vợ chồng không làm ảnh hưởng đến tiến trình lành của vết thương. tuy nhiên, trong quá trình này có thể xảy ra những va chạm hoặc chịu lực ở chân khiến cho chân dễ bị tổn thương nặng hơn.sử dụng các chất kích thích như rượu bia quá nhiều có thể làm cho vết thương lâu lành, ngoài ra, rượu bia có thể phản ứng với một số loại thuốc giảm đau làm tổn hại dạ dày nặng nề hơn. do đó em cần thận trọng!' sentences: - Em chào BS, Em bị ngã và được chẩn đoán là vỡ xương gót chân, em chỉ bó bột thôi không phải mổ. Em đã bó bột được 15 ngày và tháo ra đi đắp thuốc nam, em đã đi chụp lại thầy thuốc nói chân em đang can lại rồi, liệu như vậy em đã tập đi được chưa, và em phải làm như thế nào? Mong BS sớm trả lời em với. (Đinh Duy Khánh - Phú Thọ) - Em chào BS, Em năm nay 29 tuổi, em mới mổ gối do bị đứt dây chằng chéo trước và rách sụn chêm vì chơi thể thao bị té, đến nay đã được 3 tuần. BS cho em hỏi em quan hệ vợ chồng có được không? Em uống bia có ảnh hưởng gì đến việc hồi phục không? Xin cảm ơn. (Khánh Duy - lee.d…@gmail.com) - Chào bác sĩ ạ, Mẹ cháu bị sưng một bên lưng ngay cột sống, đi khám mới biết bị gai cột sống. Cộng thêm mẹ cháu còn bị khớp nữa nên đêm nào cũng đau âm ỉ không ngủ được. Bác sĩ có thể chỉ giúp cháu bệnh viện nào trị dứt được căn bệnh này và cách để giảm đau vào mỗi lần bệnh hành được không ạ? Mẹ cháu không uống thuốc giảm đau được vì bị bệnh bao tử. Chân thành cảm ơn bác sĩ. (Oanh Nguyen - zuasieu...@gmail.com) - source_sentence: 'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.' sentences: - Chào bác sĩ, BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị làm sao ạ? Chân thành cảm ơn BS. (Trúc - quynhtruc...@gmail.com) - Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh Anh - TP.HCM) - Tôi năm nay 48 tuổi, bị sốt bại liệt từ nhỏ. Chân trái ngắn hơn chân phải và yếu hơn. Tôi muốn mổ kéo chân có được không, xin bác sĩ tư vấn giúp. datasets: - thang1943/questions_answers_final_v3 pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - cosine_accuracy@1 - cosine_accuracy@3 - cosine_accuracy@5 - cosine_accuracy@10 - cosine_precision@1 - cosine_precision@3 - cosine_precision@5 - cosine_precision@10 - cosine_recall@1 - cosine_recall@3 - cosine_recall@5 - cosine_recall@10 - cosine_ndcg@10 - cosine_mrr@10 - cosine_map@100 model-index: - name: SentenceTransformer based on intfloat/multilingual-e5-large results: - task: type: information-retrieval name: Information Retrieval dataset: name: dim 768 type: dim_768 metrics: - type: cosine_accuracy@1 value: 0.7237054291345637 name: Cosine Accuracy@1 - type: cosine_accuracy@3 value: 0.8482350833184017 name: Cosine Accuracy@3 - type: cosine_accuracy@5 value: 0.8781580361942304 name: Cosine Accuracy@5 - type: cosine_accuracy@10 value: 0.9166815982798782 name: Cosine Accuracy@10 - type: cosine_precision@1 value: 0.7237054291345637 name: Cosine Precision@1 - type: cosine_precision@3 value: 0.2827450277728006 name: Cosine Precision@3 - type: cosine_precision@5 value: 0.17563160723884605 name: Cosine Precision@5 - type: cosine_precision@10 value: 0.0916681598279878 name: Cosine Precision@10 - type: cosine_recall@1 value: 0.7237054291345637 name: Cosine Recall@1 - type: cosine_recall@3 value: 0.8482350833184017 name: Cosine Recall@3 - type: cosine_recall@5 value: 0.8781580361942304 name: Cosine Recall@5 - type: cosine_recall@10 value: 0.9166815982798782 name: Cosine Recall@10 - type: cosine_ndcg@10 value: 0.8226378385801015 name: Cosine Ndcg@10 - type: cosine_mrr@10 value: 0.7923031089040777 name: Cosine Mrr@10 - type: cosine_map@100 value: 0.7951255677002171 name: Cosine Map@100 --- # SentenceTransformer based on intfloat/multilingual-e5-large This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3) dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 1024 dimensions - **Similarity Function:** Cosine Similarity - **Training Dataset:** - [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3) ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) (2): Normalize() ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("multilingual-e5-large-v3") # Run inference sentences = [ 'huyết áp bình thường dao động trong khoảng 90/60- 139/89mmhg và thay đổi tùy theo độ tuổi, phái tính, từng thời điểm khác nhau trong ngày, thậm chí theo đặc thù của từng cơ thể khác nhau: ví dụ một người có thể hoàn toàn khỏe mạnh với huyết áp 90/60mmhg thì người khác có thể rất mệt mỏi, khó chịu khi huyết áp là 100/60mmhg... huyết áp được gọi là tụt (hạ huyết áp hay huyết áp thấp) khi trị số huyết áp < 90/60mmhg hay chính xác là khi huyết áp bị giảm tới mức gây chóng mặt, xây xẩm hay ngất xỉu. huyết áp thấp không phải là bệnh mà chỉ là một biểu hiện do nhiều nguyên nhân gây ra: ví dụ thiếu máu, mất máu, mất nước, suy yếu cơ tim, tổn thương van tim, rối loạn hệ thần kinh điều hòa tim và mạch máu... chóng mặt là một triệu chứng có thể do nhiều bệnh lý gây nên. nếu chị thường xuyên bị chóng mặt kèm theo huyết áp thấp (theo các tiêu chuẩn trên) thì có thể triệu chứng chóng mặt này do huyết áp thấp. chích thuốc bổ và ăn nhiều thức ăn bổ dưỡng chỉ giúp cải thiện chóng mặt và huyết áp thấp do cơ thể suy nhược, thiếu máu mạn tính. chị có thể thử phương pháp này trong một thời gian, nếu không bớt thì nên đến khám chuyên khoa tim mạch và thần kinh để được chẩn đoán thêm.', 'Tôi thường xuyên chóng mặt, đi khám thì được biết do huyết áp thấp. Bác sĩ chích thuốc bổ và khuyên tôi nên ăn uống đủ chất. Xin hỏi tôi bị bệnh gì? (Pham Minh Anh - TP.HCM)', 'Chào bác sĩ, BS cho em hỏi bị nhăn đầu ti và mọc các mụn thịt quanh vú là bị làm sao ạ? Chân thành cảm ơn BS. (Trúc - quynhtruc...@gmail.com)', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 1024] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Information Retrieval * Dataset: `dim_768` * Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) | Metric | Value | |:--------------------|:-----------| | cosine_accuracy@1 | 0.7237 | | cosine_accuracy@3 | 0.8482 | | cosine_accuracy@5 | 0.8782 | | cosine_accuracy@10 | 0.9167 | | cosine_precision@1 | 0.7237 | | cosine_precision@3 | 0.2827 | | cosine_precision@5 | 0.1756 | | cosine_precision@10 | 0.0917 | | cosine_recall@1 | 0.7237 | | cosine_recall@3 | 0.8482 | | cosine_recall@5 | 0.8782 | | cosine_recall@10 | 0.9167 | | **cosine_ndcg@10** | **0.8226** | | cosine_mrr@10 | 0.7923 | | cosine_map@100 | 0.7951 | ## Training Details ### Training Dataset #### questions_answers_final_v3 * Dataset: [questions_answers_final_v3](https://huggingface.co/datasets/thang1943/questions_answers_final_v3) at [eac0552](https://huggingface.co/datasets/thang1943/questions_answers_final_v3/tree/eac0552f9b4568689e444408ac1f88d75ae2c353) * Size: 55,802 training samples * Columns: answers and queries * Approximate statistics based on the first 1000 samples: | | answers | queries | |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| | type | string | string | | details | | | * Samples: | answers | queries | |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Mã tương đương: 03.4155.0542, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Tên dịch vụ phê duyệt giá: Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button, Phân Loại PTTT: P1, Mức giá: 4.594.500, Ghi chú: Chưa bao gồm nẹp vít, ốc, dao cắt sụn và lưỡi bào, bộ dây bơm nước, đầu đốt, tay dao điện, gân sinh học, gân đồng loại. | Phẫu thuật nội soi khớp gối tạo dây chằng chéo trước endo-button | | chào bạn, ung thư gan không lây qua ăn uống, sinh hoạt chung trước tiên phải khẳng định ung thư gan không lây. hoàn toàn không lây qua ăn uống, sinh hoạt chung bạn nhé. các chất dịch của người bệnh cũng không làm lây lan bệnh. chỉ có viêm gan, như viêm gan a lây qua nước bọt, ăn uống chung… chứ ung thư gan hoàn toàn không lây qua đường ăn uống. tuy nhiên, những người bị viêm gan b hoặc c mãn tính có biến chứng ung thư gan thì có thể lây bệnh viêm gan c, hoặc viêm gan b qua đường máu hoặc đường dịch tiết. như vậy, bạn cần kiểm tra xem bệnh ung thư gan của ông có phải do biến chứng từ viêm gan b, c hay không. nếu không phải do biến chứng từ viêm gan thì không ngại lây. vẫn có thể cho ông bà cùng ăn chung, không ngại bà bị lây bệnh. gia đình có thể cho ông ăn uống thoải mái, không cần kiêng cữ gì đâu, để những tháng cuối đời của ông được như ý, vui vẻ.có thể nói một sự thật khá đau buồn là ung thư gan đã di căn, thời gian còn lại của bệnh nhân chỉ trong vòng từ 6 -12 tháng.cố gắng lên bạn... | Ông tôi mới phát hiện bị ung thư gan, đã bị di căn. Vì ông tôi gần 90 tuổi nên gia đình không muốn mổ xẻ hoặc làm ông đau đớn, nên con cháu thống nhất sẽ đưa ông về nhà điều trị ngoại trú. Vì ông bà rất tình cảm, vẫn hay ăn chung nên chúng tôi muốn biết ung thu gan có lây không? Bà ăn uống cùng ông có làm sao không ạ? Ngoài ra, thưa bác sĩ, ung thư gan đã di căn có thể sống được bao lâu? Có cần kiêng cữ món gì không? Chân thành cảm ơn bác sĩ. (Bạn đọc) | | Mã tương đương: 14.0151.0813, Tên dịch vụ kỹ thuật theo Thông tư 23/2024/TT-BYT: Đặt ống silicon tiền phòng điều trị glôcôm, Tên dịch vụ phê duyệt giá: Đặt ống silicon tiền phòng điều trị glôcôm, Phân Loại PTTT: PDB, Mức giá: 1.644.100, Ghi chú: Chưa bao gồm ống silicon. | Đặt ống silicon tiền phòng điều trị glôcôm | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim" } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: epoch - `per_device_train_batch_size`: 10 - `per_device_eval_batch_size`: 1 - `learning_rate`: 1e-06 - `num_train_epochs`: 1 - `lr_scheduler_type`: constant_with_warmup - `warmup_ratio`: 0.1 - `bf16`: True - `tf32`: False - `load_best_model_at_end`: True - `optim`: adamw_torch_fused - `batch_sampler`: no_duplicates #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: epoch - `prediction_loss_only`: True - `per_device_train_batch_size`: 10 - `per_device_eval_batch_size`: 1 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 1e-06 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 1 - `max_steps`: -1 - `lr_scheduler_type`: constant_with_warmup - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: True - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: False - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: True - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch_fused - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: no_duplicates - `multi_dataset_batch_sampler`: proportional
### Training Logs
Click to expand | Epoch | Step | Training Loss | dim_768_cosine_ndcg@10 | |:-------:|:--------:|:-------------:|:----------------------:| | 0.0022 | 10 | 1.0725 | - | | 0.0045 | 20 | 0.9312 | - | | 0.0067 | 30 | 0.8916 | - | | 0.0090 | 40 | 0.9559 | - | | 0.0112 | 50 | 0.9385 | - | | 0.0134 | 60 | 0.932 | - | | 0.0157 | 70 | 0.8783 | - | | 0.0179 | 80 | 0.9689 | - | | 0.0202 | 90 | 0.9096 | - | | 0.0224 | 100 | 0.8127 | - | | 0.0246 | 110 | 0.8836 | - | | 0.0269 | 120 | 0.875 | - | | 0.0291 | 130 | 0.7447 | - | | 0.0314 | 140 | 0.719 | - | | 0.0336 | 150 | 0.7221 | - | | 0.0358 | 160 | 0.6853 | - | | 0.0381 | 170 | 0.6243 | - | | 0.0403 | 180 | 0.5494 | - | | 0.0426 | 190 | 0.5801 | - | | 0.0448 | 200 | 0.434 | - | | 0.0470 | 210 | 0.3835 | - | | 0.0493 | 220 | 0.4194 | - | | 0.0515 | 230 | 0.3993 | - | | 0.0538 | 240 | 0.4722 | - | | 0.0560 | 250 | 0.4243 | - | | 0.0582 | 260 | 0.334 | - | | 0.0605 | 270 | 0.2327 | - | | 0.0627 | 280 | 0.183 | - | | 0.0650 | 290 | 0.2109 | - | | 0.0672 | 300 | 0.2534 | - | | 0.0694 | 310 | 0.222 | - | | 0.0717 | 320 | 0.2471 | - | | 0.0739 | 330 | 0.1994 | - | | 0.0762 | 340 | 0.2001 | - | | 0.0784 | 350 | 0.1089 | - | | 0.0806 | 360 | 0.1568 | - | | 0.0829 | 370 | 0.0801 | - | | 0.0851 | 380 | 0.082 | - | | 0.0874 | 390 | 0.1205 | - | | 0.0896 | 400 | 0.129 | - | | 0.0918 | 410 | 0.1083 | - | | 0.0941 | 420 | 0.1177 | - | | 0.0963 | 430 | 0.0538 | - | | 0.0986 | 440 | 0.2064 | - | | 0.1008 | 450 | 0.0553 | - | | 0.1030 | 460 | 0.1577 | - | | 0.1053 | 470 | 0.1717 | - | | 0.1075 | 480 | 0.0883 | - | | 0.1098 | 490 | 0.0355 | - | | 0.1120 | 500 | 0.1754 | - | | 0.1142 | 510 | 0.1565 | - | | 0.1165 | 520 | 0.1607 | - | | 0.1187 | 530 | 0.0686 | - | | 0.1210 | 540 | 0.085 | - | | 0.1232 | 550 | 0.0933 | - | | 0.1254 | 560 | 0.0916 | - | | 0.1277 | 570 | 0.0339 | - | | 0.1299 | 580 | 0.1332 | - | | 0.1322 | 590 | 0.1247 | - | | 0.1344 | 600 | 0.0857 | - | | 0.1366 | 610 | 0.0895 | - | | 0.1389 | 620 | 0.1396 | - | | 0.1411 | 630 | 0.1071 | - | | 0.1434 | 640 | 0.0839 | - | | 0.1456 | 650 | 0.0214 | - | | 0.1478 | 660 | 0.0568 | - | | 0.1501 | 670 | 0.0485 | - | | 0.1523 | 680 | 0.0785 | - | | 0.1546 | 690 | 0.1071 | - | | 0.1568 | 700 | 0.1198 | - | | 0.1591 | 710 | 0.0352 | - | | 0.1613 | 720 | 0.0172 | - | | 0.1635 | 730 | 0.1381 | - | | 0.1658 | 740 | 0.0806 | - | | 0.1680 | 750 | 0.1238 | - | | 0.1703 | 760 | 0.0931 | - | | 0.1725 | 770 | 0.0702 | - | | 0.1747 | 780 | 0.0589 | - | | 0.1770 | 790 | 0.1454 | - | | 0.1792 | 800 | 0.1521 | - | | 0.1815 | 810 | 0.0975 | - | | 0.1837 | 820 | 0.0807 | - | | 0.1859 | 830 | 0.0539 | - | | 0.1882 | 840 | 0.0864 | - | | 0.1904 | 850 | 0.1547 | - | | 0.1927 | 860 | 0.1256 | - | | 0.1949 | 870 | 0.037 | - | | 0.1971 | 880 | 0.097 | - | | 0.1994 | 890 | 0.0949 | - | | 0.2016 | 900 | 0.0284 | - | | 0.2039 | 910 | 0.1728 | - | | 0.2061 | 920 | 0.0504 | - | | 0.2083 | 930 | 0.0769 | - | | 0.2106 | 940 | 0.031 | - | | 0.2128 | 950 | 0.0595 | - | | 0.2151 | 960 | 0.0691 | - | | 0.2173 | 970 | 0.0853 | - | | 0.2195 | 980 | 0.0124 | - | | 0.2218 | 990 | 0.0482 | - | | 0.2240 | 1000 | 0.1254 | - | | 0.2263 | 1010 | 0.0187 | - | | 0.2285 | 1020 | 0.1364 | - | | 0.2307 | 1030 | 0.0645 | - | | 0.2330 | 1040 | 0.0707 | - | | 0.2352 | 1050 | 0.1193 | - | | 0.2375 | 1060 | 0.0724 | - | | 0.2397 | 1070 | 0.0773 | - | | 0.2419 | 1080 | 0.048 | - | | 0.2442 | 1090 | 0.0972 | - | | 0.2464 | 1100 | 0.0433 | - | | 0.2487 | 1110 | 0.0607 | - | | 0.2509 | 1120 | 0.0907 | - | | 0.2531 | 1130 | 0.0351 | - | | 0.2554 | 1140 | 0.0816 | - | | 0.2576 | 1150 | 0.0517 | - | | 0.2599 | 1160 | 0.0616 | - | | 0.2621 | 1170 | 0.0475 | - | | 0.2643 | 1180 | 0.1408 | - | | 0.2666 | 1190 | 0.1076 | - | | 0.2688 | 1200 | 0.09 | - | | 0.2711 | 1210 | 0.0548 | - | | 0.2733 | 1220 | 0.0744 | - | | 0.2755 | 1230 | 0.1068 | - | | 0.2778 | 1240 | 0.1186 | - | | 0.2800 | 1250 | 0.0566 | - | | 0.2823 | 1260 | 0.0711 | - | | 0.2845 | 1270 | 0.1216 | - | | 0.2867 | 1280 | 0.0619 | - | | 0.2890 | 1290 | 0.1642 | - | | 0.2912 | 1300 | 0.0667 | - | | 0.2935 | 1310 | 0.1369 | - | | 0.2957 | 1320 | 0.0746 | - | | 0.2979 | 1330 | 0.0529 | - | | 0.3002 | 1340 | 0.0676 | - | | 0.3024 | 1350 | 0.0655 | - | | 0.3047 | 1360 | 0.0412 | - | | 0.3069 | 1370 | 0.0314 | - | | 0.3091 | 1380 | 0.0366 | - | | 0.3114 | 1390 | 0.0677 | - | | 0.3136 | 1400 | 0.021 | - | | 0.3159 | 1410 | 0.0846 | - | | 0.3181 | 1420 | 0.0047 | - | | 0.3203 | 1430 | 0.0257 | - | | 0.3226 | 1440 | 0.1086 | - | | 0.3248 | 1450 | 0.0711 | - | | 0.3271 | 1460 | 0.0591 | - | | 0.3293 | 1470 | 0.0441 | - | | 0.3315 | 1480 | 0.1062 | - | | 0.3338 | 1490 | 0.0814 | - | | 0.3360 | 1500 | 0.0502 | - | | 0.3383 | 1510 | 0.0316 | - | | 0.3405 | 1520 | 0.189 | - | | 0.3427 | 1530 | 0.0479 | - | | 0.3450 | 1540 | 0.0723 | - | | 0.3472 | 1550 | 0.0314 | - | | 0.3495 | 1560 | 0.0376 | - | | 0.3517 | 1570 | 0.1575 | - | | 0.3539 | 1580 | 0.0132 | - | | 0.3562 | 1590 | 0.0851 | - | | 0.3584 | 1600 | 0.0755 | - | | 0.3607 | 1610 | 0.0749 | - | | 0.3629 | 1620 | 0.0587 | - | | 0.3651 | 1630 | 0.0867 | - | | 0.3674 | 1640 | 0.0912 | - | | 0.3696 | 1650 | 0.0289 | - | | 0.3719 | 1660 | 0.0555 | - | | 0.3741 | 1670 | 0.0813 | - | | 0.3763 | 1680 | 0.0172 | - | | 0.3786 | 1690 | 0.0809 | - | | 0.3808 | 1700 | 0.0702 | - | | 0.3831 | 1710 | 0.1098 | - | | 0.3853 | 1720 | 0.0524 | - | | 0.3875 | 1730 | 0.0051 | - | | 0.3898 | 1740 | 0.0489 | - | | 0.3920 | 1750 | 0.0262 | - | | 0.3943 | 1760 | 0.0149 | - | | 0.3965 | 1770 | 0.0815 | - | | 0.3987 | 1780 | 0.0606 | - | | 0.4010 | 1790 | 0.061 | - | | 0.4032 | 1800 | 0.1599 | - | | 0.4055 | 1810 | 0.0275 | - | | 0.4077 | 1820 | 0.0673 | - | | 0.4099 | 1830 | 0.0829 | - | | 0.4122 | 1840 | 0.1204 | - | | 0.4144 | 1850 | 0.0436 | - | | 0.4167 | 1860 | 0.1417 | - | | 0.4189 | 1870 | 0.0566 | - | | 0.4211 | 1880 | 0.0207 | - | | 0.4234 | 1890 | 0.006 | - | | 0.4256 | 1900 | 0.0805 | - | | 0.4279 | 1910 | 0.068 | - | | 0.4301 | 1920 | 0.0409 | - | | 0.4323 | 1930 | 0.0695 | - | | 0.4346 | 1940 | 0.0792 | - | | 0.4368 | 1950 | 0.126 | - | | 0.4391 | 1960 | 0.0282 | - | | 0.4413 | 1970 | 0.0701 | - | | 0.4435 | 1980 | 0.0149 | - | | 0.4458 | 1990 | 0.1448 | - | | 0.4480 | 2000 | 0.1568 | - | | 0.4503 | 2010 | 0.0665 | - | | 0.4525 | 2020 | 0.0489 | - | | 0.4547 | 2030 | 0.0252 | - | | 0.4570 | 2040 | 0.1204 | - | | 0.4592 | 2050 | 0.11 | - | | 0.4615 | 2060 | 0.1115 | - | | 0.4637 | 2070 | 0.0261 | - | | 0.4659 | 2080 | 0.0313 | - | | 0.4682 | 2090 | 0.0183 | - | | 0.4704 | 2100 | 0.0342 | - | | 0.4727 | 2110 | 0.0369 | - | | 0.4749 | 2120 | 0.0506 | - | | 0.4772 | 2130 | 0.0859 | - | | 0.4794 | 2140 | 0.0483 | - | | 0.4816 | 2150 | 0.1365 | - | | 0.4839 | 2160 | 0.0626 | - | | 0.4861 | 2170 | 0.0952 | - | | 0.4884 | 2180 | 0.0422 | - | | 0.4906 | 2190 | 0.0263 | - | | 0.4928 | 2200 | 0.0344 | - | | 0.4951 | 2210 | 0.0574 | - | | 0.4973 | 2220 | 0.0837 | - | | 0.4996 | 2230 | 0.055 | - | | 0.5018 | 2240 | 0.1217 | - | | 0.5040 | 2250 | 0.0597 | - | | 0.5063 | 2260 | 0.0124 | - | | 0.5085 | 2270 | 0.088 | - | | 0.5108 | 2280 | 0.0325 | - | | 0.5130 | 2290 | 0.0428 | - | | 0.5152 | 2300 | 0.036 | - | | 0.5175 | 2310 | 0.0512 | - | | 0.5197 | 2320 | 0.1216 | - | | 0.5220 | 2330 | 0.0717 | - | | 0.5242 | 2340 | 0.004 | - | | 0.5264 | 2350 | 0.1664 | - | | 0.5287 | 2360 | 0.0873 | - | | 0.5309 | 2370 | 0.043 | - | | 0.5332 | 2380 | 0.0411 | - | | 0.5354 | 2390 | 0.0355 | - | | 0.5376 | 2400 | 0.0804 | - | | 0.5399 | 2410 | 0.2921 | - | | 0.5421 | 2420 | 0.0628 | - | | 0.5444 | 2430 | 0.1446 | - | | 0.5466 | 2440 | 0.0256 | - | | 0.5488 | 2450 | 0.0709 | - | | 0.5511 | 2460 | 0.0814 | - | | 0.5533 | 2470 | 0.0701 | - | | 0.5556 | 2480 | 0.074 | - | | 0.5578 | 2490 | 0.0055 | - | | 0.5600 | 2500 | 0.0719 | - | | 0.5623 | 2510 | 0.0423 | - | | 0.5645 | 2520 | 0.0277 | - | | 0.5668 | 2530 | 0.0164 | - | | 0.5690 | 2540 | 0.1647 | - | | 0.5712 | 2550 | 0.0532 | - | | 0.5735 | 2560 | 0.0801 | - | | 0.5757 | 2570 | 0.0591 | - | | 0.5780 | 2580 | 0.1082 | - | | 0.5802 | 2590 | 0.0407 | - | | 0.5824 | 2600 | 0.0042 | - | | 0.5847 | 2610 | 0.0175 | - | | 0.5869 | 2620 | 0.0438 | - | | 0.5892 | 2630 | 0.0794 | - | | 0.5914 | 2640 | 0.0847 | - | | 0.5936 | 2650 | 0.0507 | - | | 0.5959 | 2660 | 0.0713 | - | | 0.5981 | 2670 | 0.0246 | - | | 0.6004 | 2680 | 0.0833 | - | | 0.6026 | 2690 | 0.0551 | - | | 0.6048 | 2700 | 0.0628 | - | | 0.6071 | 2710 | 0.0657 | - | | 0.6093 | 2720 | 0.0499 | - | | 0.6116 | 2730 | 0.1524 | - | | 0.6138 | 2740 | 0.0432 | - | | 0.6160 | 2750 | 0.0261 | - | | 0.6183 | 2760 | 0.0544 | - | | 0.6205 | 2770 | 0.0315 | - | | 0.6228 | 2780 | 0.0622 | - | | 0.625 | 2790 | 0.0462 | - | | 0.6272 | 2800 | 0.0192 | - | | 0.6295 | 2810 | 0.0083 | - | | 0.6317 | 2820 | 0.0284 | - | | 0.6340 | 2830 | 0.0283 | - | | 0.6362 | 2840 | 0.0063 | - | | 0.6384 | 2850 | 0.0127 | - | | 0.6407 | 2860 | 0.037 | - | | 0.6429 | 2870 | 0.0682 | - | | 0.6452 | 2880 | 0.0543 | - | | 0.6474 | 2890 | 0.1699 | - | | 0.6496 | 2900 | 0.0644 | - | | 0.6519 | 2910 | 0.0294 | - | | 0.6541 | 2920 | 0.0844 | - | | 0.6564 | 2930 | 0.0954 | - | | 0.6586 | 2940 | 0.0058 | - | | 0.6608 | 2950 | 0.0714 | - | | 0.6631 | 2960 | 0.0465 | - | | 0.6653 | 2970 | 0.0035 | - | | 0.6676 | 2980 | 0.0361 | - | | 0.6698 | 2990 | 0.0081 | - | | 0.6720 | 3000 | 0.0302 | - | | 0.6743 | 3010 | 0.0673 | - | | 0.6765 | 3020 | 0.0414 | - | | 0.6788 | 3030 | 0.0576 | - | | 0.6810 | 3040 | 0.1145 | - | | 0.6832 | 3050 | 0.0663 | - | | 0.6855 | 3060 | 0.1084 | - | | 0.6877 | 3070 | 0.0739 | - | | 0.6900 | 3080 | 0.0034 | - | | 0.6922 | 3090 | 0.0324 | - | | 0.6944 | 3100 | 0.0555 | - | | 0.6967 | 3110 | 0.0866 | - | | 0.6989 | 3120 | 0.036 | - | | 0.7012 | 3130 | 0.0863 | - | | 0.7034 | 3140 | 0.0988 | - | | 0.7056 | 3150 | 0.04 | - | | 0.7079 | 3160 | 0.0469 | - | | 0.7101 | 3170 | 0.0743 | - | | 0.7124 | 3180 | 0.07 | - | | 0.7146 | 3190 | 0.0546 | - | | 0.7168 | 3200 | 0.068 | - | | 0.7191 | 3210 | 0.1288 | - | | 0.7213 | 3220 | 0.0338 | - | | 0.7236 | 3230 | 0.045 | - | | 0.7258 | 3240 | 0.0266 | - | | 0.7280 | 3250 | 0.0993 | - | | 0.7303 | 3260 | 0.0388 | - | | 0.7325 | 3270 | 0.0397 | - | | 0.7348 | 3280 | 0.0571 | - | | 0.7370 | 3290 | 0.0808 | - | | 0.7392 | 3300 | 0.0789 | - | | 0.7415 | 3310 | 0.0402 | - | | 0.7437 | 3320 | 0.0199 | - | | 0.7460 | 3330 | 0.0458 | - | | 0.7482 | 3340 | 0.072 | - | | 0.7504 | 3350 | 0.0916 | - | | 0.7527 | 3360 | 0.0397 | - | | 0.7549 | 3370 | 0.0062 | - | | 0.7572 | 3380 | 0.0592 | - | | 0.7594 | 3390 | 0.0421 | - | | 0.7616 | 3400 | 0.0752 | - | | 0.7639 | 3410 | 0.0646 | - | | 0.7661 | 3420 | 0.0591 | - | | 0.7684 | 3430 | 0.0742 | - | | 0.7706 | 3440 | 0.0178 | - | | 0.7728 | 3450 | 0.0301 | - | | 0.7751 | 3460 | 0.0096 | - | | 0.7773 | 3470 | 0.0163 | - | | 0.7796 | 3480 | 0.0277 | - | | 0.7818 | 3490 | 0.0292 | - | | 0.7841 | 3500 | 0.0464 | - | | 0.7863 | 3510 | 0.0427 | - | | 0.7885 | 3520 | 0.1283 | - | | 0.7908 | 3530 | 0.0372 | - | | 0.7930 | 3540 | 0.0784 | - | | 0.7953 | 3550 | 0.133 | - | | 0.7975 | 3560 | 0.0197 | - | | 0.7997 | 3570 | 0.0575 | - | | 0.8020 | 3580 | 0.072 | - | | 0.8042 | 3590 | 0.0361 | - | | 0.8065 | 3600 | 0.0922 | - | | 0.8087 | 3610 | 0.017 | - | | 0.8109 | 3620 | 0.0655 | - | | 0.8132 | 3630 | 0.0812 | - | | 0.8154 | 3640 | 0.0164 | - | | 0.8177 | 3650 | 0.0358 | - | | 0.8199 | 3660 | 0.0437 | - | | 0.8221 | 3670 | 0.0417 | - | | 0.8244 | 3680 | 0.0249 | - | | 0.8266 | 3690 | 0.0828 | - | | 0.8289 | 3700 | 0.0013 | - | | 0.8311 | 3710 | 0.114 | - | | 0.8333 | 3720 | 0.0541 | - | | 0.8356 | 3730 | 0.0473 | - | | 0.8378 | 3740 | 0.0082 | - | | 0.8401 | 3750 | 0.0072 | - | | 0.8423 | 3760 | 0.0519 | - | | 0.8445 | 3770 | 0.0805 | - | | 0.8468 | 3780 | 0.132 | - | | 0.8490 | 3790 | 0.0725 | - | | 0.8513 | 3800 | 0.0985 | - | | 0.8535 | 3810 | 0.1151 | - | | 0.8557 | 3820 | 0.0562 | - | | 0.8580 | 3830 | 0.0428 | - | | 0.8602 | 3840 | 0.0299 | - | | 0.8625 | 3850 | 0.045 | - | | 0.8647 | 3860 | 0.0877 | - | | 0.8669 | 3870 | 0.0926 | - | | 0.8692 | 3880 | 0.0565 | - | | 0.8714 | 3890 | 0.0552 | - | | 0.8737 | 3900 | 0.0974 | - | | 0.8759 | 3910 | 0.0209 | - | | 0.8781 | 3920 | 0.0873 | - | | 0.8804 | 3930 | 0.0091 | - | | 0.8826 | 3940 | 0.0705 | - | | 0.8849 | 3950 | 0.2158 | - | | 0.8871 | 3960 | 0.0558 | - | | 0.8893 | 3970 | 0.0217 | - | | 0.8916 | 3980 | 0.0257 | - | | 0.8938 | 3990 | 0.0414 | - | | 0.8961 | 4000 | 0.0358 | - | | 0.8983 | 4010 | 0.0268 | - | | 0.9005 | 4020 | 0.0073 | - | | 0.9028 | 4030 | 0.078 | - | | 0.9050 | 4040 | 0.0115 | - | | 0.9073 | 4050 | 0.0883 | - | | 0.9095 | 4060 | 0.0238 | - | | 0.9117 | 4070 | 0.0383 | - | | 0.9140 | 4080 | 0.0364 | - | | 0.9162 | 4090 | 0.0389 | - | | 0.9185 | 4100 | 0.0738 | - | | 0.9207 | 4110 | 0.0787 | - | | 0.9229 | 4120 | 0.0527 | - | | 0.9252 | 4130 | 0.1483 | - | | 0.9274 | 4140 | 0.0168 | - | | 0.9297 | 4150 | 0.0292 | - | | 0.9319 | 4160 | 0.074 | - | | 0.9341 | 4170 | 0.0022 | - | | 0.9364 | 4180 | 0.005 | - | | 0.9386 | 4190 | 0.0984 | - | | 0.9409 | 4200 | 0.0304 | - | | 0.9431 | 4210 | 0.074 | - | | 0.9453 | 4220 | 0.0661 | - | | 0.9476 | 4230 | 0.0478 | - | | 0.9498 | 4240 | 0.0805 | - | | 0.9521 | 4250 | 0.0283 | - | | 0.9543 | 4260 | 0.0668 | - | | 0.9565 | 4270 | 0.0217 | - | | 0.9588 | 4280 | 0.0161 | - | | 0.9610 | 4290 | 0.0391 | - | | 0.9633 | 4300 | 0.1008 | - | | 0.9655 | 4310 | 0.073 | - | | 0.9677 | 4320 | 0.0178 | - | | 0.9700 | 4330 | 0.0495 | - | | 0.9722 | 4340 | 0.0018 | - | | 0.9745 | 4350 | 0.0453 | - | | 0.9767 | 4360 | 0.014 | - | | 0.9789 | 4370 | 0.1036 | - | | 0.9812 | 4380 | 0.0365 | - | | 0.9834 | 4390 | 0.0488 | - | | 0.9857 | 4400 | 0.0104 | - | | 0.9879 | 4410 | 0.0556 | - | | 0.9901 | 4420 | 0.0456 | - | | 0.9924 | 4430 | 0.0855 | - | | 0.9946 | 4440 | 0.0026 | - | | 0.9969 | 4450 | 0.108 | - | | 0.9991 | 4460 | 0.0436 | - | | **1.0** | **4464** | **-** | **0.8226** | * The bold row denotes the saved checkpoint.
### Framework Versions - Python: 3.10.16 - Sentence Transformers: 3.4.1 - Transformers: 4.49.0 - PyTorch: 2.6.0+cu124 - Accelerate: 1.5.2 - Datasets: 3.3.2 - Tokenizers: 0.21.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{henderson2017efficient, title={Efficient Natural Language Response Suggestion for Smart Reply}, author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, year={2017}, eprint={1705.00652}, archivePrefix={arXiv}, primaryClass={cs.CL} } ```