Hugging Face's logo

Turbo-AI
/
multilingual-e5-base-trimm-vocab-1024-v2

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:132404
loss:CachedMultipleNegativesRankingLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on Turbo-AI/me5-base-v6__trim_vocab-1024

This is a sentence-transformers model finetuned from Turbo-AI/me5-base-v6__trim_vocab-1024. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Turbo-AI/me5-base-v6__trim_vocab-1024
  • Maximum Sequence Length: 1022 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1022, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Turbo-AI/me5-base-v7__trim_vocab-1024")
# Run inference
sentences = [
    'query: Ngân sách nhà nước bảo đảm để thực hiện công tác quản lý, vận hành và bảo trì công trình đường cao tốc bao gồm những gì?',
    'passage: Chi phí cho công tác quản lý, vận hành và bảo trì công trình đường cao tốc\n1. Ngân sách nhà nước bảo đảm để thực hiện công tác quản lý, vận hành và bảo trì công trình đường cao tốc là tài sản công kết cấu hạ tầng giao thông đường bộ do Nhà nước quản lý, gồm: Tài sản kết cấu hạ tầng đường cao tốc do Nhà nước đầu tư xây dựng; tài sản kết cấu hạ tầng đường cao tốc sau khi hết thời hạn hợp đồng PPP chuyển giao cho Nhà nước và các trường hợp khác.\n2. Tài sản kết cấu hạ tầng đường cao tốc do Nhà nước cho thuê, chuyển nhượng có thời hạn và các trường hợp khác giao tổ chức kinh tế, doanh nghiệp khai thác sử dụng theo quy định của pháp luật về quản lý, sử dụng tài sản công, tổ chức kinh tế, doanh nghiệp được giao có trách nhiệm thực hiện quản lý, vận hành và bảo trì công trình đường cao tốc cho đến khi chuyển giao tài sản cho Nhà nước.\n3. Việc quản lý, sử dụng, khai thác, bảo trì và chi phí thực hiện các công việc này đối với đường cao tốc đầu tư theo phương thức đối tác công tư do nhà đầu tư thực hiện và phải quy định trong hợp đồng dự án PPP.\n4. Đối với các trường hợp không quy định tại các khoản 1, khoản 2 và khoản 3 Điều này, chủ sở hữu hoặc người quản lý sử dụng đường cao tốc có trách nhiệm bố trí kinh phí và thực hiện quản lý, sử dụng, khai thác, bảo trì công trình đường cao tốc theo quy định của pháp luật về xây dựng và pháp luật khác có liên quan.',
    'passage: Bảo trì công trình đường cao tốc\n1. Công tác bảo trì công trình đường cao tốc thực hiện theo tiêu chuẩn kỹ thuật về bảo trì công trình hoặc quy trình bảo trì được Chủ đầu tư, nhà đầu tư phê duyệt theo quy định về bảo trì công trình xây dựng, đảm bảo công năng của công trình và an toàn giao thông trong quá trình vận hành khai thác.\n2. Bộ Giao thông vận tải, Ủy ban nhân dân cấp tỉnh lựa chọn đơn vị, tổ chức thực hiện công tác bảo trì công trình đường cao tốc đối với các tuyến đường được đầu tư xây dựng bằng ngân sách nhà nước trong phạm vi quản lý.\n3. Nhà đầu tư tổ chức thực hiện công tác bảo trì công trình đường cao tốc đối với các dự án đầu tư theo hình thức đối tác công - tư và các dự án nhượng quyền theo quy định của Bộ Giao thông vận tải.\n4. Công tác tổ chức khai thác và bảo trì công trình đường cao tốc được thực hiện theo hợp đồng riêng biệt hoặc là nội dung công việc trong hợp đồng đầu tư xây dựng, khai thác và bảo trì công trình đường cao tốc.\n5. Bộ Giao thông vận tải, Ủy ban nhân dân cấp tỉnh kiểm tra, giám sát thực hiện các hợp đồng quản lý, khai thác và bảo trì công trình đường cao tốc trong phạm vi quản lý.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Metric Value
cosine_accuracy@10 0.9859
cosine_precision@10 0.1074
cosine_recall@10 0.9809
cosine_ndcg@10 0.8386
cosine_mrr@10 0.8008
cosine_map@10 0.7852
dot_accuracy@10 0.9095
dot_precision@10 0.0966
dot_recall@10 0.8913
dot_ndcg@10 0.6135
dot_mrr@10 0.5312
dot_map@10 0.5205

Training Details

Training Dataset

Unnamed Dataset

  • Size: 132,404 training samples
  • Columns: anchor, positive, negative_0, negative_1, and negative_2
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative_0 negative_1 negative_2
    type string string string string string
    details
    • min: 10 tokens
    • mean: 27.45 tokens
    • max: 51 tokens
    • min: 22 tokens
    • mean: 303.01 tokens
    • max: 1022 tokens
    • min: 36 tokens
    • mean: 321.73 tokens
    • max: 1022 tokens
    • min: 25 tokens
    • mean: 333.01 tokens
    • max: 1022 tokens
    • min: 30 tokens
    • mean: 330.46 tokens
    • max: 1022 tokens
  • Samples:
    anchor positive negative_0 negative_1 negative_2
    query: Người học ngành quản lý khai thác công trình thủy lợi trình độ cao đẳng phải có khả năng học tập và nâng cao trình độ như thế nào? passage: Khả năng học tập, nâng cao trình độ
    - Khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;
    - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo./.
    Người học ngành mộc xây dựng và trang trí nội thất trình độ cao đẳng phải có khả năng học tập, nâng cao trình độ như thế sau:
    - Khối lượng khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Mộc xây dựng và trang trí nội thất, trình độ cao đẳng có thể tiếp tục phát triển ở các trình độ cao hơn;
    - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành, nghề hoặc trong nhóm ngành, nghề hoặc trong cùng lĩnh vực đào tạo.    		 passage: Khả năng học tập, nâng cao trình độ
    - Khối lượng kiến thức tối thiểu, yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp ngành, nghề Quản trị dịch vụ giải trí, thể thao trình độ trung cấp có thể tiếp tục phát triển ở các trình độ cao hơn;
    - Người học sau tốt nghiệp có năng lực tự học, tự cập nhật những tiến bộ khoa học công nghệ trong phạm vi ngành, nghề để nâng cao trình độ hoặc học liên thông lên trình độ cao hơn trong cùng ngành nghề hoặc trong nhóm ngành nghề hoặc trong cùng lĩnh vực đào tạo.    		 passage: Giới thiệu chung về ngành, nghề
    Quản lý, khai thác các công trình thủy lợi trình độ cao đẳng là ngành, nghề phục vụ tưới, tiêu, dân sinh, công nghiệp, nông nghiệp, an ninh quốc phòng, đáp ứng yêu cầu bậc 5 trong Khung trình độ quốc gia Việt Nam.
    Quản lý khai thác các công trình thủy lợi trình độ cao đẳng bao gồm các nhiệm vụ chính như: Quan trắc khí tượng thủy văn; trắc đạc công trình thủy lợi; quan trắc công trình thủy lợi; quản lý vận hành, khai thác tưới, cấp, tiêu và thoát nước; quản lý vận hành, khai thác công trình thủy lợi đầu mối; quản lý vận hành, khai thác kênh và công trình trên kênh; thi công tu bổ công trình thủy lợi; duy tu bảo dưỡng công trình thủy lợi; phòng chống lụt bão; lập, lưu trữ hồ sơ quản lý công trình; bảo vệ công trình thủy lợi; giám sát an toàn lao động và vệ sinh môi trường,
    Người hành nghề quản lý, khai thác công trình thủy lợi thường làm việc tại các doanh nghiệp quản lý, khai thác công trình thủy lợi, doanh nghiệp khai thác tài nguyên nước... họ cần có đủ kiến thức, kỹ năng, sức khỏe để làm việc ở văn phòng, công trình hoặc ngoài trời, đôi khi phải làm việc trong những điều kiện khắc nghiệt như gió bão, lũ lụt…
    Khối lượng kiến thức tối thiểu: 2.500 giờ (tương đương 90 tín chỉ).    		 passage: Điều 6. Nội dung quy định về khối lượng kiến thức tối thiểu và yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp trình độ trung cấp, trình độ cao đẳng nhóm ngành đào tạo giáo viên theo từng ngành đào tạo. Quy định về khối lượng kiến thức tối thiểu và yêu cầu về năng lực mà người học phải đạt được sau khi tốt nghiệp trình độ trung cấp, trình độ cao đẳng nhóm ngành đào tạo giáo viên đối với từng ngành đào tạo gồm các nội dung sau:
    1. Tên ngành đào tạo;
    2. Trình độ đào tạo;
    3. Đối tượng đào tạo;
    4. Yêu cầu về chuẩn đầu ra bao gồm kiến thức, kỹ năng, năng lực tự chủ và trách nhiệm cá nhân trong việc áp dụng kiến thức, kỹ năng để thực hiện nhiệm vụ chuyên môn;
    5. Khung kiến thức, kỹ năng tối thiểu bao gồm các khối kiến thức, kỹ năng: khối kiến thức, kỹ năng chung; khối kiến thức, kỹ năng cơ bản; khối kiến thức, kỹ năng chuyên ngành; khối kiến thức, kỹ năng nghiệp vụ sư phạm và các nội dung giáo dục liên quan khác. Trong đó quy định cụ thể các nội trong từng khối kiến thức, kỹ năng và yêu cầu khối lượng học tập đối với từng nội dung;
    6. Vị trí việc làm của người học sau khi tốt nghiệp;
    7. Khả năng học tập, nâng cao trình độ sau khi tốt nghiệp;
    8. Các chương trình, tài liệu, chuẩn quốc gia, quốc tế có thể tham khảo.
    query: Nội dung lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật được quy định thế nào? passage: Nội dung lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật
    Trong phạm vi điều chỉnh của văn bản quy phạm pháp luật:
    1. Xác định nội dung liên quan đến vấn đề bình đẳng giới hoặc vấn đề bất bình đẳng giới, phân biệt đối xử về giới.
    2. Quy định các biện pháp cần thiết để thực hiện bình đẳng giới hoặc để giải quyết vấn đề bất bình đẳng giới, phân biệt đối xử về giới; dự báo tác động của các quy định đó đối với nam và nữ sau khi được ban hành.
    3. Xác định nguồn nhân lực, tài chính cần thiết để triển khai các biện pháp thực hiện bình đẳng giới hoặc để giải quyết vấn đề bất bình đẳng giới, phân biệt đối xử về giới.    		 passage: "Điều 21. Lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật
    1. Lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật bao gồm:
    a) Xác định vấn đề giới và các biện pháp giải quyết trong lĩnh vực mà văn bản quy phạm pháp luật điều chỉnh;
    b) Dự báo tác động của các quy định trong văn bản quy phạm pháp luật khi được ban hành đối với nữ và nam;
    c) Xác định trách nhiệm và nguồn lực để giải quyết các vấn đề giới trong phạm vi văn bản quy phạm pháp luật điều chỉnh.
    2. Cơ quan chủ trì soạn thảo văn bản quy phạm pháp luật có trách nhiệm lồng ghép vấn đề bình đẳng giới, chuẩn bị báo cáo việc lồng ghép vấn đề bình đẳng giới vào quá trình xây dựng văn bản quy phạm pháp luật theo các nội dung quy định tại khoản 1 Điều này và phụ lục thông tin, số liệu về giới có liên quan đến dự án, dự thảo văn bản quy phạm pháp luật.
    3. Cơ quan thẩm định văn bản quy phạm pháp luật có trách nhiệm phối hợp với cơ quan quản lý nhà nước về bình đẳng giới đánh giá việc lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật. Nội dung đánh giá bao gồm:
    a) Xác định vấn đề giới trong dự án, dự thảo;
    b) Việc bảo đảm các nguyên tắc cơ bản về bình đẳng giới trong dự án, dự thảo;
    c) Tính khả thi của việc giải quyết vấn đề giới được điều chỉnh trong dự án, dự thảo;
    d) Việc thực hiện lồng ghép vấn đề bình đẳng giới trong xây dựng dự án, dự thảo theo các nội dung quy định tại khoản 1 Điều này.
    4. Chính phủ quy định việc thực hiện lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật."    		 passage: Trách nhiệm của cơ quan thẩm định văn bản quy phạm pháp luật đối với việc đánh giá lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật
    1. Thực hiện đánh giá việc lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật theo các nội dung quy định tại khoản 3 Điều 21 Luật Bình đẳng giới đồng thời với việc thẩm định văn bản quy phạm pháp luật.
    2. Đề nghị cơ quan quản lý nhà nước về bình đẳng giới phối hợp đánh giá lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật.    		 passage: Yêu cầu và phạm vi lồng ghép vấn đề bình đẳng giới trong xây dựng văn bản quy phạm pháp luật
    1. Bảo đảm các nguyên tắc cơ bản về bình đẳng giới trong nội dung, trình tự, thủ tục soạn thảo, ban hành, rà soát, hệ thống hóa văn bản quy phạm pháp luật theo quy định của Luật Ban hành văn bản quy phạm pháp luật và Luật Ban hành văn bản quy phạm pháp luật của Hội đồng nhân dân, Ủy ban nhân dân.
    2. Lồng ghép vấn đề bình đẳng giới được áp dụng đối với các dự thảo văn bản quy phạm pháp luật được xác định có nội dung liên quan đến bình đẳng giới hoặc có vấn đề bất bình đẳng giới, phân biệt đối xử về giới trong phạm vi điều chỉnh của văn bản.
    query: Sản phẩm phần mềm có được hưởng ưu đãi về thời gian miễn thuế, giảm thuế hay không? Nếu được thì trong vòng bao nhiêu năm? passage: "Điều 20. Ưu đãi về thời gian miễn thuế, giảm thuế
    1. Miễn thuế bốn năm, giảm 50% số thuế phải nộp trong chín năm tiếp theo đối với:
    a) Thu nhập của doanh nghiệp từ thực hiện dự án đầu tư quy định tại khoản 1 Điều 19 Thông tư số 78/2014/TT-BTC (được sửa đổi, bổ sung tại Khoản 1 Điều 11 Thông tư này)."     		passage: Mục I. ƯU ĐÃI THUẾ THU NHẬP DOANH NGHIỆP
    1. Doanh nghiệp phần mềm mới thành lập được hưởng thuế suất thuế thu nhập doanh nghiệp 10% trong 15 năm, kể từ khi doanh nghiệp phần mềm mới thành lập bắt đầu hoạt động kinh doanh.
    2. Doanh nghiệp phần mềm mới thành lập được miễn thuế thu nhập doanh nghiệp 04 năm, kể từ khi có thu nhập chịu thuế và được giảm 50% số thuế phải nộp trong 09 năm tiếp theo.
    3. Doanh nghiệp phần mềm đã được cấp Giấy phép đầu tư hoặc Giấy chứng nhận ưu đãi đầu tư thì tiếp tục được hưởng ưu đãi về thuế thu nhập doanh nghiệp đã ghi trong Giấy phép đầu tư hoặc Giấy chứng nhận ưu đãi đầu tư. Trường hợp mức ưu đãi về thuế thu nhập doanh nghiệp (bao gồm cả thuế suất ưu đãi và thời gian miễn thuế, giảm thuế) ghi trong Giấy phép đầu tư, Giấy chứng nhận ưu đãi đầu tư thấp hơn mức ưu đãi theo hướng dẫn tại điểm 1 và 2, Mục I, Phần B, Thông tư này thì doanh nghiệp phần mềm có quyền lựa chọn hưởng các ưu đãi về thuế thu nhập doanh nghiệp theo hướng dẫn tại điểm 1 và 2, Mục I, Phần B, Thông tư này cho thời gian ưu đãi còn lại.
    4. Đối với doanh nghiệp phần mềm có sản xuất kinh doanh hàng hoá, dịch vụ khác như: sản xuất lắp ráp máy vi tính, thiết bị điện tử, kinh doanh máy móc thiết bị..., doanh nghiệp phải tổ chức hạch toán riêng doanh thu, chi phí và thu nhập của hoạt động sản xuất sản phẩm và dịch vụ phần mềm để xác định số thuế thu nhập doanh nghiệp được hưởng ưu đãi thuế thu nhập doanh nghiệp. Trường hợp doanh nghiệp không hạch toán riêng được thì thu nhập từ hoạt động sản xuất sản phẩm và dịch vụ phần mềm được xác định theo tỷ lệ giữa doanh thu hoạt động sản xuất sản phẩm và dịch vụ phần mềm so với tổng doanh thu của doanh nghiệp.    		 passage: Khoản 4. Thời gian miễn thuế, giảm thuế quy định tại Điều này được tính liên tục từ năm đầu tiên doanh nghiệp có thu nhập chịu thuế từ dự án đầu tư mới được hưởng ưu đãi thuế; Trường hợp doanh nghiệp không có thu nhập chịu thuế trong ba năm đầu, kể từ năm đầu tiên có doanh thu từ dự án đầu tư mới thì thời gian miễn thuế, giảm thuế được tính từ năm thứ tư dự án đầu tư mới phát sinh doanh thu. Ví dụ 20: Năm 2014, doanh nghiệp A có dự án đầu tư mới sản xuất sản phẩm phần mềm, nếu năm 2014 doanh nghiệp A đã có thu nhập chịu thuế từ dự án sản xuất sản phẩm phần mềm thì thời gian miễn giảm thuế được tính liên tục kể từ năm 2014. Trường hợp dự án đầu tư mới sản xuất sản phẩm phần mềm của doanh nghiệp A phát sinh doanh thu từ năm 2014, đến năm 2016 dự án đầu tư mới của doanh nghiệp A vẫn chưa có thu nhập chịu thuế thì thời gian miễn giảm thuế được tính liên tục kể từ năm 2017. passage: Bổ sung điểm g khoản 2 Điều 20 Nghị định số 218/2013/NĐ-CP (đã được sửa đổi, bổ sung tại khoản 20 Điều 1 Nghị định số 12/2015/NĐ-CP) về ưu đãi thuế thu nhập doanh nghiệp đối với dự án sản xuất sản phẩm công nghiệp hỗ trợ như sau:
    “g) Doanh nghiệp có dự án đầu tư (đầu tư mới và đầu tư mở rộng) sản xuất sản phẩm thuộc Danh mục sản phẩm công nghiệp hỗ trợ ưu tiên phát triển, thực hiện trước ngày 01 tháng 01 năm 2015, đáp ứng các điều kiện của dự án sản xuất sản phẩm công nghiệp hỗ trợ theo quy định tại Luật số 71/2014/QH13 và được cơ quan có thẩm quyền cấp Giấy xác nhận ưu đãi sản xuất sản phẩm công nghiệp hỗ trợ thì được hưởng ưu đãi về thuế thu nhập doanh nghiệp như sau:
    ...
    g2) Trường hợp doanh nghiệp có dự án sản xuất sản phẩm công nghiệp hỗ trợ mà thu nhập từ dự án này đã hưởng hết ưu đãi thuế thu nhập doanh nghiệp theo điều kiện ưu đãi khác (ngoài điều kiện ưu đãi đối với dự án sản xuất sản phẩm công nghiệp hỗ trợ) thì được hưởng ưu đãi thuế thu nhập doanh nghiệp theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ cho thời gian còn lại kể từ kỳ tính thuế được cơ quan có thẩm quyền cấp Giấy xác nhận ưu đãi sản xuất sản phẩm công nghiệp hỗ trợ.
    ...
    g4) Cách xác định thời gian ưu đãi còn lại nêu tại điểm g2 và g3 điểm này:
    Thời gian ưu đãi còn lại được xác định bằng thời gian ưu đãi thuế thu nhập doanh nghiệp theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi số năm miễn thuế, số năm giảm thuế, số năm hưởng thuế suất ưu đãi đã được hưởng ưu đãi theo điều kiện ưu đãi khác, cụ thể như sau:
    - Thời gian miễn thuế còn lại bằng thời gian miễn thuế theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi thời gian miễn thuế đã hưởng ưu đãi theo điều kiện ưu đãi khác;
    - Thời gian giảm thuế còn lại bằng thời gian giảm thuế theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ di thời gian giảm thuế đã hưởng ưu đãi theo điều kiện ưu đãi khác;
    - Thời gian áp dụng thuế suất ưu đãi còn lại bằng thời gian ưu đãi thuế suất theo điều kiện dự án sản xuất sản phẩm công nghiệp hỗ trợ trừ đi thời gian ưu đãi thuế suất đã hưởng theo điều kiện ưu đãi khác (nếu có).
    ...
  • Loss: CachedMultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 512
  • per_device_eval_batch_size: 512
  • num_train_epochs: 10
  • warmup_ratio: 0.05
  • bf16: True
  • load_best_model_at_end: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 512
  • per_device_eval_batch_size: 512
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 10
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.05
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss cosine_map@10
0.0039 1 1.2359 -
0.0077 2 1.306 -
0.0116 3 1.2167 -
0.0154 4 1.1885 -
0.0193 5 1.3663 -
0.0232 6 1.2733 -
0.0270 7 1.4031 -
0.0309 8 1.3618 -
0.0347 9 1.3344 -
0.0386 10 1.2255 0.6718
0.0425 11 1.3436 -
0.0463 12 1.3941 -
0.0502 13 1.3016 -
0.0541 14 1.3172 -
0.0579 15 1.3634 -
0.0618 16 1.3889 -
0.0656 17 1.174 -
0.0695 18 1.2998 -
0.0734 19 1.0509 -
0.0772 20 1.1991 0.6822
0.0811 21 1.2479 -
0.0849 22 1.131 -
0.0888 23 1.1397 -
0.0927 24 1.3096 -
0.0965 25 1.1347 -
0.1004 26 1.0329 -
0.1042 27 1.1944 -
0.1081 28 1.0938 -
0.1120 29 1.1208 -
0.1158 30 1.2068 0.6787
0.1197 31 1.0755 -
0.1236 32 1.1139 -
0.1274 33 1.0622 -
0.1313 34 1.057 -
0.1351 35 1.0127 -
0.1390 36 0.962 -
0.1429 37 0.9915 -
0.1467 38 0.9934 -
0.1506 39 1.0939 -
0.1544 40 1.0074 0.7003
0.1583 41 1.1654 -
0.1622 42 1.0944 -
0.1660 43 1.0229 -
0.1699 44 1.0225 -
0.1737 45 0.9693 -
0.1776 46 0.9549 -
0.1815 47 0.9309 -
0.1853 48 0.9105 -
0.1892 49 0.9816 -
0.1931 50 0.9099 0.7266
0.1969 51 0.9582 -
0.2008 52 1.0161 -
0.2046 53 0.8601 -
0.2085 54 1.0124 -
0.2124 55 0.9344 -
0.2162 56 0.8925 -
0.2201 57 0.9186 -
0.2239 58 1.0477 -
0.2278 59 0.8785 -
0.2317 60 0.9014 0.7215
0.2355 61 0.9085 -
0.2394 62 0.8974 -
0.2432 63 0.8727 -
0.2471 64 0.8989 -
0.2510 65 0.9068 -
0.2548 66 0.9405 -
0.2587 67 0.9479 -
0.2625 68 0.9749 -
0.2664 69 0.971 -
0.2703 70 0.9692 0.7279
0.2741 71 0.9228 -
0.2780 72 0.8684 -
0.2819 73 0.7559 -
0.2857 74 0.8725 -
0.2896 75 0.8211 -
0.2934 76 1.0066 -
0.2973 77 1.0015 -
0.3012 78 0.9046 -
0.3050 79 0.9401 -
0.3089 80 0.9042 0.7364
0.3127 81 0.8718 -
0.3166 82 0.8593 -
0.3205 83 0.8867 -
0.3243 84 0.8485 -
0.3282 85 0.8191 -
0.3320 86 0.8396 -
0.3359 87 0.7991 -
0.3398 88 0.893 -
0.3436 89 0.8373 -
0.3475 90 0.7167 0.7353
0.3514 91 0.8335 -
0.3552 92 0.7724 -
0.3591 93 0.8924 -
0.3629 94 0.8621 -
0.3668 95 0.8762 -
0.3707 96 0.7515 -
0.3745 97 0.8307 -
0.3784 98 0.8405 -
0.3822 99 0.9281 -
0.3861 100 0.8662 0.7331
0.3900 101 0.7373 -
0.3938 102 0.7105 -
0.3977 103 0.8561 -
0.4015 104 0.8336 -
0.4054 105 0.7742 -
0.4093 106 0.8166 -
0.4131 107 0.7724 -
0.4170 108 0.8393 -
0.4208 109 0.7846 -
0.4247 110 0.8093 0.7336
0.4286 111 0.8833 -
0.4324 112 0.8005 -
0.4363 113 0.8247 -
0.4402 114 0.8352 -
0.4440 115 0.8443 -
0.4479 116 0.8452 -
0.4517 117 0.9401 -
0.4556 118 0.7379 -
0.4595 119 0.8191 -
0.4633 120 0.8511 0.7480
0.4672 121 0.8324 -
0.4710 122 0.8146 -
0.4749 123 0.7674 -
0.4788 124 0.8079 -
0.4826 125 0.824 -
0.4865 126 0.902 -
0.4903 127 0.8066 -
0.4942 128 0.8508 -
0.4981 129 0.8323 -
0.5019 130 0.7869 0.7505
0.5058 131 0.7557 -
0.5097 132 0.6266 -
0.5135 133 0.7964 -
0.5174 134 0.7243 -
0.5212 135 0.8737 -
0.5251 136 0.8194 -
0.5290 137 0.8349 -
0.5328 138 0.8816 -
0.5367 139 0.7574 -
0.5405 140 0.9462 0.7440
0.5444 141 0.743 -
0.5483 142 0.7359 -
0.5521 143 0.8316 -
0.5560 144 0.8987 -
0.5598 145 0.9044 -
0.5637 146 0.7756 -
0.5676 147 0.6763 -
0.5714 148 0.6512 -
0.5753 149 0.7261 -
0.5792 150 0.8834 0.7447
0.5830 151 0.9318 -
0.5869 152 0.7612 -
0.5907 153 0.7514 -
0.5946 154 0.8295 -
0.5985 155 0.8324 -
0.6023 156 0.7869 -
0.6062 157 0.7852 -
0.6100 158 0.8411 -
0.6139 159 0.7143 -
0.6178 160 0.7268 0.7441
0.6216 161 0.8082 -
0.6255 162 0.7466 -
0.6293 163 0.8067 -
0.6332 164 0.7465 -
0.6371 165 0.7632 -
0.6409 166 0.8242 -
0.6448 167 0.6785 -
0.6486 168 0.6683 -
0.6525 169 0.8064 -
0.6564 170 0.8959 0.7488
0.6602 171 0.7061 -
0.6641 172 0.8061 -
0.6680 173 0.7979 -
0.6718 174 0.8387 -
0.6757 175 0.6947 -
0.6795 176 0.7039 -
0.6834 177 0.8558 -
0.6873 178 0.737 -
0.6911 179 0.8095 -
0.6950 180 0.7872 0.7601
0.6988 181 0.7608 -
0.7027 182 0.8482 -
0.7066 183 0.7394 -
0.7104 184 0.8549 -
0.7143 185 0.8191 -
0.7181 186 0.7548 -
0.7220 187 0.8244 -
0.7259 188 0.7015 -
0.7297 189 0.6895 -
0.7336 190 0.6734 0.7616
0.7375 191 0.7386 -
0.7413 192 0.7146 -
0.7452 193 0.7484 -
0.7490 194 0.7762 -
0.7529 195 0.7854 -
0.7568 196 0.692 -
0.7606 197 0.7113 -
0.7645 198 0.735 -
0.7683 199 0.7164 -
0.7722 200 0.7368 0.7486
0.7761 201 0.7838 -
0.7799 202 0.7116 -
0.7838 203 0.7014 -
0.7876 204 0.7598 -
0.7915 205 0.7813 -
0.7954 206 0.7351 -
0.7992 207 0.7402 -
0.8031 208 0.687 -
0.8069 209 0.7198 -
0.8108 210 0.7826 0.7556
0.8147 211 0.7234 -
0.8185 212 0.6783 -
0.8224 213 0.8072 -
0.8263 214 0.7513 -
0.8301 215 0.7941 -
0.8340 216 0.748 -
0.8378 217 0.7732 -
0.8417 218 0.7291 -
0.8456 219 0.6994 -
0.8494 220 0.757 0.7500
0.8533 221 0.7158 -
0.8571 222 0.7383 -
0.8610 223 0.7579 -
0.8649 224 0.7719 -
0.8687 225 0.7309 -
0.8726 226 0.7471 -
0.8764 227 0.8283 -
0.8803 228 0.7635 -
0.8842 229 0.8551 -
0.8880 230 0.7413 0.7554
0.8919 231 0.702 -
0.8958 232 0.8662 -
0.8996 233 0.7492 -
0.9035 234 0.7379 -
0.9073 235 0.6636 -
0.9112 236 0.7404 -
0.9151 237 0.6925 -
0.9189 238 0.8229 -
0.9228 239 0.7481 -
0.9266 240 0.6877 0.7602
0.9305 241 0.7352 -
0.9344 242 0.7155 -
0.9382 243 0.6769 -
0.9421 244 0.6594 -
0.9459 245 0.8058 -
0.9498 246 0.7361 -
0.9537 247 0.8087 -
0.9575 248 0.7153 -
0.9614 249 0.7242 -
0.9653 250 0.6553 0.7458
0.9691 251 0.7915 -
0.9730 252 0.7187 -
0.9768 253 0.6844 -
0.9807 254 0.664 -
0.9846 255 0.6345 -
0.9884 256 0.7435 -
0.9923 257 0.67 -
0.9961 258 1.0484 -
1.0 259 0.2059 -
1.0039 260 0.2808 0.7643
1.0077 261 0.0427 -
1.0116 262 0.0705 -
1.0154 263 0.1752 -
1.0193 264 0.0005 -
1.0232 265 0.0883 -
1.0270 266 0.1846 -
1.0309 267 0.0162 -
1.0347 268 0.01 -
1.0386 269 0.059 -
1.0425 270 0.0441 0.6988
1.0463 271 0.0296 -
1.0502 272 0.0005 -
1.0541 273 0.0003 -
1.0579 274 0.0002 -
1.0618 275 3.4653 -
1.0656 276 0.0012 -
1.0695 277 0.048 -
1.0734 278 1.9485 -
1.0772 279 1.0039 -
1.0811 280 0.4597 0.6971
1.0849 281 0.0431 -
1.0888 282 0.024 -
1.0927 283 0.0131 -
1.0965 284 0.2774 -
1.1004 285 0.042 -
1.1042 286 0.0007 -
1.1081 287 0.0003 -
1.1120 288 0.0278 -
1.1158 289 0.0687 -
1.1197 290 0.0142 0.6889
1.1236 291 0.187 -
1.1274 292 0.001 -
1.1313 293 0.4514 -
1.1351 294 0.0003 -
1.1390 295 0.0006 -
1.1429 296 0.0882 -
1.1467 297 0.0018 -
1.1506 298 0.0 -
1.1544 299 0.0027 -
1.1583 300 0.839 0.6728
1.1622 301 0.0 -
1.1660 302 0.5767 -
1.1699 303 0.0 -
1.1737 304 2.7827 -
1.1776 305 0.2726 -
1.1815 306 0.005 -
1.1853 307 0.0638 -
1.1892 308 0.0628 -
1.1931 309 0.0048 -
1.1969 310 0.0065 0.6215
1.2008 311 0.0131 -
1.2046 312 0.0003 -
1.2085 313 0.1415 -
1.2124 314 0.2259 -
1.2162 315 0.001 -
1.2201 316 0.0001 -
1.2239 317 0.0016 -
1.2278 318 1.2173 -
1.2317 319 0.0008 -
1.2355 320 2.2314 0.5533
1.2394 321 0.8177 -
1.2432 322 0.052 -
1.2471 323 0.0084 -
1.2510 324 0.0379 -
1.2548 325 0.0014 -
1.2587 326 0.0207 -
1.2625 327 0.0 -
1.2664 328 0.0 -
1.2703 329 0.0001 -
1.2741 330 0.0 0.5151
1.2780 331 1.5722 -
1.2819 332 0.166 -
1.2857 333 0.029 -
1.2896 334 0.0001 -
1.2934 335 0.0085 -
1.2973 336 0.0003 -
1.3012 337 0.0003 -
1.3050 338 0.0087 -
1.3089 339 0.017 -
1.3127 340 1.671 0.6009
1.3166 341 0.0007 -
1.3205 342 0.0002 -
1.3243 343 0.006 -
1.3282 344 0.0003 -
1.3320 345 0.6332 -
1.3359 346 0.0003 -
1.3398 347 0.0016 -
1.3436 348 0.0019 -
1.3475 349 0.0025 -
1.3514 350 0.0029 0.6039
1.3552 351 1.219 -
1.3591 352 0.0016 -
1.3629 353 0.0123 -
1.3668 354 4.7681 -
1.3707 355 0.0 -
1.3745 356 0.0584 -
1.3784 357 0.0018 -
1.3822 358 0.0045 -
1.3861 359 1.4909 -
1.3900 360 0.1525 0.6368
1.3938 361 3.4601 -
1.3977 362 3.1904 -
1.4015 363 3.0462 -
1.4054 364 0.0 -
1.4093 365 0.0167 -
1.4131 366 0.0006 -
1.4170 367 0.0 -
1.4208 368 0.001 -
1.4247 369 0.0 -
1.4286 370 0.0 0.6622
1.4324 371 0.0006 -
1.4363 372 0.0 -
1.4402 373 0.0 -
1.4440 374 0.0 -
1.4479 375 0.0 -
1.4517 376 0.0 -
1.4556 377 0.0 -
1.4595 378 0.0006 -
1.4633 379 0.0009 -
1.4672 380 0.0 0.6280
1.4710 381 0.0 -
1.4749 382 0.0 -
1.4788 383 0.0 -
1.4826 384 0.0 -
1.4865 385 0.0 -
1.4903 386 0.0 -
1.4942 387 0.0 -
1.4981 388 0.0 -
1.5019 389 0.0 -
1.5058 390 0.0001 0.5800
1.5097 391 0.0897 -
1.5135 392 0.0 -
1.5174 393 0.0 -
1.5212 394 0.0 -
1.5251 395 0.0 -
1.5290 396 0.0 -
1.5328 397 0.0 -
1.5367 398 0.0 -
1.5405 399 0.0 -
1.5444 400 0.0 0.5177
1.5483 401 0.0 -
1.5521 402 0.0 -
1.5560 403 0.0 -
1.5598 404 0.0 -
1.5637 405 0.0002 -
1.5676 406 0.0 -
1.5714 407 0.0 -
1.5753 408 0.0015 -
1.5792 409 0.0 -
1.5830 410 0.0033 0.4332
1.5869 411 0.0 -
1.5907 412 0.0 -
1.5946 413 0.0 -
1.5985 414 0.0 -
1.6023 415 0.0 -
1.6062 416 0.0 -
1.6100 417 0.0 -
1.6139 418 0.0 -
1.6178 419 0.0 -
1.6216 420 0.0 0.1822
1.6255 421 0.0 -
1.6293 422 0.0 -
1.6332 423 0.0 -
1.6371 424 0.0 -
1.6409 425 0.0 -
1.6448 426 0.0 -
1.6486 427 0.0 -
1.6525 428 0.0 -
1.6564 429 0.0 -
1.6602 430 0.0 0.1020
1.6641 431 0.0 -
1.6680 432 0.0 -
1.6718 433 0.0037 -
1.6757 434 0.0 -
1.6795 435 0.0 -
1.6834 436 0.0 -
1.6873 437 0.0 -
1.6911 438 0.0 -
1.6950 439 0.0 -
1.6988 440 0.0 0.0837
1.7027 441 0.0 -
1.7066 442 0.0 -
1.7104 443 0.0 -
1.7143 444 0.0 -
1.7181 445 0.0 -
1.7220 446 0.0 -
1.7259 447 0.0 -
1.7297 448 0.0 -
1.7336 449 0.0 -
1.7375 450 0.0 0.0893
1.7413 451 0.0 -
1.7452 452 0.0 -
1.7490 453 0.0 -
1.7529 454 0.0 -
1.7568 455 0.0 -
1.7606 456 0.0 -
1.7645 457 0.0 -
1.7683 458 0.0 -
1.7722 459 0.0 -
1.7761 460 0.0 0.0884
1.7799 461 0.0 -
1.7838 462 0.0 -
1.7876 463 0.0 -
1.7915 464 0.0 -
1.7954 465 0.0 -
1.7992 466 0.0 -
1.8031 467 0.0 -
1.8069 468 0.0 -
1.8108 469 0.0 -
1.8147 470 0.0 0.0878
1.8185 471 0.0 -
1.8224 472 0.0 -
1.8263 473 0.0 -
1.8301 474 0.0 -
1.8340 475 0.0 -
1.8378 476 0.0 -
1.8417 477 0.0 -
1.8456 478 0.0 -
1.8494 479 0.0 -
1.8533 480 0.0 0.0896
1.8571 481 0.0 -
1.8610 482 0.0 -
1.8649 483 0.0 -
1.8687 484 0.0 -
1.8726 485 0.0 -
1.8764 486 0.0 -
1.8803 487 0.0 -
1.8842 488 0.0 -
1.8880 489 0.0 -
1.8919 490 0.0 0.0884
1.8958 491 0.0 -
1.8996 492 0.0 -
1.9035 493 0.0 -
1.9073 494 0.0 -
1.9112 495 0.0 -
1.9151 496 0.0 -
1.9189 497 0.0 -
1.9228 498 0.0 -
1.9266 499 0.0 -
1.9305 500 0.0 0.0890
1.9344 501 0.0 -
1.9382 502 0.0 -
1.9421 503 0.0 -
1.9459 504 0.0 -
1.9498 505 0.0 -
1.9537 506 0.0 -
1.9575 507 0.0 -
1.9614 508 0.0 -
1.9653 509 0.0 -
1.9691 510 0.0 0.0903
1.9730 511 0.0 -
1.9768 512 0.0 -
1.9807 513 0.0 -
1.9846 514 0.0 -
1.9884 515 0.0 -
1.9923 516 0.0 -
1.9961 517 0.0 -
2.0 518 0.0 -
2.0039 519 0.0 -
2.0077 520 0.0 0.0884
2.0116 521 0.0 -
2.0154 522 0.0 -
2.0193 523 0.0 -
2.0232 524 0.0 -
2.0270 525 0.0 -
2.0309 526 0.0 -
2.0347 527 0.0 -
2.0386 528 0.0 -
2.0425 529 0.0 -
2.0463 530 0.0 0.0905
2.0502 531 0.0 -
2.0541 532 0.0 -
2.0579 533 0.0 -
2.0618 534 0.0 -
2.0656 535 0.0 -
2.0695 536 0.0 -
2.0734 537 0.0 -
2.0772 538 0.0 -
2.0811 539 0.0 -
2.0849 540 0.0 0.0912
2.0888 541 0.0 -
2.0927 542 0.0 -
2.0965 543 0.0 -
2.1004 544 0.0 -
2.1042 545 0.0 -
2.1081 546 0.0 -
2.1120 547 0.0 -
2.1158 548 0.0 -
2.1197 549 0.0 -
2.1236 550 0.0 0.0899
2.1274 551 0.0 -
2.1313 552 0.0 -
2.1351 553 0.0 -
2.1390 554 0.0 -
2.1429 555 0.0 -
2.1467 556 0.0 -
2.1506 557 0.0 -
2.1544 558 0.0 -
2.1583 559 0.0 -
2.1622 560 0.0 0.0883
2.1660 561 0.0 -
2.1699 562 0.0 -
2.1737 563 0.0 -
2.1776 564 0.0 -
2.1815 565 0.0 -
2.1853 566 0.0 -
2.1892 567 0.0 -
2.1931 568 0.0 -
2.1969 569 0.0 -
2.2008 570 0.0 0.0884
2.2046 571 0.0 -
2.2085 572 0.0 -
2.2124 573 0.0 -
2.2162 574 0.0 -
2.2201 575 0.0 -
2.2239 576 0.0 -
2.2278 577 0.0 -
2.2317 578 0.0 -
2.2355 579 0.0 -
2.2394 580 0.0 0.0885
2.2432 581 0.0 -
2.2471 582 0.0 -
2.2510 583 0.0 -
2.2548 584 0.0 -
2.2587 585 0.0 -
2.2625 586 0.0 -
2.2664 587 0.0 -
2.2703 588 0.0 -
2.2741 589 0.0 -
2.2780 590 0.0 0.0881
2.2819 591 0.0 -
2.2857 592 0.0 -
2.2896 593 0.0 -
2.2934 594 0.0 -
2.2973 595 0.0 -
2.3012 596 0.0 -
2.3050 597 0.0 -
2.3089 598 0.0 -
2.3127 599 0.0 -
2.3166 600 0.0 0.0892
2.3205 601 0.0 -
2.3243 602 0.0 -
2.3282 603 0.0 -
2.3320 604 0.0 -
2.3359 605 0.0 -
2.3398 606 0.0 -
2.3436 607 0.0 -
2.3475 608 0.0 -
2.3514 609 0.0 -
2.3552 610 0.0 0.0894
2.3591 611 0.0 -
2.3629 612 0.0 -
2.3668 613 0.0 -
2.3707 614 0.0 -
2.3745 615 0.0 -
2.3784 616 0.0 -
2.3822 617 0.0 -
2.3861 618 0.0 -
2.3900 619 0.0 -
2.3938 620 0.0 0.0890
2.3977 621 0.0 -
2.4015 622 0.0 -
2.4054 623 0.0 -
2.4093 624 0.0 -
2.4131 625 0.0 -
2.4170 626 0.0 -
2.4208 627 0.0 -
2.4247 628 0.0 -
2.4286 629 0.0 -
2.4324 630 0.0 0.0902
2.4363 631 0.0 -
2.4402 632 0.0 -
2.4440 633 0.0 -
2.4479 634 0.0 -
2.4517 635 0.0 -
2.4556 636 0.0 -
2.4595 637 0.0 -
2.4633 638 0.0 -
2.4672 639 0.0 -
2.4710 640 0.0 0.0895
2.4749 641 0.0 -
2.4788 642 0.0 -
2.4826 643 0.0 -
2.4865 644 0.0 -
2.4903 645 0.0 -
2.4942 646 0.0 -
2.4981 647 0.0 -
2.5019 648 0.0 -
2.5058 649 0.0 -
2.5097 650 0.0 0.0905
2.5135 651 0.0 -
2.5174 652 0.0 -
2.5212 653 0.0 -
2.5251 654 0.0 -
2.5290 655 0.0 -
2.5328 656 0.0 -
2.5367 657 0.0 -
2.5405 658 0.0 -
2.5444 659 0.0 -
2.5483 660 0.0 0.0900
2.5521 661 0.0 -
2.5560 662 0.0 -
2.5598 663 0.0 -
2.5637 664 0.0 -
2.5676 665 0.0 -
2.5714 666 0.0 -
2.5753 667 0.0 -
2.5792 668 0.0 -
2.5830 669 0.0 -
2.5869 670 0.0 0.0889
2.5907 671 0.0 -
2.5946 672 0.0 -
2.5985 673 0.0 -
2.6023 674 0.0 -
2.6062 675 0.0 -
2.6100 676 0.0 -
2.6139 677 0.0 -
2.6178 678 0.0 -
2.6216 679 0.0 -
2.6255 680 0.0 0.0901
2.6293 681 0.0 -
2.6332 682 0.0 -
2.6371 683 0.0 -
2.6409 684 0.0 -
2.6448 685 0.0 -
2.6486 686 0.0 -
2.6525 687 0.0 -
2.6564 688 0.0 -
2.6602 689 0.0 -
2.6641 690 0.0 0.0904
2.6680 691 0.0 -
2.6718 692 0.0 -
2.6757 693 0.0 -
2.6795 694 0.0 -
2.6834 695 0.0 -
2.6873 696 0.0 -
2.6911 697 0.0 -
2.6950 698 0.0 -
2.6988 699 0.0 -
2.7027 700 0.0 0.0911
2.7066 701 0.0 -
2.7104 702 0.0 -
2.7143 703 0.0 -
2.7181 704 0.0 -
2.7220 705 0.0 -
2.7259 706 0.0 -
2.7297 707 0.0 -
2.7336 708 0.0 -
2.7375 709 0.0 -
2.7413 710 0.0 0.0908
2.7452 711 0.0 -
2.7490 712 0.0 -
2.7529 713 0.0 -
2.7568 714 0.0 -
2.7606 715 0.0 -
2.7645 716 0.0 -
2.7683 717 0.0 -
2.7722 718 0.0 -
2.7761 719 0.0 -
2.7799 720 0.0 0.0903
2.7838 721 0.0 -
2.7876 722 0.0 -
2.7915 723 0.0 -
2.7954 724 0.0 -
2.7992 725 0.0 -
2.8031 726 0.0 -
2.8069 727 0.0 -
2.8108 728 0.0 -
2.8147 729 0.0 -
2.8185 730 0.0 0.0885
2.8224 731 0.0 -
2.8263 732 0.0 -
2.8301 733 0.0 -
2.8340 734 0.0 -
2.8378 735 0.0 -
2.8417 736 0.0 -
2.8456 737 0.0 -
2.8494 738 0.0 -
2.8533 739 0.0 -
2.8571 740 0.0 0.0911
2.8610 741 0.0 -
2.8649 742 0.0 -
2.8687 743 0.0 -
2.8726 744 0.0 -
2.8764 745 0.0 -
2.8803 746 0.0 -
2.8842 747 0.0 -
2.8880 748 0.0 -
2.8919 749 0.0 -
2.8958 750 0.0 0.0898
2.8996 751 0.0 -
2.9035 752 0.0 -
2.9073 753 0.0 -
2.9112 754 0.0 -
2.9151 755 0.0 -
2.9189 756 0.0 -
2.9228 757 0.0 -
2.9266 758 0.0 -
2.9305 759 0.0 -
2.9344 760 0.0 0.0892
2.9382 761 0.0 -
2.9421 762 0.0 -
2.9459 763 0.0 -
2.9498 764 0.0 -
2.9537 765 0.0 -
2.9575 766 0.0 -
2.9614 767 0.0 -
2.9653 768 0.0 -
2.9691 769 0.0 -
2.9730 770 0.0 0.0907
2.9768 771 0.0 -
2.9807 772 0.0 -
2.9846 773 0.0 -
2.9884 774 0.0 -
2.9923 775 0.0 -
2.9961 776 0.0 -
3.0 777 0.0 -
3.0039 778 0.0 -
3.0077 779 0.0 -
3.0116 780 0.0 0.0895
3.0154 781 0.0 -
3.0193 782 0.0 -
3.0232 783 0.0 -
3.0270 784 0.0 -
3.0309 785 0.0 -
3.0347 786 0.0 -
3.0386 787 0.0 -
3.0425 788 0.0 -
3.0463 789 0.0 -
3.0502 790 0.0 0.0888
3.0541 791 0.0 -
3.0579 792 0.0 -
3.0618 793 0.0 -
3.0656 794 0.0 -
3.0695 795 0.0 -
3.0734 796 0.0 -
3.0772 797 0.0 -
3.0811 798 0.0 -
3.0849 799 0.0 -
3.0888 800 0.0 0.0910
3.0927 801 0.0 -
3.0965 802 0.0 -
3.1004 803 0.0 -
3.1042 804 0.0 -
3.1081 805 0.0 -
3.1120 806 0.0 -
3.1158 807 0.0 -
3.1197 808 0.0 -
3.1236 809 0.0 -
3.1274 810 0.0 0.0900
3.1313 811 0.0 -
3.1351 812 0.0 -
3.1390 813 0.0 -
3.1429 814 0.0 -
3.1467 815 0.0 -
3.1506 816 0.0 -
3.1544 817 0.0 -
3.1583 818 0.0 -
3.1622 819 0.0 -
3.1660 820 0.0 0.0897
3.1699 821 0.0 -
3.1737 822 0.0 -
3.1776 823 0.0 -
3.1815 824 0.0 -
3.1853 825 0.0 -
3.1892 826 0.0 -
3.1931 827 0.0 -
3.1969 828 0.0 -
3.2008 829 0.0 -
3.2046 830 0.0 0.0898
3.2085 831 0.0 -
3.2124 832 0.0 -
3.2162 833 0.0 -
3.2201 834 0.0 -
3.2239 835 0.0 -
3.2278 836 0.0 -
3.2317 837 0.0 -
3.2355 838 0.0 -
3.2394 839 0.0 -
3.2432 840 0.0 0.0882
3.2471 841 0.0 -
3.2510 842 0.0 -
3.2548 843 0.0 -
3.2587 844 0.0 -
3.2625 845 0.0 -
3.2664 846 0.0 -
3.2703 847 0.0 -
3.2741 848 0.0 -
3.2780 849 0.0 -
3.2819 850 0.0 0.0886
3.2857 851 0.0 -
3.2896 852 0.0 -
3.2934 853 0.0 -
3.2973 854 0.0 -
3.3012 855 0.0 -
3.3050 856 0.0 -
3.3089 857 0.0 -
3.3127 858 0.0 -
3.3166 859 0.0 -
3.3205 860 0.0 0.0912
3.3243 861 0.0 -
3.3282 862 0.0 -
3.3320 863 0.0 -
3.3359 864 0.0 -
3.3398 865 0.0 -
3.3436 866 0.0 -
3.3475 867 0.0 -
3.3514 868 0.0 -
3.3552 869 0.0 -
3.3591 870 0.0 0.0885
3.3629 871 0.0 -
3.3668 872 0.0 -
3.3707 873 0.0 -
3.3745 874 0.0 -
3.3784 875 0.0 -
3.3822 876 0.0 -
3.3861 877 0.0 -
3.3900 878 0.0 -
3.3938 879 0.0 -
3.3977 880 0.0 0.0901
3.4015 881 0.0 -
3.4054 882 0.0 -
3.4093 883 0.0 -
3.4131 884 0.0 -
3.4170 885 0.0 -
3.4208 886 0.0 -
3.4247 887 0.0 -
3.4286 888 0.0 -
3.4324 889 0.0 -
3.4363 890 0.0 0.0907
3.4402 891 0.0 -
3.4440 892 0.0 -
3.4479 893 0.0 -
3.4517 894 0.0 -
3.4556 895 0.0 -
3.4595 896 0.0 -
3.4633 897 0.0 -
3.4672 898 0.0 -
3.4710 899 0.0 -
3.4749 900 0.0 0.0901
3.4788 901 0.0 -
3.4826 902 0.0 -
3.4865 903 0.0 -
3.4903 904 0.0 -
3.4942 905 0.0 -
3.4981 906 0.0 -
3.5019 907 0.0 -
3.5058 908 0.0 -
3.5097 909 0.0 -
3.5135 910 0.0 0.0891
3.5174 911 0.0 -
3.5212 912 0.0 -
3.5251 913 0.0 -
3.5290 914 0.0 -
3.5328 915 0.0 -
3.5367 916 0.0 -
3.5405 917 0.0 -
3.5444 918 0.0 -
3.5483 919 0.0 -
1.0039 920 10.0434 0.1388
1.0077 921 5.1821 -
1.0116 922 4.5825 -
1.0154 923 3.5524 -
1.0193 924 2.9869 -
1.0232 925 2.1689 -
1.0270 926 1.7121 -
1.0309 927 1.4145 -
1.0347 928 1.3582 -
1.0386 929 1.0809 -
1.0425 930 1.1277 0.6958
1.0463 931 1.1277 -
1.0502 932 0.9973 -
1.0541 933 0.9678 -
1.0579 934 0.9995 -
1.0618 935 0.9642 -
1.0656 936 0.8054 -
1.0695 937 0.8265 -
1.0734 938 0.7545 -
1.0772 939 0.8211 -
1.0811 940 0.7939 0.7544
1.0849 941 0.7102 -
1.0888 942 0.7012 -
1.0927 943 0.8635 -
1.0965 944 0.786 -
1.1004 945 0.7132 -
1.1042 946 0.8146 -
1.1081 947 0.7136 -
1.1120 948 0.753 -
1.1158 949 0.8313 -
1.1197 950 0.7316 0.7442
1.1236 951 0.7404 -
1.1274 952 0.7095 -
1.1313 953 0.6721 -
1.1351 954 0.6721 -
1.1390 955 0.5942 -
1.1429 956 0.677 -
1.1467 957 0.6897 -
1.1506 958 0.7641 -
1.1544 959 0.729 -
1.1583 960 0.8163 0.7495
1.1622 961 0.7476 -
1.1660 962 0.6893 -
1.1699 963 0.7298 -
1.1737 964 0.7051 -
1.1776 965 0.7108 -
1.1815 966 0.6874 -
1.1853 967 0.6419 -
1.1892 968 0.7157 -
1.1931 969 0.6784 -
1.1969 970 0.7366 0.7611
1.2008 971 0.7936 -
1.2046 972 0.6304 -
1.2085 973 0.741 -
1.2124 974 0.6798 -
1.2162 975 0.6214 -
1.2201 976 0.6823 -
1.2239 977 0.7699 -
1.2278 978 0.6935 -
1.2317 979 0.6333 -
1.2355 980 0.7254 0.7669
1.2394 981 0.6542 -
1.2432 982 0.6484 -
1.2471 983 0.6735 -
1.2510 984 0.6583 -
1.2548 985 0.7262 -
1.2587 986 0.7496 -
1.2625 987 0.6963 -
1.2664 988 0.6898 -
1.2703 989 0.809 -
1.2741 990 0.6674 0.7682
1.2780 991 0.6777 -
1.2819 992 0.5449 -
1.2857 993 0.6407 -
1.2896 994 0.6454 -
1.2934 995 0.7667 -
1.2973 996 0.7352 -
1.3012 997 0.6949 -
1.3050 998 0.7102 -
1.3089 999 0.6572 -
1.3127 1000 0.6449 0.7652
1.3166 1001 0.6557 -
1.3205 1002 0.679 -
1.3243 1003 0.6698 -
1.3282 1004 0.6062 -
1.3320 1005 0.6519 -
1.3359 1006 0.6367 -
1.3398 1007 0.7025 -
1.3436 1008 0.6094 -
1.3475 1009 0.5253 -
1.3514 1010 0.6137 0.7636
1.3552 1011 0.613 -
1.3591 1012 0.6423 -
1.3629 1013 0.6327 -
1.3668 1014 0.648 -
1.3707 1015 0.5934 -
1.3745 1016 0.6273 -
1.3784 1017 0.6321 -
1.3822 1018 0.6907 -
1.3861 1019 0.6489 -
1.3900 1020 0.5384 0.7683
1.3938 1021 0.5229 -
1.3977 1022 0.6126 -
1.4015 1023 0.645 -
1.4054 1024 0.5632 -
1.4093 1025 0.5785 -
1.4131 1026 0.5648 -
1.4170 1027 0.6029 -
1.4208 1028 0.6059 -
1.4247 1029 0.5715 -
1.4286 1030 0.6566 0.7723
1.4324 1031 0.6022 -
1.4363 1032 0.6389 -
1.4402 1033 0.649 -
1.4440 1034 0.6492 -
1.4479 1035 0.6706 -
1.4517 1036 0.7155 -
1.4556 1037 0.5653 -
1.4595 1038 0.6131 -
1.4633 1039 0.6599 -
1.4672 1040 0.6408 0.7675
1.4710 1041 0.5828 -
1.4749 1042 0.5851 -
1.4788 1043 0.5777 -
1.4826 1044 0.6046 -
1.4865 1045 0.6614 -
1.4903 1046 0.5989 -
1.4942 1047 0.6145 -
1.4981 1048 0.6476 -
1.5019 1049 0.5908 -
1.5058 1050 0.5303 0.7698
1.5097 1051 0.4999 -
1.5135 1052 0.6364 -
1.5174 1053 0.585 -
1.5212 1054 0.6173 -
1.5251 1055 0.5873 -
1.5290 1056 0.6212 -
1.5328 1057 0.6382 -
1.5367 1058 0.5773 -
1.5405 1059 0.7004 -
1.5444 1060 0.5519 0.7730
1.5483 1061 0.5493 -
1.5521 1062 0.6271 -
1.5560 1063 0.6582 -
1.5598 1064 0.6762 -
1.5637 1065 0.5384 -
1.5676 1066 0.4839 -
1.5714 1067 0.4858 -
1.5753 1068 0.5605 -
1.5792 1069 0.6527 -
1.5830 1070 0.7242 0.7767
1.5869 1071 0.5596 -
1.5907 1072 0.5334 -
1.5946 1073 0.6396 -
1.5985 1074 0.6257 -
1.6023 1075 0.5817 -
1.6062 1076 0.5427 -
1.6100 1077 0.6046 -
1.6139 1078 0.5407 -
1.6178 1079 0.5577 -
1.6216 1080 0.6289 0.7684
1.6255 1081 0.5571 -
1.6293 1082 0.6156 -
1.6332 1083 0.5908 -
1.6371 1084 0.5573 -
1.6409 1085 0.6092 -
1.6448 1086 0.5099 -
1.6486 1087 0.4984 -
1.6525 1088 0.5983 -
1.6564 1089 0.6936 -
1.6602 1090 0.4997 0.7731
1.6641 1091 0.6156 -
1.6680 1092 0.6256 -
1.6718 1093 0.6171 -
1.6757 1094 0.4663 -
1.6795 1095 0.5336 -
1.6834 1096 0.5962 -
1.6873 1097 0.5501 -
1.6911 1098 0.6299 -
1.6950 1099 0.5987 -
1.6988 1100 0.5911 0.7852

Framework Versions

  • Python: 3.10.6
  • Sentence Transformers: 3.3.0.dev0
  • Transformers: 4.45.2
  • PyTorch: 2.4.1+cu118
  • Accelerate: 0.34.0
  • Datasets: 2.21.0
  • Tokenizers: 0.20.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss 

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
Downloads last month
3
Safetensors
Model size
99.1M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Turbo-AI/multilingual-e5-base-trimm-vocab-1024-v2

Base model

Turbo-AI/multilingual-e5-base-trimm-vocab-1024-v1
Finetuned
(1)
this model
Finetunes
1 model

Collection including Turbo-AI/multilingual-e5-base-trimm-vocab-1024-v2

Papers for Turbo-AI/multilingual-e5-base-trimm-vocab-1024-v2

Evaluation results