Add new SentenceTransformer model.

97f59b2 verified 11 months ago

36.5 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:89592
  - loss:CachedMultipleNegativesRankingLoss
base_model: google-bert/bert-base-multilingual-cased
widget:
  - source_sentence: >-
      Sau bao lâu thì người lao động được hưởng trợ cấp thất nghiệp tháng đầu
      tiên?
    sentences:
      - >-
        Miễn nhiệm, cách chức Chủ tịch và thành viên Hội đồng thành viên

        1. Chủ tịch hoặc thành viên Hội đồng thành viên bị miễn nhiệm trong
        những trường hợp sau đây:

        a) Không còn đủ tiêu chuẩn và điều kiện quy định tại Điều 28 của Điều lệ
        này;

        b) Có đơn xin từ chức và được Thủ tướng Chính phủ, Bộ Nông nghiệp và
        Phát triển nông thôn chấp thuận bằng văn bản;

        c) Có quyết định điều chuyển, bố trí công việc khác hoặc nghỉ hưu;

        d) Không đủ sức khỏe đảm nhận công việc được giao; bị mất hoặc bị hạn
        chế năng lực hành vi dân sự;

        đ) Không đủ năng lực, trình độ, uy tín để thực hiện chức trách nhiệm vụ
        được giao thuộc một trong các trường hợp sau đây:

        - Trong 02 năm liên tiếp của nhiệm kỳ giữ chức vụ bị đánh giá, phân loại
        ở mức không hoàn thành nhiệm vụ;

        - Trong 01 nhiệm kỳ hoặc trong 02 nhiệm kỳ liên tiếp bị 02 lần xử lý kỷ
        luật liên quan đến chức trách nhiệm vụ được giao;

        - Để Tổng công ty mất đoàn kết hoặc làm Tổng công ty mất đoàn kết theo
        kết luận của cấp có thẩm quyền.

        - Bị cơ quan thanh tra, kiểm tra có thẩm quyền kết luận bằng văn bản về
        vi phạm tư cách đạo đức hoặc vi phạm những quy định về những việc đảng
        viên không được làm đối với thành viên Hội đồng thành viên là đảng viên.

        e) Có hành vi vi phạm pháp luật thuộc một trong các trường hợp sau đây:

        - Vi phạm pháp luật bị kỷ luật bằng hình thức khiển trách hoặc cảnh cáo
        mà yêu cầu nhiệm vụ công tác cần phải thay thế;

        - Bị cấp có thẩm quyền kết luận bằng văn bản về hành vi vi phạm pháp
        luật nhưng chưa đến mức kỷ luật cách chức.

        ...
      - >-
        PHẪU THUẬT ĐÓNG RÒ TRỰC TRÀNG - NIỆU ĐẠO

        ...

        IV. CHUẨN BỊ

        1. Người thực hiện: Phẫu thuật viên tiêu hóa hoặc tiết niệu hoặc phối
        hợp cả 2 chuyên khoa

        2. Người bệnh: Người bệnh cần được chuẩn bị đại tràng trước mổ như một
        phẫu thuật cắt đoạn trực tràng.

        3. Phương tiện: Bộ dụng cụ đại phẫu

        4. Dự kiến thời gian phẫu thuật: 180 phút

        V. CÁC BƯỚC TIẾN HÀNH

        1. Tư thế: Sản khoa

        2. Vô cảm: Tê tủy sống hoặc mê nội khí quản

        3. Kỹ thuật:

        - Đường mổ: Đường trắng giữa dưới rốn kết hợp đường tầng sinh môn

        - Tìm niệu đạo

        - Rạch da đường ngang phía trước lỗ hậu môn, bóc tách các lớp để tìm
        đường rò niệu đạo trực tràng.

        *Về tiết niệu:

        - Tìm thấy lỗ rò, đặt sonde bàng quang, khâu lại niệu đạo hoặc cắt đoạn
        nối tận tận trên sonde bàng quang

        - Mở thông bàng quang

        *Về trực tràng:

        - Khâu lại lỗ rò trực tràng

        - Làm hậu môn nhân tạo trong trường hợp tổ chức thành trực tràng mủn,
        nguy cơ bục cao
      - >-
        Giải quyết hưởng trợ cấp thất nghiệp

        ...

        2. Chi trả trợ cấp thất nghiệp

        a) Tổ chức bảo hiểm xã hội thực hiện chi trả trợ cấp thất nghiệp tháng
        đầu tiên của người lao động trong thời hạn 05 ngày làm việc kể từ ngày
        nhận được quyết định hưởng trợ cấp thất nghiệp;

        b) Tổ chức bảo hiểm xã hội thực hiện chi trả trợ cấp thất nghiệp cho
        người lao động từ tháng hưởng trợ cấp thất nghiệp thứ 2 trở đi trong
        thời hạn 05 ngày làm việc, tính từ thời điểm ngày thứ 07 của tháng hưởng
        trợ cấp thất nghiệp đó nếu không nhận được quyết định tạm dừng hoặc chấm
        dứt hưởng trợ cấp thất nghiệp đối với người lao động. Trường hợp thời
        điểm ngày thứ 07 nêu trên là ngày nghỉ thì thời hạn chi trả trợ cấp thất
        nghiệp được tính từ ngày làm việc tiếp theo.

        ...
  - source_sentence: Ủy ban Dân tộc có phải là cơ quan ngang bộ của Chính phủ không?
    sentences:
      - >-
        Vị trí và chức năng

        Ủy ban Dân tộc là cơ quan ngang bộ của Chính phủ, thực hiện chức năng
        quản lý nhà nước về công tác dân tộc trong phạm vi cả nước; quản lý nhà
        nước các dịch vụ công thuộc phạm vi quản lý của Ủy ban Dân tộc theo quy
        định của pháp luật.
      - >-
        Miễn tiền sử dụng đất

        Miễn tiền sử dụng đất trong những trường hợp sau đây:

        1. Miễn tiền sử dụng đất trong hạn mức giao đất ở khi sử dụng đất để
        thực hiện chính sách nhà ở, đất ở đối với người có công với cách mạng
        thuộc đối tượng được miễn tiền sử dụng đất theo quy định của pháp luật
        về người có công; hộ nghèo, hộ đồng bào dân tộc thiểu số ở vùng có điều
        kiện kinh tế - xã hội đặc biệt khó khăn, vùng biên giới, hải đảo; sử
        dụng đất để xây dựng nhà ở xã hội theo quy định của pháp luật về nhà ở;
        nhà ở cho người phải di dời do thiên tai.

        Việc xác định hộ nghèo theo quyết định của Thủ tướng Chính phủ; việc xác
        định hộ gia đình hoặc cá nhân là đồng bào dân tộc thiểu số theo quy định
        của Chính phủ.

        2. Miễn tiền sử dụng đất trong hạn mức giao đất ở khi cấp Giấy chứng
        nhận lần đầu đối với đất do chuyển mục đích sử dụng từ đất không phải là
        đất ở sang đất ở do tách hộ đối với hộ đồng bào dân tộc thiểu số, hộ
        nghèo tại các xã đặc biệt khó khăn vùng đồng bào dân tộc và miền núi
        theo Danh mục các xã đặc biệt khó khăn do Thủ tướng Chính phủ quy định.
         …
        Giảm tiền sử dụng đất

        1. Giảm 50% tiền sử dụng đất trong hạn mức đất ở đối với hộ gia đình là
        đồng bào dân tộc thiểu số, hộ nghèo tại các địa bàn không thuộc phạm vi
        quy định tại Khoản 2 Điều 11 Nghị định này khi được cơ quan nhà nước có
        thẩm quyền quyết định giao đất; công nhận (cấp Giấy chứng nhận) quyền sử
        dụng đất lần đầu đối với đất đang sử dụng hoặc khi được chuyển mục đích
        sử dụng từ đất không phải là đất ở sang đất ở.

        Việc xác định hộ nghèo theo quyết định của Thủ tướng Chính phủ; việc xác
        định hộ gia đình hoặc cá nhân là đồng bào dân tộc thiểu số theo quy định
        của Chính phủ.

        2. Giảm tiền sử dụng đất đối với đất ở trong hạn mức giao đất ở (bao gồm
        giao đất, chuyển mục đích sử dụng đất, cấp Giấy chứng nhận cho người
        đang sử dụng đất) đối với người có công với cách mạng mà thuộc diện được
        giảm tiền sử dụng đất theo quy định của pháp luật về người có công.

        ...
      - >-
        Giám sát hoạt động của Công an nhân dân

        1. Quốc hội, Ủy ban Thường vụ Quốc hội, Hội đồng Dân tộc, Ủy ban của
        Quốc hội, Đoàn đại biểu Quốc hội, đại biểu Quốc hội, Hội đồng nhân dân,
        Thường trực Hội đồng nhân dân, Ban của Hội đồng nhân dân, Tổ đại biểu
        Hội đồng nhân dân và đại biểu Hội đồng nhân dân, trong phạm vi nhiệm vụ,
        quyền hạn của mình, thực hiện giám sát hoạt động của Công an nhân dân.

        2. Mặt trận Tổ quốc Việt Nam và các tổ chức thành viên của Mặt trận,
        trong phạm vi nhiệm vụ, quyền hạn của mình, có trách nhiệm tuyên truyền,
        vận động mọi tầng lớp nhân dân tham gia phong trào toàn dân bảo vệ an
        ninh Tổ quốc, phối hợp, cộng tác, hỗ trợ Công an nhân dân thực hiện
        nhiệm vụ và xây dựng Công an nhân dân, giám sát việc thực hiện pháp luật
        về Công an nhân dân.
  - source_sentence: >-
      Việc vận động quyên góp của Quỹ Phát triển sử học Việt Nam được quy định
      thế nào?
    sentences:
      - >-
        Thư viện cơ sở giáo dục mầm non, cơ sở giáo dục phổ thông, cơ sở giáo
        dục nghề nghiệp và cơ sở giáo dục khác

        ...

        3. Thư viện cơ sở giáo dục phổ thông thực hiện chức năng, nhiệm vụ quy
        định tại Điều 4 của Luật này và các chức năng, nhiệm vụ sau đây:

        a) Phát triển tài nguyên thông tin phù hợp với nhu cầu học tập, nghiên
        cứu của người học, người dạy, cán bộ quản lý và mục tiêu, nội dung,
        chương trình học tập, giảng dạy của từng cấp học, chương trình học;

        b) Tổ chức hoạt động khuyến đọc, hình thành thói quen, kỹ năng đọc của
        người học; hướng dẫn sử dụng thư viện, trang bị kỹ năng tìm kiếm, khai
        thác, sử dụng thông tin cho người học, người dạy và cán bộ quản lý;

        c) Hỗ trợ việc học tập, giảng dạy, nghiên cứu và tổ chức các hoạt động
        giáo dục khác;

        d) Thực hiện nhiệm vụ khác do cơ sở giáo dục giao.
      - >-
        "Điều 24. Nguyên tắc hoạt động và trường hợp sử dụng lực lượng vũ trang
        nhân dân

        ...

        2. Trường hợp sử dụng lực lượng vũ trang nhân dân được quy định như sau:

        a) Trong tình trạng chiến tranh, tình trạng khẩn cấp về quốc phòng thực
        hiện theo lệnh của Chủ tịch nước và quy định khác của pháp luật có liên
        quan;

        b) Trong thi hành lệnh thiết quân luật, giới nghiêm thực hiện theo quy
        định của Luật này và quy định khác của pháp luật có liên quan;

        c) Trong tình trạng khẩn cấp do thảm họa, dịch bệnh nguy hiểm hoặc tình
        hình đe dọa nghiêm trọng đến an ninh quốc gia, trật tự, an toàn xã hội
        thực hiện theo quy định của pháp luật về tình trạng khẩn cấp và quy định
        khác của pháp luật có liên quan;

        d) Khi có nguy cơ đe dọa an ninh quốc gia, trật tự, an toàn xã hội nhưng
        chưa đến mức ban bố tình trạng khẩn cấp thực hiện theo quy định của pháp
        luật về an ninh quốc gia và quy định khác của pháp luật có liên quan;

        đ) Khi tham gia hoạt động góp phần bảo vệ hòa bình ở khu vực và trên thế
        giới thực hiện theo quyết định của Hội đồng Quốc phòng và An ninh;

        e) Khi xảy ra tình huống phức tạp về an ninh quốc gia, trật tự, an toàn
        xã hội; đấu tranh phòng, chống tội phạm; tham gia phòng, chống, khắc
        phục sự cố, thiên tai, dịch bệnh, việc sử dụng lực lượng vũ trang do
        Chính phủ quy định."
      - >-
        Nguyên tắc vận động

        1. Quỹ được vận động quyên góp, vận động tài trợ ở trong nước và ở nước
        ngoài nhằm chuẩn bị thực hiện mục tiêu hoạt động theo quy định của Điều
        lệ Quỹ và theo quy định của pháp luật.

        2. Đối với các cuộc vận động quyên góp, vận động tài trợ các tổ chức, cá
        nhân ở nước ngoài hoặc trong phạm vi cả nước Quỹ phải có đề án và được
        cơ quan nhà nước có thẩm quyền cho phép thành lập Quỹ đồng ý bằng văn
        bản.
  - source_sentence: Đội tuyển thể thao quốc gia gồm những đội tuyển nào?
    sentences:
      - >-
        “Điều 5. Trách nhiệm giải quyết và chi trả

        [...]

        4. Thời hạn giải quyết và chi trả

        4.1. Trường hợp đơn vị SDLĐ đề nghị: Tối đa 06 ngày làm việc kể từ khi
        nhận đủ hồ sơ theo quy định.

        4.2. Trường hợp người lao động, thân nhân người lao động nộp hồ sơ trực
        tiếp cho cơ quan BHXH: Tối đa 03 ngày làm việc kể từ ngày nhận đủ hồ sơ
        theo quy định.

        [...]”
      - >-
        Mở sổ, ghi sổ, khóa sổ và lưu trữ sổ kế toán

        1. Sổ kế toán phải mở vào đầu kỳ kế toán năm; đối với đơn vị kế toán mới
        thành lập, sổ kế toán phải mở từ ngày thành lập.Hiệu lực thi hành

        1. Thông tư này có hiệu lực từ ngày 15/02/2023.

        2. Kể từ ngày Thông tư này có hiệu lực thi hành, Quyết định số
        37/2007/QĐ-NHNN ngày 26/10/2007 của Thống đốc Ngân hàng Nhà nước ban
        hành chế độ kế toán giao nhận, điều chuyển, phát hành, thu hồi và tiêu
        hủy tiền mặt hết hiệu lực thi hành.
      - >-
        Trong quy chế này các từ ngữ dưới đây được hiểu như sau:

        1. “Đội tuyển thể thao quốc gia” bao gồm: đội dự tuyển, đội tuyển quốc
        gia, đội dự tuyển trẻ, đội tuyển trẻ quốc gia từng môn thể thao.

        2. “Vận động viên đội tuyển thể thao quốc gia” bao gồm: những vận động
        viên được Ủy ban Thể dục thể thao quyết định triệu tập vào các đội tuyển
        thể thao quốc gia để tập huấn, thi đấu các giải thể thao quốc tế.

        ...
  - source_sentence: Tổ chức sinh hoạt tôn giáo tập trung cần đáp ứng điều kiện gì?
    sentences:
      - >-
        ĐIỀU TRỊ

        ...

        3. Điều trị hỗ trợ

        a) Hạ sốt.

        Chỉ dùng paracetamol khi nhiệt độ trên 39oC (không dùng thuốc hạ sốt
        nhóm salicylate như aspirin).

        b) Bảo đảm chế độ dinh dưỡng và chăm sóc.

        - Dinh dưỡng:

        + Người bệnh nhẹ: cho ăn bằng đường miệng.

        + Người bệnh nặng: cho ăn sữa và bột dinh dưỡng qua ống thông dạ dày.

        + Nếu người bệnh không ăn được phải kết hợp nuôi dưỡng bằng đường tĩnh
        mạch.

        - Chăm sóc hô hấp: giúp người bệnh ho, khạc; vỗ rung vùng ngực; hút đờm.

        c) Sử dụng kháng sinh thích hợp khi có bội nhiễm vi khuẩn

        d) Hỗ trợ hô hấp khi có suy hô hấp:

        - Nằm đầu cao 30-450.

        - Cho người bệnh thở oxy với lưu lượng thích hợp.

        - Những trường hợp không đáp ứng với thở oxy cần hỗ trợ hô hấp bằng máy
        thở không xâm nhập hoặc xâm nhập.

        e) Phát hiện và điều trị suy đa phủ tạng.

        g) Những trường hợp nặng điều trị giống như cúm A (H5N1) nặng đã được Bộ
        Y tế ban hành.

        ...
      - >-
        "Điều 16. Điều kiện đăng ký sinh hoạt tôn giáo tập trung

        1. Tổ chức tôn giáo đăng ký sinh hoạt tôn giáo tập trung cho tín đồ tại
        những nơi chưa đủ điều kiện thành lập tổ chức tôn giáo trực thuộc; tổ
        chức được cấp chứng nhận đăng ký hoạt động tôn giáo đăng ký sinh hoạt
        tôn giáo tập trung cho những người thuộc tổ chức khi đáp ứng đủ các điều
        kiện sau đây:

        a) Có địa điểm hợp pháp để sinh hoạt tôn giáo;

        b) Nhóm sinh hoạt tôn giáo tập trung có người đại diện là công dân Việt
        Nam thường trú tại Việt Nam, có năng lực hành vi dân sự đầy đủ; không
        trong thời gian bị áp dụng biện pháp xử lý hành chính trong lĩnh vực tín
        ngưỡng, tôn giáo; không có án tích hoặc không phải là người đang bị buộc
        tội theo quy định của pháp luật về tố tụng hình sự;

        c) Nội dung sinh hoạt tôn giáo không thuộc trường hợp quy định tại Điều
        5 của Luật này.

        2. Những người theo tôn giáo không thuộc trường hợp quy định tại khoản 1
        Điều này được đăng ký sinh hoạt tôn giáo tập trung khi đáp ứng đủ các
        điều kiện quy định tại khoản 1 Điều này và các điều kiện sau đây:

        a) Có giáo lý, giáo luật;

        b) Tên của nhóm sinh hoạt tôn giáo tập trung không trùng với tên tổ chức
        tôn giáo hoặc tổ chức đã được cấp chứng nhận đăng ký hoạt động tôn giáo,
        tên tổ chức chính trị, tổ chức chính trị - xã hội hoặc tên danh nhân,
        anh hùng dân tộc."
      - >-
        Yêu cầu về chất lượng

        2.1 Yêu cầu tối thiểu

        Trong tất cả các hạng, tùy theo yêu cầu cụ thể cho từng hạng và dung sai
        cho phép, roi quả tươi phải:

        - nguyên vẹn có hoặc không có cuống;

        - đặc trưng cho giống;

        - tươi và rắn chắc;

        - không bị dập nát hoặc hư hỏng đến mức không phù hợp cho sử dụng;

        - sạch;

        - hầu như không có bất kỳ tạp chất lạ nào nhìn thấy được bằng mắt
        thường;

        - hầu như không bị hư hỏng cơ học và/hoặc sinh lý học;

        - hầu như không chứa sinh vật gây hại và hư hỏng ảnh hưởng đến hình thức
        bên ngoài của sản phẩm;

        - không bị ẩm bất thường ngoài vỏ, trừ khi bị ngưng tụ nước do vừa đưa
        ra khỏi môi trường bảo quản lạnh;

        - hầu như không có bất kỳ mùi và/hoặc vị lạ nào:

        2.1.1 Roi quả tươi phải được thu hoạch khi đạt độ thích hợp, phù hợp với
        tiêu chí của vùng trồng.

        Độ chín và tình trạng của roi quả tươi phải:

        - chịu được vận chuyển và bốc dỡ; và

        - đến nơi tiêu thụ với trạng thái tốt.

        ...
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on google-bert/bert-base-multilingual-cased

This is a sentence-transformers model finetuned from google-bert/bert-base-multilingual-cased. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: google-bert/bert-base-multilingual-cased
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Savoxism/Finetuned-BERT-Multilingual-Legal-Doc-Retrieval")
# Run inference
sentences = [
    'Tổ chức sinh hoạt tôn giáo tập trung cần đáp ứng điều kiện gì?',
    '"Điều 16. Điều kiện đăng ký sinh hoạt tôn giáo tập trung\n1. Tổ chức tôn giáo đăng ký sinh hoạt tôn giáo tập trung cho tín đồ tại những nơi chưa đủ điều kiện thành lập tổ chức tôn giáo trực thuộc; tổ chức được cấp chứng nhận đăng ký hoạt động tôn giáo đăng ký sinh hoạt tôn giáo tập trung cho những người thuộc tổ chức khi đáp ứng đủ các điều kiện sau đây:\na) Có địa điểm hợp pháp để sinh hoạt tôn giáo;\nb) Nhóm sinh hoạt tôn giáo tập trung có người đại diện là công dân Việt Nam thường trú tại Việt Nam, có năng lực hành vi dân sự đầy đủ; không trong thời gian bị áp dụng biện pháp xử lý hành chính trong lĩnh vực tín ngưỡng, tôn giáo; không có án tích hoặc không phải là người đang bị buộc tội theo quy định của pháp luật về tố tụng hình sự;\nc) Nội dung sinh hoạt tôn giáo không thuộc trường hợp quy định tại Điều 5 của Luật này.\n2. Những người theo tôn giáo không thuộc trường hợp quy định tại khoản 1 Điều này được đăng ký sinh hoạt tôn giáo tập trung khi đáp ứng đủ các điều kiện quy định tại khoản 1 Điều này và các điều kiện sau đây:\na) Có giáo lý, giáo luật;\nb) Tên của nhóm sinh hoạt tôn giáo tập trung không trùng với tên tổ chức tôn giáo hoặc tổ chức đã được cấp chứng nhận đăng ký hoạt động tôn giáo, tên tổ chức chính trị, tổ chức chính trị - xã hội hoặc tên danh nhân, anh hùng dân tộc."',
    'ĐIỀU TRỊ\n...\n3. Điều trị hỗ trợ\na) Hạ sốt.\nChỉ dùng paracetamol khi nhiệt độ trên 39oC (không dùng thuốc hạ sốt nhóm salicylate như aspirin).\nb) Bảo đảm chế độ dinh dưỡng và chăm sóc.\n- Dinh dưỡng:\n+ Người bệnh nhẹ: cho ăn bằng đường miệng.\n+ Người bệnh nặng: cho ăn sữa và bột dinh dưỡng qua ống thông dạ dày.\n+ Nếu người bệnh không ăn được phải kết hợp nuôi dưỡng bằng đường tĩnh mạch.\n- Chăm sóc hô hấp: giúp người bệnh ho, khạc; vỗ rung vùng ngực; hút đờm.\nc) Sử dụng kháng sinh thích hợp khi có bội nhiễm vi khuẩn\nd) Hỗ trợ hô hấp khi có suy hô hấp:\n- Nằm đầu cao 30-450.\n- Cho người bệnh thở oxy với lưu lượng thích hợp.\n- Những trường hợp không đáp ứng với thở oxy cần hỗ trợ hô hấp bằng máy thở không xâm nhập hoặc xâm nhập.\ne) Phát hiện và điều trị suy đa phủ tạng.\ng) Những trường hợp nặng điều trị giống như cúm A (H5N1) nặng đã được Bộ Y tế ban hành.\n...',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 89,592 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 8 tokens
mean: 25.78 tokens
max: 49 tokens

min: 27 tokens
mean: 274.44 tokens
max: 512 tokens

	sentence_0	sentence_1
type	string	string
details	min: 8 tokens mean: 25.78 tokens max: 49 tokens	min: 27 tokens mean: 274.44 tokens max: 512 tokens

Samples:

sentence_0	sentence_1
`Người sử dụng lao động khi thực hiện đào tạo nghề cần thông báo kết quả đào tạo đến cơ quan nào?`	Trách nhiệm của người sử dụng lao động về đào tạo, bồi dưỡng, nâng cao trình độ, kỹ năng nghề 1. Người sử dụng lao động xây dựng kế hoạch hằng năm và dành kinh phí cho việc đào tạo, bồi dưỡng, nâng cao trình độ, kỹ năng nghề, phát triển kỹ năng nghề cho người lao động đang làm việc cho mình; đào tạo cho người lao động trước khi chuyển làm nghề khác cho mình. 2. Hằng năm, người sử dụng lao động thông báo kết quả đào tạo, bồi dưỡng, nâng cao trình độ, kỹ năng nghề cho cơ quan chuyên môn về lao động thuộc Ủy ban nhân dân cấp tỉnh.
`Thương nhân kinh doanh Siêu thị kinh doanh tổng hợp có thể tự tiến hành phân hạng Siêu thị của mình không?`	`Phân hạng, tên gọi và biển hiệu Siêu thị, Trung tâm thương mại 1. Thương nhân kinh doanh Siêu thị hoặc Trung tâm thương mại tự tiến hành phân hạng Siêu thị, Trung tâm thương mại của mình căn cứ các tiêu chuẩn tại Điều 3 và Điều 4 Quy chế này theo sự hướng dẫn và kiểm tra của Sở thương mại tỉnh, thành phố trực thuộc Trung ương (sau đây gọi tắt là Sở Thương mại). ...`
`Căn hộ chung cư phải đảm bảo có diện tích tối thiểu bao nhiêu theo quy định hiện nay?`	"2.2.4 Căn hộ chung cư 2.2.4.1 Phải có tối thiểu một phòng ở và một khu vệ sinh. Diện tích sử dụng tối thiểu của căn hộ chung cư không nhỏ hơn 25 m2. 2.2.4.2 Đối với dự án nhà ở thương mại, phải đảm bảo tỷ lệ căn hộ chung cư có diện tích nhỏ hơn 45 m2 không vượt quá 25 % tổng số căn hộ chung cư của dự án. 2.2.4.3 Căn hộ chung cư phải được chiếu sáng tự nhiên. Căn hộ có từ 2 phòng ở trở lên, cho phép một phòng ở không có chiếu sáng tự nhiên. 2.2.4.4 Phòng ngủ phải được thông thoáng, chiếu sáng tự nhiên. Diện tích sử dụng của phòng ngủ trong căn hộ chung cư không được nhỏ hơn 9 m2."

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 32
per_device_eval_batch_size: 32
num_train_epochs: 2
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.1786	500	0.6029
0.3571	1000	0.1195
0.5357	1500	0.0848
0.7143	2000	0.0719
0.8929	2500	0.0645
1.0714	3000	0.0547
1.25	3500	0.0299
1.4286	4000	0.033
1.6071	4500	0.0292
1.7857	5000	0.0244
1.9643	5500	0.0268

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.1.1
Transformers: 4.45.2
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 2.21.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}