hust_sbert / README.md

hungq

Add new SentenceTransformer model

925c514 verified 3 months ago

preview code

raw

history blame contribute delete

35.4 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:11033
  - loss:CosineSimilarityLoss
base_model: keepitreal/vietnamese-sbert
widget:
  - source_sentence: >-
      or 2 will be lowered by one level if the \nnumber of failed credits in the
      semester is less than or equal to 4 . \nđ) Students under academic
      probation  level 3 will be lowered to level 2 if their total unearned
      \ncredits since enrollment is less than or equal to 24 . This downgrade is
      applied regardless of the criteria \nfor raising probation status in point
      a and b above.  \ne) Academic probation is not applicable for s ummer
      semesters.  \n2. Academic  load limitation is enforced for students on
      level 2 probation  or higher , requiring \nthem to register for a reduced
      number of credits in the first semester of the academic year. Specific
    sentences:
      - >-
        3 academic probation  for the second consecutive time.  \nb) A student
        exceeds the maximum study duration or is no longer able to meet
        graduation \nrequirements within the permitted  timeframe as specified
        in Clause 3, Article 3 of this document . \nArticle 20. Disciplinary
        actions for student violations  \nViolations and corresponding
        disciplinary measures are handled in accordance with the current
        \nregulations stipulated in the Regulation s on Student Affairs for Full
        -Time Undergraduate Students of \nthe University.  \n  17 \n \n CHAPTER
        III \nENGINEER  PROGRAM S \nArticle 21. Academic  Registration for
        Engine er Program s \n1. Academic
      - >-
        Chương V

        TỔ CHỨC THỰC HIỆN

        Điều 12. Trách nhiệm của sinh viên được cấp học bổng

        1. Phối hợp với Ban Công tác sinh viên và các đơn vị, cơ quan chức năng
        liên

        quan làm thủ tục xuất cảnh.

        2. Chủ động liên hệ với đối tác nước ngoài lập kế hoạch học tập; chịu
        trách

        nhiệm đảm bảo các hoạt động ở nước ngoài và tiến độ học tập của bản
        thân.

        3. Tuân thủ các quy định của chương trình học bổng, quy định về việc cấp
        học

        bổng cho sinh viên đi học tại nước ngoài của ĐHBK Hà Nội, quy định của
        đơn vị đối

        tác nước ngoài.

        4. Nghiêm chỉnh chấp hành các quy định khác của pháp luật Việt Nam, pháp
        luật

        và phong tục tập quán của nước sở tại.
      - >-
        thưởng;13

        c) Căn cứ vào đề xuất của Hội đồng khen thưởng sinh viên, Ban Công tác
        sinh

        viên báo cáo Giám đốc đại học ra quyết định khen thưởng sinh viên đủ
        điều kiện.

        3. Không xét khen thưởng đối với sinh viên đang trong thời gian xem xét
        kỷ luật

        hoặc đang trong thời gian thi hành kỷ luật, sinh viên học quá thời gian
        thiết kế chương

        trình đào tạo chuẩn (không tính thời gian sinh viên nghỉ học để điều trị
        bệnh, thời gian

        sinh viên thực hiện nghĩa vụ quân sự theo quy định của Nhà nước).

        Điều 31. Xử lý kỷ luật   

        1. Hình thức kỷ luật:

        a) Khiển trách: áp dụng đối với sinh viên có hành vi vi phạm lần đầu
        nhưng

        ở mức độ nhẹ;
  - source_sentence: >-
      Master's thesis  ................................
      ................................ ................  21 \nArticle 31.
      Conditions for master’s thesis defense  ................................
      ...........  21 \nArticle 32. Grades of master's thesis 
      ................................ ................................  22
      \nArticle 33. The second master’s thesis defense 
      ................................ ...............  22 \nArticle 34.
      Master's degree requirements and graduation classifications.  ....... 22
      \nArticle 35. Temporary leave and academic record retention 
      ...........................  23 \nArticle 36. Extension of study period
      and
    sentences:
      - >-
        Chi tiết Quy định về việc xét cấp Học bổng tài trợ sinh viên xem
        https://husteduvn-my.sharepoint.com/:b:/g/personal/khai_tranquang_hust_edu_vn1/EbEKhfFyCe9CvHP86a1I098BVsIOPCj_oUIwYXEZoZx5Vw?e=hUb8b0;

        Chi tiết về các chương trình học bổng tài trợ sinh viên xem
        https://sv-ctt.hust.edu.vn/#/hoc-bong

        4. Học bổng trao đổi sinh viên quốc tế
      - >-
        record retention  ...........................  23 \nArticle 36.
        Extension of study period and withdrawal from study  .................. 
        24 \nCHAPTER V : DOCTORAL PROGRAMS  ................................
        ....................  25 \nArticle 37. Planning and progress reporting 
        ................................ ....................  25 \nArticle 38.
        Supplementary courses and doctoral courses 
        ................................ . 25 \nArticle 39. Literature review
        and doctoral thematic studies  ............................  26
        \nArticle 40. Doctoral dissertation  ................................
        ................................ ...... 26
      - >-
        trong Quy chế này sẽ được áp dụng theo các quy chế đào tạo do Bộ Giáo
        dục và Đào tạo 

        (Bộ GDĐT) ban hành 1 2 3. 

        2. Quy chế này áp dụng cho sinh viên đại học, học viên của chương trình
        thạc sĩ, kỹ 

        sư (kỹ sư chuyên sâu) và nghiên cứu sinh  (NCS)  của ĐHBK Hà Nội  (sau
        đây gọi chung là 

        người học) . 

        3. Các đơn vị cấp 2 thuộc, trực thuộc ĐHBK Hà Nội được giao nhiệm vụ
        thực hiện 

        công tác đào tạo được gọi tắt là trường/khoa/viện.  

        Điều 2. Ngành đào t ạo, chương trình đào t ạo  

        1. Ngành đào tạo (sau đây gọi tắt là ngành) là một lĩnh vực chuyên môn
        rộng, có mã
  - source_sentence: >-
      https://ctsv.hust.edu.vn/#/so-tay-sv/61/hoc-bong

      Mọi thắc mắc về Học bổng Gắn kết quê hương xin liên hệ với Ban Công tác
      sinh viên (Phòng 103 nhà C1, email: ctsv@hust.edu.vn)

      Bản quyền thuộc về Đại học Bách Khoa Hà Nội
    sentences:
      - >-
        M: đư ợc miễn học (ghi đi ểm R); H: b ắt buộc học. 

        (*): t ừ khóa K69 s ẽ đổi mã và tên h ọc phần thành: FL1801 Ti ếng Pháp
        PFIEV 1.  
         
          
         
         
        16 
         Bảng 7.2 Danh m ục các h ọc phần tiếng Pháp yêu c ầu đối với chương trình Công ngh ệ thông tin Vi ệt – Pháp  
        TT Mã h ọc 

        phần Tên h ọc phần Thời 

        lượng Tính tín 

        chỉ trong 

        CTĐT  Học phần đư ợc miễn/cần học 

        theo ch ứng ch ỉ đạt được 

        [1] [2] [3] 

        1 FL1601(*) Tiếng Pháp VP 1 (*) 3(1-4-0-6) Không  M M M 

        2 FL1602(**) Tiếng Pháp VP 2(**) 2(1-2-0-4) Không  M M M 

        3 FL1803  Tiếng Pháp PFIEV 3  3(1-4-0-6) Không  H M M 

        4 FL1804  Tiếng Pháp PFIEV 4  3(1-4-0-6) Có H M M
      - >-
        leave.  \nđ) Students must submit a request to return to study no later
        than one week before the start of \nthe new semester. For those who were
        mobilized into the armed forces or assigned international duties, \na
        certificate of mission completion must be submitted together with the
        request.  \n3. If students  apply for temporary leave s during the final
        exam period of a semester (as defined \nin the Academic Calendar ), the
        leave will take effect from the start of the next semester. The student
        \nmay request to postpone exams for any unfinished courses.  \n4. Once
        the temporary leave takes effect, all registered courses for that
        semester
      - >-
        mức:  

        a) Khối lượng của các học phần phải học lại vượt quá 5% của tổng số TC
        của các học 

        phần được dùng tính điểm trung bình toàn khóa của CTĐT kỹ sư. Quy định
        này không xét 

        tới số TC của các học phần học cải thiện điểm;  

        b) Học viên đã chịu mức kỷ luật từ cảnh cáo trở lên trong giai đoạn học
        CTĐT kỹ sư.  

        Điều 25. Ngh ỉ học tạm th ời, tự nguy ện thôi h ọc và bu ộc thôi h ọc 

        1. Đối với học viên  được điều động vào lực lượng vũ trang, đi làm nghĩa
        vụ quốc gia, 

        quốc tế, thời gian nghỉ học tạm thời (là thời gian được ghi trong quyết
        định của cấp có 

        thẩm quyền) không tính vào thời gian học tại ĐHBK Hà Nội.
  - source_sentence: >-
      are not eligible for graduation may request a certificate acknowledging
      the \ncourses  they have completed in the program . \nArticle 15.
      Cumulative GPA  (CPA)  and undergraduate graduation classification  \n1.
      The cumulative GPA  (CPA)  is the overall GPA computed  based on the
      courses registered for \ngraduation.  \n2. Graduation classification is
      determined based on the CPA, following the academic \nperformance
      classification specified in Clause 6, Article 12. However, in the
      following cases, students \nwith a CPA classified as "Good" or higher will
      have their graduation classification reduced by one \nlevel:  \na) The
      number of credits
    sentences:
      - >-
        đánh giá luận văn c ó mặt  trong buổi bảo vệ và được làm tròn đến 2 chữ
        số thập phân, 

        trong đó mỗi thành viên chấm điểm  theo thang 1 0, có thể lẻ tới 0, 5 .
        Hội đồng đánh giá  

        luận văn cho điểm bảo vệ luận vă n từ 8,5 trở lên chỉ khi học viên có cô
        ng bố khoa họ c 

        b) Điểm thưởng côn g bố khoa học đối với học viên có thành tích công bố
        kh oa 

        học sau đây: có  bài báo  khoa học liên quan đến nội dung luận văn đã
        được công bố 

        (hoặc chấp nhận đăng) trên tạp chí khoa học hoặc tuyển tập hội nghị khoa
        học; có báo  

        cáo tổng kết đề tài khoa học côn g nghệ cấp Đại học  do học viên chủ trì
        và đã được 20
      - >-
        the armed forces (as specified in an official decision by the
        \ncompetent authority) will not count toward the total study duration .
        \nd) For other  temporary leave s for other reasons not specified in
        points b and c of Clause 2 of \nthis Article, students must have
        completed at least one semester of study. The maximum permitted
        \nduration of such leave s is four main semesters, and this period will
        count toward the total study 14 \n \n duration . Students in this
        category will be subject to academic dismissal if they exceed four
        semesters \nof leave.  \nđ) Students must submit a request to return to
        study no later than one week before the
      - >-
        xuất và phải được sự đồng ý của người hướng dẫn  khoa học.  

        c) Các chuyên đề tiến sĩ được đánh giá theo hình thức báo cáo khoa học
        trước tiểu 

        ban đánh giá. Chuyên đề tiến sĩ được đánh giá là đạt nếu điểm trung bình
        của tiểu ban đạt 

        từ điểm 5,5 trở lên theo thang điểm 10.  

        Điều 40. Luận án tiến sĩ  

        1. Luận án tiến sĩ là kết quả nghiên cứu khoa học của NCS, trong đó chứa
        đựng những 

        đóng góp mới về lý luận và thực tiễn ở lĩnh vực chuyên môn, có giá trị
        trong việc phát 

        triển, gia tăng tri thức khoa học và giải quyết trọn vẹn vấn đề đặt ra
        của đề tài luận án.  

        2. Quyển thuyết minh luận án tiến sĩ phải đáp ứng quy cách theo hướng
        dẫn của
  - source_sentence: >-
      kiện bảo đảm chất lượng, hiệu quả học tập và sự hài lòng của người học đối
      với các lớp 

      học phần.  

      2. Kết quả học tập trong một học kỳ của sinh viên được đánh giá trên cơ sở
      điểm của 

      các học phần đã đăng ký học thuộc CTĐT nhưng không tính các học phần có
      điểm R và 

      10 
       
       các học phần về ngoại ngữ cơ bản, Giáo dục thể chất, Giáo dục quốc phòng -an ninh, thể 
      hiện bằng các chỉ số sau đây:  

      a) Tổng số TC của các học phần có điểm đạt trong học kỳ (số TC đạt).  

      b) Tổng số TC của các học phần có điểm không đạt trong học kỳ (số TC không
      đạt).  

      c) Điểm trung bình học kỳ (GPA).
    sentences:
      - >-
        cho một học phần yêu cầu trong chương trình.  

        b) Người học được phép học một học phần thay thế được  chỉ định để lấy
        kết quả 

        thay cho một học phần yêu cầ u trong  chương trình  nhưng không còn được
        giảng dạ y.  

        6. Đề cương chi  tiết của từng  học ph ần thể hiện rõ khối lượng học
        tập, điều kiện 

        tham dự học phần, mục tiêu và kết quả mong đợi, mức độ đáp ứng chuẩn 
        đầu ra của 

        chương trình, cách thức đánh giá học phần, nội d ung và kế hoạ ch học
        tập, phương thức 

        và ngôn ngữ giảng dạy, gi áo trình và tà i liệu tham  khảo.  

        Điều 5. Đi ểm học phần 

        1. Một học phần từ 2 TC trở lên được đánh giá từ hai điểm thành phần là
        điểm
      - >-
        khai thác) hoặc của Trưởng đơn vị đào tạo (với học bổng do đơn vị khai
        thác);

        b) Biên bản họp Hội đồng xét, cấp học bổng;

        c) Văn bản tài trợ học bổng cho sinh viên ĐHBK Hà Nội;

        d) Các giấy tờ có liên quan khác (nếu có).

        Chương III

        TỔ CHỨC THỰC HIỆN

        Điều 8. Trách nhiệm của Ban Công tác sinh viên

        1. Đăng thông tin về chương trình học bổng trên cổng thông tin sinh viên
        hoặc 

        các trang thông tin chính thống khác của Đại học. 

        2. Đầu mối tiếp nhận hồ sơ đăng ký xét học bổng tài trợ do Đại học khai
        thác.

        3. Chủ trì thẩm định hồ sơ đăng ký xét học bổng tài trợ do Đại học khai
        thác.
      - >-
        c) Điểm trung bình học kỳ (GPA).  

        3. Kết quả tiến bộ học tập của sinh viên từ đầu khóa được đánh giá trên
        cơ sở điểm 

        của các học phần đã học thuộc CTĐT nhưng không tính các học phần về
        ngoại ngữ cơ bản, 

        Giáo dục thể chất, Giáo dục quốc phòng -an ninh, thể hiện bằng các chỉ
        số sau đây:  

        a) Số TC tích lũy (số TCTL).  

        b) Tổng số TC của các học phần đã học nhưng chưa đạt từ đầu khóa (số TC
        nợ đọng).  

        c) Điểm trung bình tích lũy (CPA).  

        4. Kết quả học tập học kỳ hè được đánh giá ở kỳ chính kế tiếp.  

        5. Sinh viên được xếp hạng trình độ năm học căn cứ số TC tích lũy (TCTL)
        như sau:  

        Số TCTL  < 32 32 - 63 64 - 95 96 -127 ≥ 128
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: keepitreal/vietnamese-sbert
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("hungq/hust_sbert")
# Run inference
sentences = [
    'kiện bảo đảm chất lượng, hiệu quả học tập và sự hài lòng của người học đối với các lớp \nhọc phần.  \n2. Kết quả học tập trong một học kỳ của sinh viên được đánh giá trên cơ sở điểm của \ncác học phần đã đăng ký học thuộc CTĐT nhưng không tính các học phần có điểm R và \n10 \n \n các học phần về ngoại ngữ cơ bản, Giáo dục thể chất, Giáo dục quốc phòng -an ninh, thể \nhiện bằng các chỉ số sau đây:  \na) Tổng số TC của các học phần có điểm đạt trong học kỳ (số TC đạt).  \nb) Tổng số TC của các học phần có điểm không đạt trong học kỳ (số TC không đạt).  \nc) Điểm trung bình học kỳ (GPA).',
    'c) Điểm trung bình học kỳ (GPA).  \n3. Kết quả tiến bộ học tập của sinh viên từ đầu khóa được đánh giá trên cơ sở điểm \ncủa các học phần đã học thuộc CTĐT nhưng không tính các học phần về ngoại ngữ cơ bản, \nGiáo dục thể chất, Giáo dục quốc phòng -an ninh, thể hiện bằng các chỉ số sau đây:  \na) Số TC tích lũy (số TCTL).  \nb) Tổng số TC của các học phần đã học nhưng chưa đạt từ đầu khóa (số TC nợ đọng).  \nc) Điểm trung bình tích lũy (CPA).  \n4. Kết quả học tập học kỳ hè được đánh giá ở kỳ chính kế tiếp.  \n5. Sinh viên được xếp hạng trình độ năm học căn cứ số TC tích lũy (TCTL) như sau:  \nSố TCTL  < 32 32 - 63 64 - 95 96 -127 ≥ 128',
    'cho một học phần yêu cầu trong chương trình.  \nb) Người học được phép học một học phần thay thế được  chỉ định để lấy kết quả \nthay cho một học phần yêu cầ u trong  chương trình  nhưng không còn được giảng dạ y.  \n6. Đề cương chi  tiết của từng  học ph ần thể hiện rõ khối lượng học tập, điều kiện \ntham dự học phần, mục tiêu và kết quả mong đợi, mức độ đáp ứng chuẩn  đầu ra của \nchương trình, cách thức đánh giá học phần, nội d ung và kế hoạ ch học tập, phương thức \nvà ngôn ngữ giảng dạy, gi áo trình và tà i liệu tham  khảo.  \nĐiều 5. Đi ểm học phần \n1. Một học phần từ 2 TC trở lên được đánh giá từ hai điểm thành phần là điểm',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9360, 0.6081],
#         [0.9360, 1.0000, 0.5043],
#         [0.6081, 0.5043, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

Size: 11,033 training samples
Columns: sentence_0, sentence_1, and label
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1 label
type string string float
details
min: 3 tokens
mean: 173.46 tokens
max: 256 tokens

min: 3 tokens
mean: 172.3 tokens
max: 256 tokens

min: 0.0
mean: 0.46
max: 1.0

	sentence_0	sentence_1	label
type	string	string	float
details	min: 3 tokens mean: 173.46 tokens max: 256 tokens	min: 3 tokens mean: 172.3 tokens max: 256 tokens	min: 0.0 mean: 0.46 max: 1.0

Samples:

sentence_0	sentence_1	label
2. Nguồn tài trợ hợp pháp từ các tổ chức, cá nhân và doanh nghiệp. Điều 5. Nguyên tắc xét cấp học bổng 1. Học bổng được xét, cấp cho người học hoặc nhóm người học có đề tài ĐATN góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng các dịch vụ an sinh xã hội trong các cơ quan, tổ chức, doanh nghiệp tại quê hương của người học. 2. Học bổng được xét, cấp theo học kỳ và được thực hiện vào 2 học kỳ chính của năm học. 3. Học bổng được xét theo đơn vị quản ngành và theo thứ tự điểm đánh giá về mức độ ứng dụng của đề tài ĐATN từ cao xuống thấp; trường hợp điểm đánh giá về	một văn bằng tốt nghiệp duy nhất. Chương III TIÊU CHUẨN, HỒ SƠ VÀ QUY TRÌNH ĐĂNG KÝ XÉT, CẤP HỌC BỔNG Điều 6. Tiêu chuẩn được đăng ký xét học bổng 1. Tiêu chuẩn đối với sinh viên: Sinh viên hoặc nhóm sinh viên cùng thực hiện đề tài ĐATN đạt đồng thời các điều kiện sau được đăng ký xét học bổng: a) Toàn bộ các thành viên trong nhóm thực hiện đề tài ĐATN phải có điểm học tập trung bình tích lũy đạt từ loại khá trở lên (CPA ≥ 2.5); b) Có đề tài ĐATN góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng các dịch vụ an sinh xã hội tại quê hương của một trong số sinh viên cùng thực hiện đề tài ĐATN.	`1.0`
tắc như sau: Dải điểm thang 4 Dải điểm thang 10 tương đương Công thức quy đổi Điểm thang 10 = Điểm thang 4 × a + b 2,0 đến cận 2,5 5,5 đến cận 7,0 a = 3,00; b = −0,5 2,5 đến cận 3,2 7,0 đến cận 8,0 a = 1,42; b = 3,45 3,2 đến cận 3,6 8,0 đến cận 9,0 a = 2,50; b = 0.00 3,6 đến tròn 4,0 9,0 đến tròn 10 a = 2,50; b = 0.00 Điều 13. Đ ồ án/khóa lu ận tốt nghi ệp đại học Các học phần tốt nghiệp bao gồm đồ án tốt nghiệp cử nhân, khóa luận tốt nghiệp cử nhân (ĐATN). 1. Sinh viên được giao đề tài ĐATN nếu đảm bảo các điều kiện học phần, bao gồm	`Ngày ...... tháng ...... năm ............ Sinh viên (Ký và ghi rõ họ tên)`	`0.0`
2. Chương trình trao đổi đăng ký tham gia: a) Tên Chương trình trao đổi: ........................................................................................... b) Tên trường đại học/ doanh nghiệp đăng ký học tập/ thực tập tại nước ngoài: ............. ........................................................................................................................................... c) Tên quốc gia đến học tập/ thực tập: ............................................................................. d) Ngôn ngữ đăng ký học tập/ thực tập: ...........................................................................	học hình th ức chính quy và các CTĐT k ể từ khóa 70 tr ở về sau, tr ừ các quy đ ịnh sau: a) Bảng quy đ ổi tương đương các ch ứng ch ỉ ngoại ngữ áp dụng cho toàn b ộ sinh viên các khóa, đ ối với các ch ứng ch ỉ được cấp kể từ ngày Quy đ ịnh này có hi ệu lực; b) Đ ối với sinh viên các khóa t ừ 69 tr ở về trước, nếu mức quy đ ổi tương đương cùng m ột chứng ch ỉ ngoại ngữ theo Quy đ ịnh này khác v ới mức quy đ ổi theo quy đ ịnh trước đây thì áp d ụng m ức quy đ ổi cao hơn trong hai quy đ ịnh; m ức cao hơn đư ợc xác định theo Khung năng l ực ngo ại ngữ 6 bậc dùng cho Vi ệt Nam.	`0.0`

Loss: CosineSimilarityLoss with these parameters:

{
    "loss_fct": "torch.nn.modules.loss.MSELoss"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
per_device_eval_batch_size: 16
num_train_epochs: 2
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 2
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.7246	500	0.0893
1.4493	1000	0.0563

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.1.2
Transformers: 4.57.1
PyTorch: 2.8.0+cu126
Accelerate: 1.11.0
Datasets: 4.0.0
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}