batmangiaicuuthegioi/DEFAULT_5000steps_len512

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the augmentated_legal_triplets dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • augmentated_legal_triplets

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("batmangiaicuuthegioi/DEFAULT_5000steps_len512")
# Run inference
sentences = [
    'Chào Ban biên tập, tôi là Minh Tùng, hiện tôi đang làm việc tại một cơ quan hành chính nhà nước. Tôi có thắc mắc sau mong sớm nhận phản hồi. Cụ thể: Sổ bảo hiểm xã hội được cấp lại trong những trường hợp nào?',
    'Sổ bảo hiểm xã hội được cấp lại trong những trường hợp quy định tại Khoản 2 Điều 46 Quyết định 595/QĐ-BHXH năm 2017 Quy trình thu bảo hiểm xã hội, bảo hiểm y tế, bảo hiểm thất nghiệp, bảo hiểm tai nạn lao động, bệnh nghề nghiệp; cấp sổ bảo hiểm xã hội, thẻ bảo hiểm y tế do Bảo hiểm xã hội Việt Nam ban hành, bao gồm: - Cấp lại sổ BHXH (bìa và tờ rời) các trường hợp: mất, hỏng; gộp; thay đổi số sổ; họ, tên, chữ đệm; ngày, tháng, năm sinh; người đã hưởng BHXH một lần còn thời gian đóng BHTN chưa hưởng. - Cấp lại bìa sổ BHXH các trường hợp: sai giới tính, quốc tịch. - Cấp lại tờ rời sổ BHXH các trường hợp: mất, hỏng. Ban biên tập phản hồi thông tin đến bạn.',
    'Tại Khoản 2 Điều 27 Quy trình ban hành kèm theo Quyết định 595/QĐ-BHXH năm 2017, có quy định: Cấp lại sổ BHXH do thay đổi họ, tên, chữ đệm; ngày, tháng, năm sinh; giới tính, dân tộc; quốc tịch; điều chỉnh nội dung đã ghi trên sổ BHXH => Như vậy, theo quy định nêu trên thì khi thay đổi họ, tên, chữ đệm trên sổ BHXH thì sẽ làm thủ tục cấp lại. Chứ không làm thủ tục điều chỉnh trên sổ BHXH. Hồ sơ cấp lại được quy định như sau: Thành phần hồ sơ Trường hợp người tham gia BHXH tự làm - Tờ khai tham gia, điều chỉnh thông tin BHXH, BHYT (Mẫu TK1-TS) . - Hồ sơ kèm theo (Mục 3, 4 Phụ lục 01) . Trường hợp đơn vị sử dụng làm : Bảng kê thông tin (Mẫu D01-TS) . Số lượng hồ sơ: 01 bộ. Thời hạn giải quyết hồ sơ: Cấp lại sổ BHXH do thay đổi họ, tên, chữ đệm; ngày, tháng, năm sinh; giới tính, dân tộc; quốc tịch; sổ BHXH do mất, hỏng; cộng nối thời gian nhưng không phải đóng BHXH hoặc gộp sổ BHXH: không quá 10 ngày kể từ ngày nhận đủ hồ sơ theo quy định. Trường hợp cần phải xác minh quá trình đóng BHXH ở tỉnh khác hoặc nhiều đơn vị nơi người lao động có thời gian làm việc thì không quá 45 ngày nhưng phải có văn bản thông báo cho người lao động biết. Trân trọng.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

augmentated_legal_triplets

• Dataset: augmentated_legal_triplets at e4cf34f
• Size: 36,728 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 66.04 tokens max: 891 tokens	min: 32 tokens mean: 314.94 tokens max: 1194 tokens	min: 40 tokens mean: 346.6 tokens max: 751 tokens

• Samples:

  anchor	positive	negative
  Luật Đất đai 2024 quy định thời hạn sử dụng đất xây dựng trụ sở cơ quan là bao lâu? Đất xây dựng trụ sở cơ quan thuộc nhóm đất nào?	Luật Đất đai 2024 quy định thời hạn sử dụng đất xây dựng trụ sở cơ quan là bao lâu? Căn cứ theo khoản 5 Điều 171 Luật Đất đai 2024 quy định như sau: Điều 171. Đất sử dụng ổn định lâu dài 1. Đất ở. 2. Đất nông nghiệp do cộng đồng dân cư sử dụng quy định tại khoản 4 Điều 178 của Luật này. 3. Đất rừng đặc dụng; đất rừng phòng hộ; đất rừng sản xuất do tổ chức quản lý. 4. Đất thương mại, dịch vụ, đất cơ sở sản xuất phi nông nghiệp của cá nhân đang sử dụng ổn định được Nhà nước công nhận mà không phải là đất được Nhà nước giao có thời hạn, cho thuê. 5. Đất xây dựng trụ sở cơ quan quy định tại khoản 1 Điều 199 của Luật này; đất xây dựng công trình sự nghiệp của đơn vị sự nghiệp công lập quy định tại khoản 2 Điều 199 của Luật này. 6. Đất quốc phòng, an ninh. 7. Đất tín ngưỡng. 8. Đất tôn giáo quy định tại khoản 2 Điều 213 của Luật này. 9. Đất sử dụng vào mục đích công cộng không có mục đích kinh doanh. 10. Đất nghĩa trang, nhà tang lễ, cơ sở hoả táng; đất cơ sở lưu giữ tro cốt. 11. Đất quy địn...	Đất ở tại đô thị có ký hiệu là gì? Theo khoản 2 Điều 10 Luật Đất đai 2013 quy định về việc phân loại đất như sau: Phân loại đất . .. 2. Nhóm đất phi nông nghiệp bao gồm các loại đất sau đây: a) Đất ở gồm đất ở tại nông thôn, đất ở tại đô thị; b) Đất xây dựng trụ sở cơ quan; c) Đất sử dụng vào mục đích quốc phòng, an ninh; d) Đất xây dựng công trình sự nghiệp gồm đất xây dựng trụ sở của tổ chức sự nghiệp; đất xây dựng cơ sở văn hoá, xã hội, y tế, giáo dục và đào tạo, thể dục thể thao, khoa học và công nghệ, ngoại giao và công trình sự nghiệp khác; đ) Đất sản xuất, kinh doanh phi nông nghiệp gồm đất khu công nghiệp, cụm công nghiệp, khu chế xuất; đất thương mại, dịch vụ; đất cơ sở sản xuất phi nông nghiệp; đất sử dụng cho hoạt động khoáng sản; đất sản xuất vật liệu xây dựng, làm đồ gốm; . .. Trong đó, theo Điều 144 Luật Đất đai 2013 quy định đất ở đô thị bao gồm: Đất ở tại đô thị 1. Đất ở tại đô thị bao gồm đất để xây dựng nhà ở, xây dựng các công trình phục vụ đời sống, vườn, ao trong c...
  Ba tôi mất năm 2015 có để lại di chúc cho tôi 1 căn nhà. Ba tôi có 4 người con, mẹ tôi thì bệnh tâm thần. Cho tôi hỏi, để thực hiện được di chúc đó thì tôi cần làm thủ tục như thế nào?	Trường hợp thứ nhất, di chúc trên có hiệu lực pháp luật thì di sản thừa kế sẽ được phân chia theo di chúc, bạn có thể căn cứ theo quy định từ điều 652 đến 661 Bộ luật dân sự 2005 và loại di chúc của cha bạn để xác định di trên có hiệu lực pháp luật hay không. Điều 669 Bộ luật dân sự 2005 quy định về những người thừa kế không phụ thuộc vào nội dung của di chúc gồm: “Những người sau đây vẫn được hưởng phần di sản bằng hai phần ba suất của một người thừa kế theo pháp luật, nếu di sản được chia theo pháp luật, trong trường hợp họ không được người lập di chúc cho hưởng di sản hoặc chỉ cho hưởng phần di sản ít hơn hai phần ba suất đó, trừ khi họ là những người từ chối nhận di sản theo quy định tại Điều 642 hoặc họ là những người không có quyền hưởng di sản theo quy định tại khoản 1 Điều 643 của Bộ luật này: 1. Con chưa thành niên, cha, mẹ, vợ, chồng; 2. Con đã thành niên mà không có khả năng lao động. ” Như vậy, mẹ bạn thuộc trường hợp người thừa kế không phụ thuộc vào nội dung của di chúc n...	Theo khoản 1 a Điều 675, 1a Điều 676 Bộ luật Dân sự, khi cha bạn mất không có di chúc thì mẹ và các anh em của bạn cùng được thừa kế theo pháp luật phần di sản của người chết theo nguyên tắc mỗi người được hưởng phần di sản bằng nhau. Nếu không thể thoả thuận với một đồng thừa kế về việc bán nhà thuộc sở hữu chung, ba thành viên còn lại có thể khởi kiện đến TAND cấp huyện nơi có căn nhà để được xem xét, giải quyết. Trường hợp muốn được sở hữu riêng căn nhà, một thành viên có trách nhiệm thanh toán cho những người đồng sở hữu khác phần trị giá nhà mà họ được hưởng.
  Kính gửi quý Luật sư, Tôi cùng bạn tôi có dự định thành lập công ty TNHH 1 thành viên (là cá nhân) chuyên thực hiện các nghiệp vụ XNK (nhập và xuất hàng). Như vậy, xin quý luật sư tư vấn giúp khi thực hiện đăng ký giấy phép kinh doanh chúng tôi sẽ đăng ký hình thức kinh doanh là gì? Vì tôi có nghiên cứu qua các bài tư vấn trước rằng sau khi thành lập công ty để thực hiện nghiệp vụ XNK còn cần đến việc đăng ký giấy phép XNK. Trong trường hợp công ty trong dự kiến của chúng tôi chỉ chuyên về việc thực hiện các nghiệp vụ XNK ủy thác từ các công ty khác thì nên đăng ký loại hình nào là phù hợp? Vì chúng tôi có sẵn đối tác ổn định là công ty đặt tại nước ngoài và mặt hàng dự định xuất không giới hạn (đa số là linh kiện điện tử do VN gia công, sản xuất). Chúng tôi có quyền thu mua và xuất hàng hay không nếu là công ty XNK?	Chào Bạn, 1. Nếu Bạn và Bạn của bạn (người Việt Nam) thành lập Công ty TNHH thì phải là 2 thành viên chứ không phải 1 thành viên ! Theo như bạn trình bày thì bạn có thể đăng ký ngành nghề là dịch vụ Logistic (Quy định tại Điều 233 Luật Thương mại) Bạn có thể tra cứu tại QĐ 10/2007/QĐ-TTg hoặc tìm hiểu thêm với Cán bộ ở Sở Kế hoạch Đầu tư để biết mã ngành của dịch vụ này. 2. Về quyền xuất nhập khẩu của thương nhân Việt Nam. Nghị định 12/2006/NĐ-CP quy định như sau: Điều 3. Quyền kinh doanh xuất khẩu, nhập khẩu 1. Đối với thương nhân Việt Nam không có vốn đầu tư trực tiếp của nước ngoài (dưới đây gọi tắt là thương nhân) : Trừ hàng hoá thuộc Danh mục cấm xuất khẩu, tạm ngừng xuất khẩu, hàng hoá thuộc Danh mục cấm nhập khẩu, tạm ngừng nhập khẩu, thương nhân được xuất khẩu nhập khẩu hàng hoá không phụ thuộc vào ngành nghề đăng ký kinh doanh. 3. Nếu muốn thực hiện chức năng mua bán linh kiện điện tử thì bạn đăng ký với Sở kế hoạch Đầu tư. Chúc may mắn.	Điều kiện cho người nước ngoài kinh doanh hoạt động xuất nhập khẩu ở Việt Nam? Căn cứ Khoản 1, Khoản 2 Điều 17 Luật Doanh nghiệp 2020 về quyền thành lập, góp vốn, mua cổ phần, mua phần vốn góp và quản lý doanh nghiệp như sau: 1. Tổ chức, cá nhân có quyền thành lập và quản lý doanh nghiệp tại Việt Nam theo quy định của Luật này, trừ trường hợp quy định tại khoản 2 Điều này. 2. Tổ chức, cá nhân sau đây không có quyền thành lập và quản lý doanh nghiệp tại Việt Nam: a) Cơ quan nhà nước, đơn vị lực lượng vũ trang nhân dân sử dụng tài sản nhà nước để thành lập doanh nghiệp kinh doanh thu lợi riêng cho cơ quan, đơn vị mình; b) Cán bộ, công chức, viên chức theo quy định của Luật Cán bộ, công chức và Luật Viên chức; c) Sĩ quan, hạ sĩ quan, quân nhân chuyên nghiệp, công nhân, viên chức quốc phòng trong các cơ quan, đơn vị thuộc Quân đội nhân dân Việt Nam; sĩ quan, hạ sĩ quan chuyên nghiệp, công nhân công an trong các cơ quan, đơn vị thuộc Công an nhân dân Việt Nam, trừ người được cử làm đại diện...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

augmentated_legal_triplets

• Dataset: augmentated_legal_triplets at e4cf34f
• Size: 459 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 459 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 67.54 tokens max: 596 tokens	min: 30 tokens mean: 317.5 tokens max: 696 tokens	min: 2 tokens mean: 353.73 tokens max: 715 tokens

• Samples:

  anchor	positive	negative
  Luật Thư viện 2019 quy định Thư viện tư nhân có phục vụ cộng đồng là gì?	Điều 16. Thư viện cộng đồng và thư viện tư nhân có phục vụ cộng đồng. khoản 1. thư viện cộng đồng là thư viện, có tài nguyên thông tin tổng hợp do cộng đồng dân cư thành lập tại trung tâm học tập cộng đồng, trung tâm văn hóa, thể thao xã, phường, thị trấn; điểm bưu điện văn hóa xã; nhà văn hóa thôn, ấp, bản, làng, buôn, phum, sóc; khu chung cư; nơi sinh hoạt chung của cộng đồng. Thư viện cộng đồng và thư viện tư nhân có phục vụ cộng đồng. khoản 2. thư viện tư nhân có phục vụ cộng đồng là thư viện có tài nguyên thông tin tổng hợp hoặc chuyên ngành do tổ chức, cá nhân việt nam thành lập, tự bảo đảm kinh phí hoạt động. Thư viện cộng đồng và thư viện tư nhân có phục vụ cộng đồng.	Điều 2. Đối tượng áp dụng. điểm b) ủy ban nhân dân các cấp; các cơ quan chuyên môn thuộc ủy ban nhân dân cấp tỉnh, cấp huyện; các ban quản lý khu công nghiệp, khu chế xuất, khu kinh tế, khu công nghệ cao có nhiệm vụ, quyền hạn giải quyết thủ tục hành chính. các cơ quan quy định tại điểm a, b khoản này sau đây được gọi tắt là cơ quan có thẩm quyền. Đối tượng áp dụng. khoản 2. cán bộ, công chức, viên chức của các cơ quan có thẩm quyền quy định tại khoản 1 điều này, sỹ quan, hạ sỹ quan quân đội, sỹ quan, hạ sỹ quan công an thuộc bộ quốc phòng, bộ công an (sau đây gọi chung là cán bộ, công chức, viên chức). Đối tượng áp dụng. khoản 3. tổ chức, cá nhân có yêu cầu thực
  Thế nào là phương thức khớp lệnh tập trung?	Điều 2. Giải thích từ ngữ. trong thông tư này, các từ ngữ dưới đây được hiểu như sau: Giải thích từ ngữ. khoản 1. biên độ dao động giá là giới hạn dao động giá chứng khoán quy định trong ngày giao dịch được tính theo tỷ lệ phần trăm (%) so với giá tham chiếu. Giải thích từ ngữ. khoản 2. ngắt mạch thị trường (circuit breaker) là cơ chế tạm dừng giao dịch tự động trong phiên giao dịch khi giá chứng khoán hoặc chỉ số chứng khoán biến động chạm các ngưỡng xác định trên hệ thống giao dịch chứng khoán. Giải thích từ ngữ. khoản 3. giá tham chiếu là mức giá do sở giao dịch chứng khoán xác định và được dùng làm cơ sở để xác định giá cao nhất (giá trần), giá thấp nhất (giá sàn) trong ngày giao dịch. Giải thích	Điều 42. Trình tự, thủ tục xử lý kỷ luật trong một số trường hợp đặc biệt. khoản 1. trường hợp người vi phạm thuộc quyền có hành vi chống mệnh lệnh hoặc có hành vi vi phạm pháp luật nghiêm trọng thì người chỉ huy phải có biện pháp ngăn chặn kịp thời và báo cáo ngay lên cấp trên có thẩm quyền. Trình tự, thủ tục xử lý kỷ luật trong một số trường hợp đặc biệt. khoản 2. trường hợp người vi phạm không chấp hành kiểm điểm xét kỷ luật thì người chỉ huy căn cứ tính chất, mức độ của hành vi vi phạm, đề nghị của cấp dưới và các tổ chức quần chúng để triệu tập họp chỉ huy, cấp ủy xem xét, quyết định hình thức kỷ luật theo quyền hạn. Trình tự, thủ tục xử lý kỷ luật trong một số
  Đơn giản hóa thủ tục khai thuế TNCN đối với cá nhân nhận thừa kế, quà tặng là nhà ở, công trình xây dựng hình thành trong tương lai tại Việt Nam được quy định như thế nào? Xin chào Ban biên tập, tôi là Bảo Long hiện đang sống và làm việc Bến Tre. Tôi đang tìm hiểu về thủ tục hành chính trong lĩnh vực thuế. Tôi có nghe nói về việc đơn giản hóa thủ tục hành chính trong lĩnh vực thuế. Vậy Ban biên tập cho tôi hỏi đơn giản hóa thủ tục khai thuế TNCN đối với cá nhân nhận thừa kế, quà tặng là nhà ở, công trình xây dựng hình thành trong tương lai tại Việt Nam được quy định như thế nào? Vấn đề này được quy định cụ thể tại văn bản nào?	Đơn giản hoá thủ tục khai thuế TNCN đối với cá nhân nhận thừa kế, quà tặng là nhà ở, công trình xây dựng hình thành trong tương lai tại Việt Nam được quy định tại Tiểu mục 21 Mục III Phần A Phương án đơn giản hoá thủ tục hành chính, giấy tờ công dân liên quan đến quản lý dân cư thuộc phạm vi chức năng quản lý của Bộ Tài chính ban hành kèm theo Nghị quyết 104/NQ-CP năm 2017, cụ thể: Bỏ các chỉ tiêu từ [10] đến [12]: Địa chỉ, Quận/huyện, Tỉnh/thành phố (đối với cá nhân) và bổ sung thêm trường thông tin về số định danh cá nhân tại Tờ khai mẫu số 03/BĐS-TNCN ban hành kèm theo Thông tư số 92/2015/TT-BTC. Trên đây là tư vấn về đơn giản hoá thủ tục khai thuế TNCN đối với cá nhân nhận thừa kế, quà tặng là nhà ở, công trình xây dựng hình thành trong tương lai tại Việt Nam. Để biết thêm thông tin chi tiết bạn nên tham khảo tại Nghị quyết 104/NQ-CP năm 2017. Mong rằng những tư vấn của chúng tôi sẽ giúp giải đáp được những vướng mắc của bạn. Chào thân ái và chúc sức khoẻ!	Căn cứ tính thuế thu nhập cá nhân đối với thu nhập từ thừa kế, quà tặng được quy định tại Điều 16 Thông tư 111/2013/TT-BTC Hướng dẫn Luật thuế thu nhập cá nhân và Nghị định 65/2013/NĐ-CP do Bộ trưởng Bộ Tài chính ban hành như sau: Căn cứ tính thuế đối với thu nhập từ thừa kế, quà tặng là thu nhập tính thuế và thuế suất. 1. Thu nhập tính thuế Thu nhập tính thuế từ nhận thừa kế, quà tặng là phần giá trị tài sản nhận thừa kế, quà tặng vượt trên 10 triệu đồng mỗi lần nhận. Giá trị tài sản nhận thừa kế, quà tặng được xác định đối với từng trường hợp, cụ thể như sau: a) Đối với thừa kế, quà tặng là chứng khoán: giá trị tài sản nhận thừa kế là giá trị chứng khoán tại thời điểm đăng ký chuyển quyền sở hữu. Thu nhập tính thuế từ thừa kế, quà tặng là chứng khoán là phần giá trị tài sản nhận thừa kế, quà tặng vượt trên 10 triệu đồng tính trên toàn bộ các mã chứng khoán nhận được chưa trừ bất cứ một khoản chi phí nào. Cụ thể như sau: (Điểm này được sửa đổi bởi Khoản 1 Điều 19 Thông tư 92/2015/TT-B...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• num_train_epochs: 1
• max_steps: 5000
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: 5000
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.0136	500	0.1751	-
0.0272	1000	0.129	-
0.0408	1500	0.1028	-
0.0545	2000	0.1178	-
0.0681	2500	0.0744	0.0570
0.0817	3000	0.0881	-
0.0953	3500	0.0807	-
0.1089	4000	0.0768	-
0.1225	4500	0.0967	-
0.1361	5000	0.0441	0.0561

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.52.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}