README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:1500
  - loss:MultipleNegativesRankingLoss
base_model: BM-K/KoSimCSE-roberta
widget:
  - source_sentence: 사랑의 통로
    sentences:
      - |-
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        내 삶에
        내 삶에
        내 삶에
        내 삶에
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        이 곳에
        이 곳에
        이 곳에
        이 곳에
        이 곳에
        이 곳에
        이 곳에
        이 곳에
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        온 땅에
        온 땅에
        온 땅에
        온 땅에
        온 땅에
        온 땅에
        온 땅에
        온 땅에
        모든 이름 위에 뛰어나신 이름
        왕의 왕 예수께 엎드려 경배해
        모든 이름 위에 뛰어나신 이름
        왕의 왕 예수께 엎드려 경배해
        모든 이름 위에 뛰어나신 이름
        왕의 왕 예수께 손들고 경배해
        모든 이름 위에 뛰어나신 이름
        왕의 왕 예수께 손들고 경배해
        경배해
        경배해
        경배해
        경배해
        경배해
        경배해
        경배해
        경배해
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
        주님만이 왕이십니다
      - |-
        창조의 아버지 그 섭리 보이사
        택하신 세대 일으키어 이 땅을 고치소서
        주의 크신 능력 만물이 사모하니
        성령의 기름 부어주사 이 시간 임하소서

        주 영광 여기 임하사 열방 향해 그 빛 비추소서
        주의 얼굴 구할 때 주의 향기 머무소서

        열방의 통치자 세상이 보리라
        신실한 주의 약속으로 교회는 승리하리
        우릴 돌아보사 강건케 하소서
        연약함 모두 벗어지고 승리케 하옵소서

        주 영광 여기 임하사 열방 향해 그 빛 비추소서
        주의 얼굴 구할 때 주의 향기 머무소서
        주 영광 여기 임하사 열방 향해 그 빛 비추소서
        주의 얼굴 구할 때 주의 향기 머무소서

        주의 나라가 임하옵시며 주님의 뜻이 이뤄지리이다
        이 땅 가운데 하나님 아들 영광 보이소서
        주의 나라가 임하옵시며 주님의 뜻이 이뤄지리이다
        이 땅 가운데 하나님 아들 영광 보이소서

        주 영광 여기 임하사 열방 향해 그 빛 비추소서
        주의 얼굴 구할 때 주의 향기 머무소서
        주 영광 여기 임하사 열방 향해 그 빛 비추소서
        주의 얼굴 구할 때 주의 향기 머무소서

        꽃들도 구름도 바람도
        넓은 바다도 찬양하라 찬양하라 예수를
        하늘을 울리며 노래해 나의 영혼아
        은혜의 주 은혜의 주 은혜의 주

        꽃들도 구름도 바람도
        넓은 바다도 찬양하라 찬양하라 예수를
        하늘을 울리며 노래해 나의 영혼아
        은혜의 주 은혜의 주 은혜의 주

        꽃들도 구름도 바람도
        넓은 바다도 찬양하라 찬양하라 예수를
        하늘을 울리며 노래해 나의 영혼아
        은혜의 주 은혜의 주 은혜의 주

        꽃들도 구름도 바람도
        넓은 바다도 찬양하라 찬양하라 예수를

        하늘을 울리며 노래해 나의 영혼아
        은혜의 주 은혜의 주 은혜의 주

        은혜의 주 은혜의 주 은혜의 주
        은혜의 주 은혜의 주 예수
      - |-
        작은 기도 속에 담아 내 사랑을 노래해
        언제나 나와 함께 해줘 주님 나는 믿어요

        세상이 힘들다 해도 나는 주를 신뢰해
        그 사랑이 나의 힘이 되어 평화를 줘요
        내 마음 가득 기쁨으로 주님께 드려요
        내 삶의 모든 순간을 사랑으로 채워줘

        예수님 사랑해요 기쁨의 노래예요
        믿음의 힘으로 나는 행복해요
        영원히 함께해요 우리의 길을 밝혀
        사랑과 평화 속에 주님과 나의 삶을

        주님은 나의 빛 나의 구원의 소망
        나의 모든 사랑 주님께 드려요

        (가만히 눈 감고 느껴봐요)
        주님께 속한 이 순간
        사랑이 넘쳐흘러

        어둠 속에서도 주님이 계셔
        사랑의 손길로 나를 감싸죠
        행복한 모습으로 주님을 찬양해
        믿음 속에서 나는 항상 기뻐해

        예수님 사랑해요 기쁨의 노래예요
        믿음의 힘으로 나는 행복해요
        영원히 함께해요 우리의 길을 밝혀
        사랑과 평화 속에 주님과 나의 삶을

        작은 기도 속에 담아 네 사랑을 노래해
        언제나 나와 함께 해줘 주님 나는 사랑해요

        예수님 사랑해요 기쁨의 노래예요
        믿음의 힘으로 나는 행복해요
        영원히 함께해요 우리의 길을 밝혀
        사랑과 평화 속에 주님과 나의 삶을

        작은 기도 속에 담아 네 사랑을 노래해
        언제나 나와 함께 해줘 주님 나는 사랑해요
  - source_sentence: 내 맘의 주여 소망 되소서
    sentences:
      - |-
        생명과 바꾼 주의 사랑을
        잊지 않게 하소서
        나를 위해 흘렸던 주의 눈물
        잊지 않게 하소서
        주의 긍휼과 주의 선하심
        내가 묵상하오니
        내 영혼 위해 베푸신 주의 은혜
        잊지 않게 하소서
        감사합니다 주님 고맙습니다
        그 사랑 때문에 그 눈물 때문에
        주 앞에서 예배합니다
        생명과 바꾼 주의 사랑을
        잊지 않게 하소서
        나를 위해 흘렸던 주의 눈물
        잊지 않게 하소서
        주의 긍휼과 주의 선하심
        내가 묵상하오니
        내 영혼 위해 베푸신 주의 은혜
        잊지 않게 하소서
        감사합니다 주님 고맙습니다
        그 사랑 때문에 그 눈물 때문에
        주 앞에서 예배합니다
        감사합니다 주님 고맙습니다
        그 사랑 때문에 그 눈물 때문에
        주 앞에서 예배합니다
        그 사랑 때문에 그 눈물 때문에
        주 앞에서 예배합니다
        주 앞에서 예배합니다
        주 앞에서 예배합니다
      - none
      - |-
        내 맘의 주여 소망 되소서
        주 없이 모든 일 헛되어라
        밤에나 낮에나 주님 생각
        잘 때나 깰 때 함께 하소서
        세상의 영광 나 안 보여도
        언제나 주님은 나의 기업
        주님만 내 맘에 계시오니
        영원한 주님 참 귀하셔라
        영원한 주님 내 승리의 주
        하늘의 기쁨을 주옵소서
        어떠한 고난이 닥쳐와도
        만유의 주여 소망 되소서
        어떠한 고난이 닥쳐와도
        만유의 주여 소망 되소서
  - source_sentence: 고요한 바다로
    sentences:
      - none
      - |-
        고요한 바다로 저 천국 향할 때
        주 내게 순풍 주시니 참 감사합니다

        큰 물결 일어나 나 쉬지 못하나
        이 풍랑으로 인하여 더 빨리 갑니다

        내 걱정 근심을 쉬없게 하시고
        내 주여 어둔 영혼을 곧 밝게 하소서

        이 세상 고락간 주 뜻을 본 받고
        내 몸이 의지 없을 때 큰 믿음 주소서
      - |-
        나의 기쁨 나의 소망 되시며
        나의 생명이 되신 주
        밤낮 불러 찬송을 드려도
        늘 아쉰 맘뿐일세
        나의 진정 사모하는 예수여
        음성조차도 반갑고
        나의 생명 나의 참 소망은
        오직 예수뿐일세
        나의 기쁨 나의 소망 되시며
        나의 생명이 되신 주
        밤낮 불러 찬송을 드려도
        늘 아쉰 맘뿐일세
        나의 진정 사모하는 예수여
        음성조차도 반갑고
        나의 생명 나의 참 소망은
        오직 예수뿐일세
        주 얼굴 한 번 뵈온 적 없으나
        그 눈빛 내게 깃들고
        주 손 한번 나 잡은 적 없으나
        그 체온 나는 느끼네
        나의 기쁨 나의 소망 되시며
        나의 생명이 되신 주
        밤낮 불러 찬송을 드려도
        늘 아쉰 맘뿐일세
        주 얼굴 한 번 뵈온 적 없으나
        그 눈빛 내게 깃들고
        주 손 한번 나 잡은 적 없으나
        그 체온 나는 느끼네
        나의 기쁨 나의 소망 되시며
        나의 생명이 되신 주
        밤낮 불러 찬송을 드려도
        늘 아쉰 맘뿐일세
        나의 진정 사모하는 예수여
        음성조차도 반갑고
        나의 생명 나의 참 소망은
        오직 예수뿐일세
        나의 진정 사모하는 예수여
        음성조차도 반갑고
        나의 생명 나의 참 소망은
        오직 예수뿐일세
        나의 생명 나의 참 소망은
        오직 예수뿐일세
        나의 생명 나의 참 소망은
        오직 예수뿐일세
  - source_sentence: 하나님은 너를 지키시는자
    sentences:
      - |-
        주님을 바라봅니다
        비록 지금은 넘어져도
        주가 이곳에 여전히 계시기에
        주를 바라봅니다

        주님을 바라봅니다
        비록 지금은 넘어져도
        주가 이곳에 여전히 계시기에
        주를 바라봅니다

        세상은 여전히 어둡고
        우리 두 눈 가리워
        한치 앞길 우리 알 수 없으나
        여전히 우리의 곁에서
        우릴 감싸 안으시는
        주님 우리의 시선을 드리리

        주님을 바라봅니다
        비록 지금은 넘어져도
        주가 이곳에 여전히 계시기에
        주를 바라봅니다

        주님을 바라봅니다
        비록 지금은 넘어져도
        주가 이곳에 여전히 계시기에
        주를 바라봅니다

        세상은 여전히 어둡고
        우리 두 눈 가리워
        한치 앞길 우리 알 수 없으나
        여전히 우리의 곁에서
        우릴 감싸 안으시는
        주님 우리의 시선을 드리리

        세상은 여전히 어둡고
        우리 두 눈 가리워
        한치 앞길 우리 알 수 없으나
        여전히 우리의 곁에서
        우릴 감싸 안으시는
        주님 우리의 시선을 드리리

        세상은 여전히 어둡고
        우리 두 눈 가리워
        한치 앞길 우리 알 수 없으나
        여전히 우리의 곁에서
        우릴 감싸 안으시는
        주님 우리의 시선을 드리리
      - |-
        하나님은 너를 지키시는 자
        너의 우편의 그늘 되시니
        낮의 해와 밤의 달도
        너를 해치 못하리
        하나님은 너를 지키시는 자
        너의 환난을 면케 하시니
        그가 너를 지키시리라
        너의 출입을 지키시리라
        눈을 들어 산을 보아라
        너의 도움 어디서 오나
        천지 지으신 너를 만드신
        여호와께로다
        하나님은 너를 지키시는 자
        너의 환난을 면케 하시니
        그가 너를 지키시리라
        너의 출입을 지키시리라
        눈을 들어 산을 보아라
        너의 도움 어디서 오나
        천지 지으신 너를 만드신
        여호와께로다
        천지 지으신 너를 만드신
        여호와께로다
      - |-
        이제껏 받은 많은 사랑은
        다시 흘려보내기
        위함이 아닐까
        이제껏 쌓은 경험과 지식
        누군가를 돕기 위함이 아닐까

        멋지게 사랑할 힘
        내겐 없지만
        내게 있는 것으로
        나누기 원하네
        내가 가진 모든 것
        흘러 흘러왔으니
        나도 사랑의 통로로
        살기 원합니다

        온 세상에 주님 사랑
        흘러가도록
        온 세상이 그 선하심
        알게 되도록
        내가 아닌 주님만이
        영광 받으시는
        온전한 사랑의 통로로
        살기 원합니다

        이제껏 받은 많은 사랑은
        다시 흘려보내기
        위함이 아닐까
        이제껏 쌓은 경험과 지식
        누군가를 돕기 위함이 아닐까

        멋지게 사랑할 힘
        내겐 없지만
        내게 있는 것으로
        나누기 원하네
        내가 가진 모든 것
        흘러 흘러왔으니
        나도 사랑의 통로로
        살기 원합니다

        온 세상에 주님 사랑
        흘러가도록
        온 세상이 그 선하심
        알게 되도록
        내가 아닌 주님만이
        영광 받으시는
        온전한 사랑의 통로로
        살기 원합니다

        온 세상에 주님 사랑
        흘러가도록
        온 세상이 그 선하심
        알게 되도록
        내가 아닌 주님만이
        영광 받으시는
        온전한 사랑의 통로로
        온전한 사랑의 통로로
        온전한 사랑의 통로로
        살기 원합니다
  - source_sentence: 때로는 너의 앞에
    sentences:
      - |-
        내 아버지 그 품 안에서
        내 영혼은 안전합니다
        주 손길로 내 삶을 안으시니
        그 평강이 나를 덮습니다
        내 아버지 그 품 안에서
        내 영혼은 안전합니다
        주 손길로 내 삶을 안으시니
        그 평강이 나를 덮습니다
        나 비록 넘어지며 흔들리지만
        주 내 안에 거하며 나를 붙드시니
        내 생각을 주께로 돌리고
        주시는 평강의 옷을 입습니다
        주 약속 안에서 내 영혼 평안해
        내 뜻보다 크신 주님의 계획 나 신뢰해
        두려움 다 내려놓고 주님만 의지해
        주 안에서 내 영혼 안전합니다
        내 아버지 그 품 안에서
        내 영혼은 안전합니다
        주 손길로 내 삶을 안으시니
        그 평강이 나를 덮습니다
        나 비록 넘어지며 흔들리지만
        주 내 안에 거하며 나를 붙드시니
        내 생각을 주께로 돌리고
        주시는 평강의 옷을 입습니다
        주 약속 안에서 내 영혼 평안해
        내 뜻보다 크신 주님의 계획 나 신뢰해
        두려움 다 내려놓고 주님만 의지해
        주 안에서 내 영혼 안전합니다
        주 약속 안에서 내 영혼 평안해
        내 뜻보다 크신 주님의 계획 나 신뢰해
        두려움 다 내려놓고 주님만 의지해
        주 안에서 내 영혼 안전합니다
        주 약속 안에서 내 영혼 평안해
        내 뜻보다 크신 주님의 계획 나 신뢰해
        두려움 다 내려놓고 주님만 의지해
        주 안에서 내 영혼 안전합니다
        두려움 다 내려놓고 주님만 의지해
        주 안에서 내 영혼 안전합니다
      - |-
        매일 주와 함께
        어제보다 더 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        아침에 주 경배하며
        저녁에 주높이리
        나 매일 사랑스런 주와
        날마다 더 새롭게 해
        매일 주와 함께
        어제보다 더 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        아침에 주 경배하며
        저녁에 주높이리
        나 매일 사랑스런 주와
        날마다 더 새롭게 해
        주를 더욱 아는것 놀라워라
        나를 사랑하신 주
        존귀하신 주님께 경배하리
        자유케하신 주를
        해가 뜨는데부터
        해가 지는데까지
        매일 주와 함께
        어제보다 더 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        아침에 주 경배하며
        저녁에 주높이리
        나 매일 사랑스런 주와
        날마다 더 새롭게 해
        주와 함께 사는 것
        놀라워라 모든 것을 이기네
        합당하신 주님께 다드리리
        날마다 내 전부를
        해가 뜨는데부터
        해가 지는데까지
        매일 주와 함께
        어제보다 더 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        아침에 주 경배하며
        저녁에 주높이리
        나 매일 사랑스런 주와
        날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        매일 주와 함께
        어제보다 더 새롭게
        아침에 주 경배하며
        저녁에 주높이리
        나 매일 사랑스런 주와
        날마다 더 새롭게
        날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 어제보다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 날마다 더 새롭게
        날마다 어제보다 더 새롭게
      - none
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on BM-K/KoSimCSE-roberta

This is a sentence-transformers model finetuned from BM-K/KoSimCSE-roberta. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BM-K/KoSimCSE-roberta
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Bossssss/ccm-retriever")
# Run inference
sentences = [
    '때로는 너의 앞에',
    'none',
    '매일 주와 함께\n어제보다 더 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n아침에 주 경배하며\n저녁에 주높이리\n나 매일 사랑스런 주와\n날마다 더 새롭게 해\n매일 주와 함께\n어제보다 더 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n아침에 주 경배하며\n저녁에 주높이리\n나 매일 사랑스런 주와\n날마다 더 새롭게 해\n주를 더욱 아는것 놀라워라\n나를 사랑하신 주\n존귀하신 주님께 경배하리\n자유케하신 주를\n해가 뜨는데부터\n해가 지는데까지\n매일 주와 함께\n어제보다 더 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n아침에 주 경배하며\n저녁에 주높이리\n나 매일 사랑스런 주와\n날마다 더 새롭게 해\n주와 함께 사는 것\n놀라워라 모든 것을 이기네\n합당하신 주님께 다드리리\n날마다 내 전부를\n해가 뜨는데부터\n해가 지는데까지\n매일 주와 함께\n어제보다 더 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n아침에 주 경배하며\n저녁에 주높이리\n나 매일 사랑스런 주와\n날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n매일 주와 함께\n어제보다 더 새롭게\n아침에 주 경배하며\n저녁에 주높이리\n나 매일 사랑스런 주와\n날마다 더 새롭게\n날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 어제보다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 날마다 더 새롭게\n날마다 어제보다 더 새롭게',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.1449,  0.2342],
#         [ 0.1449,  1.0000, -0.0180],
#         [ 0.2342, -0.0180,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,500 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 3 tokens mean: 7.2 tokens max: 27 tokens	min: 4 tokens mean: 201.36 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  최고의 시간에	고난과 시련속에 사람들은 나를 떠나도 신실한 그분의 사랑이 내 삶을 지키셨네 지난날 돌아보면 수많은 연단을 통하여 나를 크게 사용하실 그분의 뜻이였음을 알았네 최고의 시간에 최고의 순간에 최고의 것을 주실 분 아버지 그 뜻을 믿으며 난 그저 기도하리 지난날 돌아보면 수많은 연단을 통하여 나를 크게 사용하실 그분의 뜻이였음을 알았네 최고의 시간에 최고의 순간에 최고의 것을 주실 분 아버지 그 뜻을 믿으며 난 그저 기도하리 아무런 답이 없으신 그 분을 원망했었네 하지만 난 알았네 나를 앞서가신 그 사랑 그 사랑 주실 분 아버지 그 뜻을 믿으며 난 그저 기도하리 난 그저 기도하리 난 그저 기도하리
  내 모든 삶의 행동 주 안에 / 승리하였네	내 모든 삶의 행동 주 안에 주님 안에 있네 나의 숨쉬는 순간들도 내 모든 삶의 걸음 주안에 내 길도 주 안에 나의 숨쉬는 순간들도 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 내 모든 삶의 행동 주 안에 주님 안에 있네 나의 숨쉬는 순간들도 내 모든 삶의 걸음 주안에 내 길도 주 안에 나의 숨쉬는 순간들도 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 내 모든 삶의 행동 주 안에 주님 안에 있네 나의 숨쉬는 순간들도 내 모든 삶의 걸음 주안에 내 길도 주 안에 나의 숨쉬는 순간들도 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 자비와 은혜의 물결 어디서나 주 얼굴 보네 주 사랑 날 붙드네 오 놀라운 주님의 사랑 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 라라라라 라라 라라라라 라 라라 자비와 은혜의 물결 어디서나 주 얼굴 보네 주 사랑 날 붙드네 오 놀라운 주님의 사랑 승리하였네 어린 양의 보혈로 우린 보혈의 능력으로 서리라 승리하였네 어린 양의 보혈로 주 내게 승리 주셨네 승리하였네 어린 양의 보혈로 우린 보혈의 능력으로 서리라 승리하였네 어린 양의 보혈로 주 내게 승리 주셨네 승리하였네 어린 양의 보혈로 우린 보혈의 능력으로 서리라 승리하였네 어린 양의 보혈로 주 내게 승리 주셨네
  주는 사랑이십니다	나의 지친 삶의 순간마다 말씀으로 내게 찾아오셔서 나의 마음 감싸 안으시는 내 주님께 간절히 원하네 흔들리는 삶의 순간마다 말씀으로 내게 찾아오셔서 넘어지는 날 일으키시는 내 주님께 간절히 원하네 나의 모든 생각과 나의 모든 것 드려 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주만 바라봅니다 세상 모든 유혹과 나의 짐 내려놓고 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주는 사랑이십니다 나의 지친 삶의 순간마다 말씀으로 내게 찾아오셔서 나의 마음 감싸 안으시는 내 주님께 간절히 원하네 흔들리는 삶의 순간마다 말씀으로 내게 찾아오셔서 넘어지는 날 일으키시는 내 주님께 간절히 원하네 나의 모든 생각과 나의 모든 것 드려 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주만 바라봅니다 세상 모든 유혹과 나의 짐 내려놓고 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주는 사랑이십니다 나의 모든 생각과 나의 모든 것 드려 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주만 바라봅니다 세상 모든 유혹과 나의 짐 내려놓고 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주는 사랑이십니다 나의 모든 생각과 나의 모든 것 드려 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주만 바라봅니다 세상 모든 유혹과 나의 짐 내려놓고 내 주님께 나아가길 원하네 그때 나의 삶은 변하고 온전케 되리 주는 사랑이십니다

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Framework Versions

• Python: 3.9.7
• Sentence Transformers: 5.1.2
• Transformers: 4.57.6
• PyTorch: 2.3.1
• Accelerate: 1.10.1
• Datasets: 4.5.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}