mrdantzig/klue-roberta-base-klue-sts-mrc

SentenceTransformer based on shangrilar/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from shangrilar/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: shangrilar/klue-roberta-base-klue-sts
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'RobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '올해 예산의 크기는 얼마인가?',
    '386조4000억원 규모의 내년도 예산안이 국회를 통과했다. 여야는 예산안 법정처리 시한인 2일 자정을 넘겨 정부안에서 3조8000억원을 감액하는 대신 3조5000억원을 증액한 수정안을 본회의에서 처리했다. ▶관련기사 A4, 5, 6면내년 예산 규모는 올해(375조4000억원)보다 11조원(2.93%)가량 늘어났다. 주요 삭감 예산은 일반·지방행정 분야와 국방 분야 각각 1조3584억원과 1543억원, 예비비 1500억원 등이다. 증액 예산은 사회복지 4732억원, 교통·물류 3868억원, 산업·중소기업·에너지 1644억원 등이다.누리과정(만 3~5세 무상교육) 예산은 예비비에서 3000억원을 우회 지원하도록 했다. 순삭감액은 지난해 6000억원에 못 미치는 규모로 내년 총선을 앞두고 의원들의 증액 요구가 빗발쳤기 때문이라고 국회 관계자는 말했다. 이 관계자는 “지역 민원예산이 증액분의 상당 부분을 차지하며, 사상 최대 규모일 것”이라고 말했다.여야는 이날 본회의에서 예산안과 함께 예산부수법안 15건도 처리했다. 또 여야가 예산안과 연계해 함께 처리하기로 합의했던 관광진흥법 등 5개 법안도 진통 끝에 국회 문턱을 넘었다.',
    '옌바이는 면적이 6899.5km²이고, 홍강은 지방을 통과한다. 옌바이는 험준한 산악 풍경과 계곡의 푸른 논밭으로 특징지어지는 산악 지방이다. 호앙리엔선 산맥은 지방을 관통한다. 홍강(혹은 타오 강)과 짜이강이 그 지방을 흐른다. 이 강들은 중국 윈난에서 발원한다. 옌바이성의 이 두 강줄기에 의해 만들어진 계곡은 울퉁불퉁한 영토지만 비옥하다. 무옹로 평원은 옌바이성의 곡창지대이다. \n\n지형은 동쪽에서 서쪽으로, 남쪽에서 북으로 솟아 있어 가파르다. 평균 고도는 해발 약 600m이다. 홍강 유역의 좌안과 홍강의 높은 우안에 있는 저지대와 홍강과 다강 사이의 고원에는 산이 많다. 두 개의 주요 강인 홍강과 다강 외에, 이 지방에는 약 200개의 운하, 작은 개울, 큰 호수, 늪이 있다. 탁바 호수는 234km²의 면적과 1,331개의 섬과 언덕을 가진 인공호수도 옌바이성에 위치해 있다. 30억~39억 입방미터의 용수를 보유하고 있으며, 당초의 의도는 베트남 최초의 대규모 수력 발전 사업 중 하나인 탁바 수력발전소를 가동하는 것이었다. 수천 개의 언덕과 섬에는 훔, 꺼우꾸오이, 박싸를 포함한 많은 동굴이 있다. 탁바 사원은 호수 지역에 위치해 있다. 탁바호는 그 지방의 서부 지역의 기후 패턴을 덥고 건조한 상태에서 적당한 상태로 바꾸었다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5835, 0.1398],
#         [0.5835, 1.0000, 0.0899],
#         [0.1398, 0.0899, 1.0000]])

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8385
spearman_cosine	0.8357

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 17.69 tokens max: 36 tokens	min: 232 tokens mean: 436.63 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  샤피로가 적극적인 개입만이 예상치 못한 결과를 막을 수 있다고 말한 체계는?	샤피로는 클린턴 정부와 두번째 부시 정부에 자문을 제공하였다. 그는 스탠포드 대학교 프리먼 스포질 국제 연구소의 국제 안보 및 협력 센터에 소속되어 있다 그는 신종 전염병의 잠재적 영향력을 특히 염려하고 있다. 전염병에 특별히 중요한 관심을 두어야 하는 여러 문제가 있다. 그 중 하나는 항생제에 내성을 갖는 미생물의 발달로, 1950년대 항생제 과다 사용의 결과로 나타나고 있는 것이다. 샤피로는 약물 내성 세균의 발달을 막기 위해 특정 세균과 이 세균의 약물 내성 기제를 공격하는 약물 개발에 관여하고 있다. 또 하나의 염려는 증가된 해외 여행과 미개척 지역으로의 인구 확장 및 기후 변화로 인해 세균이 이전에 노출되지 않은 인구 집단에 들어가게 되는 것이다 여기에는 인플루엔자와 같이 한 종에서 다른 종으로 이동하는 동물 매개 전염병도 포함된다. 자연적으로 발생하거나 의도적으로 발생한 생물학적 위협에 대처하기 위해서는 세포 및 해당 환경의 세포 개체수에서 내부적으로 관련된 기제를 이해하는 것이 필수적이다. 샤피로는 생명 체계의 복잡성 이해의 중요함을 강조하며, 이 체계에 개입하는 것이 예상치 못한 결과를 낳을 수 있다는 것을 인식할 필요가 있음을 부각한다.
  베스킨라빈스 레디팩이 기존 가입자에게 무료가 되는 날은 언제인가?	KT(대표이사 구현모)는 1만 가입자 돌파를 기념해 1일부터 신규 가입자를 대상으로 배스킨라빈스 레디팩을 무료로 제공하는 이벤트를 진행한다. KT가 업계 1위 스냅스와 제휴해 선보인 포토북은 월정액 5천원의 이용료로 매월 한 권의 포토북을 직접 제작해 받아보는 구독형 서비스다. 포토북은 올레tv를 통해서도 함께 볼 수 있어 소중한 사람과 추억을 나누는 대표 서비스로 자리잡고 있다. KT 포토북 고객들이 가장 많이 제작한 테마는 가족사진으로 전체의 60%를 차지한다. 특히, 자녀의 성장과정을 간직하려는 3040 여성 고객을 중심으로 높은 호응을 얻고 있다. 손주들이 성장하는 모습을 함께 보고 싶은 할아버지, 할머니를 위해 디지털 포토북을 공유하는 경우도 지속 증가해 올레tv를 보유한 포토북 고객의 약 30%가 해당 서비스를 이용하고 있는 것으로도 나타났다. 연인, 반려동물, 여행, 취미 등 다양한 테마의 포토북을 찾는 고객들도 지속 증가하고 있다. KT는 가입자 1만명 돌파를 기념해 1일부터 14일까지 2주간 신규가입 이벤트를 진행한다. 포토북을 새로 가입하는 고객 전원에게 배스킨라빈스 레디팩(9,200원 상당) 쿠폰을 증정하는 이벤트다. KT 멤버십앱이나 KT닷컴 홈페이지를 통해 포토북 가입 및 이벤트 참여를 하면, 12월까지 가입 유지한 고객에게 쿠폰이 일괄 지급된다. KT는 포토북 고객들의 다양한 요구에 맞춰 상품을 다각화하는 등 가입자 확대에 나선다는 계획이다. 이를 위해 지난달부터는 VIP 초이스 혜택으로 2만원 상당의 프리미엄 포토북을 제작할 수 있는 상품을 선보인 바 있다. 이달부터는 월 한 권 이상의 포토북 제작을 원하는 고객들이 추가로 앨범을 제작할 수 있도록 선불권(3회권, 6회권, 12회권) 상품도 출시할 예정이다. KT 무선서비스담당 성은미 상무는 “포토북이 포스트 코로나 시대에 가족, 연인 등 소중한 사람들과 마음을 전하는 매개로 자리잡고 있다”며 “고객의 목소리에 지속적으로 귀를 기울여 포토북을 고객이 쉽고 편하게 사용할 수 있는 서비스...
  코시모는 누구로부터 교육을 받았나?	1642년, 토스카나 대공 페르디난도 2세 데 메디치와 대공비 비토리아 델라 로베레 사이에서 외아들로 태어났다. 그의 위로 두 형이 있었으나 모두 일찍 죽었다. 그의 교육 문제를 두고 대공 부부는 생각이 달랐고, 결국은 대공비의 뜻대로 신학자 반디넬리가 코시모를 가르치게 되었다. 이러한 교육의 영향으로 코시모는 대단히 독실한 신자였으며 종교 문제에는 적극적이었던 반면, 정치 문제에는 별 관심을 표하지 않았다. 그는 하루에 5,6군데의 교회를 다녔고 유대교도가 가톨릭교도와 결혼하거나 한 집에 살거나 가톨릭교도 유모를 쓰는 것을 금하는 등 엄격한 반유대주의 법령들을 제정했다. 또한 예술과 학문에 대한 지원을 아끼지 않았던 메디치 가의 역대 군주들과는 달리 코시모 3세는 문예에 대한 흥미도 없었다. 그는 대식가로 폭음폭식을 즐겼으며, 언제나 비용에 구애받지 않는 호화로운 연회를 즐겼다. 그 비용을 대기 위해 코시모 3세는 백성들에게 높은 세금을 부과했으며, 이로 인해 그의 치세 동안 토스카나 대공국은 점차 쇠락의 길을 걷기 시작했다. 코시모 3세는 장수했지만 늘 자신이 언제 죽을지 몰라 불안해했고 후계자 문제에 집착했다 그의 세 자녀에게서 후계자를 얻는 것이 요원한 일이란 걸 알자 코시모 3세는 40대 후반이었던 남동생 프란체스코 마리아 주교에게 상속자를 낳아줄 것을 부탁했다 프란체스코 마리아는 과스텔라 공작의 딸과 결혼했지만 상속자를 얻지 못하고 죽었다. 코시모 3세는 딸 안나 마리아가 공국을 계승할 수 있게 만들려고 노력했지만 이루어지지 않았고, 결국 그의 아들 대에서 메디치 가의 토스카나 대공국의 역사는 끝났다.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	spearman_cosine
-1	-1	-	0.8357
0.4558	500	0.1603	-
0.9116	1000	0.1165	-

Training Time

• Training: 30.1 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}