micky1625/fthani3

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("micky1625/fthani3")
# Run inference
sentences = [
    '술과 색에 대한 과도한 집착이 개인의 정신적, 신체적 건강에 미치는 영향을 설명하고, 이러한 상태를 개선하기 위한 한의학적 처방이나 접근 방법은 무엇인지 서술하시오.',
    '[16-21] 술과 색이 사람을 죽인다고 하는 사람들은 모두 말하기를 "술독이 창자를 마르게 하고 색\n로(色勞)가 정력을 말라붙게 한다"고 하지만 이는 그 중의 하나를 알고 둘은 모르는 말이다. 술에 \n방종하는 자는 그 몸을 부지런하게 쓰기를 싫어하기 때문에 걱정이 태산 같고, 색에 미혹된 자는 \n계집을 깊이 사랑하기 때문에 걱정이 칼날 같아서 만 갈래로 찢어지고 이지러진 마음이 술독과 색\n로와 함께 힘을 합하여 공격하므로 사람을 죽이게 하는 것이다.\n[16-22] 광동(狂童)은 반드시 음녀(淫女)를 사랑하고 음녀는 또한 광동을 사랑하며, 우부(愚夫)는 반\n드시 투부(妬婦)를 사랑하고 투부는 또한 우부를 사랑하는 것이니, 만물의 이치로 이를 따져보더라\n도 음녀는 단연코 광동의 배필에 합당할 것이요, 우부는 또한 투부의 배필함이 마땅할 것이다. 대개\n음녀나 투부는 악인이나 천인(賤人)의 배필이 될 수는 있어도 군자나 귀인의 배필이 될 수는 없는 \n것이다. 칠거지악 중에서도 음란한 것과 질투하는 것이 그 으뜸되는 악이지만 세상 사람들은ㆍ투\'\n자의 의미를 잘 모르고 단지 많은 첩들을 미워하며 투기하는 것만을 이야기한다. 귀인이 후사를 이\n어야 한다는 것은 가장 소중한 일이기 때문에 귀인이 첩을 갖는 것을 부인이 미워하며 투기하는 것\n은 절대로 안 되는 법이다. 그러나 가정의 법도를 어지럽히는 근본이 일찍이 많은 첩을 거느리는',
    '[7-56] 나는 논하기를 일찍이 소음인 한 사람이 명치 밑 오른쪽에 단단하게 굳어 뭉친 것이 있어서 \n백약을 써도 효과가 없다. 그리하여 파두여의단(巴豆如意丹)을 주었더니 도리어 병이 심하여 머리\n를 흔들며 풍증을 일으키다가 잠깐 그치더니 몇 달 후에 죽은 것이다. 또 그 후에 소음인 한 사람이\n이와 같은 병증이 있어 파두단(巴豆丹)을 썼더니 얼굴과 몸에서는 땀이 나고 있으나 유독히 윗입술\n인중혈(人中穴) 좌우 쪽에서는 땀이 나지 아니하더니 이 사람은 1년 후에 죽은 것이다. 무릇 소음인\n이 명치 밑이 단단하게 굳어 뭉쳐 있는 환자 4-5명을 실제로 보았으나 혹 6개월간 혹 1년간 침구(\n針灸) 의약(醫藥)을 두루 써보지 않은 것이 없었으나 낱낱이 회생할 희망이 없었으니 이는 곧 장결\n병으로 소음인의 병인 것이다.\n[7-57] 장중경(張仲景)이 말하기를 황달병은 마땅히 18일로서 기간을 잡는 것이니 10일 이상이면 \n차도가 있어야 하는데 도리어 병이 더욱 심한 것은 다스리기 어려운 것이다. 병이 음부(陰部)에서 \n발(發)하면 그 사람이 반드시 구역을 하고 병이 양부(陽部)에서 발생을 하면 그 사람이 추워서 떨며\n발열을 하는 것이다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 212 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 212 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 16 tokens mean: 43.76 tokens max: 94 tokens	min: 37 tokens mean: 383.44 tokens max: 536 tokens	min: 1.0 mean: 1.0 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  태만한 자의 마음가짐에 대한 설명으로 옳은 것은 무엇인가?	모르기 때문에 마음은 항상 몸에 차고 돌에 새기듯 기억하고 있으니 선비들은 농부들과 비교한다 면 진정 그들은 경계하지 않는 자들이다. 만약 농부들이 글자를 익히는 데 부지런하거나 선비들이 힘써 일하는 습관을 들인다면 재주나 성품이 조밀해지고 장기(臟氣)도 견고해질 것이다. [16-19] 교만하고 사치(嬌奢)하는 자의 마음은 여염집의 살림살이를 경시하며, 사회와 가정을 경솔 히 여기고, 보고 느끼는 것은 교활하고 방탕하여 산업의 어려운 고비에 대해서는 까맣게 모르고, 재 력을 마련하는 방략은 심히 서투르면서 매양 여색에 빠져서 종신토록 뉘우칠 줄을 모른다. [16-20] 태만(懶怠)한 자의 마음은 극히 거칠고 사나워서 조금씩 쌓아올릴 생각은 하지 않고 매양 헛되이 큰 꿈만을 꾸려고 하며, 대체로 그의 마음가짐은 심히 부지런함을 꺼려하기 때문에 자신의 몸을 술 세계로 도망치려고 하는 것이니 부지런하기를 피하려는 일시적인 계책인 것이다. 대체로 태만한 자치고 술주정뱅이가 되지 않는 자는 없는 것이니 술주정뱅이만 만나보더라도 반드시 나태 한 사람의 마음이 거칠고 사납다는 것을 알 수 있을 것이다.	1.0
  태양인, 소음인, 소양인 각각의 성격적 특징과 이로 인해 발생할 수 있는 장부의 손상 원인에 대해 설명하고, 각 인에 대한 적절한 처방을 제시하시오.	[3-12] 태양인은 교우는 삼가는 까닭에 항상 생소한 교우인(交遇人)을 여환(慮患)하는 노심(怒心)이 있으니, 이 마음은 떳떳하게 타고난 경심(敬心)에서 나왔는지라 지극히 선한 것이 아닌 바 아니지 만, 당여에 대해서는 가볍게 여기는 까닭에 매양 친숙한 당여인 때문에 함정에 빠져 치우친 노정(怒 情)으로 장부를 상하는 것이니, 그의 택교(擇交)하는 마음이 넓지 못하기 때문이다. [3-13] 소음인은 당여는 삼가하는 까닭에 항상 친숙한 당여인과 택교(擇交)하는 희심(喜心)이 있으 니, 이 마음은 떳떳하게 타고난 경심에서 나왔는지라 지극히 선한 것이 아닌 바 아니지만, 교우에 대해서는 가볍게 여기는 까닭에 항상 생소한 교우인 때문에 속임수에 빠져 치우친 희정(喜情)으로 장부를 상하는 것이니, 그의 여환(慮患)하는 마음이 두루 치밀하지 못하기 때문이다. [3-14] 소양인은 사무는 중(重)하게 다루는 까닭에 항상 밖으로 나아가 사무를 일으키는 애심(哀心) 이 있으니, 이 마음은 떳떳하게 타고난 경심에서 나왔는지라 지극히 선한 것이 아닌 바 아니지만, 거처에 대해서는 삼가지 않는 까닭에 항상 안을 주장 삼아 거처를 마련하는 사람의 함정에 빠져 치 우친 애정(哀情)으로 장부를 상하는 것이니, 그가 밖을 중하게 여기고 안을 가볍게 여기기 때문이 다.	1.0
  턱에 일으키려는 땀과 함께 한궐 증상이 나타나는 경우, 이 증상에 대한 전통적인 한의학적 처방으로 언급된 약재는 무엇인지 설명하고, 이 병증을 잘못 치료할 경우 어떤 결과가 발생할 수 있는지 논의하시오.	턱에 일으키려는 땀은 한궐이 몹시 맹렬하여 한전(寒戰)을 일으켜 이빨을 부딪치면서 턱을 떠는 것 이 완전히 동풍(動風)증을 일으킬 것처럼 되더니 그 땀이 양쪽 겨드랑이 밑으로 곧장 도달하는 것 이다. 장중경이 말한 궐이 심한 것은 또한 열이 심하다 하였고 궐이 미약한 것은 또한 열도 미약하 다 한 것은 모두 이 한궐하는 병증을 보고 이르는 말이다. 이 병증에서 한궐하는 증상이 여러 날 계 속하는 것은 그 병이 중증이 되려는 형세이고 한궐하는 증상이 몹시 맹렬한 것은 중증이 될 병세가 아니다. [12-9] 이런 증세를 경기도 사람은 장감병이라 하고 함경도 사람은 사십일통(四十日痛)이라 하고 혹은 무한건병(無汗乾病)이라고 하여, 흔히 쓰는 약이 형방패독산(荊防敗毒散)ㆍ곽향정기산(藿香正 氣散)ㆍ보중익기탕(補中益氣湯)인데, 모두 이병을 잘못 치료하는 것이니 오직 웅담(熊膽)이 혹 맹인 직문(盲人直門)격으로 잘 듣는 수가 있는 것이다. 그러나 웅담을 쓰고도 다른 적당치 못한 약을 이 어 쓰면 병세가 다시 변하는 것이다. 옛사람이 병이 사람을 죽이는 것이 아니라 약이 능히 사람을 죽일 수 있다 하였으니 과연 믿지 않을 수 있겠는가. 모든 병이 더하고 덜 하는 증상을 보통 식견으 로 보고 추측하며 알기 어려워 더욱 이 병증은 더욱 심한 것이다. 이 병증에서 땀이 미릉과 관상에	1.0

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}