micky1625/fthani2

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("micky1625/fthani2")
# Run inference
sentences = [
    '소양인이 인후병과 목, 뺨의 부종 증상을 보일 때, 초기 증상에 대한 적절한 처방은 무엇인지 설명하시오.',
    '[11-15] 소양인이 안으로 인후(咽喉)병이 나고 밖으로 목과 뺨이 붓는 것을 전후풍(纏喉風)이라고 \n하는데 2-3일. 안에 사람을 죽이니 최고로 급하다. 또한 윗입술의 인중혈(人中穴)의 종기(腫氣)를 순\n종(脣腫)이라 하는데 인중의 좌우에 손가락 하나 놓일 만한 곳에 종기가 나면 비록 그것이 좁쌀알\n같이 작은 것이라도 또한 위태로운 증세이다. 이 두 가지 증세가 처음 나타나 가벼운 경우에는 마\n땅히 양격산화탕(凉膈散火湯)이나 양독백호탕(陽毒白虎湯)을 쓸 것이며 중한 경우에는 수은훈비방(\n水銀熏鼻方)을 써야 하는데 한 대를 태워 코에 연기를 쏘여서 목과 뺨에 땀이 나면 낫는다. 만약 급\n한 상황에서 훈비약(熏鼻藥)이 없다면 경분(輕粉) 가루 1푼 5리와 유향(乳香)ㆍ몰약(沒藥)ㆍ감수(甘\n遂) 각각 5푼씩을 고루 풀어 반죽한 다음 알약을 만들어 단번에 다 먹인다.\n[11-16] 소양인 어린아이가 많이 먹으나 마르는 경우에는 마땅히 노회비아환(蘆薈肥兒丸)이나 인동\n등지골피탕(忍冬藤地骨皮湯)을 쓴다.\n[11-17] 일찍이 소양인의 어깨 위에 독종(毒腫)이 있어 참기름을 불에 끓여 헌데에 부어 살이 검게 \n타도 그 뜨거움을 알지 못하는 것을 어떤 의사가 소의 뿔 조각을 숯불 위에 놓고 태우면서 연기를 \n쏘이라 하기에 연기가 헌데에 들어가서 독즙(毒汁)이 스스로 흘러내려 그 종기(腫氣)가 곧 낫는 것\n을 본 일이 있다.',
    '[8-2] 태양병에 땀이 나는 것은 열기(熱氣)가 한사(寒邪)를 물리치는 땀이고 양명병에 땀이 나는 것\n은 한사가 열기에 침범하는 땀이다. 태음증 하리는 온기(溫氣)가 냉기(冷氣)를 몰아내는 하리이고 \n소음증 하리는 냉기가 온기를 핍박하는 하리인 것이다.\n[8-3] 소음인 병에 두 길증(吉證)이 있다. 하나는 인중(人中)에서 땀이 나는 것이요, 또 하나는 물을 \n능히 마시는 것이다.\n[8-4] 소음인 병에 두 급증(急證)이 있다. 하나는 발열하면서 땀이 너무 많이 흐르는 것이요, 또 하나\n는 맑은 물 설사를 하는 것이다.\n[8-5] 소음인 병에 육대증(六大證)이 있으니 첫째로 소음병(少陰病), 둘째로 양명병(陽明病), 셋째로 \n태음병음독증(太陰病陰毒證), 넷째로 태양병궐음증(太陽病厥陰證), 다섯째로 태음병황달증(太陰病\n黃疸證), 여섯째로 태양병위가실증(太陽病胃家實證)이다.\n[8-6] 발열하고 땀이 나면 병이 반드시 풀려야 하는데 발열하고 땀이 나고서도 병이 더욱 심하게 되\n는 것은 양명병이고 체한 것이 뚫리면서 설사를 하면 병이 반드시 풀려야 하는데 체기(滯氣)가 뚫\n리고 설사를 하고서도 병이 더욱 심하게 되는 것은 소음병인 것이다. 양명병과 소음병은 사기(邪氣)\n가 정기(正氣)를 범(犯)하는 병이기 때문에 급하게 약을 쓰지 않을 도리가 없다. 추워 떨고서 땀이 \n나면 병이 반드시 다 풀려야 하는데 오한하고 땀이 나고서도 그 병이 반만 풀리고 반은 풀리지 않\n는 것은 점차 궐음병(厥陰病)으로 전변(轉變)하려는 증이다. 복통에 설사를 하면 병이 반드시 다 풀\n려야 하는데 복통에 하리(下利)를 하고서도 그 병이 반만 풀리고 반은 풀리지 않는다면 점차 음독\n병(陰毒病)으로 전변하려는 증이다. 궐음병과 음독증은 정기(正氣)와 사기(邪氣)가 서로 힘을 기울\n이는 병이니 불가불 미리 약을 써서 정기를 도와주어야 한다. 발열하고 땀이 한 번 나고 병이 풀리\n는 것은 태양의 경병(輕病)이고 식체에 한 번 설사를 하고서 병이 풀리는 것은 태음의 경병이다. 태\n양과 태음의 경병(輕病)은 약을 쓰지 않고서도 저절로 낫는 것이다. 발열 3일에 땀이 나지 않아 병',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 160 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 160 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 20 tokens mean: 44.39 tokens max: 79 tokens	min: 253 tokens mean: 507.09 tokens max: 829 tokens	min: 1.0 mean: 1.0 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  한의학에서 귀, 눈, 코, 입의 기능과 이들이 각각의 청기를 어떻게 처리하여 신체의 특정 요소로 변환하는지에 대해 설명하시오. 각 기관이 담당하는 청기의 종류와 그 결과로 생성되는 요소를 구체적으로 서술하시오.	[4-7] 수곡의 한기(寒氣)는 대장에서 액(液)으로 화하여 전음부(前陰部) 모제(毛際) 안으로 들어가 액 해(液海)가 되니, 액해란 액이 모여 있는 곳이다. 액해의 청기는 입으로 나와서 정(精)이 되고 방광( 膀胱)으로 들어가 정해(精海)가 되니 정해란 정이 모여 있는 곳이다. 정해의 정즙(精汁)이 청한 것은 안으로 신(腎)으로 돌아가고 탁재는 밖으로 골(骨)로 돌아가는 까닭에 대장ㆍ전음ㆍ입ㆍ방광ㆍ골은 다 신의 무리이다. [4-8] 귀는 광박천시(廣博天時)하는 청력(聽力)으로 진해의 청기를 끌어내어 상초에 충만하게 하여 신(神)이 되게 하고, 두뇌로 쏟아 넣어 이가 되게 하니, 거듭거듭 쌓이면 이해가 된다. 눈은 광박세 회(廣博世會)하는 시력(視力)으로 고해의 청기를 끌어내어 중상초에 충만하여 기가 되게 하고, 배려 로 쏟아 넣어 막이 되게 하니, 거듭거듭 쌓이면 막해가 된다. 코는 광박인륜(廣博人倫)하는 후력(嗅 力)으로 유해의 청기를 끌어내어 중하초에 충만하게 하여 혈(血)이 되게 하고, 요척으로 쏟아넣어 혈이 엉키게 하니, 거듭거듭 쌓이면 혈해가 된다. 입은 광박지방(廣博地方)하는 미력(味力)으로 액 해의 청기를 끌어내어 하초에 충만하게 하여 정(精)이 되게 하고, 방광으로 쏟아넣어 엉키게 하니, 거듭거듭 쌓이면 정해가 된다.	1.0
  이질 치료에 사용되는 황연청장탕의 주요 약재와 그 조합에 대해 설명하고, 임질 치료를 위해 조정된 처방의 차이점을 서술하시오.	한다. 황연ㆍ택사는 귀한 약재이므로 없으면 혹 빼고 사용한다. 황연청장탕 생지황 4돈, 목통ㆍ복령ㆍ택사 각2돈, 저령ㆍ차전자ㆍ천황련ㆍ강활ㆍ방풍 각1돈. 이 처방을 이질을 치료하는데 쓴다. 목통 2돈을 빼고 형개 1돈을 더하면 임질이 있는 경우에 쓴다. 주사익원산 활석 2돈, 택사 1돈, 감수 5푼, 주사 1푼. 이상을 가루를 내어 따뜻한 물이 정화수로 복용한다. 여름 에 더위를 떨쳐내는데 쓴다. 감수천일환 감수가루 1돈, 경분가루 1푼을 고루 섞어 풀에 반죽하여 환을 만드는데 나누어 10알을 만들고 주사 로 옷을 입힌다. 환을 만들어 말리는 것을 오래하면 단단해져 녹이기 어려우니, 복용할 때 종이로 두세겹을 쌓아 공이로 빻아 부수어 거친 가루로 만든다. 3, 4, 5조각을 입에 머금어 가루로 만들고 정화수로 녹여 삼키며, 3, 4시각을 기다려서 설사를 하지 않으면 다시 2알을 쓴다. 설사를 3회 하면 알맞고, 6회 하면 너무 지나친 것이니 미리 미음을 쑤어 설사 2, 3회 할 때 미음을 먹는다. 그렇지 않으면 기운이 꺼져 내려가 감당하기가 어렵다. 결흉으로 물 마신 것을 도로 토하는 것을 치료한다. 감수 1돈, 경분 5푼을 10알로 나누어 만든 것을 경분감수용호단이라 한다. 경분과 감수를 같은 분 량으로 하여 10알로 나누어 만든 것을 경분감수자웅단이라 한다. 경분 1돈, 유향, 몰약, 감수 각 5푼 을 30알로 나누어 만든 것을 유향몰약경분환이라 한다. 경분은 땀을 나게 하고, 감수는 수기를 내려 가게 한다. 경분의 약력은 1푼이면 족하고, 5리면 미치지 못할 것이 없다. 감수의 약력은 1푼 5리면 족하고, 7, 8리면 미치지 못할 것이 없다. 경분과 감수는 독약으로 모두 1푼을 넘겨 쓰는 것을 가볍 게 여겨서는 안되니 병증의 경중을 짐작하여 써야 한다. 병이 두뇌에 생기려 하면 화기를 씻어주어 야 하니 경분을 군약으로 삼고, 병이 흉격에 생기려 하면 수기를 내려주어야 하니 감수를 군약으로 삼는다. 이상의 소양인 약물은 포구초외(炮炙炒煨)하여 사용하는 ...	1.0
  다음 증상을 가진 환자에게 적합한 처방은 무엇인가? 환자는 혀가 마르고 사지가 차가워지며 아랫배가 급하게 아프고, 수족이 간헐적으로 차고 더워지며 속에서 번열이 느껴진다. 이 환자에게 어떤 한약 처방을 주로 사용해야 하는가?	[6-46] 이천(李梃)이 말하기를 혀가 말리고 사지가 궐역(厥逆)하여 한랭(寒冷)한 기가 팔꿈치와 무릎 을 지나며 아랫배가 급하게 잡아 트는 것과 같이 아프면 삼미삼유탕(三味蔘萸湯)ㆍ사순탕(四順湯) 을 주로 쓰고, 수족이 잠깐 차졌다 잠깐 더워졌다 하면서 속에는 번열(煩熱)이 꽉 차서 번민(煩悶)하 는 자에게는 대승기탕(大承氣湯)을 주로 쓴다. [6-47] 나는 논하기를 장중경(張仲景)이 말한 궐음병(厥陰病)은 처음에는 복통ㆍ설사 같은 증상이 없다가 6,7일이 되면 갑작스럽게 궐증(厥證)을 일으키고 손발이 궐랭(厥冷)해진다면 이는 음증(陰 證)의 종류가 아니고 곧 소음인의 태양상풍증(太陽傷風證)에 오한ㆍ발열하며 땀이 저절로 나는 증 이니 정기(正氣)와 사기(邪氣)가 여러 날을 서로 대치함으로써 마땅히 풀릴 것이 풀리지 못하고 변 하여 이와 같은 증이 된 것이다. 이 병증은 태양병궐음증(太陽病厥陰證)이라 말하는 것이 마땅하다. 이와 같은 증에는 당귀사역탕(當歸四逆湯)ㆍ계마각반탕(桂麻各半湯) 등의 약은 필요가 없는 것이고 마땅히 삼유탕(三萸湯)ㆍ인삼오수유탕(人蔘吳茱萸湯)ㆍ독삼팔물탕(獨蔘八物湯)의 처방을 써야 한 다. 그리고 대승기탕(大承氣湯)을 써서는 안 되고 마땅히 파두(巴豆)를 써야 한다.	1.0

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Framework Versions

• Python: 3.11.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}