embedding_e5 / README.md

Adzpro

Add new SentenceTransformer model

39425fd verified 5 days ago

preview code

Raw

History Blame Contribute Delete

22.7 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:140
  - loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-base
widget:
  - source_sentence: 'query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.'
    sentences:
      - >-
        passage: Thuyết minh Báo cáo tài chính | Phụ lục 01 | Tài sản khác (Dự
        án BOT) | Khấu hao trong năm: 141.045.069.151 VNĐ | Giá trị hao mòn lũy
        kế cuối năm: 765.932.156.281 VNĐ.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.5b (*) | Tổng các
        khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công
        ty đã thu hồi được 1.352.410.295.861 VNĐ.
      - >-
        passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh V.13 | Công
        ty CP BOT & BT Đức Long Đắk Nông | Tỷ lệ vốn góp 70,60% | Giá gốc đầu
        tư: 176.500.000.000 VNĐ | Dự phòng tổn thất: 0 VNĐ.
  - source_sentence: 'query: Chi tiết vay ngắn hạn ngân hàng Sacombank Gia Lai.'
    sentences:
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác
        | Chi phí khấu hao tài sản cố định không sử dụng: 9.825.369.384 VNĐ |
        Chi phí tiền chậm nộp: 928.055.072 VNĐ.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Ngân hàng
        TMCP Sài Gòn Thương Tín - CN Gia Lai | Hợp đồng tín dụng số LD1401400008
        | Dư nợ vay dài hạn đến hạn trả: 55.174.137.200 VNĐ | Lãi suất 1%/tháng.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Phụ lục 03 - Thuế và các khoản
        phải nộp | Thuế nhà đất, thuê đất | Số đầu năm: 3.154.817.276 VNĐ | Số
        phải nộp trong năm: 1.454.401.503 VNĐ | Đã nộp: (330.770.795) VNĐ | Còn
        phải nộp cuối năm: 4.278.447.984 VNĐ.
  - source_sentence: 'query: Thu nhập tiền lương của Ban Tổng Giám đốc và Ban điều hành.'
    sentences:
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh IV.4 - Tỷ giá hối
        đoái | Tỷ giá mua BIDV: 3.061 VND/HKD | Tỷ giá bán BIDV: 3.150 VND/HKD |
        Tỷ giá bình quân quy đổi: 3.048 VND/HKD.
      - >-
        passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh VII.6 | Ban
        Tổng Giám đốc lập kế hoạch đàm phán cơ cấu lại nợ gốc vay, định giá tài
        sản đảm bảo, có lộ trình chuyển nhượng tài sản không sinh lời, thoái vốn
        các lĩnh vực kém hiệu quả.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh VIII.3a - Thu nhập
        quản lý chủ chốt | Ông Nguyễn Tường Cọt (Tổng Giám đốc): 181.153.846 VNĐ
        | Ông Phạm Minh Việt (Phó TGĐ): 425.000.000 VNĐ | Ông Trần Văn Phương
        (Phó TGĐ): 380.000.000 VNĐ | Tổng cộng: 1.491.925.212 VNĐ.
  - source_sentence: 'query: Thuế thu nhập doanh nghiệp phải nộp và được miễn giảm trong năm.'
    sentences:
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.19 - Thuế TNDN |
        Thuế TNDN phải nộp ước tính trong năm: 19.415.774.470 VNĐ | Thuế TNDN
        được miễn giảm: (9.405.543.734) VNĐ | Tổng thuế TNDN phải nộp:
        10.028.178.521 VNĐ.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.3 - Phải thu ngắn
        hạn của khách hàng | Ông Lý Trần Tiến: 391.021.500.000 VNĐ | Ông Nguyễn
        Tuấn Vũ: 129.695.100.000 VNĐ | Công ty CP Dịch vụ Công cộng Đức Long Bảo
        Lộc: 18.186.045.256 VNĐ.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác
        | Chi phí tiền chậm nộp: 928.055.072 VNĐ | Chi phí khấu hao TSCĐ không
        sử dụng: 9.825.369.384 VNĐ.
  - source_sentence: 'query: Vay ngắn hạn từ các công ty liên quan.'
    sentences:
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản
        thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí
        hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư
        tiền gửi tại ngân hàng BIDV.
      - >-
        passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn
        hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai:
        25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời
        hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.
      - >-
        passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn
        hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước:
        1.020.596.883.021 VNĐ.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@5
  - cosine_ndcg@10
  - cosine_mrr@1
  - cosine_mrr@5
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on intfloat/multilingual-e5-base
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: Test Set
          type: Test_Set
        metrics:
          - type: cosine_accuracy@1
            value: 0.8666666666666667
            name: Cosine Accuracy@1
          - type: cosine_accuracy@5
            value: 1
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 1
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.8666666666666667
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.3333333333333334
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.20000000000000007
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.10000000000000003
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.8666666666666667
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 1
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 1
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 1
            name: Cosine Recall@10
          - type: cosine_ndcg@5
            value: 0.9464263086904791
            name: Cosine Ndcg@5
          - type: cosine_ndcg@10
            value: 0.9464263086904791
            name: Cosine Ndcg@10
          - type: cosine_mrr@1
            value: 0.8666666666666667
            name: Cosine Mrr@1
          - type: cosine_mrr@5
            value: 0.9277777777777777
            name: Cosine Mrr@5
          - type: cosine_mrr@10
            value: 0.9277777777777777
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.9277777777777777
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: Val Set
          type: Val_Set
        metrics:
          - type: cosine_accuracy@1
            value: 0.9333333333333333
            name: Cosine Accuracy@1
          - type: cosine_accuracy@5
            value: 1
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 1
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.9333333333333333
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.3333333333333334
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.20000000000000007
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.10000000000000003
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.9333333333333333
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 1
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 1
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 1
            name: Cosine Recall@10
          - type: cosine_ndcg@5
            value: 0.9753953169047639
            name: Cosine Ndcg@5
          - type: cosine_ndcg@10
            value: 0.9753953169047639
            name: Cosine Ndcg@10
          - type: cosine_mrr@1
            value: 0.9333333333333333
            name: Cosine Mrr@1
          - type: cosine_mrr@5
            value: 0.9666666666666667
            name: Cosine Mrr@5
          - type: cosine_mrr@10
            value: 0.9666666666666667
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.9666666666666667
            name: Cosine Map@100

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Adzpro/embedding_e5")
# Run inference
queries = [
    'query: Vay ngắn hạn từ các công ty liên quan.',
]
documents = [
    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.',
    'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021 VNĐ.',
    'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7452, -0.0219,  0.0791]])

Evaluation

Metrics

Information Retrieval

Datasets: Test_Set and Val_Set
Evaluated with InformationRetrievalEvaluator

Metric	Test_Set	Val_Set
cosine_accuracy@1	0.8667	0.9333
cosine_accuracy@5	1.0	1.0
cosine_accuracy@10	1.0	1.0
cosine_precision@1	0.8667	0.9333
cosine_precision@3	0.3333	0.3333
cosine_precision@5	0.2	0.2
cosine_precision@10	0.1	0.1
cosine_recall@1	0.8667	0.9333
cosine_recall@3	1.0	1.0
cosine_recall@5	1.0	1.0
cosine_recall@10	1.0	1.0
cosine_ndcg@5	0.9464	0.9754
cosine_ndcg@10	0.9464	0.9754
cosine_mrr@1	0.8667	0.9333
cosine_mrr@5	0.9278	0.9667
cosine_mrr@10	0.9278	0.9667
cosine_map@100	0.9278	0.9667

Training Details

Training Dataset

Unnamed Dataset

Size: 140 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 100 samples:
sentence_0 sentence_1
type string string

modality text text
details
min: 13 tokens
mean: 18.69 tokens
max: 25 tokens

min: 49 tokens
mean: 73.96 tokens
max: 116 tokens

	sentence_0	sentence_1
type	string	string
modality	text	text
details	min: 13 tokens mean: 18.69 tokens max: 25 tokens	min: 49 tokens mean: 73.96 tokens max: 116 tokens

Samples:

sentence_0	sentence_1
`query: Tài sản đảm bảo cho đợt phát hành trái phiếu Công ty.`	`passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.23.2 \| Trái phiếu bảo lãnh bởi Công ty CP Trồng rừng ĐLGL, Công ty TNHH Đức Long Dung Quất, Công ty CP Tập đoàn Alpha Seven và tài sản cá nhân Ông Bùi Pháp.`
`query: Phải thu ngắn hạn khác về lãi cho vay.`	`passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.6a - Phải thu ngắn hạn khác \| Phải thu về lãi cho vay đối với các tổ chức và cá nhân khác: 631.888.363.243 VNĐ \| Dự phòng phải thu lãi cho vay khó đòi: (557.632.111.992) VNĐ.`
`query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.`	`passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.5b (*) \| Tổng các khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi được 1.352.410.295.861 VNĐ.`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

num_train_epochs: 5
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

per_device_train_batch_size: 8
num_train_epochs: 5
max_steps: -1
learning_rate: 5e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1
label_smoothing_factor: 0.0
bf16: False
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 8
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: False
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: None
fsdp_config: None
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Test_Set_cosine_ndcg@10	Val_Set_cosine_ndcg@10
-1	-1	0.9464	-
0.5556	10	-	0.9385
1.0	18	-	0.9341
1.1111	20	-	0.9464
1.6667	30	-	0.9631
2.0	36	-	0.9631
2.2222	40	-	0.9631
2.7778	50	-	0.9631
3.0	54	-	0.9631
3.3333	60	-	0.9631
3.8889	70	-	0.9754

Training Time

Training: 1.8 minutes

Framework Versions

Python: 3.12.13
Sentence Transformers: 5.6.0
Transformers: 5.13.1
PyTorch: 2.11.0+cu128
Accelerate: 1.14.0
Datasets: 4.0.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}