--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - dataset_size:140 - loss:MultipleNegativesRankingLoss base_model: intfloat/multilingual-e5-base widget: - source_sentence: 'query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính.' sentences: - 'passage: Thuyết minh Báo cáo tài chính | Phụ lục 01 | Tài sản khác (Dự án BOT) | Khấu hao trong năm: 141.045.069.151 VNĐ | Giá trị hao mòn lũy kế cuối năm: 765.932.156.281 VNĐ.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.5b (*) | Tổng các khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi được 1.352.410.295.861 VNĐ.' - 'passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh V.13 | Công ty CP BOT & BT Đức Long Đắk Nông | Tỷ lệ vốn góp 70,60% | Giá gốc đầu tư: 176.500.000.000 VNĐ | Dự phòng tổn thất: 0 VNĐ.' - source_sentence: 'query: Chi tiết vay ngắn hạn ngân hàng Sacombank Gia Lai.' sentences: - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác | Chi phí khấu hao tài sản cố định không sử dụng: 9.825.369.384 VNĐ | Chi phí tiền chậm nộp: 928.055.072 VNĐ.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Ngân hàng TMCP Sài Gòn Thương Tín - CN Gia Lai | Hợp đồng tín dụng số LD1401400008 | Dư nợ vay dài hạn đến hạn trả: 55.174.137.200 VNĐ | Lãi suất 1%/tháng.' - 'passage: Thuyết minh Báo cáo tài chính | Phụ lục 03 - Thuế và các khoản phải nộp | Thuế nhà đất, thuê đất | Số đầu năm: 3.154.817.276 VNĐ | Số phải nộp trong năm: 1.454.401.503 VNĐ | Đã nộp: (330.770.795) VNĐ | Còn phải nộp cuối năm: 4.278.447.984 VNĐ.' - source_sentence: 'query: Thu nhập tiền lương của Ban Tổng Giám đốc và Ban điều hành.' sentences: - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh IV.4 - Tỷ giá hối đoái | Tỷ giá mua BIDV: 3.061 VND/HKD | Tỷ giá bán BIDV: 3.150 VND/HKD | Tỷ giá bình quân quy đổi: 3.048 VND/HKD.' - 'passage: Thuyết minh Báo cáo tài chính riêng | Thuyết minh VII.6 | Ban Tổng Giám đốc lập kế hoạch đàm phán cơ cấu lại nợ gốc vay, định giá tài sản đảm bảo, có lộ trình chuyển nhượng tài sản không sinh lời, thoái vốn các lĩnh vực kém hiệu quả.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VIII.3a - Thu nhập quản lý chủ chốt | Ông Nguyễn Tường Cọt (Tổng Giám đốc): 181.153.846 VNĐ | Ông Phạm Minh Việt (Phó TGĐ): 425.000.000 VNĐ | Ông Trần Văn Phương (Phó TGĐ): 380.000.000 VNĐ | Tổng cộng: 1.491.925.212 VNĐ.' - source_sentence: 'query: Thuế thu nhập doanh nghiệp phải nộp và được miễn giảm trong năm.' sentences: - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.19 - Thuế TNDN | Thuế TNDN phải nộp ước tính trong năm: 19.415.774.470 VNĐ | Thuế TNDN được miễn giảm: (9.405.543.734) VNĐ | Tổng thuế TNDN phải nộp: 10.028.178.521 VNĐ.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.3 - Phải thu ngắn hạn của khách hàng | Ông Lý Trần Tiến: 391.021.500.000 VNĐ | Ông Nguyễn Tuấn Vũ: 129.695.100.000 VNĐ | Công ty CP Dịch vụ Công cộng Đức Long Bảo Lộc: 18.186.045.256 VNĐ.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh VI.9 - Chi phí khác | Chi phí tiền chậm nộp: 928.055.072 VNĐ | Chi phí khấu hao TSCĐ không sử dụng: 9.825.369.384 VNĐ.' - source_sentence: 'query: Vay ngắn hạn từ các công ty liên quan.' sentences: - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.' - 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.' - 'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021 VNĐ.' pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - cosine_accuracy@1 - cosine_accuracy@5 - cosine_accuracy@10 - cosine_precision@1 - cosine_precision@3 - cosine_precision@5 - cosine_precision@10 - cosine_recall@1 - cosine_recall@3 - cosine_recall@5 - cosine_recall@10 - cosine_ndcg@5 - cosine_ndcg@10 - cosine_mrr@1 - cosine_mrr@5 - cosine_mrr@10 - cosine_map@100 model-index: - name: SentenceTransformer based on intfloat/multilingual-e5-base results: - task: type: information-retrieval name: Information Retrieval dataset: name: Test Set type: Test_Set metrics: - type: cosine_accuracy@1 value: 0.8666666666666667 name: Cosine Accuracy@1 - type: cosine_accuracy@5 value: 1.0 name: Cosine Accuracy@5 - type: cosine_accuracy@10 value: 1.0 name: Cosine Accuracy@10 - type: cosine_precision@1 value: 0.8666666666666667 name: Cosine Precision@1 - type: cosine_precision@3 value: 0.3333333333333334 name: Cosine Precision@3 - type: cosine_precision@5 value: 0.20000000000000007 name: Cosine Precision@5 - type: cosine_precision@10 value: 0.10000000000000003 name: Cosine Precision@10 - type: cosine_recall@1 value: 0.8666666666666667 name: Cosine Recall@1 - type: cosine_recall@3 value: 1.0 name: Cosine Recall@3 - type: cosine_recall@5 value: 1.0 name: Cosine Recall@5 - type: cosine_recall@10 value: 1.0 name: Cosine Recall@10 - type: cosine_ndcg@5 value: 0.9464263086904791 name: Cosine Ndcg@5 - type: cosine_ndcg@10 value: 0.9464263086904791 name: Cosine Ndcg@10 - type: cosine_mrr@1 value: 0.8666666666666667 name: Cosine Mrr@1 - type: cosine_mrr@5 value: 0.9277777777777777 name: Cosine Mrr@5 - type: cosine_mrr@10 value: 0.9277777777777777 name: Cosine Mrr@10 - type: cosine_map@100 value: 0.9277777777777777 name: Cosine Map@100 - task: type: information-retrieval name: Information Retrieval dataset: name: Val Set type: Val_Set metrics: - type: cosine_accuracy@1 value: 0.9333333333333333 name: Cosine Accuracy@1 - type: cosine_accuracy@5 value: 1.0 name: Cosine Accuracy@5 - type: cosine_accuracy@10 value: 1.0 name: Cosine Accuracy@10 - type: cosine_precision@1 value: 0.9333333333333333 name: Cosine Precision@1 - type: cosine_precision@3 value: 0.3333333333333334 name: Cosine Precision@3 - type: cosine_precision@5 value: 0.20000000000000007 name: Cosine Precision@5 - type: cosine_precision@10 value: 0.10000000000000003 name: Cosine Precision@10 - type: cosine_recall@1 value: 0.9333333333333333 name: Cosine Recall@1 - type: cosine_recall@3 value: 1.0 name: Cosine Recall@3 - type: cosine_recall@5 value: 1.0 name: Cosine Recall@5 - type: cosine_recall@10 value: 1.0 name: Cosine Recall@10 - type: cosine_ndcg@5 value: 0.9753953169047639 name: Cosine Ndcg@5 - type: cosine_ndcg@10 value: 0.9753953169047639 name: Cosine Ndcg@10 - type: cosine_mrr@1 value: 0.9333333333333333 name: Cosine Mrr@1 - type: cosine_mrr@5 value: 0.9666666666666667 name: Cosine Mrr@5 - type: cosine_mrr@10 value: 0.9666666666666667 name: Cosine Mrr@10 - type: cosine_map@100 value: 0.9666666666666667 name: Cosine Map@100 --- # SentenceTransformer based on intfloat/multilingual-e5-base This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 768 dimensions - **Similarity Function:** Cosine Similarity - **Supported Modality:** Text ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'}) (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True}) (2): Normalize({}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("Adzpro/embedding_e5") # Run inference queries = [ 'query: Vay ngắn hạn từ các công ty liên quan.', ] documents = [ 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.22.1 - Vay ngắn hạn các bên liên quan | Công ty CP Đầu tư Xây dựng Đức Long Gia Lai: 25.390.034.377 VNĐ | Hợp đồng vay số 09/2023/HĐ ngày 15/12/2023, thời hạn 60 ngày, lãi suất 9,5%/năm, tín chấp.', 'passage: Báo cáo kết quả hoạt động kinh doanh | Mã số 11 | 4. Giá vốn hàng bán | Thuyết minh VI.2 | Năm nay: 899.483.792.852 VNĐ | Năm trước: 1.020.596.883.021 VNĐ.', 'passage: Thuyết minh Báo cáo tài chính | Thuyết minh V.23.1 | Tài sản thế chấp: Đảm bảo bằng toàn bộ tài sản, quyền tài sản, quyền thu phí hình thành của Dự án BOT Quốc lộ 14 (trạm thu phí, xe ô tô) và số dư tiền gửi tại ngân hàng BIDV.', ] query_embeddings = model.encode_query(queries) document_embeddings = model.encode_document(documents) print(query_embeddings.shape, document_embeddings.shape) # [1, 768] [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(query_embeddings, document_embeddings) print(similarities) # tensor([[ 0.7452, -0.0219, 0.0791]]) ``` ## Evaluation ### Metrics #### Information Retrieval * Datasets: `Test_Set` and `Val_Set` * Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.sentence_transformer.evaluation.InformationRetrievalEvaluator) | Metric | Test_Set | Val_Set | |:--------------------|:-----------|:-----------| | cosine_accuracy@1 | 0.8667 | 0.9333 | | cosine_accuracy@5 | 1.0 | 1.0 | | cosine_accuracy@10 | 1.0 | 1.0 | | cosine_precision@1 | 0.8667 | 0.9333 | | cosine_precision@3 | 0.3333 | 0.3333 | | cosine_precision@5 | 0.2 | 0.2 | | cosine_precision@10 | 0.1 | 0.1 | | cosine_recall@1 | 0.8667 | 0.9333 | | cosine_recall@3 | 1.0 | 1.0 | | cosine_recall@5 | 1.0 | 1.0 | | cosine_recall@10 | 1.0 | 1.0 | | cosine_ndcg@5 | 0.9464 | 0.9754 | | **cosine_ndcg@10** | **0.9464** | **0.9754** | | cosine_mrr@1 | 0.8667 | 0.9333 | | cosine_mrr@5 | 0.9278 | 0.9667 | | cosine_mrr@10 | 0.9278 | 0.9667 | | cosine_map@100 | 0.9278 | 0.9667 | ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 140 training samples * Columns: sentence_0 and sentence_1 * Approximate statistics based on the first 100 samples: | | sentence_0 | sentence_1 | |:---------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------| | type | string | string | | modality | text | text | | details | | | * Samples: | sentence_0 | sentence_1 | |:------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | query: Tài sản đảm bảo cho đợt phát hành trái phiếu Công ty. | passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.23.2 \| Trái phiếu bảo lãnh bởi Công ty CP Trồng rừng ĐLGL, Công ty TNHH Đức Long Dung Quất, Công ty CP Tập đoàn Alpha Seven và tài sản cá nhân Ông Bùi Pháp. | | query: Phải thu ngắn hạn khác về lãi cho vay. | passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.6a - Phải thu ngắn hạn khác \| Phải thu về lãi cho vay đối với các tổ chức và cá nhân khác: 631.888.363.243 VNĐ \| Dự phòng phải thu lãi cho vay khó đòi: (557.632.111.992) VNĐ. | | query: Tình hình thu hồi nợ vay sau ngày kết thúc năm tài chính. | passage: Thuyết minh Báo cáo tài chính \| Thuyết minh V.5b (*) \| Tổng các khoản cho vay là 2.261.257.969.704 VNĐ. Tính đến ngày 30/03/2024, công ty đã thu hồi được 1.352.410.295.861 VNĐ. | * Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: ```json { "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `num_train_epochs`: 5 - `multi_dataset_batch_sampler`: round_robin #### All Hyperparameters
Click to expand - `per_device_train_batch_size`: 8 - `num_train_epochs`: 5 - `max_steps`: -1 - `learning_rate`: 5e-05 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: None - `warmup_steps`: 0 - `optim`: adamw_torch_fused - `optim_args`: None - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `optim_target_modules`: None - `gradient_accumulation_steps`: 1 - `average_tokens_across_devices`: True - `max_grad_norm`: 1 - `label_smoothing_factor`: 0.0 - `bf16`: False - `fp16`: False - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `use_liger_kernel`: False - `liger_kernel_config`: None - `use_cache`: False - `neftune_noise_alpha`: None - `torch_empty_cache_steps`: None - `auto_find_batch_size`: False - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `include_num_input_tokens_seen`: no - `log_level`: passive - `log_level_replica`: warning - `disable_tqdm`: False - `project`: huggingface - `trackio_space_id`: None - `trackio_bucket_id`: None - `trackio_static_space_id`: None - `per_device_eval_batch_size`: 8 - `prediction_loss_only`: True - `eval_on_start`: False - `eval_do_concat_batches`: True - `eval_use_gather_object`: False - `eval_accumulation_steps`: None - `include_for_metrics`: [] - `batch_eval_metrics`: False - `save_only_model`: False - `save_on_each_node`: False - `enable_jit_checkpoint`: False - `push_to_hub`: False - `hub_private_repo`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_always_push`: False - `hub_revision`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `restore_callback_states_from_checkpoint`: False - `full_determinism`: False - `seed`: 42 - `data_seed`: None - `use_cpu`: False - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `parallelism_config`: None - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `dataloader_prefetch_factor`: None - `remove_unused_columns`: True - `label_names`: None - `train_sampling_strategy`: random - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `ddp_static_graph`: None - `ddp_backend`: None - `ddp_timeout`: 1800 - `fsdp`: None - `fsdp_config`: None - `deepspeed`: None - `debug`: [] - `skip_memory_metrics`: True - `do_predict`: False - `resume_from_checkpoint`: None - `warmup_ratio`: None - `local_rank`: -1 - `prompts`: None - `batch_sampler`: batch_sampler - `multi_dataset_batch_sampler`: round_robin - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs | Epoch | Step | Test_Set_cosine_ndcg@10 | Val_Set_cosine_ndcg@10 | |:------:|:----:|:-----------------------:|:----------------------:| | -1 | -1 | 0.9464 | - | | 0.5556 | 10 | - | 0.9385 | | 1.0 | 18 | - | 0.9341 | | 1.1111 | 20 | - | 0.9464 | | 1.6667 | 30 | - | 0.9631 | | 2.0 | 36 | - | 0.9631 | | 2.2222 | 40 | - | 0.9631 | | 2.7778 | 50 | - | 0.9631 | | 3.0 | 54 | - | 0.9631 | | 3.3333 | 60 | - | 0.9631 | | 3.8889 | 70 | - | 0.9754 | ### Training Time - **Training**: 1.8 minutes ### Framework Versions - Python: 3.12.13 - Sentence Transformers: 5.6.0 - Transformers: 5.13.1 - PyTorch: 2.11.0+cu128 - Accelerate: 1.14.0 - Datasets: 4.0.0 - Tokenizers: 0.22.2 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### MultipleNegativesRankingLoss ```bibtex @misc{oord2019representationlearningcontrastivepredictive, title={Representation Learning with Contrastive Predictive Coding}, author={Aaron van den Oord and Yazhe Li and Oriol Vinyals}, year={2019}, eprint={1807.03748}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/1807.03748}, } ```