--- tags: - sentence-transformers - cross-encoder - reranker - generated_from_trainer - dataset_size:628 - loss:FitMixinLoss base_model: cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 pipeline_tag: text-ranking library_name: sentence-transformers --- # CrossEncoder based on cross-encoder/mmarco-mMiniLMv2-L12-H384-v1 This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [cross-encoder/mmarco-mMiniLMv2-L12-H384-v1](https://huggingface.co/cross-encoder/mmarco-mMiniLMv2-L12-H384-v1) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search. ## Model Details ### Model Description - **Model Type:** Cross Encoder - **Base model:** [cross-encoder/mmarco-mMiniLMv2-L12-H384-v1](https://huggingface.co/cross-encoder/mmarco-mMiniLMv2-L12-H384-v1) - **Maximum Sequence Length:** 512 tokens - **Number of Output Labels:** 1 label ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder) ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import CrossEncoder # Download from the 🤗 Hub model = CrossEncoder("cross_encoder_model_id") # Get scores for pairs of texts pairs = [ ['9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.', 'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.'], ['Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein.', 'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.'], ['5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.', '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.'], ['1. Die Fondsleitung darf für Rechnung der Teilvermögen keine Kredite gewähren.', 'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.'], ['Zudem müssen die den Derivaten zugrunde liegenden Basiswerte nach diesem Fondsvertrag für das entsprechende Teilvermögen als Anlagen zulässig sein.', 'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.'], ] scores = model.predict(pairs) print(scores.shape) # (5,) # Or rank different texts based on similarity to a single text ranks = model.rank( '9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben.', [ 'Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben.', 'Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen.', '5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein.', 'Verbot von Krediten und Bürgschaften: Zulasten eines Effektenfonds dürfen keine Kredite gewährt und keine Bürgschaften abgeschlossen werden.', 'Deckung mit anderen Anlagen bei Indexderivaten: Deckung mit anderen Anlagen ist zulässig, wenn das Derivat auf einen extern berechneten Index lautet, der repräsentativ und korreliert ist.', ] ) # [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...] ``` ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 628 training samples * Columns: sentence_0, sentence_1, and label * Approximate statistics based on the first 628 samples: | | sentence_0 | sentence_1 | label | |:--------|:--------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------|:--------------------------------------------------------------| | type | string | string | float | | details | | | | * Samples: | sentence_0 | sentence_1 | label | |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------| | 9. Die Fondsleitung darf für das Vermögen eines Teilvermögens höchstens je 10% der stimmrechtslosen Beteiligungspapiere, Schuldverschreibungen und/oder Geldmarktinstrumente desselben Emittenten sowie höchstens 25% der Anteile an anderen kollektiven Kapitalanlagen erwerben. | Beschränkung für stimmrechtslose Schuldverschreibungen: Fondsleitung und SICAV dürfen höchstens 10 Prozent Schuldverschreibungen oder Geldmarktinstrumente desselben Emittenten erwerben. | 1.0 | | Der Emittent der Sicherheiten muss eine hohe Bonität aufweisen und die Sicherheiten dürfen nicht von der Gegenpartei oder von einer dem Konzern der Gegenpartei angehörigen oder davon abhängigen Gesellschaft begeben sein. | Bonitätsanforderung für Gegenparteien und Garanten: Bei OTC-Geschäften muss die Gegenpartei oder deren Garant eine hohe Bonität aufweisen. | 1.0 | | 5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein. | 5. a) Bei engagementreduzierenden Derivaten müssen die eingegangenen Verpflichtungen unter Vorbehalt von Bst. b und d dauernd durch die dem Derivat zu Grunde liegenden Basiswerte gedeckt sein. | 1.0 | * Loss: [FitMixinLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#fitmixinloss) ### Training Hyperparameters #### Non-Default Hyperparameters - `per_device_train_batch_size`: 1 - `per_device_eval_batch_size`: 1 - `num_train_epochs`: 20 #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: no - `prediction_loss_only`: True - `per_device_train_batch_size`: 1 - `per_device_eval_batch_size`: 1 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1 - `num_train_epochs`: 20 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.0 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch_fused - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `hub_revision`: None - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `liger_kernel_config`: None - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: batch_sampler - `multi_dataset_batch_sampler`: proportional - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs | Epoch | Step | Training Loss | |:-------:|:-----:|:-------------:| | 0.7962 | 500 | 2.0688 | | 1.5924 | 1000 | 1.0619 | | 2.3885 | 1500 | 0.3302 | | 3.1847 | 2000 | 0.4093 | | 3.9809 | 2500 | 0.2725 | | 4.7771 | 3000 | 0.1523 | | 5.5732 | 3500 | 0.0737 | | 6.3694 | 4000 | 0.0784 | | 7.1656 | 4500 | 0.1115 | | 7.9618 | 5000 | 0.1435 | | 8.7580 | 5500 | 0.1006 | | 9.5541 | 6000 | 0.0482 | | 10.3503 | 6500 | 0.033 | | 11.1465 | 7000 | 0.0273 | | 11.9427 | 7500 | 0.127 | | 12.7389 | 8000 | 0.2191 | | 13.5350 | 8500 | 0.0331 | | 14.3312 | 9000 | 0.0001 | | 15.1274 | 9500 | 0.0137 | | 15.9236 | 10000 | 0.0136 | | 16.7197 | 10500 | 0.0235 | | 17.5159 | 11000 | 0.0001 | | 18.3121 | 11500 | 0.012 | | 19.1083 | 12000 | 0.0112 | | 19.9045 | 12500 | 0.0113 | ### Framework Versions - Python: 3.12.11 - Sentence Transformers: 5.1.0 - Transformers: 4.55.4 - PyTorch: 2.8.0+cu126 - Accelerate: 1.10.1 - Datasets: 4.0.0 - Tokenizers: 0.21.4 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ```