psardin/qwen_0.6B_max_seq_length_2048

SentenceTransformer based on unsloth/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from unsloth/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: unsloth/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'PeftModelForFeatureExtraction'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("psardin/qwen_0.6B_max_seq_length_2048")
# Run inference
sentences = [
    'Zulasten des Grundstücks GB 100 (Liegenschaft), das im Eigentum von Arthur (A) steht, be steht seit dem 1.1.2019 ein selbständiges und dauerndes Baurecht zugunsten von Beat (B); im Rahmen des Baurechts wurde ein Parkhaus mit 200 Parkplätzen erstellt. Der Baurechtszins, den der Baurechtsnehmer Beat dem Baurechtsgeber Arthur schuldet, ist im Grundbuch eingetragen. Am 1. November 2021 verstirbt Beat. Einziger Erbe ist sein volljähriger Sohn Carl (C). Mit dem Tod von Beat kehrt Unruhe ein: Der jährlich am 1. Januar geschuldete Baurechtszins wird schon im Jahr 2022 nicht mehr geleistet. Arthur lässt sich noch vertrösten, weil Carl ihm erläu tert, er befinde sich gerade in einem finanziellen Engpass; er werde bis Ende 2022 die Zahlung leisten. Als Carl aber auch Ende Januar 2023 weder den Baurechtzins 2022 noch für 2023 ge leistet hat, reisst bei Arthur der Geduldsfaden; er will wissen, ob und gegebenenfalls auf welche Weise er den Baurechtszins erhältlich machen kann. Angesichts der finanziellen Probleme von Carl fürchtet er, dass seine Forderung auf Leistung des Baurechtszinses ungedeckt bleibt. Carl anerkennt den Betrag der offenen Baurechtszinse gegenüber Arthur schriftlich in der Hoffnung, Arthur damit ruhigzustellen und Zeit zu gewinnen. Bevor Arthur seine rechtlichen Möglichkei ten ausschöpft, wird das Baurecht zur Vollstreckung anderweitiger Schulden im Rahmen einer Betreibung auf Pfändung betreibungsrechtlich gepfändet. Carl versucht, seine Gläubiger abzu schütteln, indem er einige Wochen später das selbständige und dauernde Baurecht ohne Ab sprache mit Arthur zu einem geringen Preis auf seinen Freund Dieter (D) zu Eigentum überträgt in der Absicht, damit die Pfändung auszuhebeln. Das Grundbuchamt stellt Arthur korrekt eine Anzeige zu, wonach das selbständige und dauernde Baurecht auf Dieter übertragen worden sei. Arthur ist froh, dass jetzt der finanzkräftige Dieter Eigentümer des Baurechts ist, und kann sich erst jetzt dazu entschliessen, seine Rechte bezüglich des Baurechtszinses vollumfänglich aus zuschöpfen. \nHat Arthur eine Möglichkeit, den ausstehenden Baurechtszins mit einem immobiliarsa chenrechtlichen Instrument erhältlich zu machen? Nennen Sie Rechtsgrundlagen, Vo raussetzungen und Wirkungen des Instruments.',
    '1 Das Pfandrecht kann jederzeit eingetragen werden, solange das Baurecht besteht, und ist von der Löschung im Zwangsverwertungsverfahren ausgenommen.',
    '1 Ist der Schuldner zu einem Tun verpflichtet, so kann sich der Gläubiger, unter Vorbehalt seiner Ansprüche auf Schadenersatz, ermächtigen lassen, die Leistung auf Kosten des Schuldners vorzunehmen.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.5828, 0.4891],
#         [0.5828, 1.0000, 0.3060],
#         [0.4891, 0.3060, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,262 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 552.98 tokens max: 2048 tokens	min: 13 tokens mean: 100.54 tokens max: 2048 tokens

• Samples:

  anchor	positive
  Die A AG betreibt seit den 1970er-Jahren auf der Parzelle Nr. yyy (Wohn- und Gewerbezone) ein Recyclingunternehmen. Das Unternehmen verarbeitet vorwiegend Metallschrott. Dieser wird im Aussenbereich des Betriebsgeländes zwischengelagert und dort von einem fest instal lierten Metallschredder für die Weiterverarbeitung zerkleinert. Im Jahr 2018 wurde der 1983 bewilligte Metallschredder umfassend modernisiert; nur wenige Teile der Gehäusekonstruktion wurden weiterverwendet. Aufgrund der Modernisierung stieg die jährliche Verarbeitungskapazität von 75'000 auf 84'000 Tonnen, und die durchschnittliche Betriebsleistung pro Tag dehnte sich von zehn auf zwölf Stunden aus. Im Herbst 2020 kauft B das Wohnhaus auf der Parzelle Nr. zzz (Wohn- und Gewerbezone), welches an das Grundstück Nr. yyy angrenzt. Nach kurzer Zeit fühlt er sich vom Lärm des Me tallschredders gestört, zumal dieser gelegentlich bis in die späten Abendstunden (23.00 Uhr) in Betrieb ist. Er beschwert sich deshalb bei den zuständi...	1 Bevor eine Behörde über die Planung, Errichtung oder Änderung von Anlagen entscheidet, prüft sie möglichst frühzeitig die Umweltverträglichkeit.
  Die A AG betreibt seit den 1970er-Jahren auf der Parzelle Nr. yyy (Wohn- und Gewerbezone) ein Recyclingunternehmen. Das Unternehmen verarbeitet vorwiegend Metallschrott. Dieser wird im Aussenbereich des Betriebsgeländes zwischengelagert und dort von einem fest instal lierten Metallschredder für die Weiterverarbeitung zerkleinert. Im Jahr 2018 wurde der 1983 bewilligte Metallschredder umfassend modernisiert; nur wenige Teile der Gehäusekonstruktion wurden weiterverwendet. Aufgrund der Modernisierung stieg die jährliche Verarbeitungskapazität von 75'000 auf 84'000 Tonnen, und die durchschnittliche Betriebsleistung pro Tag dehnte sich von zehn auf zwölf Stunden aus. Im Herbst 2020 kauft B das Wohnhaus auf der Parzelle Nr. zzz (Wohn- und Gewerbezone), welches an das Grundstück Nr. yyy angrenzt. Nach kurzer Zeit fühlt er sich vom Lärm des Me tallschredders gestört, zumal dieser gelegentlich bis in die späten Abendstunden (23.00 Uhr) in Betrieb ist. Er beschwert sich deshalb bei den zuständi...	1 Änderungen bestehender Anlagen, die im Anhang aufgeführt sind, unterliegen der Prüfung, wenn:a. die Änderung wesentliche Umbauten, Erweiterungen oder Betriebsänderungen betrifft und b. über die Änderung im Verfahren entschieden wird, das bei neuen Anlagen für die Prüfung massgeblich ist (Art. 5).
  Die Alpha Consulting AG kann nun ihr Grundstück neu direkt an die soeben erstellte Kana lisationsleitung in der angrenzenden neuen Quartierstrasse anschliessen, so dass sie die von der Grunddienstbarkeit erfasste Abwasserleitung (vgl. Sachverhalt Teil 1) ausser Betrieb nimmt und ihr Grundstück jetzt an die Leitung in der Quartierstrasse anschliesst. Georg (G), der Grundbuchverwalter des Grundbuchkreises, in dem die Grundstücke 1 und 2 liegen, wohnt ganz in der Nähe und beobachtet auf seinem täglichen Weg zur Arbeit die Installation der neuen Kanalisationsleitung in der Quartierstrasse. Einige Tage später liest er zudem in der Zeitung, dass sämtliche Liegenschaften, die an die Quartierstrasse grenzen, neu an die in der Quartierstrasse befindliche Kanalisationsleitung angeschlossen worden seien. Daher fasst Georg den Entschluss, zur Entlastung des Grundbuchs die bisher eingetra gene Leitungsdienstbarkeit von Amtes wegen zu löschen, und setzt sein Vorhaben sofort in die Tat um. Sollte di...	2 Ungerechtfertigt ist der Eintrag, der ohne Rechtsgrund oder aus einem unverbindlichen Rechtsgeschäft erfolgt ist.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• gradient_accumulation_steps: 32
• learning_rate: 3e-05
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.03
• fp16: True
• optim: adamw_8bit
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 32
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_8bit
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0784	1	0.9694
0.1569	2	1.1241
0.2353	3	0.926
0.3137	4	0.9543
0.3922	5	0.7925
0.4706	6	1.0496
0.5490	7	0.8944
0.6275	8	0.9071
0.7059	9	0.8504
0.7843	10	0.6609
0.8627	11	0.7098
0.9412	12	0.742
1.0	13	0.8155
1.0784	14	0.6132
1.1569	15	0.7624
1.2353	16	0.6856
1.3137	17	0.6039
1.3922	18	0.7498
1.4706	19	0.6171
1.5490	20	0.7511
1.6275	21	0.5149
1.7059	22	0.6284
1.7843	23	0.5659
1.8627	24	0.5025
1.9412	25	0.6576
2.0	26	0.6405
2.0784	27	0.5653
2.1569	28	0.6385
2.2353	29	0.5644
2.3137	30	0.4759
2.3922	31	0.549
2.4706	32	0.471
2.5490	33	0.5161
2.6275	34	0.4642
2.7059	35	0.5274
2.7843	36	0.57
2.8627	37	0.5029
2.9412	38	0.4751
3.0	39	0.4523

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.3
• Transformers: 4.56.2
• PyTorch: 2.10.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}