fanyak/embeddinggemma-300m-aade-346

EmbeddingGemma-300m trained on greek public tax information

This is a sentence-transformers model finetuned from google/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Language: el
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("fanyak/embeddinggemma-300m-aade-346")
# Run inference
queries = [
    "\u03a0\u03bf\u03cd \u03c5\u03c0\u03bf\u03b2\u03ac\u03bb\u03bb\u03b5\u03c4\u03b1\u03b9 \u03b7 \u03b4\u03ae\u03bb\u03c9\u03c3\u03b7 \u03c6\u03cc\u03c1\u03bf\u03c5 \u03ba\u03bb\u03b7\u03c1\u03bf\u03bd\u03bf\u03bc\u03b9\u03ac\u03c2;",
]
documents = [
    'Η δήλωση φόρου κληρονομιάς υποβάλλεται  στη Δ.Ο.Υ., στην χωρική αρμοδιότητα της οποίας \nανήκει η τελευταία διεύθυνση κατοικίας του κληρονομουμένου, όπως αυτή έχει δηλωθεί στο \nΜητρώο του και σε περίπτωση που η ως άνω διεύθυνση κατοικίας βρίσκεται στην χωρική  αρμοδιότητα των  ΚΕ.ΦΟ.Δ.Ε. Αττικής κα ι Θεσσαλονίκης, υποβάλλεται στα ΚΕ.ΦΟ.Κ. Αττικής και \nΘεσσαλονίκης,  αντίστοιχα.   \nΑν ο κληρονομούμενος κατοικούσε στο εξωτερικό, η δήλωση υποβάλλεται στ o KE.ΦΟ.Κ. Αττικής \n(Δ.ΟΡΓ.Α 1065199 ΕΞ 2022/20 -7-2022 Απόφαση - Β΄ 3886, ΑΔΑ: ΨΒΛΕ46ΜΠ3Ζ -Ε6Λ, όπως \nίσχυει ι).',
    'Εάν κατά την είσοδο στις ψηφιακές υπηρεσίες με τους κωδικούς TAXISnet δεν επιτρέπεται η υποβολή αιτήματος λόγω προβλήματος στα στοιχεία Μητρώου, εμφανίζεται ένα ενημερωτικό μήνυμα. Αυτό το μήνυμα ενημερώνει τον φορολογούμενο ότι πρέπει να εξυπηρετηθεί με αυτοπρόσωπη παρουσία από την αρμόδια Υπηρεσία.',
    'Δύο εγκύκλιοι του ΓΓΔΕ ασχολούνται με τη χορήγηση ΑΦΜ σε αλλοδαπούς, καλύπτοντας διαφορετικές κατηγορίες. Η εγκύκλιος ΠΟΛ 1230/08-10-2013 αφορά τη χορήγηση ΑΦΜ σε αλλοδαπούς, υπηκόους τρίτων χωρών, οι οποίοι είναι κάτοχοι δελτίου αιτήσαντος άσυλο αλλοδαπού ή δελτίου αιτούντος διεθνή προστασία. Επίσης, η εγκύκλιος ΠΟΛ 1250/25-11-2013 ρυθμίζει τη χορήγηση ΑΦΜ σε αλλοδαπά φυσικά πρόσωπα, υπηκόους τρίτων χωρών, που αντικειμενικά στερούνται διαβατηρίου.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7931,  0.0623, -0.0191]])

Evaluation

Metrics

Information Retrieval

• Datasets: aade-eval-60q-80d-v2 and miriad-test-60-150
• Evaluated with InformationRetrievalEvaluator

Metric	aade-eval-60q-80d-v2	miriad-test-60-150
cosine_accuracy@1	0.8333	0.8322
cosine_accuracy@3	0.9	0.9463
cosine_accuracy@5	0.9167	0.9732
cosine_accuracy@10	0.95	0.9732
cosine_precision@1	0.8333	0.8322
cosine_precision@3	0.3	0.3154
cosine_precision@5	0.1833	0.1946
cosine_precision@10	0.095	0.0973
cosine_recall@1	0.8333	0.8322
cosine_recall@3	0.9	0.9463
cosine_recall@5	0.9167	0.9732
cosine_recall@10	0.95	0.9732
cosine_ndcg@10	0.8923	0.9128
cosine_mrr@10	0.8736	0.8923
cosine_map@100	0.8765	0.8936

Training Details

Training Dataset

Unnamed Dataset

• Size: 535 training samples
• Columns: Ερώτηση and Απάντηση
• Approximate statistics based on the first 535 samples:

  	Ερώτηση	Απάντηση
  type	string	string
  details	min: 3 tokens mean: 46.07 tokens max: 265 tokens	min: 3 tokens mean: 291.45 tokens max: 2048 tokens

• Samples:

  Ερώτηση	Απάντηση
  Πώς συμβάλλουν η απλούστευση και η ψηφιοποίηση των διαδικασιών στη βελτίωση των υπηρεσιών της ΑΑΔΕ;	Η απλούστευση και ψηφιοποίηση των διαδικασιών συμβάλλει στη βελτίωση του χρόνου εξυπηρέτησης πολιτών και επιχειρήσεων. Παράλληλα, οδηγεί στη μείωση της φυσικής παρουσίας και επικοινωνίας των φορολογουμένων με τις Υπηρεσίες, καθώς και στη μείωση του διοικητικού βάρους που καλούνται να επωμιστούν όλοι οι εμπλεκόμενοι.
  Τα γεωργικά εισοδήματα συμπληρώνονται και στο Ε3;	Από το φορολογικό έτος 2014 και μετά, κατά την υποβολή των δηλώσεων φορολογίας εισοδήματος, για όσους δηλώσουν εισόδημα από αγροτική επιχειρηματική δραστηριότητα, είναι απαραίτητη η συμπλήρωση του εντύπου Ε3 (Πίνακας ΣΤ’), ανεξάρτητα από το αν υπάρχει απαλλαγή ή όχι από την τήρηση βιβλίων των Ε.Λ.Π. και από την ένταξή τους ή όχι στο ειδικό ή στο κανονικό καθεστώς Φ.Π.Α. Το αποτέλεσμα του καθαρού εισοδήματος από άσκηση ατομ ικής αγροτικής δραστηριότητας, όπως αυτό προκύπτει στο έντυπο Ε3, μεταφέρεται στο έντυπο Ε1, στον Πίνακα Γ1 Εισόδημα από Αγροτική Επιχειρηματική Δραστηριότητα. Διευκρινίζεται ότι η ΕΠΙΛΟΓΗ 1 ΣΤΟΝ ΚΩΔ. 009 του εντύπου Ε3, συμπληρώνεται για τις αγροτικές επιχειρήσεις τις υπαγόμενες στο κανονικό καθεστώς Φ.Π.Α. Η ΕΠΙΛΟΓΗ 2 για το ειδικό καθεστώς Φ.Π.Α. (άρθρο 41 του ν. 2859/2000 – Α΄248) και η ΕΠΙΛΟΓΗ 3 για το αφανές καθεστώς αγροτών (χωρίς ΚΑΔ).
  Ποια βήματα ακολουθεί ένα τρίτο εξουσιοδοτημένο πρόσωπο για την υποβολή αίτησης εγγραφής και παραλαβής Κλειδαρίθμου;	Στην περίπτωση υποβολής της αίτησης εγγραφής και παραλαβής Κλειδαρίθμου από τρίτο εξουσιοδοτημένο από το νόμιμο εκπρόσωπο πρόσωπο, το τρίτο πρόσωπο εισέρχεται στην εφαρμογή με τη χρήση των προσωπικών του κωδικών πρόσβασης. Αρχικά, συμπληρώνει τον ΑΦΜ του μη φυσικού προσώπου για το οποίο ενεργεί και ανακτά τα στοιχεία του. Στη συνέχεια, επισυνάπτει τη σχετική εξουσιοδότηση και υποβάλλει την αίτηση.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 8,
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 60 evaluation samples
• Columns: Ερώτηση and Απάντηση
• Approximate statistics based on the first 60 samples:

  	Ερώτηση	Απάντηση
  type	string	string
  details	min: 19 tokens mean: 42.45 tokens max: 110 tokens	min: 20 tokens mean: 298.7 tokens max: 1388 tokens

• Samples:

  Ερώτηση	Απάντηση
  Πότε απαιτείται υπεύθυνη δήλωση από τον φορολογικό εκπρόσωπο;	Υπεύθυνη δήλωση από τον φορολογικό εκπρόσωπο απαιτείται για την αποδοχή του ορισμού του. Αυτό συμβαίνει εφόσον την αίτηση απόδοσης ΑΦΜ και Κλειδαρίθμου δεν την υποβάλλει ο ίδιος ο φορολογικός εκπρόσωπος. Η δήλωση αυτή πρέπει να έχει βεβαιωμένο το γνήσιο της υπογραφής.
  Ποιες αντικειμενικές δαπάνες λαμβάνονται υπόψη για τον προσδιορισμό της συνολικής ετήσιας δαπάνης του φορολογουμένου;	Οι αντικειμενικές δαπάνες που λαμβάνονται υπόψη για τον προσδιορισμό της συνολικής ετήσιας δαπάνης του φορολογουμένου είναι: - Ιδιοκατοικούμενες ή μισθωμένες ή δωρεάν παραχωρούμενες κύριες κατοικίες, καθώς και ιδιοκατοικούμενες ή μισθωμέν ες δευτερεύουσες κατοικίες των βοηθητικών χώρων αυτών καθώς και των ιδιόκτητων ή μισθωμένων αυτοτελών ή δωρεάν παραχωρούμενων βοηθητικών χώρων, - Δαπάνες επιβατικών αυτοκινήτων Ι.Χ., αυτοκινήτων μικτής χρήσης και αυτοκινήτων τύπου JEEP , - Δαπάνη ιδιωτικών σ χολείων στοιχειώδους και μέσης εκπαίδευσης, - Δαπάνη οικιακών βοηθών (πέραν του ενός), οδηγών αυτοκινήτου, δασκάλων κλπ., - Δαπάνες σκαφών αναψυχής ιδιωτικής χρήσης, - Δαπάνες αεροσκαφών, ελικοπτέρων, ανεμόπτερων, - Δαπάνες δεξαμενών κολύμβησης (εσωτερικές και εξωτερικές). Επίσης, στις παραπάνω αντικειμενικές δαπάνες προστίθεται και ένα ποσόν ως ελάχιστη αντικειμενική δαπάνη διαβίωσης, το οποίο ορίζεται στο ποσό των τριών χιλιάδων ευρώ (3.000), προκειμένου για άγαμο, διαζευγμέ...
  Πού ορίζεται η έδρα ενός υπό ίδρυση φυσικού προσώπου και ποιες είναι οι εναλλακτικές επιλογές;	Ως έδρα του υπό ίδρυση φυσικού προσώπου ορίζεται η διεύθυνση της κατοικίας του ιδρυτή. Εναλλακτικά, μπορεί να οριστεί η έδρα της επιχειρηματικής δραστηριότητας του ιδρυτή, είτε πρόκειται για φυσικό ή νομικό πρόσωπο, είτε για νομική οντότητα αντίστοιχα.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 8,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 60
• per_device_eval_batch_size: 60
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• prompts: {'Ερώτηση': 'task: search result | query: ', 'Απάντηση': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 60
• per_device_eval_batch_size: 60
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'Ερώτηση': 'task: search result | query: ', 'Απάντηση': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	aade-eval-60q-80d-v2_cosine_ndcg@10	miriad-test-60-150_cosine_ndcg@10
-1	-1	0.8923	0.9128

Framework Versions

• Python: 3.12.11
• Sentence Transformers: 5.1.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu126
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}