hocool commited on
Commit
33da2cc
·
verified ·
1 Parent(s): 5846114

Add new SentenceTransformer model

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
2_Dense/config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "in_features": 768,
3
+ "out_features": 3072,
4
+ "bias": false,
5
+ "activation_function": "torch.nn.modules.linear.Identity"
6
+ }
2_Dense/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2a8fe8ba4a30c6d04d03b00a794cb64da023d01d698d4650d5b448a6dd9beb42
3
+ size 9437272
3_Dense/config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "in_features": 3072,
3
+ "out_features": 768,
4
+ "bias": false,
5
+ "activation_function": "torch.nn.modules.linear.Identity"
6
+ }
3_Dense/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:302189b21c1a37a36f840f08ceea7d7cb47e5d802f2c9a1d9d577312af83225d
3
+ size 9437272
README.md ADDED
@@ -0,0 +1,409 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - dense
7
+ - generated_from_trainer
8
+ - dataset_size:150
9
+ - loss:MultipleNegativesRankingLoss
10
+ base_model: google/embeddinggemma-300m
11
+ widget:
12
+ - source_sentence: Які критерії кваліфікації повідомлення як спаму за статтею 2 Закону
13
+ Про електронні комунікації?
14
+ sentences:
15
+ - Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Обробка
16
+ персональних даних – будь-яка дія або сукупність дій, таких як збирання, реєстрація,
17
+ накопичення, зберігання, адаптування, зміна, використання і поширення.
18
+ - Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Спам
19
+ – електронні, текстові та/або мультимедійні повідомлення, що без попередньої згоди
20
+ (замовлення) користувачів неодноразово (більше п'яти повідомлень одному абоненту)
21
+ надсилаються на їхні адреси.
22
+ - Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Спам
23
+ – електронні, текстові та/або мультимедійні повідомлення, що без попередньої згоди
24
+ (замовлення) користувачів неодноразово (більше двох повідомлень одному абоненту)
25
+ надсилаються на їхні адреси.
26
+ - source_sentence: Хто може бути володільцем моїх персональних даних?
27
+ sentences:
28
+ - Закон України Про електронні комунікації. Стаття 6. Повноваження центрального
29
+ органу виконавчої влади. Визначення та оновлення показників для універсальної
30
+ послуги широкосмугового доступу до мережі Інтернет та параметрів якості таких
31
+ послуг.
32
+ - Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Володілець
33
+ персональних даних – фізична або юридична особа, яка визначає мету обробки персональних
34
+ даних, встановлює склад цих даних та процедури їх обробки.
35
+ - Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Володілець
36
+ персональних даних – фізична або юридична особа, яка визначає мету обробки персональних
37
+ даних, але не встановлює склад цих даних та процедури їх обробки.
38
+ - source_sentence: Які вимоги до згоди суб'єкта персональних даних за законом України?
39
+ sentences:
40
+ - Згода суб'єкта персональних даних – добровільне волевиявлення фізичної особи щодо
41
+ надання дозволу на обробку її персональних даних без урахування сформульованої
42
+ мети їх обробки.
43
+ - Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Згода
44
+ суб'єкта персональних даних – добровільне волевиявлення фізичної особи щодо надання
45
+ дозволу на обробку її персональних даних відповідно до сформульованої мети їх
46
+ обробки.
47
+ - Закон України Про електронні довірчі послуги. Стаття 11. Суб'єкти відносин. Суб'єктами
48
+ відносин у сфері електронних довірчих послуг є користувачі, надавачі послуг, держателі
49
+ реєстрів, органи оцінки відповідності та засвідчувальний центр.
50
+ - source_sentence: Які повноваження має центральний орган виконавчої влади згідно
51
+ зі статтею 6 Закону про електронні комунікаці��?
52
+ sentences:
53
+ - Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Безпека
54
+ мереж і послуг – здатність електронних комунікаційних мереж і послуг протистояти
55
+ діям, що становлять загрозу доступності, цілісності чи конфіденційності таких
56
+ мереж і даних.
57
+ - Закон України Про електронні комунікації. Стаття 6. Повноваження центрального
58
+ органу виконавчої влади. Центральний орган зобов'язаний безоплатно надавати документи
59
+ та інформацію органам влади, регуляторному органу та постачальникам послуг.
60
+ - Закон України Про електронні комунікації. Стаття 6. Повноваження центрального
61
+ органу виконавчої влади. Центральний орган має право безоплатно отримувати документи
62
+ та інформацію від органів влади, регуляторного органу та постачальників послуг.
63
+ - source_sentence: Що потрібно для будівництва інфраструктури електронних комунікацій?
64
+ sentences:
65
+ - Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Розгортання
66
+ електронних комунікаційних мереж – будівництво інфраструктури, встановлення технічних
67
+ засобів на земельних ділянках або елементах інфраструктури об'єктів доступу.
68
+ - Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Знеособлення
69
+ персональних даних – вилучення відомостей, які дають змогу прямо чи опосередковано
70
+ ідентифікувати особу.
71
+ - Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Розгортання
72
+ електронних комунікаційних мереж – встановлення технічних засобів та будівництво
73
+ інфраструктури на водних об'єктах або елементах інфраструктури об'єктів доступу.
74
+ pipeline_tag: sentence-similarity
75
+ library_name: sentence-transformers
76
+ ---
77
+
78
+ # SentenceTransformer based on google/embeddinggemma-300m
79
+
80
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
81
+
82
+ ## Model Details
83
+
84
+ ### Model Description
85
+ - **Model Type:** Sentence Transformer
86
+ - **Base model:** [google/embeddinggemma-300m](https://huggingface.co/google/embeddinggemma-300m) <!-- at revision 57c266a740f537b4dc058e1b0cda161fd15afa75 -->
87
+ - **Maximum Sequence Length:** 2048 tokens
88
+ - **Output Dimensionality:** 768 dimensions
89
+ - **Similarity Function:** Cosine Similarity
90
+ <!-- - **Training Dataset:** Unknown -->
91
+ <!-- - **Language:** Unknown -->
92
+ <!-- - **License:** Unknown -->
93
+
94
+ ### Model Sources
95
+
96
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
97
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
98
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
99
+
100
+ ### Full Model Architecture
101
+
102
+ ```
103
+ SentenceTransformer(
104
+ (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
105
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
106
+ (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
107
+ (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
108
+ (4): Normalize()
109
+ )
110
+ ```
111
+
112
+ ## Usage
113
+
114
+ ### Direct Usage (Sentence Transformers)
115
+
116
+ First install the Sentence Transformers library:
117
+
118
+ ```bash
119
+ pip install -U sentence-transformers
120
+ ```
121
+
122
+ Then you can load this model and run inference.
123
+ ```python
124
+ from sentence_transformers import SentenceTransformer
125
+
126
+ # Download from the 🤗 Hub
127
+ model = SentenceTransformer("hocool/my-embedding-gemma-test")
128
+ # Run inference
129
+ queries = [
130
+ "\u0429\u043e \u043f\u043e\u0442\u0440\u0456\u0431\u043d\u043e \u0434\u043b\u044f \u0431\u0443\u0434\u0456\u0432\u043d\u0438\u0446\u0442\u0432\u0430 \u0456\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438 \u0435\u043b\u0435\u043a\u0442\u0440\u043e\u043d\u043d\u0438\u0445 \u043a\u043e\u043c\u0443\u043d\u0456\u043a\u0430\u0446\u0456\u0439?",
131
+ ]
132
+ documents = [
133
+ "Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Розгортання електронних комунікаційних мереж – будівництво інфраструктури, встановлення технічних засобів на земельних ділянках або елементах інфраструктури об'єктів доступу.",
134
+ "Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Розгортання електронних комунікаційних мереж – встановлення технічних засобів та будівництво інфраструктури на водних об'єктах або елементах інфраструктури об'єктів доступу.",
135
+ 'Закон України Про захист персональних даних. Стаття 2. Визначення термінів. Знеособлення персональних даних – вилучення відомостей, які дають змогу прямо чи опосередковано ідентифікувати особу.',
136
+ ]
137
+ query_embeddings = model.encode_query(queries)
138
+ document_embeddings = model.encode_document(documents)
139
+ print(query_embeddings.shape, document_embeddings.shape)
140
+ # [1, 768] [3, 768]
141
+
142
+ # Get the similarity scores for the embeddings
143
+ similarities = model.similarity(query_embeddings, document_embeddings)
144
+ print(similarities)
145
+ # tensor([[0.7750, 0.0678, 0.4799]])
146
+ ```
147
+
148
+ <!--
149
+ ### Direct Usage (Transformers)
150
+
151
+ <details><summary>Click to see the direct usage in Transformers</summary>
152
+
153
+ </details>
154
+ -->
155
+
156
+ <!--
157
+ ### Downstream Usage (Sentence Transformers)
158
+
159
+ You can finetune this model on your own dataset.
160
+
161
+ <details><summary>Click to expand</summary>
162
+
163
+ </details>
164
+ -->
165
+
166
+ <!--
167
+ ### Out-of-Scope Use
168
+
169
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
170
+ -->
171
+
172
+ <!--
173
+ ## Bias, Risks and Limitations
174
+
175
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
176
+ -->
177
+
178
+ <!--
179
+ ### Recommendations
180
+
181
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
182
+ -->
183
+
184
+ ## Training Details
185
+
186
+ ### Training Dataset
187
+
188
+ #### Unnamed Dataset
189
+
190
+ * Size: 150 training samples
191
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
192
+ * Approximate statistics based on the first 150 samples:
193
+ | | anchor | positive | negative |
194
+ |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
195
+ | type | string | string | string |
196
+ | details | <ul><li>min: 10 tokens</li><li>mean: 23.13 tokens</li><li>max: 53 tokens</li></ul> | <ul><li>min: 48 tokens</li><li>mean: 67.67 tokens</li><li>max: 96 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 66.7 tokens</li><li>max: 99 tokens</li></ul> |
197
+ * Samples:
198
+ | anchor | positive | negative |
199
+ |:------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
200
+ | <code>Які послуги вважаються електронними комунікаційними згідно із законом?</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, крім послуг з редакційним контролем змісту інформації.</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, включаючи послуги з редакційним контролем змісту інформації.</code> |
201
+ | <code>Чи потрібен ліцензія для надання електронних комунікаційних послуг?</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, крім послуг з редакційним контролем змісту інформації.</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, включаючи послуги з редакційним контролем змісту інформації.</code> |
202
+ | <code>Що таке електронна комунікаційна послуга простими словами?</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, крім послуг з редакційним контролем змісту інформації.</code> | <code>Закон України Про електронні комунікації. Стаття 2. Визначення термінів. Електронна комунікаційна послуга – послуга, що полягає в прийманні та/або передачі інформації через електронні комунікаційні мережі, включаючи послуги з редакційним контролем змісту інформації.</code> |
203
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
204
+ ```json
205
+ {
206
+ "scale": 20.0,
207
+ "similarity_fct": "cos_sim",
208
+ "gather_across_devices": false
209
+ }
210
+ ```
211
+
212
+ ### Training Hyperparameters
213
+ #### Non-Default Hyperparameters
214
+
215
+ - `per_device_train_batch_size`: 1
216
+ - `learning_rate`: 2e-05
217
+ - `num_train_epochs`: 5
218
+ - `warmup_ratio`: 0.1
219
+ - `prompts`: task: sentence similarity | query:
220
+
221
+ #### All Hyperparameters
222
+ <details><summary>Click to expand</summary>
223
+
224
+ - `overwrite_output_dir`: False
225
+ - `do_predict`: False
226
+ - `eval_strategy`: no
227
+ - `prediction_loss_only`: True
228
+ - `per_device_train_batch_size`: 1
229
+ - `per_device_eval_batch_size`: 8
230
+ - `per_gpu_train_batch_size`: None
231
+ - `per_gpu_eval_batch_size`: None
232
+ - `gradient_accumulation_steps`: 1
233
+ - `eval_accumulation_steps`: None
234
+ - `torch_empty_cache_steps`: None
235
+ - `learning_rate`: 2e-05
236
+ - `weight_decay`: 0.0
237
+ - `adam_beta1`: 0.9
238
+ - `adam_beta2`: 0.999
239
+ - `adam_epsilon`: 1e-08
240
+ - `max_grad_norm`: 1.0
241
+ - `num_train_epochs`: 5
242
+ - `max_steps`: -1
243
+ - `lr_scheduler_type`: linear
244
+ - `lr_scheduler_kwargs`: {}
245
+ - `warmup_ratio`: 0.1
246
+ - `warmup_steps`: 0
247
+ - `log_level`: passive
248
+ - `log_level_replica`: warning
249
+ - `log_on_each_node`: True
250
+ - `logging_nan_inf_filter`: True
251
+ - `save_safetensors`: True
252
+ - `save_on_each_node`: False
253
+ - `save_only_model`: False
254
+ - `restore_callback_states_from_checkpoint`: False
255
+ - `no_cuda`: False
256
+ - `use_cpu`: False
257
+ - `use_mps_device`: False
258
+ - `seed`: 42
259
+ - `data_seed`: None
260
+ - `jit_mode_eval`: False
261
+ - `use_ipex`: False
262
+ - `bf16`: False
263
+ - `fp16`: False
264
+ - `fp16_opt_level`: O1
265
+ - `half_precision_backend`: auto
266
+ - `bf16_full_eval`: False
267
+ - `fp16_full_eval`: False
268
+ - `tf32`: None
269
+ - `local_rank`: 0
270
+ - `ddp_backend`: None
271
+ - `tpu_num_cores`: None
272
+ - `tpu_metrics_debug`: False
273
+ - `debug`: []
274
+ - `dataloader_drop_last`: False
275
+ - `dataloader_num_workers`: 0
276
+ - `dataloader_prefetch_factor`: None
277
+ - `past_index`: -1
278
+ - `disable_tqdm`: False
279
+ - `remove_unused_columns`: True
280
+ - `label_names`: None
281
+ - `load_best_model_at_end`: False
282
+ - `ignore_data_skip`: False
283
+ - `fsdp`: []
284
+ - `fsdp_min_num_params`: 0
285
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
286
+ - `fsdp_transformer_layer_cls_to_wrap`: None
287
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
288
+ - `parallelism_config`: None
289
+ - `deepspeed`: None
290
+ - `label_smoothing_factor`: 0.0
291
+ - `optim`: adamw_torch_fused
292
+ - `optim_args`: None
293
+ - `adafactor`: False
294
+ - `group_by_length`: False
295
+ - `length_column_name`: length
296
+ - `ddp_find_unused_parameters`: None
297
+ - `ddp_bucket_cap_mb`: None
298
+ - `ddp_broadcast_buffers`: False
299
+ - `dataloader_pin_memory`: True
300
+ - `dataloader_persistent_workers`: False
301
+ - `skip_memory_metrics`: True
302
+ - `use_legacy_prediction_loop`: False
303
+ - `push_to_hub`: False
304
+ - `resume_from_checkpoint`: None
305
+ - `hub_model_id`: None
306
+ - `hub_strategy`: every_save
307
+ - `hub_private_repo`: None
308
+ - `hub_always_push`: False
309
+ - `hub_revision`: None
310
+ - `gradient_checkpointing`: False
311
+ - `gradient_checkpointing_kwargs`: None
312
+ - `include_inputs_for_metrics`: False
313
+ - `include_for_metrics`: []
314
+ - `eval_do_concat_batches`: True
315
+ - `fp16_backend`: auto
316
+ - `push_to_hub_model_id`: None
317
+ - `push_to_hub_organization`: None
318
+ - `mp_parameters`:
319
+ - `auto_find_batch_size`: False
320
+ - `full_determinism`: False
321
+ - `torchdynamo`: None
322
+ - `ray_scope`: last
323
+ - `ddp_timeout`: 1800
324
+ - `torch_compile`: False
325
+ - `torch_compile_backend`: None
326
+ - `torch_compile_mode`: None
327
+ - `include_tokens_per_second`: False
328
+ - `include_num_input_tokens_seen`: False
329
+ - `neftune_noise_alpha`: None
330
+ - `optim_target_modules`: None
331
+ - `batch_eval_metrics`: False
332
+ - `eval_on_start`: False
333
+ - `use_liger_kernel`: False
334
+ - `liger_kernel_config`: None
335
+ - `eval_use_gather_object`: False
336
+ - `average_tokens_across_devices`: False
337
+ - `prompts`: task: sentence similarity | query:
338
+ - `batch_sampler`: batch_sampler
339
+ - `multi_dataset_batch_sampler`: proportional
340
+ - `router_mapping`: {}
341
+ - `learning_rate_mapping`: {}
342
+
343
+ </details>
344
+
345
+ ### Training Logs
346
+ | Epoch | Step | Training Loss |
347
+ |:-----:|:----:|:-------------:|
348
+ | 1.0 | 150 | 0.3453 |
349
+ | 2.0 | 300 | 0.0284 |
350
+ | 3.0 | 450 | 0.0129 |
351
+ | 4.0 | 600 | 0.0 |
352
+ | 5.0 | 750 | 0.0 |
353
+
354
+
355
+ ### Framework Versions
356
+ - Python: 3.12.12
357
+ - Sentence Transformers: 5.2.0
358
+ - Transformers: 4.57.0.dev0
359
+ - PyTorch: 2.9.0+cu126
360
+ - Accelerate: 1.12.0
361
+ - Datasets: 4.0.0
362
+ - Tokenizers: 0.22.1
363
+
364
+ ## Citation
365
+
366
+ ### BibTeX
367
+
368
+ #### Sentence Transformers
369
+ ```bibtex
370
+ @inproceedings{reimers-2019-sentence-bert,
371
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
372
+ author = "Reimers, Nils and Gurevych, Iryna",
373
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
374
+ month = "11",
375
+ year = "2019",
376
+ publisher = "Association for Computational Linguistics",
377
+ url = "https://arxiv.org/abs/1908.10084",
378
+ }
379
+ ```
380
+
381
+ #### MultipleNegativesRankingLoss
382
+ ```bibtex
383
+ @misc{henderson2017efficient,
384
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
385
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
386
+ year={2017},
387
+ eprint={1705.00652},
388
+ archivePrefix={arXiv},
389
+ primaryClass={cs.CL}
390
+ }
391
+ ```
392
+
393
+ <!--
394
+ ## Glossary
395
+
396
+ *Clearly define terms in order to be accessible across audiences.*
397
+ -->
398
+
399
+ <!--
400
+ ## Model Card Authors
401
+
402
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
403
+ -->
404
+
405
+ <!--
406
+ ## Model Card Contact
407
+
408
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
409
+ -->
added_tokens.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ {
2
+ "<image_soft_token>": 262144
3
+ }
config.json ADDED
@@ -0,0 +1,60 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_sliding_window_pattern": 6,
3
+ "architectures": [
4
+ "Gemma3TextModel"
5
+ ],
6
+ "attention_bias": false,
7
+ "attention_dropout": 0.0,
8
+ "attn_logit_softcapping": null,
9
+ "bos_token_id": 2,
10
+ "dtype": "float32",
11
+ "eos_token_id": 1,
12
+ "final_logit_softcapping": null,
13
+ "head_dim": 256,
14
+ "hidden_activation": "gelu_pytorch_tanh",
15
+ "hidden_size": 768,
16
+ "initializer_range": 0.02,
17
+ "intermediate_size": 1152,
18
+ "layer_types": [
19
+ "sliding_attention",
20
+ "sliding_attention",
21
+ "sliding_attention",
22
+ "sliding_attention",
23
+ "sliding_attention",
24
+ "full_attention",
25
+ "sliding_attention",
26
+ "sliding_attention",
27
+ "sliding_attention",
28
+ "sliding_attention",
29
+ "sliding_attention",
30
+ "full_attention",
31
+ "sliding_attention",
32
+ "sliding_attention",
33
+ "sliding_attention",
34
+ "sliding_attention",
35
+ "sliding_attention",
36
+ "full_attention",
37
+ "sliding_attention",
38
+ "sliding_attention",
39
+ "sliding_attention",
40
+ "sliding_attention",
41
+ "sliding_attention",
42
+ "full_attention"
43
+ ],
44
+ "max_position_embeddings": 2048,
45
+ "model_type": "gemma3_text",
46
+ "num_attention_heads": 3,
47
+ "num_hidden_layers": 24,
48
+ "num_key_value_heads": 1,
49
+ "pad_token_id": 0,
50
+ "query_pre_attn_scalar": 256,
51
+ "rms_norm_eps": 1e-06,
52
+ "rope_local_base_freq": 10000.0,
53
+ "rope_scaling": null,
54
+ "rope_theta": 1000000.0,
55
+ "sliding_window": 257,
56
+ "transformers_version": "4.57.0.dev0",
57
+ "use_bidirectional_attention": true,
58
+ "use_cache": true,
59
+ "vocab_size": 262144
60
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "model_type": "SentenceTransformer",
3
+ "__version__": {
4
+ "sentence_transformers": "5.2.0",
5
+ "transformers": "4.57.0.dev0",
6
+ "pytorch": "2.9.0+cu126"
7
+ },
8
+ "prompts": {
9
+ "query": "task: search result | query: ",
10
+ "document": "title: none | text: ",
11
+ "BitextMining": "task: search result | query: ",
12
+ "Clustering": "task: clustering | query: ",
13
+ "Classification": "task: classification | query: ",
14
+ "InstructionRetrieval": "task: code retrieval | query: ",
15
+ "MultilabelClassification": "task: classification | query: ",
16
+ "PairClassification": "task: sentence similarity | query: ",
17
+ "Reranking": "task: search result | query: ",
18
+ "Retrieval": "task: search result | query: ",
19
+ "Retrieval-query": "task: search result | query: ",
20
+ "Retrieval-document": "title: none | text: ",
21
+ "STS": "task: sentence similarity | query: ",
22
+ "Summarization": "task: summarization | query: "
23
+ },
24
+ "default_prompt_name": null,
25
+ "similarity_fn_name": "cosine"
26
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:89d69886b4809fb58d0ad1c697e7640bceb6989b26199920dd1b192a8677181c
3
+ size 1211486072
modules.json ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Dense",
18
+ "type": "sentence_transformers.models.Dense"
19
+ },
20
+ {
21
+ "idx": 3,
22
+ "name": "3",
23
+ "path": "3_Dense",
24
+ "type": "sentence_transformers.models.Dense"
25
+ },
26
+ {
27
+ "idx": 4,
28
+ "name": "4",
29
+ "path": "4_Normalize",
30
+ "type": "sentence_transformers.models.Normalize"
31
+ }
32
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 2048,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,33 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "boi_token": "<start_of_image>",
3
+ "bos_token": {
4
+ "content": "<bos>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false
9
+ },
10
+ "eoi_token": "<end_of_image>",
11
+ "eos_token": {
12
+ "content": "<eos>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false
17
+ },
18
+ "image_token": "<image_soft_token>",
19
+ "pad_token": {
20
+ "content": "<pad>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false
25
+ },
26
+ "unk_token": {
27
+ "content": "<unk>",
28
+ "lstrip": false,
29
+ "normalized": false,
30
+ "rstrip": false,
31
+ "single_word": false
32
+ }
33
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:216e2a79606fe879c9f17c529c71cd241338407fd5646b595ffd3c4b9ea1d503
3
+ size 33385262
tokenizer.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1299c11d7cf632ef3b4e11937501358ada021bbdf7c47638d13c0ee982f2e79c
3
+ size 4689074
tokenizer_config.json ADDED
The diff for this file is too large to render. See raw diff