Hugging Face's logo

codersan
/
validadted_FaLabse_onV8d

Sentence Similarity
sentence-transformers
TensorBoard
Safetensors
bert
feature-extraction
Generated from Trainer
dataset_size:21484
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
Metrics Community
codersan commited on
Commit
6033950
·
verified ·
1 Parent(s): d685840

Add new SentenceTransformer model

Browse files
Files changed (7) hide show
  1. 1_Pooling/config.json +10 -0
  2. 2_Dense/config.json +1 -0
  3. 2_Dense/model.safetensors +3 -0
  4. README.md +637 -0
  5. config_sentence_transformers.json +10 -0
  6. modules.json +26 -0
  7. sentence_bert_config.json +4 -0
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": true,
4
+ "pooling_mode_mean_tokens": false,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
2_Dense/config.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"in_features": 768, "out_features": 768, "bias": true, "activation_function": "torch.nn.modules.activation.Tanh"}
2_Dense/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ce8456bf7fd8c76bf501793870ee7581a078c56eb69e86cf981af80d69ee39b5
3
+ size 2362528
README.md ADDED
@@ -0,0 +1,637 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:21484
8
+ - loss:MultipleNegativesRankingLoss
9
+ base_model: sentence-transformers/LaBSE
10
+ widget:
11
+ - source_sentence: زنی ماهی را سرخ می کند.
12
+ sentences:
13
+ - ماهی توسط زنی پخته می شود
14
+ - در سال ۱۱۵۷ ق.م کوتیر-ناهوته حکمران ایلام برای گرفتن انتقام بابل را فتح میکند.
15
+ - دو نفر سوار موتورسیکلت می شوند
16
+ - source_sentence: نرخ‌های بهره چگونه بر قرض‌گیری و سرمایه‌گذاری تأثیر می‌گذارند؟
17
+ sentences:
18
+ - چالش‌ها و تجربیات شخصی جی.K. رولینگ، از جمله مرگ مادرش، بر عمق احساسی و مضامین
19
+ مجموعه 'هری پاتر' تأثیرگذار بود.
20
+ - نرخ بهره می‌تواند تحت تأثیر تورم، رشد اقتصادی و سیاست‌های پولی قرار گیرد.
21
+ - گروهی از مردم به لباس محافظتی مجهز نیستند
22
+ - source_sentence: 'شهرستان مدیسون، تگزاس (به انگلیسی: Madison County, Texas) یک سکونتگاه
23
+ مسکونی در ایالات متحده آمریکا است که در تگزاس واقع شده‌است.'
24
+ sentences:
25
+ - شهرستان مدیسون در در ایالت تگزاس قرار دارد.
26
+ - زنان در حال پوشاندن گوش های بونی و شماره مسابقه هستند و به چیزی از دور اشاره
27
+ می کنند
28
+ - سوار در برف در حال دوچرخه سواری است و یک ژاکت قرمز پوشیده است
29
+ - source_sentence: خانواده ای خوشحال در کنار شومینه برای عکس ژست گرفته اند
30
+ sentences:
31
+ - مردی آنجا نیست که روی صندلی نشسته و چشم هایش را مالش دهد
32
+ - آیا باید برای CAT به مربیگری بپیوندم؟
33
+ - خانواده ای غمگین کنار شومینه ژست گرفته اند
34
+ - source_sentence: کودک جوان دارد اسکوتر سه چرخ را روبه پایین در پیاده رو می راند.
35
+ sentences:
36
+ - کتاب قابوس نامه اثر عنصرالمعالی کیکاووس بن اسکندر می باشد.
37
+ - دو سگ بزرگ در چمن زار ورجه ورجه می‌کنند
38
+ - کودک جوانی دارد اسکوتر سه چرخ را روبه پایین در پیاده رو می راند.
39
+ pipeline_tag: sentence-similarity
40
+ library_name: sentence-transformers
41
+ ---
42
+
43
+ # SentenceTransformer based on sentence-transformers/LaBSE
44
+
45
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
46
+
47
+ ## Model Details
48
+
49
+ ### Model Description
50
+ - **Model Type:** Sentence Transformer
51
+ - **Base model:** [sentence-transformers/LaBSE](https://huggingface.co/sentence-transformers/LaBSE) <!-- at revision 836121a0533e5664b21c7aacc5d22951f2b8b25b -->
52
+ - **Maximum Sequence Length:** 256 tokens
53
+ - **Output Dimensionality:** 768 dimensions
54
+ - **Similarity Function:** Cosine Similarity
55
+ <!-- - **Training Dataset:** Unknown -->
56
+ <!-- - **Language:** Unknown -->
57
+ <!-- - **License:** Unknown -->
58
+
59
+ ### Model Sources
60
+
61
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
62
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
63
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
64
+
65
+ ### Full Model Architecture
66
+
67
+ ```
68
+ SentenceTransformer(
69
+ (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel
70
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
71
+ (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
72
+ (3): Normalize()
73
+ )
74
+ ```
75
+
76
+ ## Usage
77
+
78
+ ### Direct Usage (Sentence Transformers)
79
+
80
+ First install the Sentence Transformers library:
81
+
82
+ ```bash
83
+ pip install -U sentence-transformers
84
+ ```
85
+
86
+ Then you can load this model and run inference.
87
+ ```python
88
+ from sentence_transformers import SentenceTransformer
89
+
90
+ # Download from the 🤗 Hub
91
+ model = SentenceTransformer("codersan/validadted_FaLabse_onV8d")
92
+ # Run inference
93
+ sentences = [
94
+ 'کودک جوان دارد اسکوتر سه چرخ را روبه پایین در پیاده رو می راند.',
95
+ 'کودک جوانی دارد اسکوتر سه چرخ را روبه پایین در پیاده رو می راند.',
96
+ 'کتاب قابوس نامه اثر عنصرالمعالی کیکاووس بن اسکندر می باشد.',
97
+ ]
98
+ embeddings = model.encode(sentences)
99
+ print(embeddings.shape)
100
+ # [3, 768]
101
+
102
+ # Get the similarity scores for the embeddings
103
+ similarities = model.similarity(embeddings, embeddings)
104
+ print(similarities.shape)
105
+ # [3, 3]
106
+ ```
107
+
108
+ <!--
109
+ ### Direct Usage (Transformers)
110
+
111
+ <details><summary>Click to see the direct usage in Transformers</summary>
112
+
113
+ </details>
114
+ -->
115
+
116
+ <!--
117
+ ### Downstream Usage (Sentence Transformers)
118
+
119
+ You can finetune this model on your own dataset.
120
+
121
+ <details><summary>Click to expand</summary>
122
+
123
+ </details>
124
+ -->
125
+
126
+ <!--
127
+ ### Out-of-Scope Use
128
+
129
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
130
+ -->
131
+
132
+ <!--
133
+ ## Bias, Risks and Limitations
134
+
135
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
136
+ -->
137
+
138
+ <!--
139
+ ### Recommendations
140
+
141
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
142
+ -->
143
+
144
+ ## Training Details
145
+
146
+ ### Training Dataset
147
+
148
+ #### Unnamed Dataset
149
+
150
+
151
+ * Size: 21,484 training samples
152
+ * Columns: <code>anchor</code> and <code>positive</code>
153
+ * Approximate statistics based on the first 1000 samples:
154
+ | | anchor | positive |
155
+ |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
156
+ | type | string | string |
157
+ | details | <ul><li>min: 4 tokens</li><li>mean: 19.86 tokens</li><li>max: 106 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 19.49 tokens</li><li>max: 76 tokens</li></ul> |
158
+ * Samples:
159
+ | anchor | positive |
160
+ |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------|
161
+ | <code>کارگردان چگونه بر یک نمایش تئاتری تأثیر می‌گذارد؟</code> | <code>کارگردان نورپردازی و جلوه‌های صوتی را که در نمایش استفاده خواهد شد انتخاب می‌کند، که بر حال و هوا و جو اجرای نمایش تأثیر می‌گذارد.</code> |
162
+ | <code>پیش از پیدایش شهر اراک گویش‌های متفاوتی در منطقه وجود داشت، اما با مهاجرت گروه‌های مختلف و ساکنان آن‌ها در شهر ترکیب خاصی از لهجه‌های مختلف به وجود آمد که امروزه به نام لهجه اراکی شناخته می‌شود.</code> | <code>لهجه اراکی ترکیبی از لهجه های مختلف است</code> |
163
+ | <code>اهمیت تاریخی واتیکان چیست؟</code> | <code>واتیکان مرکز روحانی و اداری کلیسای کاتولیک رومی است و برای قرن‌ها یک نهاد مذهبی و سیاسی مهم بوده است.</code> |
164
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
165
+ ```json
166
+ {
167
+ "scale": 20.0,
168
+ "similarity_fct": "cos_sim"
169
+ }
170
+ ```
171
+
172
+ ### Training Hyperparameters
173
+ #### Non-Default Hyperparameters
174
+
175
+ - `eval_strategy`: steps
176
+ - `learning_rate`: 5e-06
177
+ - `weight_decay`: 0.01
178
+ - `num_train_epochs`: 10
179
+ - `warmup_ratio`: 0.1
180
+ - `push_to_hub`: True
181
+ - `hub_model_id`: codersan/validadted_FaLabse_onV8d
182
+ - `eval_on_start`: True
183
+ - `batch_sampler`: no_duplicates
184
+
185
+ #### All Hyperparameters
186
+ <details><summary>Click to expand</summary>
187
+
188
+ - `overwrite_output_dir`: False
189
+ - `do_predict`: False
190
+ - `eval_strategy`: steps
191
+ - `prediction_loss_only`: True
192
+ - `per_device_train_batch_size`: 8
193
+ - `per_device_eval_batch_size`: 8
194
+ - `per_gpu_train_batch_size`: None
195
+ - `per_gpu_eval_batch_size`: None
196
+ - `gradient_accumulation_steps`: 1
197
+ - `eval_accumulation_steps`: None
198
+ - `torch_empty_cache_steps`: None
199
+ - `learning_rate`: 5e-06
200
+ - `weight_decay`: 0.01
201
+ - `adam_beta1`: 0.9
202
+ - `adam_beta2`: 0.999
203
+ - `adam_epsilon`: 1e-08
204
+ - `max_grad_norm`: 1
205
+ - `num_train_epochs`: 10
206
+ - `max_steps`: -1
207
+ - `lr_scheduler_type`: linear
208
+ - `lr_scheduler_kwargs`: {}
209
+ - `warmup_ratio`: 0.1
210
+ - `warmup_steps`: 0
211
+ - `log_level`: passive
212
+ - `log_level_replica`: warning
213
+ - `log_on_each_node`: True
214
+ - `logging_nan_inf_filter`: True
215
+ - `save_safetensors`: True
216
+ - `save_on_each_node`: False
217
+ - `save_only_model`: False
218
+ - `restore_callback_states_from_checkpoint`: False
219
+ - `no_cuda`: False
220
+ - `use_cpu`: False
221
+ - `use_mps_device`: False
222
+ - `seed`: 42
223
+ - `data_seed`: None
224
+ - `jit_mode_eval`: False
225
+ - `use_ipex`: False
226
+ - `bf16`: False
227
+ - `fp16`: False
228
+ - `fp16_opt_level`: O1
229
+ - `half_precision_backend`: auto
230
+ - `bf16_full_eval`: False
231
+ - `fp16_full_eval`: False
232
+ - `tf32`: None
233
+ - `local_rank`: 0
234
+ - `ddp_backend`: None
235
+ - `tpu_num_cores`: None
236
+ - `tpu_metrics_debug`: False
237
+ - `debug`: []
238
+ - `dataloader_drop_last`: False
239
+ - `dataloader_num_workers`: 0
240
+ - `dataloader_prefetch_factor`: None
241
+ - `past_index`: -1
242
+ - `disable_tqdm`: False
243
+ - `remove_unused_columns`: True
244
+ - `label_names`: None
245
+ - `load_best_model_at_end`: False
246
+ - `ignore_data_skip`: False
247
+ - `fsdp`: []
248
+ - `fsdp_min_num_params`: 0
249
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
250
+ - `fsdp_transformer_layer_cls_to_wrap`: None
251
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
252
+ - `deepspeed`: None
253
+ - `label_smoothing_factor`: 0.0
254
+ - `optim`: adamw_torch
255
+ - `optim_args`: None
256
+ - `adafactor`: False
257
+ - `group_by_length`: False
258
+ - `length_column_name`: length
259
+ - `ddp_find_unused_parameters`: None
260
+ - `ddp_bucket_cap_mb`: None
261
+ - `ddp_broadcast_buffers`: False
262
+ - `dataloader_pin_memory`: True
263
+ - `dataloader_persistent_workers`: False
264
+ - `skip_memory_metrics`: True
265
+ - `use_legacy_prediction_loop`: False
266
+ - `push_to_hub`: True
267
+ - `resume_from_checkpoint`: None
268
+ - `hub_model_id`: codersan/validadted_FaLabse_onV8d
269
+ - `hub_strategy`: every_save
270
+ - `hub_private_repo`: None
271
+ - `hub_always_push`: False
272
+ - `gradient_checkpointing`: False
273
+ - `gradient_checkpointing_kwargs`: None
274
+ - `include_inputs_for_metrics`: False
275
+ - `include_for_metrics`: []
276
+ - `eval_do_concat_batches`: True
277
+ - `fp16_backend`: auto
278
+ - `push_to_hub_model_id`: None
279
+ - `push_to_hub_organization`: None
280
+ - `mp_parameters`:
281
+ - `auto_find_batch_size`: False
282
+ - `full_determinism`: False
283
+ - `torchdynamo`: None
284
+ - `ray_scope`: last
285
+ - `ddp_timeout`: 1800
286
+ - `torch_compile`: False
287
+ - `torch_compile_backend`: None
288
+ - `torch_compile_mode`: None
289
+ - `dispatch_batches`: None
290
+ - `split_batches`: None
291
+ - `include_tokens_per_second`: False
292
+ - `include_num_input_tokens_seen`: False
293
+ - `neftune_noise_alpha`: None
294
+ - `optim_target_modules`: None
295
+ - `batch_eval_metrics`: False
296
+ - `eval_on_start`: True
297
+ - `use_liger_kernel`: False
298
+ - `eval_use_gather_object`: False
299
+ - `average_tokens_across_devices`: False
300
+ - `prompts`: None
301
+ - `batch_sampler`: no_duplicates
302
+ - `multi_dataset_batch_sampler`: proportional
303
+
304
+ </details>
305
+
306
+ ### Training Logs
307
+ <details><summary>Click to expand</summary>
308
+
309
+ | Epoch | Step | Training Loss |
310
+ |:------:|:-----:|:-------------:|
311
+ | 0 | 0 | - |
312
+ | 0.0372 | 100 | 0.1886 |
313
+ | 0.0745 | 200 | 0.1598 |
314
+ | 0.1117 | 300 | 0.0973 |
315
+ | 0.1489 | 400 | 0.1205 |
316
+ | 0.1862 | 500 | 0.0752 |
317
+ | 0.2234 | 600 | 0.0669 |
318
+ | 0.2606 | 700 | 0.0603 |
319
+ | 0.2978 | 800 | 0.0492 |
320
+ | 0.3351 | 900 | 0.0479 |
321
+ | 0.3723 | 1000 | 0.0396 |
322
+ | 0.4095 | 1100 | 0.0394 |
323
+ | 0.4468 | 1200 | 0.0344 |
324
+ | 0.4840 | 1300 | 0.0477 |
325
+ | 0.5212 | 1400 | 0.028 |
326
+ | 0.5585 | 1500 | 0.0317 |
327
+ | 0.5957 | 1600 | 0.054 |
328
+ | 0.6329 | 1700 | 0.0526 |
329
+ | 0.6701 | 1800 | 0.0288 |
330
+ | 0.7074 | 1900 | 0.0319 |
331
+ | 0.7446 | 2000 | 0.0374 |
332
+ | 0.7818 | 2100 | 0.0155 |
333
+ | 0.8191 | 2200 | 0.0447 |
334
+ | 0.8563 | 2300 | 0.0241 |
335
+ | 0.8935 | 2400 | 0.03 |
336
+ | 0.9308 | 2500 | 0.0563 |
337
+ | 0.9680 | 2600 | 0.0405 |
338
+ | 1.0052 | 2700 | 0.0313 |
339
+ | 1.0424 | 2800 | 0.0402 |
340
+ | 1.0797 | 2900 | 0.0424 |
341
+ | 1.1169 | 3000 | 0.0239 |
342
+ | 1.1541 | 3100 | 0.0464 |
343
+ | 1.1914 | 3200 | 0.0233 |
344
+ | 1.2286 | 3300 | 0.0198 |
345
+ | 1.2658 | 3400 | 0.0253 |
346
+ | 1.3031 | 3500 | 0.016 |
347
+ | 1.3403 | 3600 | 0.0199 |
348
+ | 1.3775 | 3700 | 0.0145 |
349
+ | 1.4147 | 3800 | 0.0154 |
350
+ | 1.4520 | 3900 | 0.0072 |
351
+ | 1.4892 | 4000 | 0.0132 |
352
+ | 1.5264 | 4100 | 0.0074 |
353
+ | 1.5637 | 4200 | 0.016 |
354
+ | 1.6009 | 4300 | 0.0222 |
355
+ | 1.6381 | 4400 | 0.0243 |
356
+ | 1.6754 | 4500 | 0.0071 |
357
+ | 1.7126 | 4600 | 0.0061 |
358
+ | 1.7498 | 4700 | 0.018 |
359
+ | 1.7870 | 4800 | 0.0059 |
360
+ | 1.8243 | 4900 | 0.0106 |
361
+ | 1.8615 | 5000 | 0.0087 |
362
+ | 1.8987 | 5100 | 0.0123 |
363
+ | 1.9360 | 5200 | 0.0105 |
364
+ | 1.9732 | 5300 | 0.0167 |
365
+ | 2.0104 | 5400 | 0.0099 |
366
+ | 2.0477 | 5500 | 0.0332 |
367
+ | 2.0849 | 5600 | 0.0071 |
368
+ | 2.1221 | 5700 | 0.0107 |
369
+ | 2.1593 | 5800 | 0.0048 |
370
+ | 2.1966 | 5900 | 0.0046 |
371
+ | 2.2338 | 6000 | 0.0052 |
372
+ | 2.2710 | 6100 | 0.0066 |
373
+ | 2.3083 | 6200 | 0.0022 |
374
+ | 2.3455 | 6300 | 0.0115 |
375
+ | 2.3827 | 6400 | 0.0039 |
376
+ | 2.4200 | 6500 | 0.0052 |
377
+ | 2.4572 | 6600 | 0.0014 |
378
+ | 2.4944 | 6700 | 0.0039 |
379
+ | 2.5316 | 6800 | 0.002 |
380
+ | 2.5689 | 6900 | 0.0061 |
381
+ | 2.6061 | 7000 | 0.016 |
382
+ | 2.6433 | 7100 | 0.0064 |
383
+ | 2.6806 | 7200 | 0.0031 |
384
+ | 2.7178 | 7300 | 0.0016 |
385
+ | 2.7550 | 7400 | 0.0037 |
386
+ | 2.7923 | 7500 | 0.0015 |
387
+ | 2.8295 | 7600 | 0.0035 |
388
+ | 2.8667 | 7700 | 0.0021 |
389
+ | 2.9039 | 7800 | 0.0083 |
390
+ | 2.9412 | 7900 | 0.0037 |
391
+ | 2.9784 | 8000 | 0.0092 |
392
+ | 3.0156 | 8100 | 0.0014 |
393
+ | 3.0529 | 8200 | 0.006 |
394
+ | 3.0901 | 8300 | 0.0027 |
395
+ | 3.1273 | 8400 | 0.0017 |
396
+ | 3.1646 | 8500 | 0.0019 |
397
+ | 3.2018 | 8600 | 0.0012 |
398
+ | 3.2390 | 8700 | 0.0016 |
399
+ | 3.2762 | 8800 | 0.001 |
400
+ | 3.3135 | 8900 | 0.0042 |
401
+ | 3.3507 | 9000 | 0.001 |
402
+ | 3.3879 | 9100 | 0.0008 |
403
+ | 3.4252 | 9200 | 0.0009 |
404
+ | 3.4624 | 9300 | 0.0007 |
405
+ | 3.4996 | 9400 | 0.0015 |
406
+ | 3.5369 | 9500 | 0.0013 |
407
+ | 3.5741 | 9600 | 0.0014 |
408
+ | 3.6113 | 9700 | 0.0125 |
409
+ | 3.6485 | 9800 | 0.0011 |
410
+ | 3.6858 | 9900 | 0.0008 |
411
+ | 3.7230 | 10000 | 0.0013 |
412
+ | 3.7602 | 10100 | 0.0007 |
413
+ | 3.7975 | 10200 | 0.0005 |
414
+ | 3.8347 | 10300 | 0.0008 |
415
+ | 3.8719 | 10400 | 0.0006 |
416
+ | 3.9092 | 10500 | 0.0037 |
417
+ | 3.9464 | 10600 | 0.0045 |
418
+ | 3.9836 | 10700 | 0.0008 |
419
+ | 4.0208 | 10800 | 0.0007 |
420
+ | 4.0581 | 10900 | 0.0014 |
421
+ | 4.0953 | 11000 | 0.001 |
422
+ | 4.1325 | 11100 | 0.0008 |
423
+ | 4.1698 | 11200 | 0.0007 |
424
+ | 4.2070 | 11300 | 0.0006 |
425
+ | 4.2442 | 11400 | 0.0005 |
426
+ | 4.2815 | 11500 | 0.0006 |
427
+ | 4.3187 | 11600 | 0.0012 |
428
+ | 4.3559 | 11700 | 0.0005 |
429
+ | 4.3931 | 11800 | 0.001 |
430
+ | 4.4304 | 11900 | 0.0004 |
431
+ | 4.4676 | 12000 | 0.0005 |
432
+ | 4.5048 | 12100 | 0.0006 |
433
+ | 4.5421 | 12200 | 0.0005 |
434
+ | 4.5793 | 12300 | 0.0093 |
435
+ | 4.6165 | 12400 | 0.0007 |
436
+ | 4.6538 | 12500 | 0.0004 |
437
+ | 4.6910 | 12600 | 0.0003 |
438
+ | 4.7282 | 12700 | 0.0005 |
439
+ | 4.7655 | 12800 | 0.0008 |
440
+ | 4.8027 | 12900 | 0.0004 |
441
+ | 4.8399 | 13000 | 0.0004 |
442
+ | 4.8771 | 13100 | 0.0004 |
443
+ | 4.9144 | 13200 | 0.0031 |
444
+ | 4.9516 | 13300 | 0.0014 |
445
+ | 4.9888 | 13400 | 0.0004 |
446
+ | 5.0261 | 13500 | 0.0005 |
447
+ | 5.0633 | 13600 | 0.0005 |
448
+ | 5.1005 | 13700 | 0.0004 |
449
+ | 5.1378 | 13800 | 0.0004 |
450
+ | 5.1750 | 13900 | 0.0004 |
451
+ | 5.2122 | 14000 | 0.0004 |
452
+ | 5.2494 | 14100 | 0.0004 |
453
+ | 5.2867 | 14200 | 0.0004 |
454
+ | 5.3239 | 14300 | 0.0004 |
455
+ | 5.3611 | 14400 | 0.0002 |
456
+ | 5.3984 | 14500 | 0.0005 |
457
+ | 5.4356 | 14600 | 0.0004 |
458
+ | 5.4728 | 14700 | 0.0003 |
459
+ | 5.5101 | 14800 | 0.0004 |
460
+ | 5.5473 | 14900 | 0.0004 |
461
+ | 5.5845 | 15000 | 0.0064 |
462
+ | 5.6217 | 15100 | 0.0003 |
463
+ | 5.6590 | 15200 | 0.0003 |
464
+ | 5.6962 | 15300 | 0.0002 |
465
+ | 5.7334 | 15400 | 0.0003 |
466
+ | 5.7707 | 15500 | 0.0002 |
467
+ | 5.8079 | 15600 | 0.0003 |
468
+ | 5.8451 | 15700 | 0.0002 |
469
+ | 5.8824 | 15800 | 0.0002 |
470
+ | 5.9196 | 15900 | 0.0023 |
471
+ | 5.9568 | 16000 | 0.0009 |
472
+ | 5.9940 | 16100 | 0.0003 |
473
+ | 6.0313 | 16200 | 0.0003 |
474
+ | 6.0685 | 16300 | 0.0003 |
475
+ | 6.1057 | 16400 | 0.0002 |
476
+ | 6.1430 | 16500 | 0.0003 |
477
+ | 6.1802 | 16600 | 0.0002 |
478
+ | 6.2174 | 16700 | 0.0003 |
479
+ | 6.2547 | 16800 | 0.0002 |
480
+ | 6.2919 | 16900 | 0.0002 |
481
+ | 6.3291 | 17000 | 0.0003 |
482
+ | 6.3663 | 17100 | 0.0002 |
483
+ | 6.4036 | 17200 | 0.0002 |
484
+ | 6.4408 | 17300 | 0.0002 |
485
+ | 6.4780 | 17400 | 0.0003 |
486
+ | 6.5153 | 17500 | 0.0003 |
487
+ | 6.5525 | 17600 | 0.0003 |
488
+ | 6.5897 | 17700 | 0.0025 |
489
+ | 6.6270 | 17800 | 0.0002 |
490
+ | 6.6642 | 17900 | 0.0002 |
491
+ | 6.7014 | 18000 | 0.0002 |
492
+ | 6.7386 | 18100 | 0.0003 |
493
+ | 6.7759 | 18200 | 0.0002 |
494
+ | 6.8131 | 18300 | 0.0002 |
495
+ | 6.8503 | 18400 | 0.0002 |
496
+ | 6.8876 | 18500 | 0.0002 |
497
+ | 6.9248 | 18600 | 0.0014 |
498
+ | 6.9620 | 18700 | 0.0003 |
499
+ | 6.9993 | 18800 | 0.0003 |
500
+ | 7.0365 | 18900 | 0.0003 |
501
+ | 7.0737 | 19000 | 0.0002 |
502
+ | 7.1109 | 19100 | 0.0002 |
503
+ | 7.1482 | 19200 | 0.0002 |
504
+ | 7.1854 | 19300 | 0.0002 |
505
+ | 7.2226 | 19400 | 0.0002 |
506
+ | 7.2599 | 19500 | 0.0003 |
507
+ | 7.2971 | 19600 | 0.0002 |
508
+ | 7.3343 | 19700 | 0.0002 |
509
+ | 7.3716 | 19800 | 0.0002 |
510
+ | 7.4088 | 19900 | 0.0002 |
511
+ | 7.4460 | 20000 | 0.0002 |
512
+ | 7.4832 | 20100 | 0.0003 |
513
+ | 7.5205 | 20200 | 0.0002 |
514
+ | 7.5577 | 20300 | 0.0002 |
515
+ | 7.5949 | 20400 | 0.0018 |
516
+ | 7.6322 | 20500 | 0.0002 |
517
+ | 7.6694 | 20600 | 0.0002 |
518
+ | 7.7066 | 20700 | 0.0002 |
519
+ | 7.7439 | 20800 | 0.0002 |
520
+ | 7.7811 | 20900 | 0.0001 |
521
+ | 7.8183 | 21000 | 0.0002 |
522
+ | 7.8555 | 21100 | 0.0001 |
523
+ | 7.8928 | 21200 | 0.0002 |
524
+ | 7.9300 | 21300 | 0.0011 |
525
+ | 7.9672 | 21400 | 0.0002 |
526
+ | 8.0045 | 21500 | 0.0002 |
527
+ | 8.0417 | 21600 | 0.0002 |
528
+ | 8.0789 | 21700 | 0.0002 |
529
+ | 8.1162 | 21800 | 0.0002 |
530
+ | 8.1534 | 21900 | 0.0002 |
531
+ | 8.1906 | 22000 | 0.0002 |
532
+ | 8.2278 | 22100 | 0.0002 |
533
+ | 8.2651 | 22200 | 0.0002 |
534
+ | 8.3023 | 22300 | 0.0001 |
535
+ | 8.3395 | 22400 | 0.0001 |
536
+ | 8.3768 | 22500 | 0.0002 |
537
+ | 8.4140 | 22600 | 0.0001 |
538
+ | 8.4512 | 22700 | 0.0001 |
539
+ | 8.4885 | 22800 | 0.0002 |
540
+ | 8.5257 | 22900 | 0.0001 |
541
+ | 8.5629 | 23000 | 0.0001 |
542
+ | 8.6001 | 23100 | 0.0011 |
543
+ | 8.6374 | 23200 | 0.0002 |
544
+ | 8.6746 | 23300 | 0.0001 |
545
+ | 8.7118 | 23400 | 0.0002 |
546
+ | 8.7491 | 23500 | 0.0001 |
547
+ | 8.7863 | 23600 | 0.0001 |
548
+ | 8.8235 | 23700 | 0.0001 |
549
+ | 8.8608 | 23800 | 0.0001 |
550
+ | 8.8980 | 23900 | 0.0004 |
551
+ | 8.9352 | 24000 | 0.0002 |
552
+ | 8.9724 | 24100 | 0.0002 |
553
+ | 9.0097 | 24200 | 0.0001 |
554
+ | 9.0469 | 24300 | 0.0001 |
555
+ | 9.0841 | 24400 | 0.0001 |
556
+ | 9.1214 | 24500 | 0.0001 |
557
+ | 9.1586 | 24600 | 0.0002 |
558
+ | 9.1958 | 24700 | 0.0002 |
559
+ | 9.2331 | 24800 | 0.0001 |
560
+ | 9.2703 | 24900 | 0.0002 |
561
+ | 9.3075 | 25000 | 0.0001 |
562
+ | 9.3448 | 25100 | 0.0001 |
563
+ | 9.3820 | 25200 | 0.0001 |
564
+ | 9.4192 | 25300 | 0.0001 |
565
+ | 9.4564 | 25400 | 0.0001 |
566
+ | 9.4937 | 25500 | 0.0002 |
567
+ | 9.5309 | 25600 | 0.0001 |
568
+ | 9.5681 | 25700 | 0.0001 |
569
+ | 9.6054 | 25800 | 0.0004 |
570
+ | 9.6426 | 25900 | 0.0001 |
571
+ | 9.6798 | 26000 | 0.0001 |
572
+ | 9.7171 | 26100 | 0.0001 |
573
+ | 9.7543 | 26200 | 0.0002 |
574
+ | 9.7915 | 26300 | 0.0001 |
575
+ | 9.8287 | 26400 | 0.0001 |
576
+ | 9.8660 | 26500 | 0.0001 |
577
+ | 9.9032 | 26600 | 0.0006 |
578
+ | 9.9404 | 26700 | 0.0001 |
579
+ | 9.9777 | 26800 | 0.0002 |
580
+
581
+ </details>
582
+
583
+ ### Framework Versions
584
+ - Python: 3.10.12
585
+ - Sentence Transformers: 3.3.1
586
+ - Transformers: 4.47.0
587
+ - PyTorch: 2.5.1+cu121
588
+ - Accelerate: 1.2.1
589
+ - Datasets: 3.2.0
590
+ - Tokenizers: 0.21.0
591
+
592
+ ## Citation
593
+
594
+ ### BibTeX
595
+
596
+ #### Sentence Transformers
597
+ ```bibtex
598
+ @inproceedings{reimers-2019-sentence-bert,
599
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
600
+ author = "Reimers, Nils and Gurevych, Iryna",
601
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
602
+ month = "11",
603
+ year = "2019",
604
+ publisher = "Association for Computational Linguistics",
605
+ url = "https://arxiv.org/abs/1908.10084",
606
+ }
607
+ ```
608
+
609
+ #### MultipleNegativesRankingLoss
610
+ ```bibtex
611
+ @misc{henderson2017efficient,
612
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
613
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
614
+ year={2017},
615
+ eprint={1705.00652},
616
+ archivePrefix={arXiv},
617
+ primaryClass={cs.CL}
618
+ }
619
+ ```
620
+
621
+ <!--
622
+ ## Glossary
623
+
624
+ *Clearly define terms in order to be accessible across audiences.*
625
+ -->
626
+
627
+ <!--
628
+ ## Model Card Authors
629
+
630
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
631
+ -->
632
+
633
+ <!--
634
+ ## Model Card Contact
635
+
636
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
637
+ -->
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.3.1",
4
+ "transformers": "4.47.0",
5
+ "pytorch": "2.5.1+cu121"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
modules.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Dense",
18
+ "type": "sentence_transformers.models.Dense"
19
+ },
20
+ {
21
+ "idx": 3,
22
+ "name": "3",
23
+ "path": "3_Normalize",
24
+ "type": "sentence_transformers.models.Normalize"
25
+ }
26
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 256,
3
+ "do_lower_case": false
4
+ }