File size: 35,402 Bytes
ea47a1a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
---
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:1500
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: "Какие препараты эффективны при лечении вагинита и  как их правильно\
    \ применять? \n"
  sentences:
  - 'стоимость приема от: 2500 руб (средняя стоимость приема); стаж: 13 лет; пациенты:
    взрослые; тип приёма: в клинике; клиника: семейная клиника ржд-медицина на часовой;
    сокол, красный балтиец, гражданская; акушер, гинеколог; специализация: эндометрия
    биопсия наружных половых органов лечение заболевания шейки матки лечение инфекционных
    процессов женской репродуктивной системы введение и удаление внутриматоной спирали,
    заболеваний женской репродуктивной системы подбор контрацепции подбор менопаузальной
    гормональной терапии обследование супружеской пары по бесплодию лечение нарушений
    менструального цикла биопсия шейки матки, пессария прегравидарное обследование
    прегравидарная подготовка выполнение кольпоскопии марсупиализация бартолиновых
    желез, установка катетера word удаление кист бартолиновых желез'
  - 'стоимость приема от: 2450 руб (средняя стоимость приема); стаж: 24 года; пациенты:
    взрослые; тип приёма: в клинике; клиника: медея на лукинской, 18; новопеределкино,
    рассказовка, саларьево; гинеколог, акушер, узи-специалист; специализация: герпес
    половых органов цитомегаловирус у беременных генитальный кандидоз молочница инфекции,
    цервицит в качестве акушера проводит, кольпит, передающиеся половым путем иппп
    эрозия шейки матки бесплодие невынашивание беременности воспалительные заболевания
    вагинит'
  - 'средняя стоимость приема; стаж: 8 лет; пациенты: взрослые; тип приёма: в клинике;
    клиника: beauty trend (бьюти тренд); менделеевская, белорусская; венеролог, дерматолог,
    косметолог, дерматовенеролог; специализация: трещины на коже гипергидроз морщины,
    возрастные изменения кожи экзема акне себорея алопеция выпадение волос подбор
    косметических средств по уходу за кожей, раздражения шелушение, заусеницы, покраснения
    кожи'
- source_sentence: "Мне нужен опытный анестезиолог-реаниматолог в районе Красносельской\
    \ или Новослободской, который может проконсультировать меня о подготовке к анестезии\
    \ и подборе метода обезболивания.  \n"
  sentences:
  - 'стоимость приема от: 1450 руб (низкая стоимость приема); стаж: 23 года; квалификация:
    врач высшей категории; учёная степень: кандидат медицинских наук; пациенты: взрослые;
    тип приёма: в клинике; клиника: мединцентр, главупдк при мид россии; добрынинская,
    фрунзенская, пушкинская, октябрьская, трубная, серпуховская; анестезиолог, реаниматолог,
    анестезиолог-реаниматолог; специализация: осмотр и подготовка пациента к операции
    выбор и согласование вариантов проведения анестезии проведение анестезии и обеспечение
    безопасности пациента во время операции послеоперационное наблюдение и лечени'
  - 'средняя стоимость приема; стаж: 12 лет; пациенты: взрослые; тип приёма: в клинике;
    клиника: астери-мед на автозаводской; автозаводская, дубровка; акушер, гинеколог,
    узи-специалист; специализация: передающиеся половым путем зппп, бесплодие различной
    этиологии воспалительные заболевания вульвит, вагинит и др заболевания'
  - 'высокая стоимость приема; квалификация: врач первой категории; пациенты: взрослые;
    тип приёма: в клинике; клиника: европейский медицинский центр на ул. щепкина (емс);
    красносельская, новослободская, проспект мира, достоевская; анестезиолог, реаниматолог,
    анестезиолог-реаниматолог; специализация: консультация пациента о подготовке к
    анестезии сбор анамнеза и подбор метода обезболивания выполнение анестезии и обеспечение
    безопасности во время проведения операции или диагностики контроль выхода пациента
    из наркоза'
- source_sentence: "Нужен хороший гинеколог с опытом работы не менее 20 лет, который\
    \ принимает детей, у меня в районе метро Полянка. \n\n\n"
  sentences:
  - 'стаж: 18 лет; квалификация: врач второй категории; пациенты: взрослые; тип приёма:
    в клинике; клиника: ниармедик (ваш доктор рядом) на симоновском валу; дубровка,
    крестьянская застава, пролетарская; анестезиолог, реаниматолог, анестезиолог-реаниматолог;
    специализация: хирургии гинекологии урологии травматологии нейрохирургии кардиохирургии
    сосудистой хирургии'
  - 'средняя стоимость приема; стаж: 20 лет; специальность: гинеколог; пациенты: дети;
    тип приёма: в клинике; клиника: поликлиника.ру м.полянка; полянка, октябрьская,
    добрынинская; ; специализация: воспалительных заболеваний органов малого таза
    воспалительных заболеваний наружных половых органов патологий шейки матки бесплодия
    молочницы кисты в малом тазу дисфункций яичников миомы матки'
  - 'стоимость приема от: 3900 руб (средняя стоимость приема); стаж: 15 лет; тип приёма:
    в клинике; клиника: клиника ильи труханова на соколово-мещерской; химки, планерная,
    пятницкое шоссе, беломорская; гастроэнтеролог, эндоскопист; специализация: бронхит,
    стеатогепатит, гастроэзофагеальная рефлюксная болезнь функциональная диспепсия,
    трахеит, ишемическая болезнь сердца ибс, пиелонефрит, холецистит дисфункция сфинктера
    одди хронические гепатиты, стенокардия, язвенная болезнь, пневмония, дисбактериоз
    кишечника артериальная гипертензия гипертоническая болезнь, гастродуоденит, анемии,
    сердечнососудистая недостаточность орви, дискинезия толстой кишки запор, стеатоз
    печени, халитоз панкреатит, целиакия, желчнокаменная болезнь, сртк синдром раздраженной
    толстой кишки, цирроз печени различной этиологии воспалительные заболевания толстой
    кишки язвенный колит, диарея, болезнь крона'
- source_sentence: "У меня появились выделения из влагалища и странные ощущения внизу\
    \ живота, что мне делать и какие анализы необходимо сдать? \n\n\n"
  sentences:
  - 'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 4 года; специальность:
    гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический
    центр медси в марьино; люблино, братиславская, марьино; ; специализация: амбулаторный
    прием лечение воспалительных заболеваний органов малого таза предраковых заболеваний
    органов малого таза гистероскопия, в том числе офисная гинекологические оперативные
    вмешательства влагалищным доступом эстетическая гинекология расширенная кольпоскопия
    биопсия шейки матки диатермокоагуляция лазерная деструкция диатермоэксцизия диагностические
    выскабливания конизация шейки матки введение и удаление внутриматочной спирали
    медикаментозное прерывание беременности'
  - 'стоимость приема от: 2490 руб (средняя стоимость приема); стаж: 31 год; тип приёма:
    в клинике; клиника: медицинский центр инвитро на красногвардейской; зябликово,
    шипиловская, красногвардейская; акушер, гинеколог, узи-специалист, гинеколог-эндокринолог;
    специализация: передающиеся половым путем зппп, бесплодие различной этиологии
    воспалительные заболевания вульвит, вагинит и др заболевания'
  - 'высокая стоимость приема; стаж: 12 лет; учёная степень: кандидат медицинских
    наук; пациенты: взрослые; тип приёма: в клинике; клиника: центр материнства и
    детства емс; савёловская, савеловская; аллерголог, иммунолог; специализация: диагностика
    и лечения врожденных и приобретенных нарушений иммунитета у часто болеющих детей
    и взрослых диагностики и интерпретации анализов иммунного и интерферонового статуса
    диагностики и интерпретации изменений в анализах крови'
- source_sentence: "Запрос: \n\nУ меня наблюдаются  нерегулярные месячные.  Какие\
    \ методы диагностики и лечения  этих проблем существуют? \n"
  sentences:
  - 'стоимость приема от: 3500 руб (средняя стоимость приема); стаж: 10 лет; пациенты:
    взрослые; тип приёма: в клинике; клиника: клиника медцель; беляево, коньково,
    калужская; гинеколог, узи-специалист; специализация: герпес половых органов цитомегаловирус
    у беременных генитальный кандидоз молочница инфекции, цервицит в качестве акушера
    проводит, кольпит, передающиеся половым путем иппп эрозия шейки матки бесплодие
    невынашивание беременности воспалительные заболевания вагинит'
  - 'высокая стоимость приема; стаж: 21 год; тип приёма: в клинике; клиника: gms clinic
    на смоленской; смоленская, киевская; венеролог, дерматолог, дерматовенеролог;
    специализация: лишаи различных типов псориаз дерматит аллергический, контактный,
    нейродермит акне угрей экзема розацеа себорея вирусных заболеваний кожи паппиломы,
    герпес микозов грибковых заболеваний кожи, атопический, бородавки'
  - 'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 8 лет; специальность:
    гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический
    центр медси на солянке; красносельская, лубянка, китай-город, цветной бульвар;
    ; специализация: ведение беременности подбор метода контрацепции, планирование
    и подготовка к беременности, в том числе введение и извлечение любых видов внутриматочной
    спирали заболеваний шейки матки кольпоскопия, лечение шейки матки с применением
    радиоволновых методов сургитрон лечение патологии эндометрия, биопсия шейки матки,
    папиллом радиоволновой метод выполнение магнитотерапии влагалища при заболеваниях
    женских половых органов, аспирационная биопсия эндометрия пайпельбиопсия гистероскопия
    с раздельным диагностическим выскабливанием удаление полипов эндометрия'
---

# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) <!-- at revision bf3bf13ab40c3157080a7ab344c831b9ad18b5eb -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 384 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Mykes/med-MiniLM-L12-v2")
# Run inference
sentences = [
    'Запрос: \n\nУ меня наблюдаются  нерегулярные месячные.  Какие методы диагностики и лечения  этих проблем существуют? \n',
    'стоимость приема от: 4900 руб (высокая стоимость приема); стаж: 8 лет; специальность: гинеколог; пациенты: взрослые; тип приёма: в клинике; клиника: клинико-диагностический центр медси на солянке; красносельская, лубянка, китай-город, цветной бульвар; ; специализация: ведение беременности подбор метода контрацепции, планирование и подготовка к беременности, в том числе введение и извлечение любых видов внутриматочной спирали заболеваний шейки матки кольпоскопия, лечение шейки матки с применением радиоволновых методов сургитрон лечение патологии эндометрия, биопсия шейки матки, папиллом радиоволновой метод выполнение магнитотерапии влагалища при заболеваниях женских половых органов, аспирационная биопсия эндометрия пайпельбиопсия гистероскопия с раздельным диагностическим выскабливанием удаление полипов эндометрия',
    'высокая стоимость приема; стаж: 21 год; тип приёма: в клинике; клиника: gms clinic на смоленской; смоленская, киевская; венеролог, дерматолог, дерматовенеролог; специализация: лишаи различных типов псориаз дерматит аллергический, контактный, нейродермит акне угрей экзема розацеа себорея вирусных заболеваний кожи паппиломы, герпес микозов грибковых заболеваний кожи, атопический, бородавки',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### Unnamed Dataset


* Size: 1,500 training samples
* Columns: <code>anchor</code> and <code>positive</code>
* Approximate statistics based on the first 1000 samples:
  |         | anchor                                                                              | positive                                                                             |
  |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
  | type    | string                                                                              | string                                                                               |
  | details | <ul><li>min: 15 tokens</li><li>mean: 38.47 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 63 tokens</li><li>mean: 118.31 tokens</li><li>max: 128 tokens</li></ul> |
* Samples:
  | anchor                                                                                                                                                                                                                                                                          | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
  |:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Какие препараты назначают при эндометриозе, и как они влияют на мое состояние? <br></code>                                                                                                                                                                                | <code>стоимость приема от: 5000 руб (высокая стоимость приема); стаж: 46 лет; квалификация: врач высшей категории; пациенты: взрослые; тип приёма: в клинике; клиника: многопрофильная клиника союз; электрозаводская, сокольники; гинеколог, гинеколог-эндокринолог; специализация: амбулаторная гинекология</code>                                                                                                                                                                                                                                                                                                                                                                                                                              |
  | <code>У моего ребенка часто возникают аллергические реакции, в том числе на укусы насекомых и некоторые продукты. Какие препараты можно использовать для лечения и профилактики аллергии у детей, и как определить, какая аллергия является наиболее серьезной? <br><br></code> | <code>стоимость приема от: 9000 руб (высокая стоимость приема); стаж: 41 год; звание: профессор; учёная степень: доктор медицинских наук; пациенты: дети; тип приёма: в клинике; клиника: медгород чистые пруды; тургеневская, сретенский бульвар, чистые пруды; аллерголог, иммунолог; специализация: так и с отклонениями здоровья, бронхиальная астма аллергический ринит насморк аллергический конъюнктивит крапивница в тч острая и хроническая атопический, инсектная аллергия на укусы насекомых вич и иммунодефицитные состояния цитомегаловирусные инфекции герпесвирусные инфекции дисфункции иммунной системы частые простудные заболевания ведение детей как здоровых, контактный дерматит пищевая, лекарственная, в том числе</code> |
  | <code>У меня появились высыпания на коже, какие процедуры в вашем центре помогут их избавиться и как их можно избежать в будущем? <br></code>                                                                                                                                   | <code>стоимость приема от: 3200 руб (средняя стоимость приема); стаж: 5 лет; пациенты: взрослые; тип приёма: в клинике; клиника: центр медицины и косметологии balance; варшавская, дубровка, нагатинская, москворечье; венеролог, дерматолог, косметолог, дерматовенеролог; специализация: инъекционная, неинвазивная, аппаратная</code>                                                                                                                                                                                                                                                                                                                                                                                                         |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `num_train_epochs`: 10.0

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: no
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10.0
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss |
|:------:|:----:|:-------------:|
| 2.6596 | 500  | 0.0161        |
| 5.3191 | 1000 | 0.0382        |
| 7.9787 | 1500 | 0.0367        |


### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.0.1
- Transformers: 4.42.4
- PyTorch: 2.4.0+cu121
- Accelerate: 0.32.1
- Datasets: 2.21.0
- Tokenizers: 0.19.1

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->