|
|
--- |
|
|
tags: |
|
|
- sentence-transformers |
|
|
- sentence-similarity |
|
|
- feature-extraction |
|
|
- generated_from_trainer |
|
|
- dataset_size:6680 |
|
|
- loss:MultipleNegativesRankingLoss |
|
|
base_model: intfloat/multilingual-e5-large |
|
|
widget: |
|
|
- source_sentence: 'query: Каковы последствия для банка при кредитовании клиентов-банкротов?' |
|
|
sentences: |
|
|
- 'passage: Существуют следующие ограничения: |
|
|
|
|
|
|
|
|
01. Расходный лимит на месяц: |
|
|
|
|
|
|
|
|
Устанавливается лимит на все расходные операции по карте на месяц. Сумму лимита |
|
|
можно изменить в любой момент. Уведомление об установлении лимита ребенку приходить |
|
|
не будет. Ребенок в своем МП СБОЛ также может скорректировать сумму этого лимита |
|
|
или полностью убрать установленный законным представителем лимит (если ребенку |
|
|
доступно данное действие). В этом случае уведомление законному представителю также |
|
|
не придет.' |
|
|
- "passage: С каким вопросом обратился банкрот?\n\n11. Получение кредита/ кредитной\ |
|
|
\ карты, погашение задолженности по кредиту\n\n1. Банк не осуществляет:\n- кредитование\ |
|
|
\ Клиентов-банкротов; \n- выпуск, досрочный перевыпуск и выдачу личных дебетовых/кредитных\ |
|
|
\ карт Клиентам-банкротам, в т.ч. дебетовых карт с овердрафтом и дополнительных\ |
|
|
\ дебетовых и кредитных карт к счету Клиента-банкрота. \n\nКлиент -банкрот (в\ |
|
|
\ любой стадии) может погасить задолженность по своему кредиту только при наличии\ |
|
|
\ РАЗРЕШЕНИЯ ФУ на проведение данной операции с указанием номера кредитного договора\ |
|
|
\ и суммы гашения. Операция проводится в стандартном режиме.\n\n\nБезналичное\ |
|
|
\ гашение кредита банкротом при наличии РАЗРЕШЕНИЯ ФУ:\nВходит в АС ФС в подсистему\ |
|
|
\ «Переводы физических лиц» → \nвыбирает «Операции без идентификации» → \nоперация\ |
|
|
\ «1. Оформление переводов физических лиц» → \n«1. Переводы по системе Сбербанка»\ |
|
|
\ → \n«Переводы со счета для зачисления на счет» → \nуказывает № счета клиента-банкрота,\ |
|
|
\ с которого будет перевод, → \nвыбирает «Перевод целевых кредитов, полученных\ |
|
|
\ в Сбербанке России, а также собственных средств по назначению кредита» → \n\ |
|
|
выбирает Перевод с целью погашения кредита → \nуказывает Сумму → \nвводит реквизиты\ |
|
|
\ ОСБ/ВСП* → \nвводит ФИО получателя (клиента-банкрота) и № ссудного счета/№ счета\ |
|
|
\ кредитной карты → \nв реквизитах отправителя указывает данные ДУЛ Финансового\ |
|
|
\ управляющего и Информацию о кредитных обязательствах: Оплата задолженности по\ |
|
|
\ кредитному договору №____ от __.__.20__ г./ кредитной карте № _________; дело\ |
|
|
\ о банкротстве №_________, клиент: Иванов Иван Иванович." |
|
|
- "passage: С каким вопросом обратился ФУ?\n\n04. Открытие счета на имя банкрота\ |
|
|
\ \n\nНа имя банкрота финансовый управляющий может открыть Специальный банковский\ |
|
|
\ счет, любой другой счет, в том числе ГЖС, эскроу\nКакой счет желает открыть\ |
|
|
\ ФУ" |
|
|
- source_sentence: 'query: Что необходимо указать в обращении при информировании ПЦП |
|
|
Центра комплаенс Московского Банка?' |
|
|
sentences: |
|
|
- 'passage: Возможные ошибки: |
|
|
|
|
|
|
|
|
Связь не создана |
|
|
|
|
|
|
|
|
Техническая ошибка. Повторите операцию позже.' |
|
|
- "passage: Выбрать возраст ребенка\n\nребенку от 14 до 18 лет\n\nЕсли представитель\ |
|
|
\ ребенку от 14 до 18 лет является приемным родителем\n\nЗапросите следующие документы\ |
|
|
\ удостоверяющую личность или нотариально заверенную копию и один из документов,\ |
|
|
\ подтверждающие полномочия:\n\nДоговор о приемной семье\n\nДокумент органов опеки\ |
|
|
\ и попечительства \n\nПроставить галочку \"Документы предъявлены\" и нажать кнопку\ |
|
|
\ \"Продолжить\"" |
|
|
- 'passage: Выберите вопрос: |
|
|
|
|
|
|
|
|
После завершения обслуживания и ухода клиента возникли подозрения, что операция |
|
|
или выпуск/перевыпуск карт(ы) проводились с целью легализации преступных доходов? |
|
|
|
|
|
|
|
|
Для информирования ПЦП Центр комплаенс/комплаенс Московского Банка незамедлительно |
|
|
направьте сведения о выявленном факте через ДРУГ (см. картинку) |
|
|
|
|
|
|
|
|
При заполнении обращения подробно опишите возникшие подозрения для сокращения |
|
|
времени принятия решения в отношении клиента и инструментов удаленного доступа |
|
|
к счету. |
|
|
|
|
|
|
|
|
ВАЖНО!!! |
|
|
|
|
|
Если Вы информируете ПЦП Центр комплаенс/комплаенс Московского Банка о свершившимся |
|
|
факте массового открытия клиенту банковских карт, в т.ч. в составе организованной |
|
|
группы, то дополнительно ознакомьтесь с признаками согласования выпуска/перевыпуска |
|
|
карт(ы) при приеме от клиента заявления. Чтобы в следующий раз согласовать либо |
|
|
отказать клиенту в выпуске/перевыпуске карт(ы) на этапе приема заявления, а не |
|
|
после окончания обслуживания.' |
|
|
- source_sentence: 'query: Какая заявка требуется для исправления данных о ребёнке, |
|
|
если он числится умершим?' |
|
|
sentences: |
|
|
- 'query: Что писать в теме электронного письма для смены маркера?' |
|
|
- 'query: Что нужно подать для исправления информации о ребёнке, если он зарегистрирован |
|
|
как умерший?' |
|
|
- 'query: Какой статус подопечного следует указать при добавлении нового подопечного?' |
|
|
- source_sentence: 'query: Какое свидетельство необходимо для подтверждения полномочий |
|
|
родителя или усыновителя несовершеннолетнего?' |
|
|
sentences: |
|
|
- 'query: Что нужно сделать, чтобы разблокировать карту перед снятием наличных?' |
|
|
- 'query: Какой документ требуется для подтверждения полномочий родителей или усыновителей |
|
|
несовершеннолетних?' |
|
|
- 'query: Что необходимо предоставить в АС СберДруг для вопроса о военной пенсии |
|
|
банкрота?' |
|
|
- source_sentence: 'query: Что нужно для подтверждения прав родителя или усыновителя |
|
|
ребенка с 14 до 18 лет?' |
|
|
sentences: |
|
|
- 'query: Какие категории клиентов обслуживаются законными представителями по документу?' |
|
|
- 'query: Какие справки нужны, чтобы подтвердить полномочия родителей или усыновителей |
|
|
несовершеннолетних от 14 до 18 лет?' |
|
|
- 'query: Кто имеет право переводить деньги на счет по правилам Гражданского Кодекса |
|
|
РФ?' |
|
|
pipeline_tag: sentence-similarity |
|
|
library_name: sentence-transformers |
|
|
--- |
|
|
|
|
|
# SentenceTransformer based on intfloat/multilingual-e5-large |
|
|
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the q2q_data and q2p_data datasets. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
- **Model Type:** Sentence Transformer |
|
|
- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 --> |
|
|
- **Maximum Sequence Length:** 512 tokens |
|
|
- **Output Dimensionality:** 1024 dimensions |
|
|
- **Similarity Function:** Cosine Similarity |
|
|
- **Training Datasets:** |
|
|
- q2q_data |
|
|
- q2p_data |
|
|
<!-- - **Language:** Unknown --> |
|
|
<!-- - **License:** Unknown --> |
|
|
|
|
|
### Model Sources |
|
|
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
|
|
### Full Model Architecture |
|
|
|
|
|
``` |
|
|
SentenceTransformer( |
|
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel |
|
|
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
|
(2): Normalize() |
|
|
) |
|
|
``` |
|
|
|
|
|
## Usage |
|
|
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
|
|
First install the Sentence Transformers library: |
|
|
|
|
|
```bash |
|
|
pip install -U sentence-transformers |
|
|
``` |
|
|
|
|
|
Then you can load this model and run inference. |
|
|
```python |
|
|
from sentence_transformers import SentenceTransformer |
|
|
|
|
|
# Download from the 🤗 Hub |
|
|
model = SentenceTransformer("George2002/sledopyt_embedder_v2") |
|
|
# Run inference |
|
|
sentences = [ |
|
|
'query: Что нужно для подтверждения прав родителя или усыновителя ребенка с 14 до 18 лет?', |
|
|
'query: Какие справки нужны, чтобы подтвердить полномочия родителей или усыновителей несовершеннолетних от 14 до 18 лет?', |
|
|
'query: Кто имеет право переводить деньги на счет по правилам Гражданского Кодекса РФ?', |
|
|
] |
|
|
embeddings = model.encode(sentences) |
|
|
print(embeddings.shape) |
|
|
# [3, 1024] |
|
|
|
|
|
# Get the similarity scores for the embeddings |
|
|
similarities = model.similarity(embeddings, embeddings) |
|
|
print(similarities.shape) |
|
|
# [3, 3] |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
### Direct Usage (Transformers) |
|
|
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Downstream Usage (Sentence Transformers) |
|
|
|
|
|
You can finetune this model on your own dataset. |
|
|
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Out-of-Scope Use |
|
|
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Bias, Risks and Limitations |
|
|
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Recommendations |
|
|
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
|
--> |
|
|
|
|
|
## Training Details |
|
|
|
|
|
### Training Datasets |
|
|
|
|
|
#### q2q_data |
|
|
|
|
|
* Dataset: q2q_data |
|
|
* Size: 5,139 training samples |
|
|
* Columns: <code>query_1</code> and <code>query_2</code> |
|
|
* Approximate statistics based on the first 1000 samples: |
|
|
| | query_1 | query_2 | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| |
|
|
| type | string | string | |
|
|
| details | <ul><li>min: 12 tokens</li><li>mean: 21.67 tokens</li><li>max: 41 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 21.56 tokens</li><li>max: 39 tokens</li></ul> | |
|
|
* Samples: |
|
|
| query_1 | query_2 | |
|
|
|:------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------| |
|
|
| <code>query: Какие категории подопечных можно выбрать на экране 'Запрос документов'?</code> | <code>query: Какие подопечные доступны для выбора на экране 'Запрос документов'?</code> | |
|
|
| <code>query: Какие действия нужно предпринять при наличии ареста на счете для выдачи наличных?</code> | <code>query: Какие шаги нужно выполнить, чтобы снять деньги с арестованного счета?</code> | |
|
|
| <code>query: Что необходимо сделать, если ваш счёт не был найден в системе?</code> | <code>query: Какие шаги предпринять, если счет не отображается в системе?</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
#### q2p_data |
|
|
|
|
|
* Dataset: q2p_data |
|
|
* Size: 1,541 training samples |
|
|
* Columns: <code>query</code> and <code>chunk</code> |
|
|
* Approximate statistics based on the first 1000 samples: |
|
|
| | query | chunk | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| |
|
|
| type | string | string | |
|
|
| details | <ul><li>min: 11 tokens</li><li>mean: 21.86 tokens</li><li>max: 37 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 162.56 tokens</li><li>max: 512 tokens</li></ul> | |
|
|
* Samples: |
|
|
| query | chunk | |
|
|
|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
|
| <code>query: Как ребенок узнает, что его карта была разблокирована законным представителем?</code> | <code>passage: Существуют следующие возможности:<br><br>08. Разблокировать карту:<br><br>Если ребенок заблокировал карту с причиной «Ее захватил банкомат» или «Я так хочу», то законный представитель сможет ее самостоятельно разблокировать, если с причиной «Украли или потерялось», то законный представитель сможет ее самостоятельно разблокировать только в случае, если с картой ничего не было утеряно (в остальных случаях не сможет разблокировать). Ребенок при разблокировке не получит уведомлений об этом, но увидит в своем МП СБОЛ, что карта разблокирована. При этом, ребенку также будет доступна возможность снова заблокировать карту.</code> | |
|
|
| <code>query: Какое условие нужно выполнить, чтобы законный представитель мог видеть детскую СберКарту, если ребенку исполнилось 14 лет 17.11.2022 или позже?</code> | <code>passage: Описание функционала во вложении ниже.<br><br>Типичные вопросы по отображению молодёжных карт в МП СБОЛ родителя и ответы на них:<br><br>01. Кто может получить доступ к картам ребенка 14-17 лет ?<br><br>Установившие в Банке связь со своим ребенком 14-17 лет законные представители: Родитель/Усыновитель, Приемный родитель, Опекун (связь отображается в СБОЛ.Про - ФП «Подопечные и представители», а также в системе SmartCare. В CRM связь законного представителя и ребенка 14-17 лет НЕ отображается), по которым выполняется одно из следующих условий: <br><br>- СберКарта ребенка 14-17 лет была открыта и активирована до 16.11.2022 включительно, и ребенку исполнилось 14 лет до 16.11.2022 включительно.<br><br>- Законный представитель до пилота видел детскую СберКарту своего ребенка 13 лет в своем МП СберБанк Онлайн, и этому ребенку исполнилось 14 лет 17.11.2022 или позднее.</code> | |
|
|
| <code>query: Что нужно указать в заявлении-анкете о личных данных клиента?</code> | <code>passage: Заявление-анкета<br>Заявление-анкета</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
### Evaluation Datasets |
|
|
|
|
|
#### q2q_data |
|
|
|
|
|
* Dataset: q2q_data |
|
|
* Size: 271 evaluation samples |
|
|
* Columns: <code>query_1</code> and <code>query_2</code> |
|
|
* Approximate statistics based on the first 271 samples: |
|
|
| | query_1 | query_2 | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| |
|
|
| type | string | string | |
|
|
| details | <ul><li>min: 12 tokens</li><li>mean: 22.01 tokens</li><li>max: 35 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 21.86 tokens</li><li>max: 37 tokens</li></ul> | |
|
|
* Samples: |
|
|
| query_1 | query_2 | |
|
|
|:--------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------| |
|
|
| <code>query: Какие требования к документам при обращении социального работника в ВСП?</code> | <code>query: Какие документы нужны социальному работнику при подаче заявки в ВСП?</code> | |
|
|
| <code>query: Что необходимо сделать перед тем, как снять наличные со счета подопечного?</code> | <code>query: Какие действия нужно предпринять, чтобы снять деньги со счета подопечного?</code> | |
|
|
| <code>query: Когда банкрот может получить карту МИР без согласия Финансового управляющего?</code> | <code>query: В каких ситуациях можно оформить карту МИР банкроту без разрешения Финансового управляющего?</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
#### q2p_data |
|
|
|
|
|
* Dataset: q2p_data |
|
|
* Size: 82 evaluation samples |
|
|
* Columns: <code>query</code> and <code>chunk</code> |
|
|
* Approximate statistics based on the first 82 samples: |
|
|
| | query | chunk | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------| |
|
|
| type | string | string | |
|
|
| details | <ul><li>min: 14 tokens</li><li>mean: 21.79 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 144.37 tokens</li><li>max: 512 tokens</li></ul> | |
|
|
* Samples: |
|
|
| query | chunk | |
|
|
|:-------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
|
| <code>query: Что делать, если появляется техническая ошибка при работе с номинальным счетом?</code> | <code>passage: Возможные ошибки:<br><br>Связь не создана<br><br>Техническая ошибка. Повторите операцию позже.</code> | |
|
|
| <code>query: Как клиент-банкрот может распорядиться наследством в стадии 'Реструктуризация долгов'?</code> | <code>passage: В случае, если Клиент, обратившийся за получением наследства при идентификации обнаружен в Стоп-Листе банкротов: <br>- сообщить клиенту, что у Банка есть информация о его банкротстве и он может получить только Выплату на достойные похороны<br>- выплату наследства Банк осуществляет в зависимости от стадии банкротства:<br><br>!!! Получить наследство и распоряжаться им самостоятельно клиент банкрот может только после завершения процедуры банкротства. <br><br>Наследством банкрота в стадии реализация имущества распоряжается утвержденный для проведения процедуры финансовый управляющий.<br> <br>В этом случае <br><br>Наследником в заявке на выплату через ОЦ заводим банкрота, выплата наследства перевеодится ему на счет. <br>После выплаты, ФУ уже в рамках своих полномочий сможет этими ДС распорядиться.<br>.<br><br>Стадия "Реструктуризация долгов"<br><br>В случае, если в отношении наследника умершего клиента - введена процедура "Реструктуризация долгов", клиент может распоряжаться наследством, только при предъявлении разрешения финан...</code> | |
|
|
| <code>query: Какую роль играют органы опеки и попечительства в процессе выдачи разрешений на операции по счету ограниченно дееспособного?</code> | <code>passage: Право распоряжения средствами на счете согласно требованиям ГК РФ (п.2 ст. 26, п.1 ст.37)<br><br>суммы пенсии, пособий (за исключением пособий по безработице), алиментов, страховые, в том числе по потере кормильца, наследственные суммы и т.д., суммы, перечисленные третьими лицами, а также принятые наличными денежные средства от третьих лиц, в том числе от попечителя<br><br>Ограниченно дееспособный распоряжается только с:<br>письменного предварительного разрешения органа опеки и попечительства* и письменного согласия попечителя.<br>(ниже по тексту во вложении Памятка по первичной проверке и передаче на хранение предварительного письменного разрешения органов опеки и попечительства сотрудником ВСП)<br><br>*Предварительное письменное разрешение органов опеки и попечительства на совершение операций по счетам ограниченно дееспособных может быть выдано через МФЦ в виде бумажного документа, заверенного печатью и подписью уполномоченного сотрудника МФЦ, и являющегося экземпляром электронного документа, подп...</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
### Training Hyperparameters |
|
|
#### Non-Default Hyperparameters |
|
|
|
|
|
- `eval_strategy`: steps |
|
|
- `per_device_train_batch_size`: 64 |
|
|
- `learning_rate`: 1e-05 |
|
|
- `weight_decay`: 0.01 |
|
|
- `warmup_ratio`: 0.1 |
|
|
- `load_best_model_at_end`: True |
|
|
- `push_to_hub`: True |
|
|
- `hub_model_id`: George2002/sledopyt_embedder_v2 |
|
|
- `hub_strategy`: end |
|
|
|
|
|
#### All Hyperparameters |
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
- `overwrite_output_dir`: False |
|
|
- `do_predict`: False |
|
|
- `eval_strategy`: steps |
|
|
- `prediction_loss_only`: True |
|
|
- `per_device_train_batch_size`: 64 |
|
|
- `per_device_eval_batch_size`: 8 |
|
|
- `per_gpu_train_batch_size`: None |
|
|
- `per_gpu_eval_batch_size`: None |
|
|
- `gradient_accumulation_steps`: 1 |
|
|
- `eval_accumulation_steps`: None |
|
|
- `torch_empty_cache_steps`: None |
|
|
- `learning_rate`: 1e-05 |
|
|
- `weight_decay`: 0.01 |
|
|
- `adam_beta1`: 0.9 |
|
|
- `adam_beta2`: 0.999 |
|
|
- `adam_epsilon`: 1e-08 |
|
|
- `max_grad_norm`: 1.0 |
|
|
- `num_train_epochs`: 3 |
|
|
- `max_steps`: -1 |
|
|
- `lr_scheduler_type`: linear |
|
|
- `lr_scheduler_kwargs`: {} |
|
|
- `warmup_ratio`: 0.1 |
|
|
- `warmup_steps`: 0 |
|
|
- `log_level`: passive |
|
|
- `log_level_replica`: warning |
|
|
- `log_on_each_node`: True |
|
|
- `logging_nan_inf_filter`: True |
|
|
- `save_safetensors`: True |
|
|
- `save_on_each_node`: False |
|
|
- `save_only_model`: False |
|
|
- `restore_callback_states_from_checkpoint`: False |
|
|
- `no_cuda`: False |
|
|
- `use_cpu`: False |
|
|
- `use_mps_device`: False |
|
|
- `seed`: 42 |
|
|
- `data_seed`: None |
|
|
- `jit_mode_eval`: False |
|
|
- `use_ipex`: False |
|
|
- `bf16`: False |
|
|
- `fp16`: False |
|
|
- `fp16_opt_level`: O1 |
|
|
- `half_precision_backend`: auto |
|
|
- `bf16_full_eval`: False |
|
|
- `fp16_full_eval`: False |
|
|
- `tf32`: None |
|
|
- `local_rank`: 0 |
|
|
- `ddp_backend`: None |
|
|
- `tpu_num_cores`: None |
|
|
- `tpu_metrics_debug`: False |
|
|
- `debug`: [] |
|
|
- `dataloader_drop_last`: True |
|
|
- `dataloader_num_workers`: 0 |
|
|
- `dataloader_prefetch_factor`: None |
|
|
- `past_index`: -1 |
|
|
- `disable_tqdm`: False |
|
|
- `remove_unused_columns`: True |
|
|
- `label_names`: None |
|
|
- `load_best_model_at_end`: True |
|
|
- `ignore_data_skip`: False |
|
|
- `fsdp`: [] |
|
|
- `fsdp_min_num_params`: 0 |
|
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
|
- `tp_size`: 0 |
|
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
|
- `deepspeed`: None |
|
|
- `label_smoothing_factor`: 0.0 |
|
|
- `optim`: adamw_torch |
|
|
- `optim_args`: None |
|
|
- `adafactor`: False |
|
|
- `group_by_length`: False |
|
|
- `length_column_name`: length |
|
|
- `ddp_find_unused_parameters`: None |
|
|
- `ddp_bucket_cap_mb`: None |
|
|
- `ddp_broadcast_buffers`: False |
|
|
- `dataloader_pin_memory`: True |
|
|
- `dataloader_persistent_workers`: False |
|
|
- `skip_memory_metrics`: True |
|
|
- `use_legacy_prediction_loop`: False |
|
|
- `push_to_hub`: True |
|
|
- `resume_from_checkpoint`: None |
|
|
- `hub_model_id`: George2002/sledopyt_embedder_v2 |
|
|
- `hub_strategy`: end |
|
|
- `hub_private_repo`: None |
|
|
- `hub_always_push`: False |
|
|
- `gradient_checkpointing`: False |
|
|
- `gradient_checkpointing_kwargs`: None |
|
|
- `include_inputs_for_metrics`: False |
|
|
- `include_for_metrics`: [] |
|
|
- `eval_do_concat_batches`: True |
|
|
- `fp16_backend`: auto |
|
|
- `push_to_hub_model_id`: None |
|
|
- `push_to_hub_organization`: None |
|
|
- `mp_parameters`: |
|
|
- `auto_find_batch_size`: False |
|
|
- `full_determinism`: False |
|
|
- `torchdynamo`: None |
|
|
- `ray_scope`: last |
|
|
- `ddp_timeout`: 1800 |
|
|
- `torch_compile`: False |
|
|
- `torch_compile_backend`: None |
|
|
- `torch_compile_mode`: None |
|
|
- `include_tokens_per_second`: False |
|
|
- `include_num_input_tokens_seen`: False |
|
|
- `neftune_noise_alpha`: None |
|
|
- `optim_target_modules`: None |
|
|
- `batch_eval_metrics`: False |
|
|
- `eval_on_start`: False |
|
|
- `use_liger_kernel`: False |
|
|
- `eval_use_gather_object`: False |
|
|
- `average_tokens_across_devices`: False |
|
|
- `prompts`: None |
|
|
- `batch_sampler`: batch_sampler |
|
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
|
|
</details> |
|
|
|
|
|
### Training Logs |
|
|
| Epoch | Step | Training Loss | q2q data loss | q2p data loss | |
|
|
|:------:|:----:|:-------------:|:-------------:|:-------------:| |
|
|
| 0.1923 | 10 | 1.6931 | - | - | |
|
|
| 0.3846 | 20 | 0.7742 | - | - | |
|
|
| 0.4808 | 25 | - | 0.0053 | 0.0658 | |
|
|
| 0.5769 | 30 | 0.2775 | - | - | |
|
|
| 0.7692 | 40 | 0.2046 | - | - | |
|
|
| 0.9615 | 50 | 0.229 | 0.0037 | 0.0302 | |
|
|
| 1.1538 | 60 | 0.1043 | - | - | |
|
|
| 1.3462 | 70 | 0.2127 | - | - | |
|
|
| 1.4423 | 75 | - | 0.0035 | 0.0231 | |
|
|
| 1.5385 | 80 | 0.1543 | - | - | |
|
|
| 1.7308 | 90 | 0.1286 | - | - | |
|
|
| 1.9231 | 100 | 0.1095 | 0.0029 | 0.0231 | |
|
|
| 2.1154 | 110 | 0.0941 | - | - | |
|
|
| 2.3077 | 120 | 0.1543 | - | - | |
|
|
| 2.4038 | 125 | - | 0.0028 | 0.0230 | |
|
|
| 2.5 | 130 | 0.0911 | - | - | |
|
|
| 2.6923 | 140 | 0.1389 | - | - | |
|
|
| 2.8846 | 150 | 0.0812 | 0.0027 | 0.0227 | |
|
|
|
|
|
|
|
|
### Framework Versions |
|
|
- Python: 3.10.12 |
|
|
- Sentence Transformers: 4.1.0 |
|
|
- Transformers: 4.51.3 |
|
|
- PyTorch: 2.6.0+cu124 |
|
|
- Accelerate: 1.6.0 |
|
|
- Datasets: 3.5.0 |
|
|
- Tokenizers: 0.21.1 |
|
|
|
|
|
## Citation |
|
|
|
|
|
### BibTeX |
|
|
|
|
|
#### Sentence Transformers |
|
|
```bibtex |
|
|
@inproceedings{reimers-2019-sentence-bert, |
|
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
|
month = "11", |
|
|
year = "2019", |
|
|
publisher = "Association for Computational Linguistics", |
|
|
url = "https://arxiv.org/abs/1908.10084", |
|
|
} |
|
|
``` |
|
|
|
|
|
#### MultipleNegativesRankingLoss |
|
|
```bibtex |
|
|
@misc{henderson2017efficient, |
|
|
title={Efficient Natural Language Response Suggestion for Smart Reply}, |
|
|
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, |
|
|
year={2017}, |
|
|
eprint={1705.00652}, |
|
|
archivePrefix={arXiv}, |
|
|
primaryClass={cs.CL} |
|
|
} |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
## Glossary |
|
|
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Authors |
|
|
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Contact |
|
|
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
|
--> |
