|
|
--- |
|
|
tags: |
|
|
- sentence-transformers |
|
|
- sentence-similarity |
|
|
- feature-extraction |
|
|
- generated_from_trainer |
|
|
- dataset_size:1541 |
|
|
- loss:MultipleNegativesRankingLoss |
|
|
base_model: intfloat/multilingual-e5-large |
|
|
widget: |
|
|
- source_sentence: 'query: Какие бумаги требуются для прикрепления опекуна к подопечному?' |
|
|
sentences: |
|
|
- q2p |
|
|
- "passage: С каким вопросом обратился банкрот?\n\n11. Получение кредита/ кредитной\ |
|
|
\ карты, погашение задолженности по кредиту\n\n1. Банк не осуществляет:\n- кредитование\ |
|
|
\ Клиентов-банкротов; \n- выпуск, досрочный перевыпуск и выдачу личных дебетовых/кредитных\ |
|
|
\ карт Клиентам-банкротам, в т.ч. дебетовых карт с овердрафтом и дополнительных\ |
|
|
\ дебетовых и кредитных карт к счету Клиента-банкрота. \n\nКлиент -банкрот (в\ |
|
|
\ любой стадии) может погасить задолженность по своему кредиту только при наличии\ |
|
|
\ РАЗРЕШЕНИЯ ФУ на проведение данной операции с указанием номера кредитного договора\ |
|
|
\ и суммы гашения. Операция проводится в стандартном режиме.\n\n\nБезналичное\ |
|
|
\ гашение кредита банкротом при наличии РАЗРЕШЕНИЯ ФУ:\nВходит в АС ФС в подсистему\ |
|
|
\ «Переводы физических лиц» → \nвыбирает «Операции без идентификации» → \nоперация\ |
|
|
\ «1. Оформление переводов физических лиц» → \n«1. Переводы по системе Сбербанка»\ |
|
|
\ → \n«Переводы со счета для зачисления на счет» → \nуказывает № счета клиента-банкрота,\ |
|
|
\ с которого будет перевод, → \nвыбирает «Перевод целевых кредитов, полученных\ |
|
|
\ в Сбербанке России, а также собственных средств по назначению кредита» → \n\ |
|
|
выбирает Перевод с целью погашения кредита → \nуказывает Сумму → \nвводит реквизиты\ |
|
|
\ ОСБ/ВСП* → \nвводит ФИО получателя (клиента-банкрота) и № ссудного счета/№ счета\ |
|
|
\ кредитной карты → \nв реквизитах отправителя указывает данные ДУЛ Финансового\ |
|
|
\ управляющего и Информацию о кредитных обязательствах: Оплата задолженности по\ |
|
|
\ кредитному договору №____ от __.__.20__ г./ кредитной карте № _________; дело\ |
|
|
\ о банкротстве №_________, клиент: Иванов Иван Иванович." |
|
|
- "passage: Сотрудник проверяет у клиента наличие оригинала сберкнижки или иного\ |
|
|
\ документа (копия книжки/дубликат книжки/договор вклада/квитанция ф. 31/банковский\ |
|
|
\ ордер или банковская справка, выписка/вкладчик получал компенсацию ранее по\ |
|
|
\ данному вкладу) (далее - Сберкнижка). \n\n\nКлиент обратился по вопросам, касающимся\ |
|
|
\ выплаты компенсации по вкладам:\n - Несогласие с суммой выплаты\n - Отказ в\ |
|
|
\ выплате\n - Порядок выплаты\n- Компенсации по вкладам иностранных государств.\n\ |
|
|
\n\nк тематике «Компенсация по вкладам до 20.06.1991 года» не относятся вопросы,\ |
|
|
\ касающиеся:\n- выплаты наследства по вкладам или банковским картам ,\n- получения\ |
|
|
\ справок/выписок по вкладам ,\n- розыска все вкладов\n- приема заявления на смену\ |
|
|
\ персональных данных , \n- выплаты страхового возмещения вкладчикам разорившихся\ |
|
|
\ банков \n\nСотрудник осуществляет консультацию клиента, при необходимость регистрирует\ |
|
|
\ обращение в АС CRM \"Розничный\" к тематике «Компенсация по вкладам до 20.06.1991\ |
|
|
\ года»" |
|
|
- source_sentence: 'query: Какую информацию необходимо указать в обращении при информировании |
|
|
ПЦП Центр комплаенс Московского Банка?' |
|
|
sentences: |
|
|
- 'passage: Возможные ошибки: |
|
|
|
|
|
|
|
|
Связь не создана |
|
|
|
|
|
|
|
|
Техническая ошибка. Повторите операцию позже.' |
|
|
- q2p |
|
|
- 'passage: Выберите вопрос: |
|
|
|
|
|
|
|
|
После завершения обслуживания и ухода клиента возникли подозрения, что операция |
|
|
или выпуск/перевыпуск карт(ы) проводились с целью легализации преступных доходов? |
|
|
|
|
|
|
|
|
Для информирования ПЦП Центр комплаенс/комплаенс Московского Банка незамедлительно |
|
|
направьте сведения о выявленном факте через ДРУГ (см. картинку) |
|
|
|
|
|
|
|
|
При заполнении обращения подробно опишите возникшие подозрения для сокращения |
|
|
времени принятия решения в отношении клиента и инструментов удаленного доступа |
|
|
к счету. |
|
|
|
|
|
|
|
|
ВАЖНО!!! |
|
|
|
|
|
Если Вы информируете ПЦП Центр комплаенс/комплаенс Московского Банка о свершившимся |
|
|
факте массового открытия клиенту банковских карт, в т.ч. в составе организованной |
|
|
группы, то дополнительно ознакомьтесь с признаками согласования выпуска/перевыпуска |
|
|
карт(ы) при приеме от клиента заявления. Чтобы в следующий раз согласовать либо |
|
|
отказать клиенту в выпуске/перевыпуске карт(ы) на этапе приема заявления, а не |
|
|
после окончания обслуживания.' |
|
|
- source_sentence: 'query: Какие типы счетов может открывать финансовый управляющий |
|
|
на имя банкрота?' |
|
|
sentences: |
|
|
- "passage: Данный вопрос может поступить как от законного представителя, так и\ |
|
|
\ от ребёнка\n\nЕсли обратился ребёнок:\n\nЗайти в CRM в профиль клиента-ребенка\ |
|
|
\ и проверить наличие установленных индивидуальных лимитов/ограничений по его\ |
|
|
\ картам:\n - Расходный лимит на месяц;\n - Расходный лимит на день;\n - Ограничение\ |
|
|
\ на снятие наличных в банкомате;\n - Ограничение на покупки в интернете.\n\ |
|
|
\ \nЕсли лимиты/ограничения установлены, то необходимо запросить у клиента-ребенка\ |
|
|
\ согласие на отключение индивидуальных лимитов/ограничений. Если ребёнок подтверждает\ |
|
|
\ отключение, то данные лимиты/ограничения необходимо отключить." |
|
|
- q2p |
|
|
- "passage: С каким вопросом обратился ФУ?\n\n04. Открытие счета на имя банкрота\ |
|
|
\ \n\nНа имя банкрота финансовый управляющий может открыть Специальный банковский\ |
|
|
\ счет, любой другой счет, в том числе ГЖС, эскроу\nКакой счет желает открыть\ |
|
|
\ ФУ" |
|
|
- source_sentence: 'query: Как ребенок может изменить установленный законным представителем |
|
|
лимит расходных операций по карте?' |
|
|
sentences: |
|
|
- "passage: Уведомите Клиента о необходимости пополнения расчетного счета для списания\ |
|
|
\ комиссий.\nПередайте клиентские экземпляры Клиенту. \n\nЗаключение поступит\ |
|
|
\ Вам на электронную почту.\n При получении положительного заключения дополнительные\ |
|
|
\ действия не требуются.\n При получении отрицательного заключения устраните\ |
|
|
\ замечания, указанные в нем. Как загрузить документы в ББМО, смотри вложение.\n\ |
|
|
\n\nПередайте оригиналы подписанных документов СМО для отправки в Оперативный\ |
|
|
\ архив." |
|
|
- q2p |
|
|
- 'passage: Существуют следующие ограничения: |
|
|
|
|
|
|
|
|
01. Расходный лимит на месяц: |
|
|
|
|
|
|
|
|
Устанавливается лимит на все расходные операции по карте на месяц. Сумму лимита |
|
|
можно изменить в любой момент. Уведомление об установлении лимита ребенку приходить |
|
|
не будет. Ребенок в своем МП СБОЛ также может скорректировать сумму этого лимита |
|
|
или полностью убрать установленный законным представителем лимит (если ребенку |
|
|
доступно данное действие). В этом случае уведомление законному представителю также |
|
|
не придет.' |
|
|
- source_sentence: 'query: Какие шаги нужно предпринять после отрицательного решения |
|
|
по запросу на открытие счета?' |
|
|
sentences: |
|
|
- q2p |
|
|
- "passage: Выбрать возраст ребенка\n\nребенку от 14 до 18 лет\n\nЕсли представитель\ |
|
|
\ ребенку от 14 до 18 лет является приемным родителем\n\nЗапросите следующие документы\ |
|
|
\ удостоверяющую личность или нотариально заверенную копию и один из документов,\ |
|
|
\ подтверждающие полномочия:\n\nДоговор о приемной семье\n\nДокумент органов опеки\ |
|
|
\ и попечительства \n\nПроставить галочку \"Документы предъявлены\" и нажать кнопку\ |
|
|
\ \"Продолжить\"" |
|
|
- 'passage: Выберите интересующий вопрос |
|
|
|
|
|
|
|
|
Может ли Законный представитель запретить возможность оплаты Детской СберКартой |
|
|
в интернете ? |
|
|
|
|
|
|
|
|
Да. Для этого Законному представителю в МП СБОЛ необходимо выбрать Детскую СберКарту |
|
|
в списке карт → Лимиты → Другие ограничения → Покупки в Интернете → Отключить' |
|
|
pipeline_tag: sentence-similarity |
|
|
library_name: sentence-transformers |
|
|
--- |
|
|
|
|
|
# SentenceTransformer based on intfloat/multilingual-e5-large |
|
|
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
- **Model Type:** Sentence Transformer |
|
|
- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 --> |
|
|
- **Maximum Sequence Length:** 512 tokens |
|
|
- **Output Dimensionality:** 1024 dimensions |
|
|
- **Similarity Function:** Cosine Similarity |
|
|
<!-- - **Training Dataset:** Unknown --> |
|
|
<!-- - **Language:** Unknown --> |
|
|
<!-- - **License:** Unknown --> |
|
|
|
|
|
### Model Sources |
|
|
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
|
|
### Full Model Architecture |
|
|
|
|
|
``` |
|
|
SentenceTransformer( |
|
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel |
|
|
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
|
(2): Normalize() |
|
|
) |
|
|
``` |
|
|
|
|
|
## Usage |
|
|
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
|
|
First install the Sentence Transformers library: |
|
|
|
|
|
```bash |
|
|
pip install -U sentence-transformers |
|
|
``` |
|
|
|
|
|
Then you can load this model and run inference. |
|
|
```python |
|
|
from sentence_transformers import SentenceTransformer |
|
|
|
|
|
# Download from the 🤗 Hub |
|
|
model = SentenceTransformer("George2002/sledopyt_embedder") |
|
|
# Run inference |
|
|
sentences = [ |
|
|
'query: Какие шаги нужно предпринять после отрицательного решения по запросу на открытие счета?', |
|
|
'passage: Выбрать возраст ребенка\n\nребенку от 14 до 18 лет\n\nЕсли представитель ребенку от 14 до 18 лет является приемным родителем\n\nЗапросите следующие документы удостоверяющую личность или нотариально заверенную копию и один из документов, подтверждающие полномочия:\n\nДоговор о приемной семье\n\nДокумент органов опеки и попечительства \n\nПроставить галочку "Документы предъявлены" и нажать кнопку "Продолжить"', |
|
|
'q2p', |
|
|
] |
|
|
embeddings = model.encode(sentences) |
|
|
print(embeddings.shape) |
|
|
# [3, 1024] |
|
|
|
|
|
# Get the similarity scores for the embeddings |
|
|
similarities = model.similarity(embeddings, embeddings) |
|
|
print(similarities.shape) |
|
|
# [3, 3] |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
### Direct Usage (Transformers) |
|
|
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Downstream Usage (Sentence Transformers) |
|
|
|
|
|
You can finetune this model on your own dataset. |
|
|
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
</details> |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Out-of-Scope Use |
|
|
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Bias, Risks and Limitations |
|
|
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
### Recommendations |
|
|
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
|
--> |
|
|
|
|
|
## Training Details |
|
|
|
|
|
### Training Dataset |
|
|
|
|
|
#### Unnamed Dataset |
|
|
|
|
|
* Size: 1,541 training samples |
|
|
* Columns: <code>anchor</code>, <code>positive</code>, and <code>task_type</code> |
|
|
* Approximate statistics based on the first 1000 samples: |
|
|
| | anchor | positive | task_type | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------| |
|
|
| type | string | string | string | |
|
|
| details | <ul><li>min: 11 tokens</li><li>mean: 21.95 tokens</li><li>max: 40 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 162.56 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 5.0 tokens</li><li>max: 5 tokens</li></ul> | |
|
|
* Samples: |
|
|
| anchor | positive | task_type | |
|
|
|:-------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------| |
|
|
| <code>query: Какие последствия, если родитель отключит показ карты ребенка в приложении?</code> | <code>passage: Существуют следующие возможности:<br><br>08. Разблокировать карту:<br><br>Если ребенок заблокировал карту с причиной «Ее захватил банкомат» или «Я так хочу», то законный представитель сможет ее самостоятельно разблокировать, если с причиной «Украли или потерялось», то законный представитель сможет ее самостоятельно разблокировать только в случае, если с картой ничего не было утеряно (в остальных случаях не сможет разблокировать). Ребенок при разблокировке не получит уведомлений об этом, но увидит в своем МП СБОЛ, что карта разблокирована. При этом, ребенку также будет доступна возможность снова заблокировать карту.</code> | <code>q2p</code> | |
|
|
| <code>query: С какого момента ФУ начинают получать обслуживание в СБОЛ через ФП 'Представители и правопреемники'?</code> | <code>passage: Описание функционала во вложении ниже.<br><br>Типичные вопросы по отображению молодёжных карт в МП СБОЛ родителя и ответы на них:<br><br>01. Кто может получить доступ к картам ребенка 14-17 лет ?<br><br>Установившие в Банке связь со своим ребенком 14-17 лет законные представители: Родитель/Усыновитель, Приемный родитель, Опекун (связь отображается в СБОЛ.Про - ФП «Подопечные и представители», а также в системе SmartCare. В CRM связь законного представителя и ребенка 14-17 лет НЕ отображается), по которым выполняется одно из следующих условий: <br><br>- СберКарта ребенка 14-17 лет была открыта и активирована до 16.11.2022 включительно, и ребенку исполнилось 14 лет до 16.11.2022 включительно.<br><br>- Законный представитель до пилота видел детскую СберКарту своего ребенка 13 лет в своем МП СберБанк Онлайн, и этому ребенку исполнилось 14 лет 17.11.2022 или позднее.</code> | <code>q2p</code> | |
|
|
| <code>query: Что отобразится в МП СБОЛ у ребенка после начала процесса закрытия карты?</code> | <code>passage: Заявление-анкета<br>Заявление-анкета</code> | <code>q2p</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
### Evaluation Dataset |
|
|
|
|
|
#### Unnamed Dataset |
|
|
|
|
|
* Size: 82 evaluation samples |
|
|
* Columns: <code>anchor</code>, <code>positive</code>, and <code>task_type</code> |
|
|
* Approximate statistics based on the first 82 samples: |
|
|
| | anchor | positive | task_type | |
|
|
|:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------| |
|
|
| type | string | string | string | |
|
|
| details | <ul><li>min: 16 tokens</li><li>mean: 21.44 tokens</li><li>max: 31 tokens</li></ul> | <ul><li>min: 15 tokens</li><li>mean: 144.37 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 5 tokens</li><li>mean: 5.0 tokens</li><li>max: 5 tokens</li></ul> | |
|
|
* Samples: |
|
|
| anchor | positive | task_type | |
|
|
|:--------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------| |
|
|
| <code>query: Какая информация нужна работнику ВСП о Детской СберКарте?</code> | <code>passage: Возможные ошибки:<br><br>Связь не создана<br><br>Техническая ошибка. Повторите операцию позже.</code> | <code>q2p</code> | |
|
|
| <code>query: Какое условие позволяет клиенту-банкрот распорядиться наследством в стадии "Реструктуризация долгов"?</code> | <code>passage: В случае, если Клиент, обратившийся за получением наследства при идентификации обнаружен в Стоп-Листе банкротов: <br>- сообщить клиенту, что у Банка есть информация о его банкротстве и он может получить только Выплату на достойные похороны<br>- выплату наследства Банк осуществляет в зависимости от стадии банкротства:<br><br>!!! Получить наследство и распоряжаться им самостоятельно клиент банкрот может только после завершения процедуры банкротства. <br><br>Наследством банкрота в стадии реализация имущества распоряжается утвержденный для проведения процедуры финансовый управляющий.<br> <br>В этом случае <br><br>Наследником в заявке на выплату через ОЦ заводим банкрота, выплата наследства перевеодится ему на счет. <br>После выплаты, ФУ уже в рамках своих полномочий сможет этими ДС распорядиться.<br>.<br><br>Стадия "Реструктуризация долгов"<br><br>В случае, если в отношении наследника умершего клиента - введена процедура "Реструктуризация долгов", клиент может распоряжаться наследством, только при предъявлении разрешения финан...</code> | <code>q2p</code> | |
|
|
| <code>query: Какие бумаги нужны, когда опекун ребенка выступает в роли представителя?</code> | <code>passage: Право распоряжения средствами на счете согласно требованиям ГК РФ (п.2 ст. 26, п.1 ст.37)<br><br>суммы пенсии, пособий (за исключением пособий по безработице), алиментов, страховые, в том числе по потере кормильца, наследственные суммы и т.д., суммы, перечисленные третьими лицами, а также принятые наличными денежные средства от третьих лиц, в том числе от попечителя<br><br>Ограниченно дееспособный распоряжается только с:<br>письменного предварительного разрешения органа опеки и попечительства* и письменного согласия попечителя.<br>(ниже по тексту во вложении Памятка по первичной проверке и передаче на хранение предварительного письменного разрешения органов опеки и попечительства сотрудником ВСП)<br><br>*Предварительное письменное разрешение органов опеки и попечительства на совершение операций по счетам ограниченно дееспособных может быть выдано через МФЦ в виде бумажного документа, заверенного печатью и подписью уполномоченного сотрудника МФЦ, и являющегося экземпляром электронного документа, подп...</code> | <code>q2p</code> | |
|
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
|
```json |
|
|
{ |
|
|
"scale": 20.0, |
|
|
"similarity_fct": "cos_sim" |
|
|
} |
|
|
``` |
|
|
|
|
|
### Training Hyperparameters |
|
|
#### Non-Default Hyperparameters |
|
|
|
|
|
- `eval_strategy`: steps |
|
|
- `per_device_train_batch_size`: 64 |
|
|
- `learning_rate`: 1e-05 |
|
|
- `weight_decay`: 0.01 |
|
|
- `num_train_epochs`: 5 |
|
|
- `warmup_ratio`: 0.1 |
|
|
- `load_best_model_at_end`: True |
|
|
- `push_to_hub`: True |
|
|
- `hub_model_id`: George2002/sledopyt_embedder |
|
|
- `hub_strategy`: end |
|
|
|
|
|
#### All Hyperparameters |
|
|
<details><summary>Click to expand</summary> |
|
|
|
|
|
- `overwrite_output_dir`: False |
|
|
- `do_predict`: False |
|
|
- `eval_strategy`: steps |
|
|
- `prediction_loss_only`: True |
|
|
- `per_device_train_batch_size`: 64 |
|
|
- `per_device_eval_batch_size`: 8 |
|
|
- `per_gpu_train_batch_size`: None |
|
|
- `per_gpu_eval_batch_size`: None |
|
|
- `gradient_accumulation_steps`: 1 |
|
|
- `eval_accumulation_steps`: None |
|
|
- `torch_empty_cache_steps`: None |
|
|
- `learning_rate`: 1e-05 |
|
|
- `weight_decay`: 0.01 |
|
|
- `adam_beta1`: 0.9 |
|
|
- `adam_beta2`: 0.999 |
|
|
- `adam_epsilon`: 1e-08 |
|
|
- `max_grad_norm`: 1.0 |
|
|
- `num_train_epochs`: 5 |
|
|
- `max_steps`: -1 |
|
|
- `lr_scheduler_type`: linear |
|
|
- `lr_scheduler_kwargs`: {} |
|
|
- `warmup_ratio`: 0.1 |
|
|
- `warmup_steps`: 0 |
|
|
- `log_level`: passive |
|
|
- `log_level_replica`: warning |
|
|
- `log_on_each_node`: True |
|
|
- `logging_nan_inf_filter`: True |
|
|
- `save_safetensors`: True |
|
|
- `save_on_each_node`: False |
|
|
- `save_only_model`: False |
|
|
- `restore_callback_states_from_checkpoint`: False |
|
|
- `no_cuda`: False |
|
|
- `use_cpu`: False |
|
|
- `use_mps_device`: False |
|
|
- `seed`: 42 |
|
|
- `data_seed`: None |
|
|
- `jit_mode_eval`: False |
|
|
- `use_ipex`: False |
|
|
- `bf16`: False |
|
|
- `fp16`: False |
|
|
- `fp16_opt_level`: O1 |
|
|
- `half_precision_backend`: auto |
|
|
- `bf16_full_eval`: False |
|
|
- `fp16_full_eval`: False |
|
|
- `tf32`: None |
|
|
- `local_rank`: 0 |
|
|
- `ddp_backend`: None |
|
|
- `tpu_num_cores`: None |
|
|
- `tpu_metrics_debug`: False |
|
|
- `debug`: [] |
|
|
- `dataloader_drop_last`: True |
|
|
- `dataloader_num_workers`: 0 |
|
|
- `dataloader_prefetch_factor`: None |
|
|
- `past_index`: -1 |
|
|
- `disable_tqdm`: False |
|
|
- `remove_unused_columns`: True |
|
|
- `label_names`: None |
|
|
- `load_best_model_at_end`: True |
|
|
- `ignore_data_skip`: False |
|
|
- `fsdp`: [] |
|
|
- `fsdp_min_num_params`: 0 |
|
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
|
- `tp_size`: 0 |
|
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
|
- `deepspeed`: None |
|
|
- `label_smoothing_factor`: 0.0 |
|
|
- `optim`: adamw_torch |
|
|
- `optim_args`: None |
|
|
- `adafactor`: False |
|
|
- `group_by_length`: False |
|
|
- `length_column_name`: length |
|
|
- `ddp_find_unused_parameters`: None |
|
|
- `ddp_bucket_cap_mb`: None |
|
|
- `ddp_broadcast_buffers`: False |
|
|
- `dataloader_pin_memory`: True |
|
|
- `dataloader_persistent_workers`: False |
|
|
- `skip_memory_metrics`: True |
|
|
- `use_legacy_prediction_loop`: False |
|
|
- `push_to_hub`: True |
|
|
- `resume_from_checkpoint`: None |
|
|
- `hub_model_id`: George2002/sledopyt_embedder |
|
|
- `hub_strategy`: end |
|
|
- `hub_private_repo`: None |
|
|
- `hub_always_push`: False |
|
|
- `gradient_checkpointing`: False |
|
|
- `gradient_checkpointing_kwargs`: None |
|
|
- `include_inputs_for_metrics`: False |
|
|
- `include_for_metrics`: [] |
|
|
- `eval_do_concat_batches`: True |
|
|
- `fp16_backend`: auto |
|
|
- `push_to_hub_model_id`: None |
|
|
- `push_to_hub_organization`: None |
|
|
- `mp_parameters`: |
|
|
- `auto_find_batch_size`: False |
|
|
- `full_determinism`: False |
|
|
- `torchdynamo`: None |
|
|
- `ray_scope`: last |
|
|
- `ddp_timeout`: 1800 |
|
|
- `torch_compile`: False |
|
|
- `torch_compile_backend`: None |
|
|
- `torch_compile_mode`: None |
|
|
- `include_tokens_per_second`: False |
|
|
- `include_num_input_tokens_seen`: False |
|
|
- `neftune_noise_alpha`: None |
|
|
- `optim_target_modules`: None |
|
|
- `batch_eval_metrics`: False |
|
|
- `eval_on_start`: False |
|
|
- `use_liger_kernel`: False |
|
|
- `eval_use_gather_object`: False |
|
|
- `average_tokens_across_devices`: False |
|
|
- `prompts`: None |
|
|
- `batch_sampler`: batch_sampler |
|
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
|
|
</details> |
|
|
|
|
|
### Training Logs |
|
|
| Epoch | Step | Training Loss | Validation Loss | |
|
|
|:------:|:----:|:-------------:|:---------------:| |
|
|
| 0.8333 | 10 | 3.801 | - | |
|
|
| 1.6667 | 20 | 3.4564 | - | |
|
|
| 2.0833 | 25 | - | 1.7632 | |
|
|
| 2.5 | 30 | 3.2725 | - | |
|
|
| 3.3333 | 40 | 3.152 | - | |
|
|
| 4.1667 | 50 | 3.0422 | 1.7122 | |
|
|
| 5.0 | 60 | 2.9745 | - | |
|
|
|
|
|
|
|
|
### Framework Versions |
|
|
- Python: 3.10.12 |
|
|
- Sentence Transformers: 4.1.0 |
|
|
- Transformers: 4.51.3 |
|
|
- PyTorch: 2.6.0+cu124 |
|
|
- Accelerate: 1.6.0 |
|
|
- Datasets: 3.5.0 |
|
|
- Tokenizers: 0.21.1 |
|
|
|
|
|
## Citation |
|
|
|
|
|
### BibTeX |
|
|
|
|
|
#### Sentence Transformers |
|
|
```bibtex |
|
|
@inproceedings{reimers-2019-sentence-bert, |
|
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
|
month = "11", |
|
|
year = "2019", |
|
|
publisher = "Association for Computational Linguistics", |
|
|
url = "https://arxiv.org/abs/1908.10084", |
|
|
} |
|
|
``` |
|
|
|
|
|
#### MultipleNegativesRankingLoss |
|
|
```bibtex |
|
|
@misc{henderson2017efficient, |
|
|
title={Efficient Natural Language Response Suggestion for Smart Reply}, |
|
|
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, |
|
|
year={2017}, |
|
|
eprint={1705.00652}, |
|
|
archivePrefix={arXiv}, |
|
|
primaryClass={cs.CL} |
|
|
} |
|
|
``` |
|
|
|
|
|
<!-- |
|
|
## Glossary |
|
|
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Authors |
|
|
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
|
--> |
|
|
|
|
|
<!-- |
|
|
## Model Card Contact |
|
|
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
|
--> |
