Upload model checkpoint

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 1024,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,639 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:41115
+- loss:TripletLoss
+base_model: intfloat/multilingual-e5-large
+widget:
+- source_sentence: 'query: Какое заверение требуется для разрешения Финансового управляющего
+    на снятие всех ограничений?'
+  sentences:
+  - 'passage: Выберите причину розыска?
+
+
+    Интересует компенсация по вкладам 1991 года
+
+
+    Сотрудник проверяет у клиента наличие оригинала сберкнижки или иного документа
+    (копия книжки/дубликат книжки/договор вклада/квитанция ф. 31/банковский ордер
+    или банковская справка, выписка/вкладчик получал компенсацию ранее по данному
+    вкладу) (далее - Сберкнижка).'
+  - "passage: При обращении клиента - банкрота для выполнения платежей по Плану реструктуризации\
+    \ долгов, он должен дополнительно предъявить: \n\n- Решение суда об утверждении\
+    \ Плана реструктуризации долгов;\n- Разрешение ФУ на снятие блокировок со счетов,\
+    \ отличных от Специального банковского счета (в случае необходимости)\n- Разрешение\
+    \ ФУ на снятие всех ограничений и возможность пользоваться всеми банковскими продуктами\
+    \  \n\n\n!!!!! Разрешение Финансового управляющего должно быть заверено личной\
+    \ подписью ФУ, копия удостоверена нотариусом (печать ФУ при наличии).\n\n\n\n\n\
+    Предоставлено разрешение ФУ на снятие всех ограничений \n\nДля снятия всех ограничений\
+    \ и для проведения платежей по \"Плану реструктуризации долгов\" необходимо\n\
+    Завести заявку через кнопку \"Решить вопрос клиента\" \n\nПо тематике: Банкротство\
+    \ ФЛ\n\nПрикрепить файлы сканов: \n - Решение АС о признании обоснованным заявления\
+    \ о признании гражданина банкротом и введения реструктуризации его долгов, \n\
+    \ + Решение АС об утверждении финансового управляющего (это может быть один документ),\
+    \ \n - Решение АС об утверждении Плана РД\n - Письменное разрешение/согласие финансового\
+    \ управляющего на снятие всех огранничений с продуктов должника с целью исполнения\
+    \ Плана РД.  \n\n \nПосле снятия арестов, должник сам распоряжается счетами и\
+    \ выполняет операции согласно Плана реструктуризации долгов."
+  - "passage: Для снятия всех ограничений необходимо предоставить Решение АС о завершении/прекращении\
+    \ банкротства.\n\n\n* В решении арбитражного суда могут быть указаны следующие\
+    \ определения:\n\n- Завершена реализация имущества;\n- Прекращено банкротство\
+    \ (в том числе заключение мирового соглашения);\n- Завершено конкурсное производство.\n\
+    \nКлиент обратился впервые\n\nСотрудник запрашивает у клиента Решение суда о завершении/\
+    \ прекращении процедуры банкротства (Копию). \n\nЕсли по клиенту закончилась процедура\
+    \ реструктуризация долгов и клиент пользовался банковской картой в качестве специального\
+    \ банковского счета с ежемесячным лимитом 50 000.00, необходимо проверить наличие\
+    \ установленного по карте лимита в АС ФС, и при его наличии, убрать выставленный\
+    \ лимит."
+- source_sentence: 'query: Каковы шаги для оформления заявки на разблокировку счета
+    в АС ''Сбердруг''?'
+  sentences:
+  - "passage: Проверить наличие ареста на счет, с которого необходимо произвести выдачу\n\
+    \n\nЕСТЬ АРЕСТ на счете\n\nОформить заявку в АС \"Сбердруг\" на разблокировку\
+    \ счета\n1.\tОткрыть Каталог –> \nОбслуживание клиентов –> \nОперационный центр\
+    \ –> \nСопровождение операций Физических лиц –>\nФЛ. Работа с операциями Банкротов,\
+    \ откроется шаблон заявки.\n2.\tЗаполнить поля шаблона заявки в соответствии:\
+    \ \nНомер ТБ: Номер ТБ, ведения счета \nВыберите тематику запроса: Взаимодействие\
+    \ с ВСП/ОСБ\nТип запроса: Разблокировка счетов\nТема запроса: Разблокировка счетов\
+    \ для выдачи наличных\nДалее указать:\nФИО банкрота - ФИО банкрота \nНомер счета\
+    \  - Номер счета/вклада \nОбратился      - (выбор Банкрот/ ФУ)\nВид получения\
+    \     (выбор нарочно / почта)\nВнутренний клиент (указать фамилию сотрудника,\
+    \ который сможет отследить исполнение заявки в случае отсутствия сотрудника, зарегистрировавшего\
+    \ заявку) \nСообщение в случае необходимости\n\n\nПрикрепить файлы сканов:  ДУЛ\
+    \ клиента+ иные документы\nи нажать зеленую кнопку \"ОТПРАВИТЬ\".\nЗапрос направлен\
+    \ на исполнение.\n\nОригиналы всех предоставленных и оформленных в процессе подготовки\
+    \ заявки документов остаются у клиента."
+  - 'passage: Кто обратился?
+
+
+    Вкладчик/Представитель вкладчика (полномочия подтверждены)
+
+
+    Выберите причину розыска?'
+  - "passage: Сотрудник  формирует заявку в \"Сбердруг\" по шаблону:\nКаталог→\nОбслуживание\
+    \ клиентов –> \nОперационный центр –> \nСопровождение операций Физических лиц\
+    \ –>\nФЛ. Работа с операциями Банкротов, откроется шаблон заявки\n\nЗаполнить\
+    \ поля шаблона заявки в соответствии: \nНомер ТБ: Номер ТБ, ведения счета (Для\
+    \ более быстрой обработки заявки верно указывайте ТБ клиента)\nВыберите тематику\
+    \ запроса: Взаимодействие с ВСП/ОСБ\n\nТип запроса: Разблокировка счетов\nТема\
+    \ запроса: Завершение процедуры банкротства\n\nДалее указать:\nФИО банкрота  -\
+    \ ФИО банкрота \nНомер счета     - Номер счета/вклада \nОбратился        - (выбор\
+    \ Банкрот/ ФУ)         \nВид получения -     (выбор нарочно / почта)\nСообщение\
+    \  заполнить в случае необходимости указания особенностей\n\nК заявке приложить\
+    \ скан-копии:\n - Определение арбитражного суда о прекращении/завершении банкротства\n\
+    \ - ДУЛ Клиента\nнажать зеленую кнопку \"ОТПРАВИТЬ\".\nЗапрос направлен на исполнение.\n\
+    \n\nПредупредить клиента, что мероприятия по снятию ограничений с продуктов будут\
+    \ выполнены в течении 7 рабочих дней.\nОригиналы предоставленных документов остаются\
+    \ у клиента.\n\n!!!!!ОБЯЗАТЕЛЬНО ВЫБРАТЬ ВЕРНУЮ ТЕМУ ЗАПРОСА!!!!! Тема запроса:\
+    \ Завершение процедуры банкротства\nЕсли выбрать тему запроса: разблокировка счета,\
+    \ счет может заблокировать повторно \n\n\nВ случае ��сли блокирован СБОЛ клиента\
+    \ дополнительно\nСотрудник регистрирует обращение в СРМ Розничный\nВыбирает\n\
+    Тематика:          Банкротство физического лица\nПодтематика:   Проведение операций\
+    \ по счету банкрота (в том числа открытие/закрытие)\nВыбирает причину обращения:\
+    \ РАЗБЛОКИРОВКА личного кабинета СБОЛ банкрота/ Блокировка Мобильного банка. \n\
+    В обращении обязательно указывает Фамилию Имя Отчество банкрота, День рождения.\
+    \ \nВкладывает в обращение:\n - Определение арбитражного суда о прекращении/завершении\
+    \ банкротства\n - ДУЛ Клиента \nОтправляет в работу."
+- source_sentence: 'query: Кто может выступать в качестве инициатора изменения контракта
+    согласно документу с memo_id 63368?'
+  sentences:
+  - 'query: Кто имеет право запросить изменение контракта согласно документу с memo_id
+    63368?'
+  - 'query: Когда можно изменить контракт согласно memo_id 63368?'
+  - 'query: Что необходимо отправить в ПЦП Центр комплаенс при подозрении на отмывание
+    денег?'
+- source_sentence: 'query: Что нужно сделать, если клиент найден?'
+  sentences:
+  - 'query: Что делать, если произошел сбой в системе Сбол.про?'
+  - 'query: Какие шаги необходимо предпринять, если клиент обнаружен?'
+  - 'query: Что делать после того, как клиент найден?'
+- source_sentence: 'query: Кто отвечает за подтверждение замены владельца номинального
+    счета?'
+  sentences:
+  - 'query: Кто должен дать согласие на смену владельца номинального счета?'
+  - 'query: Где можно установить индивидуальные лимиты по Детской СберКарте для законного
+    представителя?'
+  - 'query: Какой документ требуется для подтверждения личности клиента при смене
+    владельца номинального счета?'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on intfloat/multilingual-e5-large
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) on the q2q_data and q2p_data datasets. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 1024 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Datasets:**
+    - q2q_data
+    - q2p_data
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("George2002/sledopyt_embedder")
+# Run inference
+sentences = [
+    'query: Кто отвечает за подтверждение замены владельца номинального счета?',
+    'query: Кто должен дать согласие на смену владельца номинального счета?',
+    'query: Какой документ требуется для подтверждения личности клиента при смене владельца номинального счета?',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 1024]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Datasets
+
+#### q2q_data
+
+* Dataset: q2q_data
+* Size: 33,406 training samples
+* Columns: <code>query_1</code>, <code>query_2</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | query_1                                                                            | query_2                                                                            | negative                                                                           |
+  |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                             | string                                                                             |
+  | details | <ul><li>min: 12 tokens</li><li>mean: 22.08 tokens</li><li>max: 42 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 21.77 tokens</li><li>max: 43 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 21.45 tokens</li><li>max: 39 tokens</li></ul> |
+* Samples:
+  | query_1                                                                                  | query_2                                                                                             | negative                                                                                                               |
+  |:-----------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Какой телефон для отключения дневного расходного лимита для ребенка?</code> | <code>query: На какой номер нужно позвонить, чтобы снять лимит расходов на день для ребенка?</code> | <code>query: Как отключить лимиты по детской карте через мобильное приложение, если родитель хочет это сделать?</code> |
+  | <code>query: При каком условии можно выбрать возраст ребенка представительством?</code>  | <code>query: При каких обстоятельствах можно определить возраст ребенка в представительстве?</code> | <code>query: Какой статус должен быть у представителя для определения возраста ребенка?</code>                         |
+  | <code>query: Какие бумаги нужны при обращении, если счет не удается найти?</code>        | <code>query: Что требуется приложить к запросу, если счет отсутствует?</code>                       | <code>query: Что нужно предоставить для регистрации обращения, если счёт не обнаружен?</code>                          |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+#### q2p_data
+
+* Dataset: q2p_data
+* Size: 7,709 training samples
+* Columns: <code>query</code>, <code>chunk</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | query                                                                              | chunk                                                                                | negative                                                                             |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               | string                                                                               |
+  | details | <ul><li>min: 13 tokens</li><li>mean: 22.14 tokens</li><li>max: 40 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 162.33 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 129.72 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | query                                                                                                      | chunk                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  |:-----------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Что такое ДУЛ законного представителя и зачем он нужен?</code>                                | <code>passage: Документы, необходимые для прикрепления законного представителя к подопечному (несовершеннолетнему от 14 до 18 лет):<br><br>Приемный родитель<br><br>ДУЛ законного представителя<br><br>Документ из органа опеки и попечительства о передаче ребенка в приемную семью</code>                                                                                                                                                                                                                                                                                                                                              | <code>passage: Документы, необходимые для прикрепления законного представителя к подопечному (несовершеннолетнему от 14 до 18 лет):<br><br>Попечитель (физ. лицо)<br><br>ДУЛ законного представителя<br><br>Решение органа опеки и попечительства о назначении попечителя</code>                                                                                                                                                                                                                                                                                                              |
+  | <code>query: Что требуется для получения выписки по счету вкладчика с ограниченной дееспособностью?</code> | <code>passage: Выписка по счету (вкладу) может быть выдана:<br><br>- Ограниченно дееспособный в силу пристрастия<br><br>-Доверенное лицо ограниченно дееспособного</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                | <code>passage: Кто обратился?<br><br>Вкладчик/Представитель вкладчика (полномочия подтверждены)<br><br>Выберите причину розыска?</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
+  | <code>query: Какие учредительные документы необходимы для государственного социального учреждения?</code>  | <code>passage: Документ (распоряжение/приказ/акт/путевка) органа опеки и попечительства о помещении (передаче под надзор) несовершеннолетнего в государственную социальную организацию <br><br>Учредительные документы государственного социального учреждения (далее –учреждение)<br><br>Свидетельство о постановке на учет в налоговом органе учреждения<br><br>Выписка из Единого государственного реестра юридических лиц<br><br>Свидетельство о государственной регистрации учреждения<br><br>Документ (как правило, приказ)  о назначении (избрании) единоличного исполнительного органа (директора) социального учреждения</code> | <code>passage: Документ (распоряжение/приказ/акт/путевка) органа опеки и попечительства о помещении (передаче под надзор) ограниченно дееспособного гражданина в государственную социальную организацию <br>Учредительные документы государственного социального учреждения (далее –учреждение)<br><br>Свидетельство о постановке на учет в налоговом органе учреждения<br><br>Выписка из Единого государственного реестра юридических лиц<br><br>Свидетельство о государственной регистрации учреждения<br><br>Документы об избрании (назначении) единоличного исполнительного органа</code> |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Evaluation Datasets
+
+#### q2q_data
+
+* Dataset: q2q_data
+* Size: 1,759 evaluation samples
+* Columns: <code>query_1</code>, <code>query_2</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | query_1                                                                            | query_2                                                                            | negative                                                                           |
+  |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                             | string                                                                             |
+  | details | <ul><li>min: 11 tokens</li><li>mean: 22.02 tokens</li><li>max: 40 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 21.69 tokens</li><li>max: 39 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 21.38 tokens</li><li>max: 37 tokens</li></ul> |
+* Samples:
+  | query_1                                                                                                              | query_2                                                                                                               | negative                                                                                                  |
+  |:---------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------|
+  | <code>query: Что необходимо сделать при получении отрицательного заключения?</code>                                  | <code>query: Какие действия нужно предпринять после получения отрицательного ответа?</code>                           | <code>query: Какие шаги следует предпринять при получении негативного ответа после открытия счета?</code> |
+  | <code>query: Нужно ли согласовывать операцию с комплаенсом при переводе в СБОЛ.Про?</code>                           | <code>query: Обязательно ли получить согласие комплаенса для операции перевода в СБОЛ.Про?</code>                     | <code>query: Необходимо ли согласовывать перевод с комплаенсом в СБОЛ.Про?</code>                         |
+  | <code>query: Что появляется на экране после нажатия кнопки «Ребенок до 14 лет» или «Ребенок от 14 до 18 лет»?</code> | <code>query: Какой экран показывается после нажатия на кнопки «Ребенок до 14 лет» и «Ребенок от 14 до 18 лет»?</code> | <code>query: Каким лицам доступна выписка по счету несовершеннолетнего в возрасте от 14 до 18 лет?</code> |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+#### q2p_data
+
+* Dataset: q2p_data
+* Size: 406 evaluation samples
+* Columns: <code>query</code>, <code>chunk</code>, and <code>negative</code>
+* Approximate statistics based on the first 406 samples:
+  |         | query                                                                              | chunk                                                                                | negative                                                                             |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               | string                                                                               |
+  | details | <ul><li>min: 13 tokens</li><li>mean: 22.26 tokens</li><li>max: 40 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 163.57 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 12 tokens</li><li>mean: 126.02 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | query                                                                                                     | chunk                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
+  |:----------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>query: Куда следует направить информацию, полученную для розыска?</code>                            | <code>passage: Выберите причину розыска?<br><br>Информация нужна для предоставления в Суд/в органы опеки/ др. гос органы<br><br>Зарегистрируй обращение в СРМ  «Розничный». Приложи (при наличии) документы, подтверждающие .....</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | <code>passage: Заполните информацию о подопечном</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+  | <code>query: Кто может обратиться за открытием карты МИР без согласия Финансового управляющего?</code>    | <code>passage: С каким вопросом обратился банкрот?<br><br>06. Открытие счета/вклада (отличного от Специального счета банкрота)<br><br>Банкрот в любой стадии банкротства может открыть самостоятельно в стандартном режиме без согласия Финансового управляющего следующие виды счетов: <br><br>- Номинальный счет для получения пособий на подопечного/ алиментов на ребенка без согласия своего финансового управляющего. <br><br>Любой другой счет может открыть только банкрот в стадии реструктуризация долгов, предоставив разрешение Финансового управляющего<br><br>!!!!!! при обращении МОБИЛИЗОВАННОГО  (участник СВО) банкрота (в стадии РИ) для открытия и получения карты МИР для зачисления военного довольствия, открываем и выдаем карту МИР БЕЗ РАЗРЕШЕНИЯ ФУ</code> | <code>passage: Банкрот в любой стадии банкротства может открыть самостоятельно в стандартном режиме без согласия Финансового управляющего следующие виды счетов: <br><br>- Номинальный счет для получения пособий на подопечного/ алиментов на ребенка без согласия своего финансового управляющего. <br><br>Любой другой счет может открыть только банкрот в стадии реструктуризация долгов, предоставив разрешение Финансового управляющего<br><br>!!!!!! при обращении МОБИЛИЗОВАННОГО  (участник СВО) банкрота (в стадии РИ) для открытия и получения карты МИР для зачисления военного довольствия, открываем и выдаем карту МИР БЕЗ РАЗРЕШЕНИЯ ФУ<br><br>Процедура банкротства Реструктуризация долгов<br><br>Клиент, признанный банкротом в стадии реструктуризация долгов имеет право без согласия Финансового управляющего открыть счета:<br>- Специальный счет банкрота с ежемесячным лимитом в 50 000.00<br>- Счет ГЖС (Счет ГЖС открывается в стандартном режиме, арест/ блокировка на счет ГЖС не накладывается). <br>При открытии любого другого счёта банкрот должен п...</code> |
+  | <code>query: Что должно быть на свидетельстве о рождении Украины для оформления Детской СберКарты?</code> | <code>passage: ВНИМАНИЕ !<br>С 23 октября 2023г. в МП СБОЛ станет доступным заказ Детской СберКарты по свидетельству о рождении Украины со штампом о гражданстве РФ.<br>Для получения Детской СберКарты в офисе банка необходимо будет предоставить нотариально заверенное удостоверение перевода на русский язык свидетельства о рождении Украины со штампом о гражданстве РФ.<br><br><br><br><br><br>Типичные вопросы по Детской СберКарте и ответы на них<br><br>18. Сколько изготавливается Детская СберКарта ?<br><br>Актуальные сроки выпуска карты размещены на сайте Банка: Детская СберКарт -> Тарифы -> Документы и ссылки</code>                                                                                                                                           | <code>passage: ВНИМАНИЕ !<br>С 23 октября 2023г. в МП СБОЛ станет доступным заказ Детской СберКарты по свидетельству о рождении Украины со штампом о гражданстве РФ.<br>Для получения Детской СберКарты в офисе банка необходимо будет предоставить нотариально заверенное удостоверение перевода на русский язык свидетельства о рождении Украины со штампом о гражданстве РФ.<br><br><br><br><br><br>Типичные вопросы по Детской СберКарте и ответы на них<br><br>05. Бонусы Спасибо по Детской СберКарте<br><br>Выберите интересующий вопрос</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
+      "triplet_margin": 5
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 36
+- `learning_rate`: 1e-05
+- `weight_decay`: 0.01
+- `num_train_epochs`: 2
+- `warmup_ratio`: 0.1
+- `load_best_model_at_end`: True
+- `push_to_hub`: True
+- `hub_model_id`: George2002/sledopyt_embedder
+- `hub_strategy`: end
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 36
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 1e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 2
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `tp_size`: 0
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: True
+- `resume_from_checkpoint`: None
+- `hub_model_id`: George2002/sledopyt_embedder
+- `hub_strategy`: end
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss | q2q data loss | q2p data loss |
+|:------:|:----:|:-------------:|:-------------:|:-------------:|
+| 0.0175 | 10   | 4.957         | -             | -             |
+| 0.0351 | 20   | 4.9467        | -             | -             |
+| 0.0526 | 30   | 4.9452        | -             | -             |
+| 0.0702 | 40   | 4.9325        | -             | -             |
+| 0.0877 | 50   | 4.9056        | 4.8804        | 4.9222        |
+| 0.1053 | 60   | 4.9041        | -             | -             |
+| 0.1228 | 70   | 4.8866        | -             | -             |
+| 0.1404 | 80   | 4.844         | -             | -             |
+| 0.1579 | 90   | 4.8064        | -             | -             |
+| 0.1754 | 100  | 4.8182        | 4.7243        | 4.8660        |
+| 0.1930 | 110  | 4.7791        | -             | -             |
+| 0.2105 | 120  | 4.7659        | -             | -             |
+| 0.2281 | 130  | 4.7572        | -             | -             |
+| 0.2456 | 140  | 4.7234        | -             | -             |
+| 0.2632 | 150  | 4.726         | 4.6268        | 4.8712        |
+| 0.2807 | 160  | 4.6932        | -             | -             |
+| 0.2982 | 170  | 4.6654        | -             | -             |
+| 0.3158 | 180  | 4.6776        | -             | -             |
+| 0.3333 | 190  | 4.6617        | -             | -             |
+| 0.3509 | 200  | 4.6928        | 4.5581        | 4.8814        |
+| 0.3684 | 210  | 4.6497        | -             | -             |
+| 0.3860 | 220  | 4.677         | -             | -             |
+| 0.4035 | 230  | 4.6344        | -             | -             |
+| 0.4211 | 240  | 4.6612        | -             | -             |
+| 0.4386 | 250  | 4.6274        | 4.5154        | 4.8396        |
+| 0.4561 | 260  | 4.6556        | -             | -             |
+| 0.4737 | 270  | 4.6382        | -             | -             |
+| 0.4912 | 280  | 4.6053        | -             | -             |
+| 0.5088 | 290  | 4.6131        | -             | -             |
+| 0.5263 | 300  | 4.6453        | 4.4957        | 4.8314        |
+| 0.5439 | 310  | 4.5819        | -             | -             |
+| 0.5614 | 320  | 4.5948        | -             | -             |
+| 0.5789 | 330  | 4.5288        | -             | -             |
+| 0.5965 | 340  | 4.6152        | -             | -             |
+| 0.6140 | 350  | 4.5831        | 4.4657        | 4.7953        |
+| 0.6316 | 360  | 4.5507        | -             | -             |
+| 0.6491 | 370  | 4.5718        | -             | -             |
+| 0.6667 | 380  | 4.6269        | -             | -             |
+| 0.6842 | 390  | 4.6017        | -             | -             |
+| 0.7018 | 400  | 4.5155        | 4.4396        | 4.7694        |
+| 0.7193 | 410  | 4.5055        | -             | -             |
+| 0.7368 | 420  | 4.534         | -             | -             |
+| 0.7544 | 430  | 4.5358        | -             | -             |
+| 0.7719 | 440  | 4.5443        | -             | -             |
+| 0.7895 | 450  | 4.5309        | 4.4183        | 4.7751        |
+| 0.8070 | 460  | 4.5952        | -             | -             |
+| 0.8246 | 470  | 4.5561        | -             | -             |
+| 0.8421 | 480  | 4.5191        | -             | -             |
+| 0.8596 | 490  | 4.5066        | -             | -             |
+| 0.8772 | 500  | 4.4875        | 4.4138        | 4.8195        |
+| 0.8947 | 510  | 4.5051        | -             | -             |
+| 0.9123 | 520  | 4.4872        | -             | -             |
+| 0.9298 | 530  | 4.4918        | -             | -             |
+| 0.9474 | 540  | 4.5357        | -             | -             |
+| 0.9649 | 550  | 4.4898        | 4.3754        | 4.7799        |
+| 0.9825 | 560  | 4.5742        | -             | -             |
+| 1.0    | 570  | 4.5461        | -             | -             |
+| 1.0175 | 580  | 4.5505        | -             | -             |
+| 1.0351 | 590  | 4.5027        | -             | -             |
+| 1.0526 | 600  | 4.5747        | 4.4060        | 4.7915        |
+| 1.0702 | 610  | 4.5296        | -             | -             |
+| 1.0877 | 620  | 4.4262        | -             | -             |
+| 1.1053 | 630  | 4.5415        | -             | -             |
+| 1.1228 | 640  | 4.5386        | -             | -             |
+| 1.1404 | 650  | 4.4552        | 4.3632        | 4.8105        |
+| 1.1579 | 660  | 4.4473        | -             | -             |
+| 1.1754 | 670  | 4.5069        | -             | -             |
+| 1.1930 | 680  | 4.5129        | -             | -             |
+| 1.2105 | 690  | 4.4611        | -             | -             |
+| 1.2281 | 700  | 4.5104        | 4.3530        | 4.7875        |
+| 1.2456 | 710  | 4.4742        | -             | -             |
+| 1.2632 | 720  | 4.4887        | -             | -             |
+| 1.2807 | 730  | 4.406         | -             | -             |
+| 1.2982 | 740  | 4.4049        | -             | -             |
+| 1.3158 | 750  | 4.4165        | 4.3484        | 4.7866        |
+| 1.3333 | 760  | 4.4274        | -             | -             |
+| 1.3509 | 770  | 4.4855        | -             | -             |
+| 1.3684 | 780  | 4.4571        | -             | -             |
+| 1.3860 | 790  | 4.4307        | -             | -             |
+| 1.4035 | 800  | 4.4387        | 4.3450        | 4.7628        |
+| 1.4211 | 810  | 4.4592        | -             | -             |
+| 1.4386 | 820  | 4.4368        | -             | -             |
+| 1.4561 | 830  | 4.4863        | -             | -             |
+| 1.4737 | 840  | 4.463         | -             | -             |
+| 1.4912 | 850  | 4.4113        | 4.3252        | 4.7610        |
+| 1.5088 | 860  | 4.4368        | -             | -             |
+| 1.5263 | 870  | 4.4738        | -             | -             |
+| 1.5439 | 880  | 4.4195        | -             | -             |
+| 1.5614 | 890  | 4.4478        | -             | -             |
+| 1.5789 | 900  | 4.3849        | 4.3140        | 4.7519        |
+| 1.5965 | 910  | 4.4896        | -             | -             |
+| 1.6140 | 920  | 4.4301        | -             | -             |
+| 1.6316 | 930  | 4.4142        | -             | -             |
+| 1.6491 | 940  | 4.4582        | -             | -             |
+| 1.6667 | 950  | 4.5075        | 4.3189        | 4.7259        |
+| 1.6842 | 960  | 4.4454        | -             | -             |
+| 1.7018 | 970  | 4.3547        | -             | -             |
+| 1.7193 | 980  | 4.4016        | -             | -             |
+| 1.7368 | 990  | 4.4064        | -             | -             |
+| 1.7544 | 1000 | 4.4356        | 4.3151        | 4.7276        |
+| 1.7719 | 1010 | 4.4105        | -             | -             |
+| 1.7895 | 1020 | 4.4067        | -             | -             |
+| 1.8070 | 1030 | 4.4296        | -             | -             |
+| 1.8246 | 1040 | 4.4147        | -             | -             |
+| 1.8421 | 1050 | 4.3743        | 4.3136        | 4.7182        |
+| 1.8596 | 1060 | 4.4065        | -             | -             |
+| 1.8772 | 1070 | 4.4025        | -             | -             |
+| 1.8947 | 1080 | 4.3912        | -             | -             |
+| 1.9123 | 1090 | 4.3731        | -             | -             |
+| 1.9298 | 1100 | 4.3817        | 4.3120        | 4.7357        |
+| 1.9474 | 1110 | 4.4305        | -             | -             |
+| 1.9649 | 1120 | 4.3914        | -             | -             |
+| 1.9825 | 1130 | 4.4753        | -             | -             |
+| 2.0    | 1140 | 4.4536        | -             | -             |
+
+</details>
+
+### Framework Versions
+- Python: 3.10.12
+- Sentence Transformers: 4.1.0
+- Transformers: 4.51.3
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.6.0
+- Datasets: 3.5.0
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### TripletLoss
+```bibtex
+@misc{hermans2017defense,
+    title={In Defense of the Triplet Loss for Person Re-Identification},
+    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
+    year={2017},
+    eprint={1703.07737},
+    archivePrefix={arXiv},
+    primaryClass={cs.CV}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 1024,
+  "initializer_range": 0.02,
+  "intermediate_size": 4096,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.51.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.51.3",
+    "pytorch": "2.6.0+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c7515018f5affd45fd06031441cc6f80d56d3d6ace9f66b500dacd81c8dcaf6e
+size 2239607176

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e42702ecb4deb779013ae19516cda637b6cc7c753393745b81634d880bdc41f3
+size 4471055801

rng_state_0.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:146f18108292a900e3a747e95127a2f108fe8808f83bef93e35c5d393b53ef2b
+size 14512

rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6f7478be6a7c1fb7a5d40ac5ae3c8d42f6d2436c0e5da02cf1a8695abfa2d412
+size 14512

scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f09c89c7de3256d9b3cbdea6949c3738ef7b72eea9145038ad05df05556b21c7
+size 1064

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "model_max_length": 512,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "XLMRobertaTokenizer",
+  "unk_token": "<unk>"
+}

trainer_state.json

@@ -0,0 +1,1184 @@
+{
+  "best_global_step": 1050,
+  "best_metric": 4.7181901931762695,
+  "best_model_checkpoint": ".../training_output/checkpoint-800",
+  "epoch": 2.0,
+  "eval_steps": 50,
+  "global_step": 1140,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.017543859649122806,
+      "grad_norm": 0.8221026659011841,
+      "learning_rate": 7.894736842105263e-07,
+      "loss": 4.957,
+      "step": 10
+    },
+    {
+      "epoch": 0.03508771929824561,
+      "grad_norm": 0.8544751405715942,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 4.9467,
+      "step": 20
+    },
+    {
+      "epoch": 0.05263157894736842,
+      "grad_norm": 0.964083731174469,
+      "learning_rate": 2.5438596491228075e-06,
+      "loss": 4.9452,
+      "step": 30
+    },
+    {
+      "epoch": 0.07017543859649122,
+      "grad_norm": 0.9615139365196228,
+      "learning_rate": 3.421052631578948e-06,
+      "loss": 4.9325,
+      "step": 40
+    },
+    {
+      "epoch": 0.08771929824561403,
+      "grad_norm": 1.156923770904541,
+      "learning_rate": 4.298245614035088e-06,
+      "loss": 4.9056,
+      "step": 50
+    },
+    {
+      "epoch": 0.08771929824561403,
+      "eval_q2q_data_loss": 4.880394458770752,
+      "eval_q2q_data_runtime": 5.5966,
+      "eval_q2q_data_samples_per_second": 314.295,
+      "eval_q2q_data_steps_per_second": 19.655,
+      "step": 50
+    },
+    {
+      "epoch": 0.08771929824561403,
+      "eval_q2p_data_loss": 4.922183990478516,
+      "eval_q2p_data_runtime": 7.55,
+      "eval_q2p_data_samples_per_second": 53.775,
+      "eval_q2p_data_steps_per_second": 3.444,
+      "step": 50
+    },
+    {
+      "epoch": 0.10526315789473684,
+      "grad_norm": 1.2874988317489624,
+      "learning_rate": 5.175438596491229e-06,
+      "loss": 4.9041,
+      "step": 60
+    },
+    {
+      "epoch": 0.12280701754385964,
+      "grad_norm": 1.5450624227523804,
+      "learning_rate": 6.0526315789473685e-06,
+      "loss": 4.8866,
+      "step": 70
+    },
+    {
+      "epoch": 0.14035087719298245,
+      "grad_norm": 1.8990825414657593,
+      "learning_rate": 6.92982456140351e-06,
+      "loss": 4.844,
+      "step": 80
+    },
+    {
+      "epoch": 0.15789473684210525,
+      "grad_norm": 2.0947864055633545,
+      "learning_rate": 7.80701754385965e-06,
+      "loss": 4.8064,
+      "step": 90
+    },
+    {
+      "epoch": 0.17543859649122806,
+      "grad_norm": 2.2433862686157227,
+      "learning_rate": 8.68421052631579e-06,
+      "loss": 4.8182,
+      "step": 100
+    },
+    {
+      "epoch": 0.17543859649122806,
+      "eval_q2q_data_loss": 4.724327087402344,
+      "eval_q2q_data_runtime": 5.5749,
+      "eval_q2q_data_samples_per_second": 315.523,
+      "eval_q2q_data_steps_per_second": 19.731,
+      "step": 100
+    },
+    {
+      "epoch": 0.17543859649122806,
+      "eval_q2p_data_loss": 4.865963459014893,
+      "eval_q2p_data_runtime": 7.5397,
+      "eval_q2p_data_samples_per_second": 53.849,
+      "eval_q2p_data_steps_per_second": 3.448,
+      "step": 100
+    },
+    {
+      "epoch": 0.19298245614035087,
+      "grad_norm": 2.198146104812622,
+      "learning_rate": 9.56140350877193e-06,
+      "loss": 4.7791,
+      "step": 110
+    },
+    {
+      "epoch": 0.21052631578947367,
+      "grad_norm": 2.6786892414093018,
+      "learning_rate": 9.951267056530215e-06,
+      "loss": 4.7659,
+      "step": 120
+    },
+    {
+      "epoch": 0.22807017543859648,
+      "grad_norm": 2.485137462615967,
+      "learning_rate": 9.853801169590644e-06,
+      "loss": 4.7572,
+      "step": 130
+    },
+    {
+      "epoch": 0.24561403508771928,
+      "grad_norm": 2.5113883018493652,
+      "learning_rate": 9.756335282651072e-06,
+      "loss": 4.7234,
+      "step": 140
+    },
+    {
+      "epoch": 0.2631578947368421,
+      "grad_norm": 3.184298276901245,
+      "learning_rate": 9.658869395711503e-06,
+      "loss": 4.726,
+      "step": 150
+    },
+    {
+      "epoch": 0.2631578947368421,
+      "eval_q2q_data_loss": 4.626772403717041,
+      "eval_q2q_data_runtime": 5.5905,
+      "eval_q2q_data_samples_per_second": 314.638,
+      "eval_q2q_data_steps_per_second": 19.676,
+      "step": 150
+    },
+    {
+      "epoch": 0.2631578947368421,
+      "eval_q2p_data_loss": 4.871231555938721,
+      "eval_q2p_data_runtime": 7.5434,
+      "eval_q2p_data_samples_per_second": 53.822,
+      "eval_q2p_data_steps_per_second": 3.447,
+      "step": 150
+    },
+    {
+      "epoch": 0.2807017543859649,
+      "grad_norm": 3.1563026905059814,
+      "learning_rate": 9.56140350877193e-06,
+      "loss": 4.6932,
+      "step": 160
+    },
+    {
+      "epoch": 0.2982456140350877,
+      "grad_norm": 3.4077727794647217,
+      "learning_rate": 9.463937621832359e-06,
+      "loss": 4.6654,
+      "step": 170
+    },
+    {
+      "epoch": 0.3157894736842105,
+      "grad_norm": 3.617626428604126,
+      "learning_rate": 9.366471734892788e-06,
+      "loss": 4.6776,
+      "step": 180
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 4.701232433319092,
+      "learning_rate": 9.269005847953217e-06,
+      "loss": 4.6617,
+      "step": 190
+    },
+    {
+      "epoch": 0.3508771929824561,
+      "grad_norm": 7.48028564453125,
+      "learning_rate": 9.171539961013646e-06,
+      "loss": 4.6928,
+      "step": 200
+    },
+    {
+      "epoch": 0.3508771929824561,
+      "eval_q2q_data_loss": 4.558098793029785,
+      "eval_q2q_data_runtime": 5.5778,
+      "eval_q2q_data_samples_per_second": 315.355,
+      "eval_q2q_data_steps_per_second": 19.721,
+      "step": 200
+    },
+    {
+      "epoch": 0.3508771929824561,
+      "eval_q2p_data_loss": 4.881445407867432,
+      "eval_q2p_data_runtime": 7.5112,
+      "eval_q2p_data_samples_per_second": 54.053,
+      "eval_q2p_data_steps_per_second": 3.462,
+      "step": 200
+    },
+    {
+      "epoch": 0.3684210526315789,
+      "grad_norm": 4.592555522918701,
+      "learning_rate": 9.074074074074075e-06,
+      "loss": 4.6497,
+      "step": 210
+    },
+    {
+      "epoch": 0.38596491228070173,
+      "grad_norm": 4.758955478668213,
+      "learning_rate": 8.976608187134503e-06,
+      "loss": 4.677,
+      "step": 220
+    },
+    {
+      "epoch": 0.40350877192982454,
+      "grad_norm": 4.005542278289795,
+      "learning_rate": 8.879142300194934e-06,
+      "loss": 4.6344,
+      "step": 230
+    },
+    {
+      "epoch": 0.42105263157894735,
+      "grad_norm": 5.429654598236084,
+      "learning_rate": 8.781676413255361e-06,
+      "loss": 4.6612,
+      "step": 240
+    },
+    {
+      "epoch": 0.43859649122807015,
+      "grad_norm": 5.14253044128418,
+      "learning_rate": 8.68421052631579e-06,
+      "loss": 4.6274,
+      "step": 250
+    },
+    {
+      "epoch": 0.43859649122807015,
+      "eval_q2q_data_loss": 4.515370845794678,
+      "eval_q2q_data_runtime": 5.5777,
+      "eval_q2q_data_samples_per_second": 315.36,
+      "eval_q2q_data_steps_per_second": 19.721,
+      "step": 250
+    },
+    {
+      "epoch": 0.43859649122807015,
+      "eval_q2p_data_loss": 4.839608669281006,
+      "eval_q2p_data_runtime": 7.5286,
+      "eval_q2p_data_samples_per_second": 53.928,
+      "eval_q2p_data_steps_per_second": 3.454,
+      "step": 250
+    },
+    {
+      "epoch": 0.45614035087719296,
+      "grad_norm": 4.397937774658203,
+      "learning_rate": 8.586744639376219e-06,
+      "loss": 4.6556,
+      "step": 260
+    },
+    {
+      "epoch": 0.47368421052631576,
+      "grad_norm": 6.12044095993042,
+      "learning_rate": 8.489278752436648e-06,
+      "loss": 4.6382,
+      "step": 270
+    },
+    {
+      "epoch": 0.49122807017543857,
+      "grad_norm": 8.43116283416748,
+      "learning_rate": 8.391812865497077e-06,
+      "loss": 4.6053,
+      "step": 280
+    },
+    {
+      "epoch": 0.5087719298245614,
+      "grad_norm": 7.88032341003418,
+      "learning_rate": 8.294346978557506e-06,
+      "loss": 4.6131,
+      "step": 290
+    },
+    {
+      "epoch": 0.5263157894736842,
+      "grad_norm": 6.561196804046631,
+      "learning_rate": 8.196881091617934e-06,
+      "loss": 4.6453,
+      "step": 300
+    },
+    {
+      "epoch": 0.5263157894736842,
+      "eval_q2q_data_loss": 4.495702743530273,
+      "eval_q2q_data_runtime": 5.5691,
+      "eval_q2q_data_samples_per_second": 315.85,
+      "eval_q2q_data_steps_per_second": 19.752,
+      "step": 300
+    },
+    {
+      "epoch": 0.5263157894736842,
+      "eval_q2p_data_loss": 4.831414222717285,
+      "eval_q2p_data_runtime": 7.5076,
+      "eval_q2p_data_samples_per_second": 54.079,
+      "eval_q2p_data_steps_per_second": 3.463,
+      "step": 300
+    },
+    {
+      "epoch": 0.543859649122807,
+      "grad_norm": 7.7354536056518555,
+      "learning_rate": 8.099415204678363e-06,
+      "loss": 4.5819,
+      "step": 310
+    },
+    {
+      "epoch": 0.5614035087719298,
+      "grad_norm": 6.592026233673096,
+      "learning_rate": 8.001949317738792e-06,
+      "loss": 4.5948,
+      "step": 320
+    },
+    {
+      "epoch": 0.5789473684210527,
+      "grad_norm": 8.176568031311035,
+      "learning_rate": 7.904483430799221e-06,
+      "loss": 4.5288,
+      "step": 330
+    },
+    {
+      "epoch": 0.5964912280701754,
+      "grad_norm": 8.80689811706543,
+      "learning_rate": 7.80701754385965e-06,
+      "loss": 4.6152,
+      "step": 340
+    },
+    {
+      "epoch": 0.6140350877192983,
+      "grad_norm": 6.051924228668213,
+      "learning_rate": 7.70955165692008e-06,
+      "loss": 4.5831,
+      "step": 350
+    },
+    {
+      "epoch": 0.6140350877192983,
+      "eval_q2q_data_loss": 4.4657182693481445,
+      "eval_q2q_data_runtime": 5.5705,
+      "eval_q2q_data_samples_per_second": 315.77,
+      "eval_q2q_data_steps_per_second": 19.747,
+      "step": 350
+    },
+    {
+      "epoch": 0.6140350877192983,
+      "eval_q2p_data_loss": 4.795331001281738,
+      "eval_q2p_data_runtime": 7.5177,
+      "eval_q2p_data_samples_per_second": 54.006,
+      "eval_q2p_data_steps_per_second": 3.458,
+      "step": 350
+    },
+    {
+      "epoch": 0.631578947368421,
+      "grad_norm": 6.087244510650635,
+      "learning_rate": 7.612085769980507e-06,
+      "loss": 4.5507,
+      "step": 360
+    },
+    {
+      "epoch": 0.6491228070175439,
+      "grad_norm": 8.209424018859863,
+      "learning_rate": 7.5146198830409365e-06,
+      "loss": 4.5718,
+      "step": 370
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 11.899641990661621,
+      "learning_rate": 7.417153996101365e-06,
+      "loss": 4.6269,
+      "step": 380
+    },
+    {
+      "epoch": 0.6842105263157895,
+      "grad_norm": 10.490060806274414,
+      "learning_rate": 7.319688109161795e-06,
+      "loss": 4.6017,
+      "step": 390
+    },
+    {
+      "epoch": 0.7017543859649122,
+      "grad_norm": 6.545611381530762,
+      "learning_rate": 7.222222222222223e-06,
+      "loss": 4.5155,
+      "step": 400
+    },
+    {
+      "epoch": 0.7017543859649122,
+      "eval_q2q_data_loss": 4.439589500427246,
+      "eval_q2q_data_runtime": 5.563,
+      "eval_q2q_data_samples_per_second": 316.195,
+      "eval_q2q_data_steps_per_second": 19.773,
+      "step": 400
+    },
+    {
+      "epoch": 0.7017543859649122,
+      "eval_q2p_data_loss": 4.769360542297363,
+      "eval_q2p_data_runtime": 7.5013,
+      "eval_q2p_data_samples_per_second": 54.124,
+      "eval_q2p_data_steps_per_second": 3.466,
+      "step": 400
+    },
+    {
+      "epoch": 0.7192982456140351,
+      "grad_norm": 9.658538818359375,
+      "learning_rate": 7.124756335282652e-06,
+      "loss": 4.5055,
+      "step": 410
+    },
+    {
+      "epoch": 0.7368421052631579,
+      "grad_norm": 11.859044075012207,
+      "learning_rate": 7.02729044834308e-06,
+      "loss": 4.534,
+      "step": 420
+    },
+    {
+      "epoch": 0.7543859649122807,
+      "grad_norm": 6.311577320098877,
+      "learning_rate": 6.92982456140351e-06,
+      "loss": 4.5358,
+      "step": 430
+    },
+    {
+      "epoch": 0.7719298245614035,
+      "grad_norm": 15.303114891052246,
+      "learning_rate": 6.832358674463938e-06,
+      "loss": 4.5443,
+      "step": 440
+    },
+    {
+      "epoch": 0.7894736842105263,
+      "grad_norm": 7.770440101623535,
+      "learning_rate": 6.7348927875243675e-06,
+      "loss": 4.5309,
+      "step": 450
+    },
+    {
+      "epoch": 0.7894736842105263,
+      "eval_q2q_data_loss": 4.418254852294922,
+      "eval_q2q_data_runtime": 5.5809,
+      "eval_q2q_data_samples_per_second": 315.182,
+      "eval_q2q_data_steps_per_second": 19.71,
+      "step": 450
+    },
+    {
+      "epoch": 0.7894736842105263,
+      "eval_q2p_data_loss": 4.7750725746154785,
+      "eval_q2p_data_runtime": 7.5356,
+      "eval_q2p_data_samples_per_second": 53.878,
+      "eval_q2p_data_steps_per_second": 3.45,
+      "step": 450
+    },
+    {
+      "epoch": 0.8070175438596491,
+      "grad_norm": 10.787198066711426,
+      "learning_rate": 6.637426900584796e-06,
+      "loss": 4.5952,
+      "step": 460
+    },
+    {
+      "epoch": 0.8245614035087719,
+      "grad_norm": 6.622506141662598,
+      "learning_rate": 6.539961013645225e-06,
+      "loss": 4.5561,
+      "step": 470
+    },
+    {
+      "epoch": 0.8421052631578947,
+      "grad_norm": 9.452810287475586,
+      "learning_rate": 6.442495126705654e-06,
+      "loss": 4.5191,
+      "step": 480
+    },
+    {
+      "epoch": 0.8596491228070176,
+      "grad_norm": 8.921065330505371,
+      "learning_rate": 6.345029239766083e-06,
+      "loss": 4.5066,
+      "step": 490
+    },
+    {
+      "epoch": 0.8771929824561403,
+      "grad_norm": 6.36785364151001,
+      "learning_rate": 6.247563352826511e-06,
+      "loss": 4.4875,
+      "step": 500
+    },
+    {
+      "epoch": 0.8771929824561403,
+      "eval_q2q_data_loss": 4.413846015930176,
+      "eval_q2q_data_runtime": 5.5964,
+      "eval_q2q_data_samples_per_second": 314.308,
+      "eval_q2q_data_steps_per_second": 19.655,
+      "step": 500
+    },
+    {
+      "epoch": 0.8771929824561403,
+      "eval_q2p_data_loss": 4.819548606872559,
+      "eval_q2p_data_runtime": 7.5407,
+      "eval_q2p_data_samples_per_second": 53.841,
+      "eval_q2p_data_steps_per_second": 3.448,
+      "step": 500
+    },
+    {
+      "epoch": 0.8947368421052632,
+      "grad_norm": 8.613053321838379,
+      "learning_rate": 6.15009746588694e-06,
+      "loss": 4.5051,
+      "step": 510
+    },
+    {
+      "epoch": 0.9122807017543859,
+      "grad_norm": 6.249648571014404,
+      "learning_rate": 6.0526315789473685e-06,
+      "loss": 4.4872,
+      "step": 520
+    },
+    {
+      "epoch": 0.9298245614035088,
+      "grad_norm": 14.66945743560791,
+      "learning_rate": 5.9551656920077984e-06,
+      "loss": 4.4918,
+      "step": 530
+    },
+    {
+      "epoch": 0.9473684210526315,
+      "grad_norm": 13.305913925170898,
+      "learning_rate": 5.857699805068227e-06,
+      "loss": 4.5357,
+      "step": 540
+    },
+    {
+      "epoch": 0.9649122807017544,
+      "grad_norm": 10.659647941589355,
+      "learning_rate": 5.760233918128656e-06,
+      "loss": 4.4898,
+      "step": 550
+    },
+    {
+      "epoch": 0.9649122807017544,
+      "eval_q2q_data_loss": 4.375401020050049,
+      "eval_q2q_data_runtime": 5.5712,
+      "eval_q2q_data_samples_per_second": 315.731,
+      "eval_q2q_data_steps_per_second": 19.744,
+      "step": 550
+    },
+    {
+      "epoch": 0.9649122807017544,
+      "eval_q2p_data_loss": 4.779933929443359,
+      "eval_q2p_data_runtime": 7.4961,
+      "eval_q2p_data_samples_per_second": 54.162,
+      "eval_q2p_data_steps_per_second": 3.468,
+      "step": 550
+    },
+    {
+      "epoch": 0.9824561403508771,
+      "grad_norm": 7.730218410491943,
+      "learning_rate": 5.662768031189084e-06,
+      "loss": 4.5742,
+      "step": 560
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 9.418205261230469,
+      "learning_rate": 5.565302144249514e-06,
+      "loss": 4.5461,
+      "step": 570
+    },
+    {
+      "epoch": 1.0175438596491229,
+      "grad_norm": 10.373188972473145,
+      "learning_rate": 5.467836257309942e-06,
+      "loss": 4.5505,
+      "step": 580
+    },
+    {
+      "epoch": 1.0350877192982457,
+      "grad_norm": 11.559415817260742,
+      "learning_rate": 5.370370370370371e-06,
+      "loss": 4.5027,
+      "step": 590
+    },
+    {
+      "epoch": 1.0526315789473684,
+      "grad_norm": 18.346025466918945,
+      "learning_rate": 5.2729044834307995e-06,
+      "loss": 4.5747,
+      "step": 600
+    },
+    {
+      "epoch": 1.0526315789473684,
+      "eval_q2q_data_loss": 4.405951499938965,
+      "eval_q2q_data_runtime": 5.5358,
+      "eval_q2q_data_samples_per_second": 317.749,
+      "eval_q2q_data_steps_per_second": 19.871,
+      "step": 600
+    },
+    {
+      "epoch": 1.0526315789473684,
+      "eval_q2p_data_loss": 4.791478633880615,
+      "eval_q2p_data_runtime": 7.389,
+      "eval_q2p_data_samples_per_second": 54.947,
+      "eval_q2p_data_steps_per_second": 3.519,
+      "step": 600
+    },
+    {
+      "epoch": 1.0701754385964912,
+      "grad_norm": 8.272171020507812,
+      "learning_rate": 5.175438596491229e-06,
+      "loss": 4.5296,
+      "step": 610
+    },
+    {
+      "epoch": 1.087719298245614,
+      "grad_norm": 8.837151527404785,
+      "learning_rate": 5.077972709551658e-06,
+      "loss": 4.4262,
+      "step": 620
+    },
+    {
+      "epoch": 1.1052631578947367,
+      "grad_norm": 13.43027400970459,
+      "learning_rate": 4.980506822612086e-06,
+      "loss": 4.5415,
+      "step": 630
+    },
+    {
+      "epoch": 1.1228070175438596,
+      "grad_norm": 8.466143608093262,
+      "learning_rate": 4.883040935672515e-06,
+      "loss": 4.5386,
+      "step": 640
+    },
+    {
+      "epoch": 1.1403508771929824,
+      "grad_norm": 10.755400657653809,
+      "learning_rate": 4.785575048732944e-06,
+      "loss": 4.4552,
+      "step": 650
+    },
+    {
+      "epoch": 1.1403508771929824,
+      "eval_q2q_data_loss": 4.363187789916992,
+      "eval_q2q_data_runtime": 5.5237,
+      "eval_q2q_data_samples_per_second": 318.449,
+      "eval_q2q_data_steps_per_second": 19.914,
+      "step": 650
+    },
+    {
+      "epoch": 1.1403508771929824,
+      "eval_q2p_data_loss": 4.810464382171631,
+      "eval_q2p_data_runtime": 7.469,
+      "eval_q2p_data_samples_per_second": 54.358,
+      "eval_q2p_data_steps_per_second": 3.481,
+      "step": 650
+    },
+    {
+      "epoch": 1.1578947368421053,
+      "grad_norm": 8.030132293701172,
+      "learning_rate": 4.688109161793373e-06,
+      "loss": 4.4473,
+      "step": 660
+    },
+    {
+      "epoch": 1.1754385964912282,
+      "grad_norm": 8.19764518737793,
+      "learning_rate": 4.590643274853801e-06,
+      "loss": 4.5069,
+      "step": 670
+    },
+    {
+      "epoch": 1.1929824561403508,
+      "grad_norm": 11.119821548461914,
+      "learning_rate": 4.4931773879142305e-06,
+      "loss": 4.5129,
+      "step": 680
+    },
+    {
+      "epoch": 1.2105263157894737,
+      "grad_norm": 9.186931610107422,
+      "learning_rate": 4.3957115009746595e-06,
+      "loss": 4.4611,
+      "step": 690
+    },
+    {
+      "epoch": 1.2280701754385965,
+      "grad_norm": 7.6313042640686035,
+      "learning_rate": 4.298245614035088e-06,
+      "loss": 4.5104,
+      "step": 700
+    },
+    {
+      "epoch": 1.2280701754385965,
+      "eval_q2q_data_loss": 4.353029727935791,
+      "eval_q2q_data_runtime": 5.559,
+      "eval_q2q_data_samples_per_second": 316.425,
+      "eval_q2q_data_steps_per_second": 19.788,
+      "step": 700
+    },
+    {
+      "epoch": 1.2280701754385965,
+      "eval_q2p_data_loss": 4.787461757659912,
+      "eval_q2p_data_runtime": 7.5053,
+      "eval_q2p_data_samples_per_second": 54.095,
+      "eval_q2p_data_steps_per_second": 3.464,
+      "step": 700
+    },
+    {
+      "epoch": 1.2456140350877192,
+      "grad_norm": 12.636022567749023,
+      "learning_rate": 4.200779727095517e-06,
+      "loss": 4.4742,
+      "step": 710
+    },
+    {
+      "epoch": 1.263157894736842,
+      "grad_norm": 16.598079681396484,
+      "learning_rate": 4.103313840155946e-06,
+      "loss": 4.4887,
+      "step": 720
+    },
+    {
+      "epoch": 1.280701754385965,
+      "grad_norm": 6.5720038414001465,
+      "learning_rate": 4.005847953216375e-06,
+      "loss": 4.406,
+      "step": 730
+    },
+    {
+      "epoch": 1.2982456140350878,
+      "grad_norm": 10.550318717956543,
+      "learning_rate": 3.908382066276803e-06,
+      "loss": 4.4049,
+      "step": 740
+    },
+    {
+      "epoch": 1.3157894736842106,
+      "grad_norm": 16.054428100585938,
+      "learning_rate": 3.8109161793372323e-06,
+      "loss": 4.4165,
+      "step": 750
+    },
+    {
+      "epoch": 1.3157894736842106,
+      "eval_q2q_data_loss": 4.348443031311035,
+      "eval_q2q_data_runtime": 5.5669,
+      "eval_q2q_data_samples_per_second": 315.976,
+      "eval_q2q_data_steps_per_second": 19.76,
+      "step": 750
+    },
+    {
+      "epoch": 1.3157894736842106,
+      "eval_q2p_data_loss": 4.786614894866943,
+      "eval_q2p_data_runtime": 7.508,
+      "eval_q2p_data_samples_per_second": 54.076,
+      "eval_q2p_data_steps_per_second": 3.463,
+      "step": 750
+    },
+    {
+      "epoch": 1.3333333333333333,
+      "grad_norm": 10.04055404663086,
+      "learning_rate": 3.713450292397661e-06,
+      "loss": 4.4274,
+      "step": 760
+    },
+    {
+      "epoch": 1.3508771929824561,
+      "grad_norm": 12.780068397521973,
+      "learning_rate": 3.61598440545809e-06,
+      "loss": 4.4855,
+      "step": 770
+    },
+    {
+      "epoch": 1.368421052631579,
+      "grad_norm": 10.54061222076416,
+      "learning_rate": 3.5185185185185187e-06,
+      "loss": 4.4571,
+      "step": 780
+    },
+    {
+      "epoch": 1.3859649122807016,
+      "grad_norm": 5.75900936126709,
+      "learning_rate": 3.421052631578948e-06,
+      "loss": 4.4307,
+      "step": 790
+    },
+    {
+      "epoch": 1.4035087719298245,
+      "grad_norm": 10.625808715820312,
+      "learning_rate": 3.3235867446393765e-06,
+      "loss": 4.4387,
+      "step": 800
+    },
+    {
+      "epoch": 1.4035087719298245,
+      "eval_q2q_data_loss": 4.345006465911865,
+      "eval_q2q_data_runtime": 5.5698,
+      "eval_q2q_data_samples_per_second": 315.808,
+      "eval_q2q_data_steps_per_second": 19.749,
+      "step": 800
+    },
+    {
+      "epoch": 1.4035087719298245,
+      "eval_q2p_data_loss": 4.762818813323975,
+      "eval_q2p_data_runtime": 7.5368,
+      "eval_q2p_data_samples_per_second": 53.869,
+      "eval_q2p_data_steps_per_second": 3.45,
+      "step": 800
+    },
+    {
+      "epoch": 1.4210526315789473,
+      "grad_norm": 9.662367820739746,
+      "learning_rate": 3.2261208576998056e-06,
+      "loss": 4.4592,
+      "step": 810
+    },
+    {
+      "epoch": 1.4385964912280702,
+      "grad_norm": 14.999639511108398,
+      "learning_rate": 3.1286549707602342e-06,
+      "loss": 4.4368,
+      "step": 820
+    },
+    {
+      "epoch": 1.456140350877193,
+      "grad_norm": 17.007898330688477,
+      "learning_rate": 3.0311890838206633e-06,
+      "loss": 4.4863,
+      "step": 830
+    },
+    {
+      "epoch": 1.4736842105263157,
+      "grad_norm": 14.116398811340332,
+      "learning_rate": 2.933723196881092e-06,
+      "loss": 4.463,
+      "step": 840
+    },
+    {
+      "epoch": 1.4912280701754386,
+      "grad_norm": 5.4955315589904785,
+      "learning_rate": 2.8362573099415206e-06,
+      "loss": 4.4113,
+      "step": 850
+    },
+    {
+      "epoch": 1.4912280701754386,
+      "eval_q2q_data_loss": 4.325167655944824,
+      "eval_q2q_data_runtime": 5.5814,
+      "eval_q2q_data_samples_per_second": 315.156,
+      "eval_q2q_data_steps_per_second": 19.708,
+      "step": 850
+    },
+    {
+      "epoch": 1.4912280701754386,
+      "eval_q2p_data_loss": 4.761044979095459,
+      "eval_q2p_data_runtime": 7.4985,
+      "eval_q2p_data_samples_per_second": 54.144,
+      "eval_q2p_data_steps_per_second": 3.467,
+      "step": 850
+    },
+    {
+      "epoch": 1.5087719298245614,
+      "grad_norm": 13.653097152709961,
+      "learning_rate": 2.7387914230019497e-06,
+      "loss": 4.4368,
+      "step": 860
+    },
+    {
+      "epoch": 1.526315789473684,
+      "grad_norm": 13.720170974731445,
+      "learning_rate": 2.6413255360623784e-06,
+      "loss": 4.4738,
+      "step": 870
+    },
+    {
+      "epoch": 1.543859649122807,
+      "grad_norm": 15.261076927185059,
+      "learning_rate": 2.5438596491228075e-06,
+      "loss": 4.4195,
+      "step": 880
+    },
+    {
+      "epoch": 1.5614035087719298,
+      "grad_norm": 10.974407196044922,
+      "learning_rate": 2.446393762183236e-06,
+      "loss": 4.4478,
+      "step": 890
+    },
+    {
+      "epoch": 1.5789473684210527,
+      "grad_norm": 10.83484935760498,
+      "learning_rate": 2.3489278752436648e-06,
+      "loss": 4.3849,
+      "step": 900
+    },
+    {
+      "epoch": 1.5789473684210527,
+      "eval_q2q_data_loss": 4.314022064208984,
+      "eval_q2q_data_runtime": 5.5727,
+      "eval_q2q_data_samples_per_second": 315.646,
+      "eval_q2q_data_steps_per_second": 19.739,
+      "step": 900
+    },
+    {
+      "epoch": 1.5789473684210527,
+      "eval_q2p_data_loss": 4.751864910125732,
+      "eval_q2p_data_runtime": 7.4934,
+      "eval_q2p_data_samples_per_second": 54.181,
+      "eval_q2p_data_steps_per_second": 3.47,
+      "step": 900
+    },
+    {
+      "epoch": 1.5964912280701755,
+      "grad_norm": 21.77918243408203,
+      "learning_rate": 2.2514619883040934e-06,
+      "loss": 4.4896,
+      "step": 910
+    },
+    {
+      "epoch": 1.6140350877192984,
+      "grad_norm": 7.528986930847168,
+      "learning_rate": 2.1539961013645225e-06,
+      "loss": 4.4301,
+      "step": 920
+    },
+    {
+      "epoch": 1.631578947368421,
+      "grad_norm": 8.18942928314209,
+      "learning_rate": 2.056530214424951e-06,
+      "loss": 4.4142,
+      "step": 930
+    },
+    {
+      "epoch": 1.6491228070175439,
+      "grad_norm": 10.001923561096191,
+      "learning_rate": 1.9590643274853803e-06,
+      "loss": 4.4582,
+      "step": 940
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "grad_norm": 10.730441093444824,
+      "learning_rate": 1.861598440545809e-06,
+      "loss": 4.5075,
+      "step": 950
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "eval_q2q_data_loss": 4.3189191818237305,
+      "eval_q2q_data_runtime": 5.5874,
+      "eval_q2q_data_samples_per_second": 314.816,
+      "eval_q2q_data_steps_per_second": 19.687,
+      "step": 950
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "eval_q2p_data_loss": 4.725940704345703,
+      "eval_q2p_data_runtime": 7.514,
+      "eval_q2p_data_samples_per_second": 54.033,
+      "eval_q2p_data_steps_per_second": 3.46,
+      "step": 950
+    },
+    {
+      "epoch": 1.6842105263157894,
+      "grad_norm": 9.174509048461914,
+      "learning_rate": 1.7641325536062378e-06,
+      "loss": 4.4454,
+      "step": 960
+    },
+    {
+      "epoch": 1.7017543859649122,
+      "grad_norm": 11.805915832519531,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 4.3547,
+      "step": 970
+    },
+    {
+      "epoch": 1.719298245614035,
+      "grad_norm": 9.230790138244629,
+      "learning_rate": 1.5692007797270955e-06,
+      "loss": 4.4016,
+      "step": 980
+    },
+    {
+      "epoch": 1.736842105263158,
+      "grad_norm": 13.292176246643066,
+      "learning_rate": 1.4717348927875244e-06,
+      "loss": 4.4064,
+      "step": 990
+    },
+    {
+      "epoch": 1.7543859649122808,
+      "grad_norm": 9.294161796569824,
+      "learning_rate": 1.3742690058479533e-06,
+      "loss": 4.4356,
+      "step": 1000
+    },
+    {
+      "epoch": 1.7543859649122808,
+      "eval_q2q_data_loss": 4.3151326179504395,
+      "eval_q2q_data_runtime": 5.5534,
+      "eval_q2q_data_samples_per_second": 316.742,
+      "eval_q2q_data_steps_per_second": 19.808,
+      "step": 1000
+    },
+    {
+      "epoch": 1.7543859649122808,
+      "eval_q2p_data_loss": 4.727615833282471,
+      "eval_q2p_data_runtime": 7.5335,
+      "eval_q2p_data_samples_per_second": 53.893,
+      "eval_q2p_data_steps_per_second": 3.451,
+      "step": 1000
+    },
+    {
+      "epoch": 1.7719298245614035,
+      "grad_norm": 12.539956092834473,
+      "learning_rate": 1.2768031189083821e-06,
+      "loss": 4.4105,
+      "step": 1010
+    },
+    {
+      "epoch": 1.7894736842105263,
+      "grad_norm": 15.329697608947754,
+      "learning_rate": 1.179337231968811e-06,
+      "loss": 4.4067,
+      "step": 1020
+    },
+    {
+      "epoch": 1.807017543859649,
+      "grad_norm": 7.712077617645264,
+      "learning_rate": 1.0818713450292399e-06,
+      "loss": 4.4296,
+      "step": 1030
+    },
+    {
+      "epoch": 1.8245614035087718,
+      "grad_norm": 7.909111976623535,
+      "learning_rate": 9.844054580896685e-07,
+      "loss": 4.4147,
+      "step": 1040
+    },
+    {
+      "epoch": 1.8421052631578947,
+      "grad_norm": 16.474355697631836,
+      "learning_rate": 8.869395711500975e-07,
+      "loss": 4.3743,
+      "step": 1050
+    },
+    {
+      "epoch": 1.8421052631578947,
+      "eval_q2q_data_loss": 4.313626289367676,
+      "eval_q2q_data_runtime": 5.5976,
+      "eval_q2q_data_samples_per_second": 314.244,
+      "eval_q2q_data_steps_per_second": 19.651,
+      "step": 1050
+    },
+    {
+      "epoch": 1.8421052631578947,
+      "eval_q2p_data_loss": 4.7181901931762695,
+      "eval_q2p_data_runtime": 7.5322,
+      "eval_q2p_data_samples_per_second": 53.902,
+      "eval_q2p_data_steps_per_second": 3.452,
+      "step": 1050
+    },
+    {
+      "epoch": 1.8596491228070176,
+      "grad_norm": 11.424127578735352,
+      "learning_rate": 7.894736842105263e-07,
+      "loss": 4.4065,
+      "step": 1060
+    },
+    {
+      "epoch": 1.8771929824561404,
+      "grad_norm": 8.293243408203125,
+      "learning_rate": 6.920077972709552e-07,
+      "loss": 4.4025,
+      "step": 1070
+    },
+    {
+      "epoch": 1.8947368421052633,
+      "grad_norm": 11.082077026367188,
+      "learning_rate": 5.94541910331384e-07,
+      "loss": 4.3912,
+      "step": 1080
+    },
+    {
+      "epoch": 1.912280701754386,
+      "grad_norm": 13.221600532531738,
+      "learning_rate": 4.970760233918129e-07,
+      "loss": 4.3731,
+      "step": 1090
+    },
+    {
+      "epoch": 1.9298245614035088,
+      "grad_norm": 16.041154861450195,
+      "learning_rate": 3.996101364522417e-07,
+      "loss": 4.3817,
+      "step": 1100
+    },
+    {
+      "epoch": 1.9298245614035088,
+      "eval_q2q_data_loss": 4.311989784240723,
+      "eval_q2q_data_runtime": 5.5712,
+      "eval_q2q_data_samples_per_second": 315.734,
+      "eval_q2q_data_steps_per_second": 19.745,
+      "step": 1100
+    },
+    {
+      "epoch": 1.9298245614035088,
+      "eval_q2p_data_loss": 4.735711097717285,
+      "eval_q2p_data_runtime": 7.4899,
+      "eval_q2p_data_samples_per_second": 54.207,
+      "eval_q2p_data_steps_per_second": 3.471,
+      "step": 1100
+    },
+    {
+      "epoch": 1.9473684210526314,
+      "grad_norm": 8.501266479492188,
+      "learning_rate": 3.021442495126706e-07,
+      "loss": 4.4305,
+      "step": 1110
+    },
+    {
+      "epoch": 1.9649122807017543,
+      "grad_norm": 7.625467300415039,
+      "learning_rate": 2.046783625730994e-07,
+      "loss": 4.3914,
+      "step": 1120
+    },
+    {
+      "epoch": 1.9824561403508771,
+      "grad_norm": 11.992876052856445,
+      "learning_rate": 1.0721247563352827e-07,
+      "loss": 4.4753,
+      "step": 1130
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 5.4963908195495605,
+      "learning_rate": 9.746588693957116e-09,
+      "loss": 4.4536,
+      "step": 1140
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 1140,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 2,
+  "save_steps": 200,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 36,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f02d416f17419a4600b5130e463c5c4c20b0ba7d76e1597f3d0f857d0d83a2eb
+size 5624