kangbeom commited on
Commit
ea27c58
·
verified ·
1 Parent(s): 3908614

Initial model commit

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 1024,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,492 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - dense
7
+ - generated_from_trainer
8
+ - dataset_size:7200
9
+ - loss:MultipleNegativesRankingLoss
10
+ base_model: intfloat/multilingual-e5-large
11
+ widget:
12
+ - source_sentence: 'query: 어디서 입력 신호의 SNR이 엄청 낮게 나타나?'
13
+ sentences:
14
+ - 'passage: 클럭잡음 모델을 생성할 때 랜덤데이터를 이용하기 때문에 여러번 시뮬레이션을수행하여 실제 모델에 최대한 근접한 데이터를 얻어야
15
+ 한다.'
16
+ - 'passage: 둘 이상의 다른 네트워크 접속 인터페이스를 갖는 다중모드 단말에서 MIH 는 미디어에 독립적으로 이기종 망간 핸드오버를 지원하기
17
+ 위해 하위 물리 계층의 정보를 이용한다.'
18
+ - 'passage: 돌발 잡음은 일반적으로 에너지가 매우 크기 때문에 돌발 잡음이 존재하는 구간에서 입력 신호의 SNR이 매우 낮게 나타난다.'
19
+ - source_sentence: 'query: ADPSS는 DPSS를 이용한 채널 보간과 예측에 무엇을 적용한 기법이니?'
20
+ sentences:
21
+ - 'passage: CORVIS의 구성 및 진행 사항기능설명구현 여부카투닝비디오 영상에서 추출한 프레임단위의 이미지들을 흑백만화에서 사용하는
22
+ 형태로 변환하는 기법이며, Image Abstraction, Stroke Generation, Stylization, Texturing의 기법이
23
+ 적용.구현스타일 폰트인물 또는 사물의 의성어와 의태어를 표현하거나 극중의 분위기를 나타내기 위한 기법.구현말풍선인물의 대사를 표현하기 위해
24
+ 사용되며, 다양한종류의 말풍선 형태를 지원.구현스피드 라인인물이나 사물의 속도감을 표현하기 위한 기법.구현배경효과인물의 기분이나 극의 분위기를
25
+ 표현하기 위한 기법이다. 집중선, 수평선, 그라데이션을 이용한 다양한 종류의 배경효과를 지원.미구현아이콘특정 개체를 돋보이게 하거나 인물의
26
+ 심리 상태를 과장되게 표현하는 기법.미구현'
27
+ - 'passage: 실제 전송망과 동기망에서 측정된 원더생성성분은(그림 2)에 나타내었으며, 각 그림의 X축은 MTIE와 TDEV를 계산할 때
28
+ 사용되는 관측시간(\(\mathrm{sec}\))이고, Y축은 각 관측시간 별로 계산하여 얻어진 (3)식의 MTIE와 (4)식의 TDEV값을
29
+ 나타내고 있다.'
30
+ - 'passage: ADPSS는 DPSS를 이용한 채널 보간과 예측에 스무딩을 적용한 기법으로 과정은 다음과 같다.'
31
+ - source_sentence: 'query: 디지털 프린터의 취약성 중 복사에서는 데이터 유출을 무엇을 통해 발생할 수 있어?'
32
+ sentences:
33
+ - 'passage: 계속 변화하는 노드 관계를 위한 이웃 노드정보 리스트 구조의 예 노드-X의 이웃정보 리스트 (level / relation
34
+ )NumberID \BrNum[1][2][3][4][5]\( \mathrm { P } _ {\text { parent } } \)\( \mathrm
35
+ { P } _ {\text { sibling } } \)\( \mathrm { P } _ {\text { child } } \)1A1/P1/P1.0002B2/S2/P0.40.603C2/S3/S01.004E2/S4/C0.20.40.45F3/C3/S00.20.86G3/C4/C001.0노드-X의
36
+ 레벨23\( \mathrm { N } _ {\mathrm { p } } \)1.6\( \mathrm { N } _ {\mathrm { s }
37
+ } \)2.2\( \mathrm { N } _ {\mathrm { c } } \)2.2'
38
+ - 'passage: 따라서 인식된 차량에 대한 추적(tracking) 등을 통하여 인식된 차량에 대한 연산을 줄여주는 방법이 필요하다.'
39
+ - 'passage: CIAC-2304에서 보고된 취약성분류취약성팩스메시지 인증이 불가하여 공격자가 중간에서 데이터를 위변조 할 수 있음가입자의
40
+ 전화번호나 서비스 제공자의 ID를 위변조할 수 있음팩스 기기에 대한 인증이 되지 않을 경우, 전화번호를 스푸핑할 수 있음팩스 전송 시, 암호화하지
41
+ 않는 경우 도청을 통해 중요 데이터가 유출될 수 있음잘못된 팩스 설정이나 사용자의 부주의로 인해 시스템이 취약해질 수 있음하드웨어 자원의 한계로
42
+ 인해 저장된 데이터가 삭제될 수 있음복사네트워크를 통해 저장 데이터 유출될 수 있음인쇄할 데이터를 위변조하여 인쇄될 수 있음'
43
+ - source_sentence: 'query: Number of clusters \( 37 \)의 결과값이 19인 것과 상관있는 Cluster location은
44
+ 뭐에요?'
45
+ sentences:
46
+ - 'passage: 또한 서비스 세션을 위해 선택되는 디바이스는 사용자의 위치나 업무, 서비스가 요청되는 시기에 따라 수시로 변하게 된다.'
47
+ - 'passage: 이렇게 대리 서명용 개인 키와 공개 키를 생성함으로써 안전하게 대리 서명 권한을 위임 받게 된다.'
48
+ - 'passage: 〈표 \( 2 \)〉 필요한 서브키 스트링 비교 Cluster locationRequired \( \mathrm { SS
49
+ } \)Number of clusters\( 7 \)\( 19 \)\( 37 \)Group A\( 1 O L P_ {\text { INTRA
50
+ } } + 3 O L P_ {\text { INTER } } \)\( 6 \)\( 6 \)\( 6 \)Group B\( 2 O L P_ {\text
51
+ { INTRA } } + 4 O L P_ {\text { INTER } } \)\( 0 \)\( 6 \)\( 12 \)Group C\( 3
52
+ O L P_ { I N T R A } + 6 O L P_ { I N T E R } \)\( 1 \)\( 7 \)\( 19 \)'
53
+ - source_sentence: 'query: 주문의 설명은 무엇인가?'
54
+ sentences:
55
+ - 'passage: 〈표 2〉 천연비누 쇼핑몰 시스템의 단어 사전 일부 단어영문명약어명동의어설명주문ORDERORD상품의 생산이나 서비스 의 제공을
56
+ 요구번호NUMBERNo차례를 나타내거나 식별하기 위해 붙이는 숫자일자DATEDT날짜, 일날짜...'
57
+ - 'passage: \(\mathrm{a1} \) 정점처럼 상위 정점이 없이 시작하여 \(\mathrm{an} \)에 이르는 정점들은 멀티태스킹의
58
+ 가능성을 나타내는 정보를 표시할 때 같은 이름인 m1으로 표시한다.'
59
+ - 'passage: 〈표 \(2 \)〉 Binary NAF Method 스칼라곱 연산과 RENAF Method 멱 승 연산 종류연산 결과 \(
60
+ ( \mathrm { X } =2) \)BinaryNAF \((7X) \)\( (100-1)_ {\text { NAF } } \cdot 2=2
61
+ * 2 \rightarrow 2 * 4 \rightarrow 2 * 3-2=14 \)RENAF \( \left (X ^ { 7 } \right
62
+ ) \)\( 2 ^ { (100)-11_ {\text { RENAF } } } =2 * 2 \rightarrow 4 * 4 \rightarrow
63
+ 16 * 16 / 2=128 \)'
64
+ pipeline_tag: sentence-similarity
65
+ library_name: sentence-transformers
66
+ metrics:
67
+ - cosine_accuracy@1
68
+ - cosine_accuracy@3
69
+ - cosine_accuracy@5
70
+ - cosine_accuracy@10
71
+ - cosine_precision@1
72
+ - cosine_precision@3
73
+ - cosine_precision@5
74
+ - cosine_precision@10
75
+ - cosine_recall@1
76
+ - cosine_recall@3
77
+ - cosine_recall@5
78
+ - cosine_recall@10
79
+ - cosine_ndcg@10
80
+ - cosine_mrr@10
81
+ - cosine_map@100
82
+ model-index:
83
+ - name: SentenceTransformer based on intfloat/multilingual-e5-large
84
+ results:
85
+ - task:
86
+ type: information-retrieval
87
+ name: Information Retrieval
88
+ dataset:
89
+ name: lora evaluation
90
+ type: lora-evaluation
91
+ metrics:
92
+ - type: cosine_accuracy@1
93
+ value: 0.467
94
+ name: Cosine Accuracy@1
95
+ - type: cosine_accuracy@3
96
+ value: 0.699
97
+ name: Cosine Accuracy@3
98
+ - type: cosine_accuracy@5
99
+ value: 0.786
100
+ name: Cosine Accuracy@5
101
+ - type: cosine_accuracy@10
102
+ value: 0.8755
103
+ name: Cosine Accuracy@10
104
+ - type: cosine_precision@1
105
+ value: 0.467
106
+ name: Cosine Precision@1
107
+ - type: cosine_precision@3
108
+ value: 0.233
109
+ name: Cosine Precision@3
110
+ - type: cosine_precision@5
111
+ value: 0.15719999999999998
112
+ name: Cosine Precision@5
113
+ - type: cosine_precision@10
114
+ value: 0.08755000000000002
115
+ name: Cosine Precision@10
116
+ - type: cosine_recall@1
117
+ value: 0.467
118
+ name: Cosine Recall@1
119
+ - type: cosine_recall@3
120
+ value: 0.699
121
+ name: Cosine Recall@3
122
+ - type: cosine_recall@5
123
+ value: 0.786
124
+ name: Cosine Recall@5
125
+ - type: cosine_recall@10
126
+ value: 0.8755
127
+ name: Cosine Recall@10
128
+ - type: cosine_ndcg@10
129
+ value: 0.6679734745637986
130
+ name: Cosine Ndcg@10
131
+ - type: cosine_mrr@10
132
+ value: 0.6018291666666665
133
+ name: Cosine Mrr@10
134
+ - type: cosine_map@100
135
+ value: 0.6075979460358361
136
+ name: Cosine Map@100
137
+ ---
138
+
139
+ # SentenceTransformer based on intfloat/multilingual-e5-large
140
+
141
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
142
+
143
+ ## Model Details
144
+
145
+ ### Model Description
146
+ - **Model Type:** Sentence Transformer
147
+ - **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision 0dc5580a448e4284468b8909bae50fa925907bc5 -->
148
+ - **Maximum Sequence Length:** 512 tokens
149
+ - **Output Dimensionality:** 1024 dimensions
150
+ - **Similarity Function:** Cosine Similarity
151
+ <!-- - **Training Dataset:** Unknown -->
152
+ <!-- - **Language:** Unknown -->
153
+ <!-- - **License:** Unknown -->
154
+
155
+ ### Model Sources
156
+
157
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
158
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
159
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
160
+
161
+ ### Full Model Architecture
162
+
163
+ ```
164
+ SentenceTransformer(
165
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'PeftModel'})
166
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
167
+ (2): Normalize()
168
+ )
169
+ ```
170
+
171
+ ## Usage
172
+
173
+ ### Direct Usage (Sentence Transformers)
174
+
175
+ First install the Sentence Transformers library:
176
+
177
+ ```bash
178
+ pip install -U sentence-transformers
179
+ ```
180
+
181
+ Then you can load this model and run inference.
182
+ ```python
183
+ from sentence_transformers import SentenceTransformer
184
+
185
+ # Download from the 🤗 Hub
186
+ model = SentenceTransformer("kangbeom/multilingual-e5-large")
187
+ # Run inference
188
+ sentences = [
189
+ 'query: 주문의 설명은 무엇인가?',
190
+ 'passage: 〈표 2〉 천연비누 쇼핑몰 시스템의 단어 사전 일부 단어영문명약어명동의어설명주문ORDERORD상품의 생산이나 서비스 의 제공을 요구번호NUMBERNo차례를 나타내거나 식별하기 위해 붙이는 숫자일자DATEDT날짜, 일날짜...',
191
+ 'passage: 〈표 \\(2 \\)〉 Binary NAF Method 스칼라곱 연산과 RENAF Method 멱 승 연산 종류연산 결과 \\( ( \\mathrm { X } =2) \\)BinaryNAF \\((7X) \\)\\( (100-1)_ {\\text { NAF } } \\cdot 2=2 * 2 \\rightarrow 2 * 4 \\rightarrow 2 * 3-2=14 \\)RENAF \\( \\left (X ^ { 7 } \\right ) \\)\\( 2 ^ { (100)-11_ {\\text { RENAF } } } =2 * 2 \\rightarrow 4 * 4 \\rightarrow 16 * 16 / 2=128 \\)',
192
+ ]
193
+ embeddings = model.encode(sentences)
194
+ print(embeddings.shape)
195
+ # [3, 1024]
196
+
197
+ # Get the similarity scores for the embeddings
198
+ similarities = model.similarity(embeddings, embeddings)
199
+ print(similarities)
200
+ # tensor([[1.0000, 0.5568, 0.1304],
201
+ # [0.5568, 1.0000, 0.1720],
202
+ # [0.1304, 0.1720, 1.0000]])
203
+ ```
204
+
205
+ <!--
206
+ ### Direct Usage (Transformers)
207
+
208
+ <details><summary>Click to see the direct usage in Transformers</summary>
209
+
210
+ </details>
211
+ -->
212
+
213
+ <!--
214
+ ### Downstream Usage (Sentence Transformers)
215
+
216
+ You can finetune this model on your own dataset.
217
+
218
+ <details><summary>Click to expand</summary>
219
+
220
+ </details>
221
+ -->
222
+
223
+ <!--
224
+ ### Out-of-Scope Use
225
+
226
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
227
+ -->
228
+
229
+ ## Evaluation
230
+
231
+ ### Metrics
232
+
233
+ #### Information Retrieval
234
+
235
+ * Dataset: `lora-evaluation`
236
+ * Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
237
+
238
+ | Metric | Value |
239
+ |:--------------------|:----------|
240
+ | cosine_accuracy@1 | 0.467 |
241
+ | cosine_accuracy@3 | 0.699 |
242
+ | cosine_accuracy@5 | 0.786 |
243
+ | cosine_accuracy@10 | 0.8755 |
244
+ | cosine_precision@1 | 0.467 |
245
+ | cosine_precision@3 | 0.233 |
246
+ | cosine_precision@5 | 0.1572 |
247
+ | cosine_precision@10 | 0.0876 |
248
+ | cosine_recall@1 | 0.467 |
249
+ | cosine_recall@3 | 0.699 |
250
+ | cosine_recall@5 | 0.786 |
251
+ | cosine_recall@10 | 0.8755 |
252
+ | **cosine_ndcg@10** | **0.668** |
253
+ | cosine_mrr@10 | 0.6018 |
254
+ | cosine_map@100 | 0.6076 |
255
+
256
+ <!--
257
+ ## Bias, Risks and Limitations
258
+
259
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
260
+ -->
261
+
262
+ <!--
263
+ ### Recommendations
264
+
265
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
266
+ -->
267
+
268
+ ## Training Details
269
+
270
+ ### Training Dataset
271
+
272
+ #### Unnamed Dataset
273
+
274
+ * Size: 7,200 training samples
275
+ * Columns: <code>sentence_0</code> and <code>sentence_1</code>
276
+ * Approximate statistics based on the first 1000 samples:
277
+ | | sentence_0 | sentence_1 |
278
+ |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
279
+ | type | string | string |
280
+ | details | <ul><li>min: 11 tokens</li><li>mean: 28.15 tokens</li><li>max: 105 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 127.24 tokens</li><li>max: 512 tokens</li></ul> |
281
+ * Samples:
282
+ | sentence_0 | sentence_1 |
283
+ |:-------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
284
+ | <code>query: 실험에서 그림 12(d)는 참값에 아주 근접했나요?</code> | <code>passage: 그림 12(d)는 본 논문에서 제안하는 알고리즘을 이용한 디블러링 결과영상을 이용하여 3차원 형상 복원을 수행한 결과이��.</code> |
285
+ | <code>query: 표에서, 15mm의 메쉬분할 수행시간은 얼마인가?</code> | <code>passage: 〈표 5〉 임계값에 따른 메쉬정보 및 수행시간(데이터 A) 임계값 \( ( \mathrm { mm } ) \)분할전\(15 \)\(10 \)\(5 \)총메쉬수\(8,200 \)\(163,124 \)\(297,207 \)\( 1,185,145 \)평균에지길이\( 20.43 \)\( 6.52 \)\( 4.85 \)\( 2.45 \)수행시간 (sec)메쉬분할\( 0.113 \)\( 0.181 \)\( 0.785 \)거리기반 대응\( 0.137 \)\( 2.966 \)\( 5.453 \)\( 21.228 \)</code> |
286
+ | <code>query: 기업 시스템 인증 및 정보자산 보호관리에 주로 사용되는 표준은 무엇일까?</code> | <code>passage: 각 표준 특성 및 취약점 표준특성단일 표준으로 적용 시 취약점ISO 20022금융기관 상호 운영을 위한 표준 모듈간 상호보안 부족 클라이언트의 행동에 관한 보안기능 부족ISO 27001기업 시스템 인증 및 정보자산 보호관리 모듈간 상호보안 부족 기술적인 보안 부족Common CriteriaIT 제품의 개발, 평가, 조달 지침현재 인터넷 뱅킹 관련 보호프로파일 없음웹 환경 구축 및 운영을 위한 보안 관리 지침웹 환경 안전을 위한 기술 특화된 위협에 대한 대응 부족 기능 요구사항 부족</code> |
287
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
288
+ ```json
289
+ {
290
+ "scale": 20.0,
291
+ "similarity_fct": "cos_sim",
292
+ "gather_across_devices": false
293
+ }
294
+ ```
295
+
296
+ ### Training Hyperparameters
297
+ #### Non-Default Hyperparameters
298
+
299
+ - `eval_strategy`: steps
300
+ - `per_device_train_batch_size`: 4
301
+ - `per_device_eval_batch_size`: 4
302
+ - `num_train_epochs`: 2
303
+ - `multi_dataset_batch_sampler`: round_robin
304
+
305
+ #### All Hyperparameters
306
+ <details><summary>Click to expand</summary>
307
+
308
+ - `overwrite_output_dir`: False
309
+ - `do_predict`: False
310
+ - `eval_strategy`: steps
311
+ - `prediction_loss_only`: True
312
+ - `per_device_train_batch_size`: 4
313
+ - `per_device_eval_batch_size`: 4
314
+ - `per_gpu_train_batch_size`: None
315
+ - `per_gpu_eval_batch_size`: None
316
+ - `gradient_accumulation_steps`: 1
317
+ - `eval_accumulation_steps`: None
318
+ - `torch_empty_cache_steps`: None
319
+ - `learning_rate`: 5e-05
320
+ - `weight_decay`: 0.0
321
+ - `adam_beta1`: 0.9
322
+ - `adam_beta2`: 0.999
323
+ - `adam_epsilon`: 1e-08
324
+ - `max_grad_norm`: 1
325
+ - `num_train_epochs`: 2
326
+ - `max_steps`: -1
327
+ - `lr_scheduler_type`: linear
328
+ - `lr_scheduler_kwargs`: {}
329
+ - `warmup_ratio`: 0.0
330
+ - `warmup_steps`: 0
331
+ - `log_level`: passive
332
+ - `log_level_replica`: warning
333
+ - `log_on_each_node`: True
334
+ - `logging_nan_inf_filter`: True
335
+ - `save_safetensors`: True
336
+ - `save_on_each_node`: False
337
+ - `save_only_model`: False
338
+ - `restore_callback_states_from_checkpoint`: False
339
+ - `no_cuda`: False
340
+ - `use_cpu`: False
341
+ - `use_mps_device`: False
342
+ - `seed`: 42
343
+ - `data_seed`: None
344
+ - `jit_mode_eval`: False
345
+ - `use_ipex`: False
346
+ - `bf16`: False
347
+ - `fp16`: False
348
+ - `fp16_opt_level`: O1
349
+ - `half_precision_backend`: auto
350
+ - `bf16_full_eval`: False
351
+ - `fp16_full_eval`: False
352
+ - `tf32`: None
353
+ - `local_rank`: 0
354
+ - `ddp_backend`: None
355
+ - `tpu_num_cores`: None
356
+ - `tpu_metrics_debug`: False
357
+ - `debug`: []
358
+ - `dataloader_drop_last`: False
359
+ - `dataloader_num_workers`: 0
360
+ - `dataloader_prefetch_factor`: None
361
+ - `past_index`: -1
362
+ - `disable_tqdm`: False
363
+ - `remove_unused_columns`: True
364
+ - `label_names`: None
365
+ - `load_best_model_at_end`: False
366
+ - `ignore_data_skip`: False
367
+ - `fsdp`: []
368
+ - `fsdp_min_num_params`: 0
369
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
370
+ - `fsdp_transformer_layer_cls_to_wrap`: None
371
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
372
+ - `deepspeed`: None
373
+ - `label_smoothing_factor`: 0.0
374
+ - `optim`: adamw_torch_fused
375
+ - `optim_args`: None
376
+ - `adafactor`: False
377
+ - `group_by_length`: False
378
+ - `length_column_name`: length
379
+ - `ddp_find_unused_parameters`: None
380
+ - `ddp_bucket_cap_mb`: None
381
+ - `ddp_broadcast_buffers`: False
382
+ - `dataloader_pin_memory`: True
383
+ - `dataloader_persistent_workers`: False
384
+ - `skip_memory_metrics`: True
385
+ - `use_legacy_prediction_loop`: False
386
+ - `push_to_hub`: False
387
+ - `resume_from_checkpoint`: None
388
+ - `hub_model_id`: None
389
+ - `hub_strategy`: every_save
390
+ - `hub_private_repo`: None
391
+ - `hub_always_push`: False
392
+ - `hub_revision`: None
393
+ - `gradient_checkpointing`: False
394
+ - `gradient_checkpointing_kwargs`: None
395
+ - `include_inputs_for_metrics`: False
396
+ - `include_for_metrics`: []
397
+ - `eval_do_concat_batches`: True
398
+ - `fp16_backend`: auto
399
+ - `push_to_hub_model_id`: None
400
+ - `push_to_hub_organization`: None
401
+ - `mp_parameters`:
402
+ - `auto_find_batch_size`: False
403
+ - `full_determinism`: False
404
+ - `torchdynamo`: None
405
+ - `ray_scope`: last
406
+ - `ddp_timeout`: 1800
407
+ - `torch_compile`: False
408
+ - `torch_compile_backend`: None
409
+ - `torch_compile_mode`: None
410
+ - `include_tokens_per_second`: False
411
+ - `include_num_input_tokens_seen`: False
412
+ - `neftune_noise_alpha`: None
413
+ - `optim_target_modules`: None
414
+ - `batch_eval_metrics`: False
415
+ - `eval_on_start`: False
416
+ - `use_liger_kernel`: False
417
+ - `liger_kernel_config`: None
418
+ - `eval_use_gather_object`: False
419
+ - `average_tokens_across_devices`: False
420
+ - `prompts`: None
421
+ - `batch_sampler`: batch_sampler
422
+ - `multi_dataset_batch_sampler`: round_robin
423
+ - `router_mapping`: {}
424
+ - `learning_rate_mapping`: {}
425
+
426
+ </details>
427
+
428
+ ### Training Logs
429
+ | Epoch | Step | Training Loss | lora-evaluation_cosine_ndcg@10 |
430
+ |:------:|:----:|:-------------:|:------------------------------:|
431
+ | 0.2778 | 500 | 0.2637 | 0.6548 |
432
+ | 0.5556 | 1000 | 0.0663 | 0.6597 |
433
+ | 0.8333 | 1500 | 0.0647 | 0.6609 |
434
+ | 1.0 | 1800 | - | 0.6658 |
435
+ | 1.1111 | 2000 | 0.0432 | 0.6680 |
436
+
437
+
438
+ ### Framework Versions
439
+ - Python: 3.12.11
440
+ - Sentence Transformers: 5.1.0
441
+ - Transformers: 4.55.4
442
+ - PyTorch: 2.8.0+cu126
443
+ - Accelerate: 1.10.1
444
+ - Datasets: 4.0.0
445
+ - Tokenizers: 0.21.4
446
+
447
+ ## Citation
448
+
449
+ ### BibTeX
450
+
451
+ #### Sentence Transformers
452
+ ```bibtex
453
+ @inproceedings{reimers-2019-sentence-bert,
454
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
455
+ author = "Reimers, Nils and Gurevych, Iryna",
456
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
457
+ month = "11",
458
+ year = "2019",
459
+ publisher = "Association for Computational Linguistics",
460
+ url = "https://arxiv.org/abs/1908.10084",
461
+ }
462
+ ```
463
+
464
+ #### MultipleNegativesRankingLoss
465
+ ```bibtex
466
+ @misc{henderson2017efficient,
467
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
468
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
469
+ year={2017},
470
+ eprint={1705.00652},
471
+ archivePrefix={arXiv},
472
+ primaryClass={cs.CL}
473
+ }
474
+ ```
475
+
476
+ <!--
477
+ ## Glossary
478
+
479
+ *Clearly define terms in order to be accessible across audiences.*
480
+ -->
481
+
482
+ <!--
483
+ ## Model Card Authors
484
+
485
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
486
+ -->
487
+
488
+ <!--
489
+ ## Model Card Contact
490
+
491
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
492
+ -->
adapter_config.json ADDED
@@ -0,0 +1,41 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alpha_pattern": {},
3
+ "auto_mapping": {
4
+ "base_model_class": "XLMRobertaModel",
5
+ "parent_library": "transformers.models.xlm_roberta.modeling_xlm_roberta"
6
+ },
7
+ "base_model_name_or_path": "intfloat/multilingual-e5-large",
8
+ "bias": "none",
9
+ "corda_config": null,
10
+ "eva_config": null,
11
+ "exclude_modules": null,
12
+ "fan_in_fan_out": false,
13
+ "inference_mode": true,
14
+ "init_lora_weights": true,
15
+ "layer_replication": null,
16
+ "layers_pattern": null,
17
+ "layers_to_transform": null,
18
+ "loftq_config": {},
19
+ "lora_alpha": 32,
20
+ "lora_bias": false,
21
+ "lora_dropout": 0.1,
22
+ "megatron_config": null,
23
+ "megatron_core": "megatron.core",
24
+ "modules_to_save": null,
25
+ "peft_type": "LORA",
26
+ "qalora_group_size": 16,
27
+ "r": 16,
28
+ "rank_pattern": {},
29
+ "revision": null,
30
+ "target_modules": [
31
+ "value",
32
+ "query",
33
+ "key"
34
+ ],
35
+ "target_parameters": null,
36
+ "task_type": null,
37
+ "trainable_token_indices": null,
38
+ "use_dora": false,
39
+ "use_qalora": false,
40
+ "use_rslora": false
41
+ }
adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:faf2195b7f2dfab94b7de2bc5a72f587fe3043071907a413d45b71c3f5680016
3
+ size 9456904
config_sentence_transformers.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "model_type": "SentenceTransformer",
3
+ "__version__": {
4
+ "sentence_transformers": "5.1.0",
5
+ "transformers": "4.56.0",
6
+ "pytorch": "2.8.0+cpu"
7
+ },
8
+ "prompts": {
9
+ "query": "",
10
+ "document": ""
11
+ },
12
+ "default_prompt_name": null,
13
+ "similarity_fn_name": "cosine"
14
+ }
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 512,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
3
+ size 17082987
tokenizer_config.json ADDED
@@ -0,0 +1,62 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "extra_special_tokens": {},
49
+ "mask_token": "<mask>",
50
+ "max_length": 512,
51
+ "model_max_length": 512,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "stride": 0,
58
+ "tokenizer_class": "XLMRobertaTokenizer",
59
+ "truncation_side": "right",
60
+ "truncation_strategy": "longest_first",
61
+ "unk_token": "<unk>"
62
+ }