acrowth commited on
Commit
5b0244a
·
1 Parent(s): 88b3faf

Training done

Browse files
Files changed (2) hide show
  1. added_tokens.json +29 -15
  2. tokenizer.json +140 -14
added_tokens.json CHANGED
@@ -1,23 +1,37 @@
1
  {
2
  "</s_Client>": 57526,
3
  "</s_CodeCadeau>": 57528,
4
- "</s_InfoClient_TelPortable>": 57530,
5
- "</s_Livraison_Domicile>": 57532,
6
- "</s_Livraison_DomicileExpress>": 57534,
7
- "</s_Livraison_DomicileLendemain>": 57536,
8
- "</s_Livraison_Relais>": 57538,
9
- "</s_Livraison_RelaisExpress>": 57540,
10
- "</s_Montant>": 57542,
 
 
 
 
 
 
 
11
  "<s_Client>": 57525,
12
  "<s_CodeCadeau>": 57527,
13
- "<s_InfoClient_TelPortable>": 57529,
14
- "<s_Livraison_Domicile>": 57531,
15
- "<s_Livraison_DomicileExpress>": 57533,
16
- "<s_Livraison_DomicileLendemain>": 57535,
17
- "<s_Livraison_Relais>": 57537,
18
- "<s_Livraison_RelaisExpress>": 57539,
19
- "<s_Montant>": 57541,
20
- "<s_cord-v2>": 57543,
 
 
 
 
 
 
 
21
  "<s_iitcdip>": 57523,
22
  "<s_synthdog>": 57524,
23
  "<sep/>": 57522
 
1
  {
2
  "</s_Client>": 57526,
3
  "</s_CodeCadeau>": 57528,
4
+ "</s_InfoClient_DateNaissance>": 57530,
5
+ "</s_InfoClient_TelPortable>": 57532,
6
+ "</s_Livraison_Domicile>": 57534,
7
+ "</s_Livraison_DomicileExpress>": 57536,
8
+ "</s_Livraison_DomicileLendemain>": 57538,
9
+ "</s_Livraison_Relais>": 57540,
10
+ "</s_Livraison_RelaisExpress>": 57542,
11
+ "</s_Montant>": 57544,
12
+ "</s_MontantTotal>": 57548,
13
+ "</s_MontantUnitaire>": 57550,
14
+ "</s_Quantite>": 57552,
15
+ "</s_Reference>": 57554,
16
+ "</s_Taille>": 57556,
17
+ "</s_commande>": 57546,
18
  "<s_Client>": 57525,
19
  "<s_CodeCadeau>": 57527,
20
+ "<s_InfoClient_DateNaissance>": 57529,
21
+ "<s_InfoClient_TelPortable>": 57531,
22
+ "<s_Livraison_Domicile>": 57533,
23
+ "<s_Livraison_DomicileExpress>": 57535,
24
+ "<s_Livraison_DomicileLendemain>": 57537,
25
+ "<s_Livraison_Relais>": 57539,
26
+ "<s_Livraison_RelaisExpress>": 57541,
27
+ "<s_Montant>": 57543,
28
+ "<s_MontantTotal>": 57547,
29
+ "<s_MontantUnitaire>": 57549,
30
+ "<s_Quantite>": 57551,
31
+ "<s_Reference>": 57553,
32
+ "<s_Taille>": 57555,
33
+ "<s_commande>": 57545,
34
+ "<s_cord-v2>": 57557,
35
  "<s_iitcdip>": 57523,
36
  "<s_synthdog>": 57524,
37
  "<sep/>": 57522
tokenizer.json CHANGED
@@ -113,7 +113,7 @@
113
  },
114
  {
115
  "id": 57529,
116
- "content": "<s_InfoClient_TelPortable>",
117
  "single_word": false,
118
  "lstrip": false,
119
  "rstrip": false,
@@ -122,7 +122,7 @@
122
  },
123
  {
124
  "id": 57530,
125
- "content": "</s_InfoClient_TelPortable>",
126
  "single_word": false,
127
  "lstrip": false,
128
  "rstrip": false,
@@ -131,7 +131,7 @@
131
  },
132
  {
133
  "id": 57531,
134
- "content": "<s_Livraison_Domicile>",
135
  "single_word": false,
136
  "lstrip": false,
137
  "rstrip": false,
@@ -140,7 +140,7 @@
140
  },
141
  {
142
  "id": 57532,
143
- "content": "</s_Livraison_Domicile>",
144
  "single_word": false,
145
  "lstrip": false,
146
  "rstrip": false,
@@ -149,7 +149,7 @@
149
  },
150
  {
151
  "id": 57533,
152
- "content": "<s_Livraison_DomicileExpress>",
153
  "single_word": false,
154
  "lstrip": false,
155
  "rstrip": false,
@@ -158,7 +158,7 @@
158
  },
159
  {
160
  "id": 57534,
161
- "content": "</s_Livraison_DomicileExpress>",
162
  "single_word": false,
163
  "lstrip": false,
164
  "rstrip": false,
@@ -167,7 +167,7 @@
167
  },
168
  {
169
  "id": 57535,
170
- "content": "<s_Livraison_DomicileLendemain>",
171
  "single_word": false,
172
  "lstrip": false,
173
  "rstrip": false,
@@ -176,7 +176,7 @@
176
  },
177
  {
178
  "id": 57536,
179
- "content": "</s_Livraison_DomicileLendemain>",
180
  "single_word": false,
181
  "lstrip": false,
182
  "rstrip": false,
@@ -185,7 +185,7 @@
185
  },
186
  {
187
  "id": 57537,
188
- "content": "<s_Livraison_Relais>",
189
  "single_word": false,
190
  "lstrip": false,
191
  "rstrip": false,
@@ -194,7 +194,7 @@
194
  },
195
  {
196
  "id": 57538,
197
- "content": "</s_Livraison_Relais>",
198
  "single_word": false,
199
  "lstrip": false,
200
  "rstrip": false,
@@ -203,7 +203,7 @@
203
  },
204
  {
205
  "id": 57539,
206
- "content": "<s_Livraison_RelaisExpress>",
207
  "single_word": false,
208
  "lstrip": false,
209
  "rstrip": false,
@@ -212,7 +212,7 @@
212
  },
213
  {
214
  "id": 57540,
215
- "content": "</s_Livraison_RelaisExpress>",
216
  "single_word": false,
217
  "lstrip": false,
218
  "rstrip": false,
@@ -221,7 +221,7 @@
221
  },
222
  {
223
  "id": 57541,
224
- "content": "<s_Montant>",
225
  "single_word": false,
226
  "lstrip": false,
227
  "rstrip": false,
@@ -230,7 +230,7 @@
230
  },
231
  {
232
  "id": 57542,
233
- "content": "</s_Montant>",
234
  "single_word": false,
235
  "lstrip": false,
236
  "rstrip": false,
@@ -239,6 +239,132 @@
239
  },
240
  {
241
  "id": 57543,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
242
  "content": "<s_cord-v2>",
243
  "single_word": false,
244
  "lstrip": false,
 
113
  },
114
  {
115
  "id": 57529,
116
+ "content": "<s_InfoClient_DateNaissance>",
117
  "single_word": false,
118
  "lstrip": false,
119
  "rstrip": false,
 
122
  },
123
  {
124
  "id": 57530,
125
+ "content": "</s_InfoClient_DateNaissance>",
126
  "single_word": false,
127
  "lstrip": false,
128
  "rstrip": false,
 
131
  },
132
  {
133
  "id": 57531,
134
+ "content": "<s_InfoClient_TelPortable>",
135
  "single_word": false,
136
  "lstrip": false,
137
  "rstrip": false,
 
140
  },
141
  {
142
  "id": 57532,
143
+ "content": "</s_InfoClient_TelPortable>",
144
  "single_word": false,
145
  "lstrip": false,
146
  "rstrip": false,
 
149
  },
150
  {
151
  "id": 57533,
152
+ "content": "<s_Livraison_Domicile>",
153
  "single_word": false,
154
  "lstrip": false,
155
  "rstrip": false,
 
158
  },
159
  {
160
  "id": 57534,
161
+ "content": "</s_Livraison_Domicile>",
162
  "single_word": false,
163
  "lstrip": false,
164
  "rstrip": false,
 
167
  },
168
  {
169
  "id": 57535,
170
+ "content": "<s_Livraison_DomicileExpress>",
171
  "single_word": false,
172
  "lstrip": false,
173
  "rstrip": false,
 
176
  },
177
  {
178
  "id": 57536,
179
+ "content": "</s_Livraison_DomicileExpress>",
180
  "single_word": false,
181
  "lstrip": false,
182
  "rstrip": false,
 
185
  },
186
  {
187
  "id": 57537,
188
+ "content": "<s_Livraison_DomicileLendemain>",
189
  "single_word": false,
190
  "lstrip": false,
191
  "rstrip": false,
 
194
  },
195
  {
196
  "id": 57538,
197
+ "content": "</s_Livraison_DomicileLendemain>",
198
  "single_word": false,
199
  "lstrip": false,
200
  "rstrip": false,
 
203
  },
204
  {
205
  "id": 57539,
206
+ "content": "<s_Livraison_Relais>",
207
  "single_word": false,
208
  "lstrip": false,
209
  "rstrip": false,
 
212
  },
213
  {
214
  "id": 57540,
215
+ "content": "</s_Livraison_Relais>",
216
  "single_word": false,
217
  "lstrip": false,
218
  "rstrip": false,
 
221
  },
222
  {
223
  "id": 57541,
224
+ "content": "<s_Livraison_RelaisExpress>",
225
  "single_word": false,
226
  "lstrip": false,
227
  "rstrip": false,
 
230
  },
231
  {
232
  "id": 57542,
233
+ "content": "</s_Livraison_RelaisExpress>",
234
  "single_word": false,
235
  "lstrip": false,
236
  "rstrip": false,
 
239
  },
240
  {
241
  "id": 57543,
242
+ "content": "<s_Montant>",
243
+ "single_word": false,
244
+ "lstrip": false,
245
+ "rstrip": false,
246
+ "normalized": true,
247
+ "special": false
248
+ },
249
+ {
250
+ "id": 57544,
251
+ "content": "</s_Montant>",
252
+ "single_word": false,
253
+ "lstrip": false,
254
+ "rstrip": false,
255
+ "normalized": true,
256
+ "special": false
257
+ },
258
+ {
259
+ "id": 57545,
260
+ "content": "<s_commande>",
261
+ "single_word": false,
262
+ "lstrip": false,
263
+ "rstrip": false,
264
+ "normalized": true,
265
+ "special": false
266
+ },
267
+ {
268
+ "id": 57546,
269
+ "content": "</s_commande>",
270
+ "single_word": false,
271
+ "lstrip": false,
272
+ "rstrip": false,
273
+ "normalized": true,
274
+ "special": false
275
+ },
276
+ {
277
+ "id": 57547,
278
+ "content": "<s_MontantTotal>",
279
+ "single_word": false,
280
+ "lstrip": false,
281
+ "rstrip": false,
282
+ "normalized": true,
283
+ "special": false
284
+ },
285
+ {
286
+ "id": 57548,
287
+ "content": "</s_MontantTotal>",
288
+ "single_word": false,
289
+ "lstrip": false,
290
+ "rstrip": false,
291
+ "normalized": true,
292
+ "special": false
293
+ },
294
+ {
295
+ "id": 57549,
296
+ "content": "<s_MontantUnitaire>",
297
+ "single_word": false,
298
+ "lstrip": false,
299
+ "rstrip": false,
300
+ "normalized": true,
301
+ "special": false
302
+ },
303
+ {
304
+ "id": 57550,
305
+ "content": "</s_MontantUnitaire>",
306
+ "single_word": false,
307
+ "lstrip": false,
308
+ "rstrip": false,
309
+ "normalized": true,
310
+ "special": false
311
+ },
312
+ {
313
+ "id": 57551,
314
+ "content": "<s_Quantite>",
315
+ "single_word": false,
316
+ "lstrip": false,
317
+ "rstrip": false,
318
+ "normalized": true,
319
+ "special": false
320
+ },
321
+ {
322
+ "id": 57552,
323
+ "content": "</s_Quantite>",
324
+ "single_word": false,
325
+ "lstrip": false,
326
+ "rstrip": false,
327
+ "normalized": true,
328
+ "special": false
329
+ },
330
+ {
331
+ "id": 57553,
332
+ "content": "<s_Reference>",
333
+ "single_word": false,
334
+ "lstrip": false,
335
+ "rstrip": false,
336
+ "normalized": true,
337
+ "special": false
338
+ },
339
+ {
340
+ "id": 57554,
341
+ "content": "</s_Reference>",
342
+ "single_word": false,
343
+ "lstrip": false,
344
+ "rstrip": false,
345
+ "normalized": true,
346
+ "special": false
347
+ },
348
+ {
349
+ "id": 57555,
350
+ "content": "<s_Taille>",
351
+ "single_word": false,
352
+ "lstrip": false,
353
+ "rstrip": false,
354
+ "normalized": true,
355
+ "special": false
356
+ },
357
+ {
358
+ "id": 57556,
359
+ "content": "</s_Taille>",
360
+ "single_word": false,
361
+ "lstrip": false,
362
+ "rstrip": false,
363
+ "normalized": true,
364
+ "special": false
365
+ },
366
+ {
367
+ "id": 57557,
368
  "content": "<s_cord-v2>",
369
  "single_word": false,
370
  "lstrip": false,