Hugging Face's logo

Chimalpopoka
/
CrossEncoderRanker

Text Classification
sentence-transformers
Safetensors
xlm-roberta
cross-encoder
reranker
Generated from Trainer
dataset_size:82796
loss:CrossEntropyLoss
Eval Results
Model card Files
xet
Community
Chimalpopoka commited on
Commit
304f8d6
·
verified ·
1 Parent(s): 01eabc2

New version

Browse files
Files changed (2) hide show
  1. README.md +36 -36
  2. model.safetensors +1 -1
README.md CHANGED
@@ -24,13 +24,13 @@ model-index:
24
  type: softmax_accuracy_eval
25
  metrics:
26
  - type: f1_macro
27
- value: 0.9715485242270209
28
  name: F1 Macro
29
  - type: f1_micro
30
- value: 0.9743012183884509
31
  name: F1 Micro
32
  - type: f1_weighted
33
- value: 0.974262256621189
34
  name: F1 Weighted
35
  ---
36
 
@@ -74,11 +74,11 @@ from sentence_transformers import CrossEncoder
74
  model = CrossEncoder("Chimalpopoka/CrossEncoderRanker")
75
  # Get scores for pairs of texts
76
  pairs = [
77
- ['Панель аллергенов пыли № 1 IgE (домашняя пыль (Greer), клещ-дерматофаг перинный, клещ-дерматофаг мучной, таракан)', 'Смесь аллергенов пыли - hm1, Состав: домашняя пыль, Dermatophagoides pteronyssinus, Dermatophagoides farinae, таракан-прусак, IgE. Метод: ИФА'],
78
- ['Жидкостная цитология РШМ', 'Жидкостная цитология. Исследование соскоба шейки матки и цервикального канала (окрашивание по Папаниколау)'],
79
- ['Посев на возбудителей кишечной инфекции (сальмонеллы, шигеллы) с определением чувствительности к основному спектру антибиотиков', 'Посев кала на патогенную флору (дизентерийная и тифопаратифозная группы): С определением чувствительности к антибиотикам. Метод: культуральный'],
80
- ['Молекулярно-генетическое исследование мутации в гене V617F (замена 617-ой аминокислоты с валина на фенилаланин) JAK2 (янус тирозин-киназа второго типа / Качественная оценка наличия соматической мутации V617F в 14 экзоне гена JAK2 (Qualitative assessment of presence of gene JAK2 617F somatic mutation)', 'Анализ мутации V617F гена JAK2 (замена валин на фенилаланин). Метод: ПЦР'],
81
- ['Водородно-метановый дыхательный тест с лактулозой (СИБРТЕСТ, синдром избыточного бактериального роста в тонкой кишке, СИБР) (самостоятельное взятие проб)', 'Дыхательный водородный тест на СИБР'],
82
  ]
83
  scores = model.predict(pairs)
84
  print(scores.shape)
@@ -120,9 +120,9 @@ You can finetune this model on your own dataset.
120
 
121
  | Metric | Value |
122
  |:-------------|:-----------|
123
- | **f1_macro** | **0.9715** |
124
- | f1_micro | 0.9743 |
125
- | f1_weighted | 0.9743 |
126
 
127
  <!--
128
  ## Bias, Risks and Limitations
@@ -148,13 +148,13 @@ You can finetune this model on your own dataset.
148
  | | sentence_0 | sentence_1 | label |
149
  |:--------|:-----------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------|:------------------------------------------------|
150
  | type | string | string | int |
151
- | details | <ul><li>min: 5 characters</li><li>mean: 64.98 characters</li><li>max: 553 characters</li></ul> | <ul><li>min: 6 characters</li><li>mean: 63.31 characters</li><li>max: 477 characters</li></ul> | <ul><li>0: ~34.40%</li><li>1: ~65.60%</li></ul> |
152
  * Samples:
153
- | sentence_0 | sentence_1 | label |
154
- |:---------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------|
155
- | <code>Панель аллергенов пыли № 1 IgE (домашняя пыль (Greer), клещ-дерматофаг перинный, клещ-дерматофаг мучной, таракан)</code> | <code>Смесь аллергенов пыли - hm1, Состав: домашняя пыль, Dermatophagoides pteronyssinus, Dermatophagoides farinae, таракан-прусак, IgE. Метод: ИФА</code> | <code>1</code> |
156
- | <code>Жидкостная цитология РШМ</code> | <code>Жидкостная цитология. Исследование соскоба шейки матки и цервикального канала (окрашивание по Папаниколау)</code> | <code>1</code> |
157
- | <code>Посев на возбудителей кишечной инфекции (сальмонеллы, шигеллы) с определением чувствительности к основному спектру антибиотиков</code> | <code>Посев кала на патогенную флору (дизентерийная и тифопаратифозная группы): С определением чувствительности к антибиотикам. Метод: культуральный</code> | <code>1</code> |
158
  * Loss: [<code>CrossEntropyLoss</code>](https://sbert.net/docs/package_reference/cross_encoder/losses.html#crossentropyloss)
159
 
160
  ### Training Hyperparameters
@@ -289,26 +289,26 @@ You can finetune this model on your own dataset.
289
  ### Training Logs
290
  | Epoch | Step | Training Loss | softmax_accuracy_eval_f1_macro |
291
  |:------:|:-----:|:-------------:|:------------------------------:|
292
- | 0.0458 | 500 | 0.5378 | - |
293
- | 0.0915 | 1000 | 0.2207 | - |
294
- | 0.1373 | 1500 | 0.2019 | - |
295
- | 0.1831 | 2000 | 0.1981 | 0.9654 |
296
- | 0.2288 | 2500 | 0.19 | - |
297
- | 0.2746 | 3000 | 0.1703 | - |
298
- | 0.3204 | 3500 | 0.217 | - |
299
- | 0.3661 | 4000 | 0.1673 | 0.9627 |
300
- | 0.4119 | 4500 | 0.1739 | - |
301
- | 0.4577 | 5000 | 0.143 | - |
302
- | 0.5034 | 5500 | 0.1522 | - |
303
- | 0.5492 | 6000 | 0.1545 | 0.9703 |
304
- | 0.5950 | 6500 | 0.1353 | - |
305
- | 0.6407 | 7000 | 0.1438 | - |
306
  | 0.6865 | 7500 | 0.1339 | - |
307
- | 0.7323 | 8000 | 0.1355 | 0.9715 |
308
- | 0.7780 | 8500 | 0.155 | - |
309
- | 0.8238 | 9000 | 0.1256 | - |
310
- | 0.8696 | 9500 | 0.1266 | - |
311
- | 0.9153 | 10000 | 0.1027 | 0.9715 |
312
 
313
 
314
  ### Framework Versions
 
24
  type: softmax_accuracy_eval
25
  metrics:
26
  - type: f1_macro
27
+ value: 0.9726781946411447
28
  name: F1 Macro
29
  - type: f1_micro
30
+ value: 0.9753250742295485
31
  name: F1 Micro
32
  - type: f1_weighted
33
+ value: 0.9752858934461676
34
  name: F1 Weighted
35
  ---
36
 
 
74
  model = CrossEncoder("Chimalpopoka/CrossEncoderRanker")
75
  # Get scores for pairs of texts
76
  pairs = [
77
+ ['Свободный кортизол, суточная\xa0моча (Free Сortisol, Free Hydrocortisone, 24-Hour urine)', 'Кортизол в разовой порции мочи'],
78
+ ['Определение антител класса G (IgG) к RBD домену S белка вируса SARS-CoV-2 (COVID-19), количественное исследование', 'Антитела к миокарду, IgG'],
79
+ ['Прием (осмотр, консультация) врача-терапевта, первичный', 'Консультация врача, в клинике, терапевт'],
80
+ ['Вакцинация против гепатита В для взрослых', 'Вакцинация против гепатита А. Вакцина: Альгавак М (Россия)'],
81
+ ['АТ к миокарду', 'Антитела к миокарду, IgG'],
82
  ]
83
  scores = model.predict(pairs)
84
  print(scores.shape)
 
120
 
121
  | Metric | Value |
122
  |:-------------|:-----------|
123
+ | **f1_macro** | **0.9727** |
124
+ | f1_micro | 0.9753 |
125
+ | f1_weighted | 0.9753 |
126
 
127
  <!--
128
  ## Bias, Risks and Limitations
 
148
  | | sentence_0 | sentence_1 | label |
149
  |:--------|:-----------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------|:------------------------------------------------|
150
  | type | string | string | int |
151
+ | details | <ul><li>min: 4 characters</li><li>mean: 68.59 characters</li><li>max: 747 characters</li></ul> | <ul><li>min: 3 characters</li><li>mean: 63.11 characters</li><li>max: 281 characters</li></ul> | <ul><li>0: ~34.30%</li><li>1: ~65.70%</li></ul> |
152
  * Samples:
153
+ | sentence_0 | sentence_1 | label |
154
+ |:-------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------|:---------------|
155
+ | <code>Свободный кортизол, суточная моча (Free Сortisol, Free Hydrocortisone, 24-Hour urine)</code> | <code>Кортизол в разовой порции мочи</code> | <code>1</code> |
156
+ | <code>Определение антител класса G (IgG) к RBD домену S белка вируса SARS-CoV-2 (COVID-19), количественное исследование</code> | <code>Антитела к миокарду, IgG</code> | <code>0</code> |
157
+ | <code>Прием (осмотр, консультация) врача-терапевта, первичный</code> | <code>Консультация врача, в клинике, терапевт</code> | <code>1</code> |
158
  * Loss: [<code>CrossEntropyLoss</code>](https://sbert.net/docs/package_reference/cross_encoder/losses.html#crossentropyloss)
159
 
160
  ### Training Hyperparameters
 
289
  ### Training Logs
290
  | Epoch | Step | Training Loss | softmax_accuracy_eval_f1_macro |
291
  |:------:|:-----:|:-------------:|:------------------------------:|
292
+ | 0.0458 | 500 | 0.5651 | - |
293
+ | 0.0915 | 1000 | 0.2182 | - |
294
+ | 0.1373 | 1500 | 0.2239 | - |
295
+ | 0.1831 | 2000 | 0.2015 | 0.9616 |
296
+ | 0.2288 | 2500 | 0.1617 | - |
297
+ | 0.2746 | 3000 | 0.1942 | - |
298
+ | 0.3204 | 3500 | 0.1888 | - |
299
+ | 0.3661 | 4000 | 0.1772 | 0.9629 |
300
+ | 0.4119 | 4500 | 0.1635 | - |
301
+ | 0.4577 | 5000 | 0.1596 | - |
302
+ | 0.5034 | 5500 | 0.1709 | - |
303
+ | 0.5492 | 6000 | 0.1566 | 0.9640 |
304
+ | 0.5950 | 6500 | 0.1278 | - |
305
+ | 0.6407 | 7000 | 0.1276 | - |
306
  | 0.6865 | 7500 | 0.1339 | - |
307
+ | 0.7323 | 8000 | 0.1422 | 0.9715 |
308
+ | 0.7780 | 8500 | 0.148 | - |
309
+ | 0.8238 | 9000 | 0.1271 | - |
310
+ | 0.8696 | 9500 | 0.125 | - |
311
+ | 0.9153 | 10000 | 0.1103 | 0.9727 |
312
 
313
 
314
  ### Framework Versions
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:eaa9d42c7aee85075ba233436b79292b6c3d73124c723b567251112f5402373a
3
  size 1436163192
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e0a48779da0c723b69244f105bcfe6fbdd5f0dd684df10755a54771196015f8f
3
  size 1436163192