Update README.md
Browse files
README.md
CHANGED
|
@@ -1,39 +1,39 @@
|
|
| 1 |
-
---
|
| 2 |
-
language:
|
| 3 |
-
- kk
|
| 4 |
-
license: cc-by-4.0
|
| 5 |
-
tags:
|
| 6 |
-
- token-classification
|
| 7 |
-
- named-entity-recognition
|
| 8 |
-
- kazakh
|
| 9 |
-
- kaznerd
|
| 10 |
-
datasets:
|
| 11 |
-
- KazNERD
|
| 12 |
-
base_model: kz-transformers/kaz-roberta-conversational
|
| 13 |
-
model-index:
|
| 14 |
-
- name: kaz-roberta-ner
|
| 15 |
-
results:
|
| 16 |
-
- task:
|
| 17 |
-
type: token-classification
|
| 18 |
-
name: Named Entity Recognition
|
| 19 |
-
dataset:
|
| 20 |
-
name: KazNERD (Augmented)
|
| 21 |
-
type: kaznerd
|
| 22 |
-
metrics:
|
| 23 |
-
- type: f1
|
| 24 |
-
value: 0.8019
|
| 25 |
-
name: F1 Score
|
| 26 |
-
- type: precision
|
| 27 |
-
value: 0.7685
|
| 28 |
-
name: Precision
|
| 29 |
-
- type: recall
|
| 30 |
-
value: 0.8382
|
| 31 |
-
name: Recall
|
| 32 |
-
- type: accuracy
|
| 33 |
-
value: 0.9557
|
| 34 |
-
name: Accuracy
|
| 35 |
-
pipeline_tag: token-classification
|
| 36 |
-
---
|
| 37 |
|
| 38 |
# Kazakh RoBERTa NER Model
|
| 39 |
|
|
@@ -130,7 +130,7 @@ The model recognizes 25 entity types:
|
|
| 130 |
```python
|
| 131 |
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
|
| 132 |
|
| 133 |
-
model_name = "
|
| 134 |
|
| 135 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 136 |
model = AutoModelForTokenClassification.from_pretrained(model_name)
|
|
@@ -142,11 +142,21 @@ ner_pipeline = pipeline(
|
|
| 142 |
aggregation_strategy="simple"
|
| 143 |
)
|
| 144 |
|
| 145 |
-
text = "
|
| 146 |
results = ner_pipeline(text)
|
| 147 |
|
| 148 |
for entity in results:
|
| 149 |
print(f"{entity['word']}: {entity['entity_group']} (score: {entity['score']:.3f})")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 150 |
```
|
| 151 |
|
| 152 |
## Citations
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- kk
|
| 4 |
+
license: cc-by-4.0
|
| 5 |
+
tags:
|
| 6 |
+
- token-classification
|
| 7 |
+
- named-entity-recognition
|
| 8 |
+
- kazakh
|
| 9 |
+
- kaznerd
|
| 10 |
+
datasets:
|
| 11 |
+
- KazNERD
|
| 12 |
+
base_model: kz-transformers/kaz-roberta-conversational
|
| 13 |
+
model-index:
|
| 14 |
+
- name: kaz-roberta-ner
|
| 15 |
+
results:
|
| 16 |
+
- task:
|
| 17 |
+
type: token-classification
|
| 18 |
+
name: Named Entity Recognition
|
| 19 |
+
dataset:
|
| 20 |
+
name: KazNERD (Augmented)
|
| 21 |
+
type: kaznerd
|
| 22 |
+
metrics:
|
| 23 |
+
- type: f1
|
| 24 |
+
value: 0.8019
|
| 25 |
+
name: F1 Score
|
| 26 |
+
- type: precision
|
| 27 |
+
value: 0.7685
|
| 28 |
+
name: Precision
|
| 29 |
+
- type: recall
|
| 30 |
+
value: 0.8382
|
| 31 |
+
name: Recall
|
| 32 |
+
- type: accuracy
|
| 33 |
+
value: 0.9557
|
| 34 |
+
name: Accuracy
|
| 35 |
+
pipeline_tag: token-classification
|
| 36 |
+
---
|
| 37 |
|
| 38 |
# Kazakh RoBERTa NER Model
|
| 39 |
|
|
|
|
| 130 |
```python
|
| 131 |
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
|
| 132 |
|
| 133 |
+
model_name = "shoplikov/kaz-roberta-ner"
|
| 134 |
|
| 135 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 136 |
model = AutoModelForTokenClassification.from_pretrained(model_name)
|
|
|
|
| 142 |
aggregation_strategy="simple"
|
| 143 |
)
|
| 144 |
|
| 145 |
+
text = """Атырауда сот 23 жастағы Светлана Легкодимованың өліміне қатысты атышулы істі қарап, айыпталушыларға үкім шығарды. Сот 24 жастағы Р.Х. және 25 жастағы А.К.-ны аса ауыр қылмыс жасағаны үшін кінәлі деп таныды: ҚР Қылмыстық кодексінің 99-бабы 2-бөлігі 7) тармағы – "Алдын ала сөз байласу арқылы адамдар тобы жасаған кісі өлтіру". ҚР Қылмыстық кодексінің 202-бабы 2-бөлігі 6) тармағы – "Алдын ала сөз байласу арқылы адамдар тобы жасаған бөтеннің мүлкін қасақана жою". Айыптардың жиынтығы бойынша сот әрқайсына өмір бойына бас бостандығынан айыру жазасын тағайындады."""
|
| 146 |
results = ner_pipeline(text)
|
| 147 |
|
| 148 |
for entity in results:
|
| 149 |
print(f"{entity['word']}: {entity['entity_group']} (score: {entity['score']:.3f})")
|
| 150 |
+
|
| 151 |
+
# Атырауда: LOCATION (score: 0.998)
|
| 152 |
+
# Светлана Легкодимованың: PERSON (score: 1.000)
|
| 153 |
+
# Р.Х.: PERSON (score: 0.881)
|
| 154 |
+
# А.К.-: PERSON (score: 0.999)
|
| 155 |
+
# аса ауыр қылмыс: CRIME_TYPE (score: 0.999)
|
| 156 |
+
# ҚР Қылмыстық кодексінің 99-бабы 2-бөлігі 7) тармағы: LAW (score: 1.000)
|
| 157 |
+
# кісі өлтіру: CRIME_TYPE (score: 0.813)
|
| 158 |
+
# ҚР Қылмыстық кодексінің 202-бабы 2-бөлігі 6) тармағы: LAW (score: 1.000)
|
| 159 |
+
# бөтеннің мүлкін қасақана жою: CRIME_TYPE (score: 0.989)
|
| 160 |
```
|
| 161 |
|
| 162 |
## Citations
|