skimb22/koelectra-ner-klue-test1

Model Description

• Developed by: 김상현 / SANGHYUN KIM
• Finetuned from model [monologg/koelectra-base-v3-discriminator], trained with [klue/klue] dataset.
• 상세 스펙과 학습 환경은 후술

Usage

Load model and tokenizer

from transformers import AutoTokenizer, AutoModelForTokenClassification

>>> model_path = "skimb22/koelectra-ner-klue-test1"
>>> model = AutoModelForTokenClassification.from_pretrained(model_path)
>>> tokenizer = AutoTokenizer.from_pretrained(model_path)

Define NER Label list

>>> label_list = ['B-DT', 'I-DT', 'B-LC', 'I-LC', 'B-OG', 'I-OG', 'B-PS', 'I-PS', 'B-QT', 'I-QT', 'B-TI', 'I-TI', 'O']
>>> label2id = {label: i for i, label in enumerate(label_list)}
>>> id2label = {i: label for i, label in enumerate(label_list)}

Test with [klue] NER validation datasets.

from datasets import load_dataset
import random
import torch

dataset = load_dataset("klue/klue", "ner")
val_data = dataset["validation"]

samples = random.sample(list(val_data), 10)

for idx, sample in enumerate(samples):
    tokens = sample["tokens"]
    gold_labels = [label_list[tag] for tag in sample["ner_tags"]]

    # tokenizer, model 변수 준비돼 있어야 함. (Load model and tokenizer 참고)
    inputs = tokenizer(tokens, is_split_into_words=True, return_tensors="pt", truncation=True)
    word_ids = inputs.word_ids()
    with torch.no_grad():
        outputs = model(**inputs).logits
    preds = torch.argmax(outputs, dim=-1)[0].tolist()

    print(f"\n🔹 Sample {idx + 1}: {' '.join(tokens)}")
    print("Token\tGold\tPred")

    seen = set()
    for i, word_idx in enumerate(word_ids):
        if word_idx is None or word_idx in seen:
            continue
        seen.add(word_idx)

        token = tokens[word_idx]
        gold = gold_labels[word_idx]
        pred_id = preds[i]
        pred = label_list[pred_id] if pred_id < len(label_list) else "O"
        if gold == pred:
            print(f"{token}\t{gold}\t{pred} ✅")
        else:
            print(f"{token}\t{gold}\t{pred} ❌")

Sample Output

Sample Output

🔹 Sample 3: 제 2 외 국 어 / 한 문 은   9 과 목   중   8 과 목 이   7 0 . 0 % 이 지 만   다 문 화 가 정   자 녀 를   위 해   처 음   도 입 된   기 초 베 트 남 어 의   연 
계 율 은   7 3 . 3 %   다 .
Token   Gold    Pred
제      B-QT    B-QT ✅
2       I-QT    I-QT ✅
외      O       O ✅
국      O       O ✅
어      O       O ✅
/       O       O ✅
한      O       O ✅
문      O       O ✅
은      O       O ✅
9       B-QT    B-QT ✅
과      I-QT    I-QT ✅
목      I-QT    I-QT ✅
중      O       O ✅
8       B-QT    B-QT ✅
과      I-QT    O ❌
목      I-QT    O ❌
이      O       O ✅
7       B-QT    B-QT ✅
0       I-QT    I-QT ✅
.       I-QT    I-QT ✅
0       I-QT    I-QT ✅
%       I-QT    I-QT ✅
이      O       O ✅
지      O       O ✅
만      O       O ✅
다      O       O ✅
문      O       O ✅
화      O       O ✅
가      O       O ✅
정      O       O ✅
자      O       O ✅
녀      O       O ✅
를      O       O ✅
위      O       O ✅
해      O       O ✅
처      O       O ✅
음      O       O ✅
도      O       O ✅
입      O       O ✅
된      O       O ✅
기      O       O ✅
초      O       O ✅
베      O       O ✅
트      O       O ✅
남      O       O ✅
어      O       O ✅
의      O       O ✅
연      O       O ✅
계      O       O ✅
율      O       O ✅
은      O       O ✅
7       B-QT    B-QT ✅
3       I-QT    I-QT ✅
.       I-QT    I-QT ✅
3       I-QT    I-QT ✅
%       I-QT    I-QT ✅
다      O       O ✅
.       O       O ✅

Training Hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-5
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
weight_decay: 0.01
num_train_epochs: 3

Evaluation

tag   precision   recall   f1-score   support
DT         0.81     0.86       0.84      2312
LC         0.66     0.71       0.68      1649
OG         0.67     0.73       0.70      2182
PS         0.84     0.84       0.84      4418
QT         0.89     0.92       0.91      3151
TI         0.86     0.91       0.88       545

      result   precision   recall   f1-score   support
   micro avg        0.80     0.83       0.82     14257
   macro avg        0.79     0.83       0.81     14257
weighted avg        0.80     0.83       0.82     14257

Testing Data

[https://huggingface.co/datasets/klue/klue] - NER Datasets - validation