jxchlee/koelectra-base-news-summerization2

Model Card for Model ID

koelectra-base-news-classification

Fine-tuned KoElectra model for Korean news classification for summarization.

Model Details

• Base model: monologg/koelectra-base-discriminator
• Task: Text Classification (News polarity)
• Language: Korean
• Number of labels: 2 (LABEL_0 = 부정, LABEL_1 = 긍정)

Training

• Epochs: 3
• Optimizer: AdamW
• Max length: 128
• Dataset: https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=97. 11,000 pieces of train news data and 4,000 pieces of valid news data used

Usage

from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline
import torch


device = 0 if torch.cuda.is_available() else -1
model = AutoModelForSequenceClassification.from_pretrained("jxchlee/koelectra-base-news-summerization2")
tokenizer = AutoTokenizer.from_pretrained("jxchlee/koelectra-base-news-summerization2")

nlp = pipeline("text-classification", model=model, tokenizer=tokenizer, device=device)

result = nlp("이 모델은 성능이 좋을까?")
print(result)

long_text = '''
전라남도가 쌀 과잉문제를 근본적으로 해결하기 위해 올해부터 시행하는 쌀 생산조정제를 적극 추진키로 했다.

쌀 생산조정제는 벼를 심었던 논에 벼 대신 사료작물이나 콩 등 다른 작물을 심으면 벼와의 일정 소득차를 보전해주는 제도다.

올해 전남의 논 다른 작물 재배 계획면적은 전국 5만ha의 약 21%인 1만 698ha로, 세부시행지침을 확정, 시군에 통보했다.

지원 대상 작물은 1년생을 포함한 다년생의 모든 작물이 해당되나 재배 면적 확대 시 수급과잉이 우려되는 고추, 무, 배추, 인삼, 대파 등 수급 불안 품목은 제외된다.

농지의 경우도 이미 다른 작물 재배 의무가 부여된 간척지, 정부매입비축농지, 농진청 시범사업, 경관보전 직불금 수령 농지 등은 제외될 예정이다.
'''

import kss
sentences = kss.split_sentences(long_text)
result2 = nlp(sentences)
print(result2)