Xcz2568/T5-summarization-Korean1

pipeline_tag: summarization language: - ko tags: - T5

t5-base-korean-summarization

This is T5 model for korean text summarization.

• Finetuned based on t5-base-korean-summarization model.

• Finetuned with 4 datasets. Specifically, it is described below.

  • csebuetnlp/xlsum
  • csebuetnlp/xlsum2
  • daekeun-ml/naver-news-summarization-ko
  • 한국어 멀티세션 대화

Usage (HuggingFace Transformers)

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("summarization", model="t5-base-trained-model")
pipe("""미 항공우주국(NASA)이 2014년 한반도의 밤을 위성으로 촬영해 화제가 된 사진이 있다.
빛으로 꽉 찬 한국과 달리, 북한엔 평양에만 불빛이 보일 뿐 컴컴한 어둠이 가득하다. 이 사진은 정확한 통계 자료가 부족한 북한 경제의 실상을 짐작게 하는 계기가 됐다.

이런 위성 사진과 더불어 최근엔 인공지능(AI) 기술로 북한을 좀 더 객관적으로 들여다보는 연구들이 나오고 있다.

지난해 말, 한국 카이스트(KAIST)는 기초과학연구원, 서강대, 홍콩과기대, 싱가포르국립대와 위성영상을 활용해 북한처럼 기초 데이터가 부족한 지역의 경제 상황을 분석하는 AI 기법을 개발했다. 컴퓨터 사이언스, 경제, 지리학 등 전문가 10여 명이 힘을 합친 것.

연구팀은 한국의 아리랑, 유럽의 센티넬 등 인공위성 영상을 평균 0.23㎢ 로 세밀하게 나눴다. 그리고 구역 안의 건물과 도로, 녹지 등의 시각 정보를 수치화해 AI가 경제 발전 정도를 점수로 매기도록 했다.

이를 통해 특정 기간 해당 지역에서 어느 정도의 변화가 있었는지를 비교하고 알 수 있다.

연구팀은 이 기술을 북한에 적용해 분석했다.

주요 연구진으로 참여한 김지희 카이스트 교수는 BBC 코리아에 "북한의 경우엔 대부분의 나라엔 있는 소득, 자산, 인구 등의 자료가 충분치 않기에 절대적 경제지표가 거의 없다"며 "상대적인 발전 정도라도 한번 파악해 보고 싶었다”고 연구 목적을 설명했다.

그러면서 "그동안 위성사진으로는 (변화가 있으리라 예측되는) 위치를 임의로 선정하고 추적 감시를 했는데, 개발한 AI 모델은 전지역을 감지할 수 있기 때문에 그런 과정 없이 북한 전역을 세밀하게 관측할 수 있다" 고 했다.""")

RESULT >> [{'summary_text': 한국 카이스트는 기초과학연구원과 서강대 홍콩과기대 싱가포르국립대와 함께 위성 영상을 활용해 북한처럼 기초 데이터가 부족한 지역의 경제 상황을 분석하는 AI 기법을 개발했다.}]

Evalutation Result

• Epoch Training Loss ValidationLoss Rouge1 Rouge2 Rougel Rougelsum
• csebuetnlp/xlsum

    8	1.051100	  1.718005	       18.211300	 3.563200	 18.000500	 18.001100
  

• daekeun-ml/naver-news-summarization-ko

  8	No log	            0.441769	  50.047600	23.509700	49.730000	49.806500
  

• 한국어 멀티세션 대화

    8	1.072700	1.624539	       7.749500	1.273900	7.744200	7.768000
  

Training

The model was trained with the parameters:

• training arguments

batch_size = 8
num_train_epochs = 8 

args = Seq2SeqTrainingArguments(
    
    evaluation_strategy="epoch",
    learning_rate=5.6e-5,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    weight_decay=0.01, #weight_decay:
    save_total_limit=3,#:
    num_train_epochs=num_train_epochs,
    predict_with_generate=True,
    logging_steps=logging_steps,
    push_to_hub=True,
    save_steps=1000,
)