End of training

README.md

@@ -18,11 +18,11 @@ should probably proofread and complete it, then remove this comment. -->
 
 This model is a fine-tuned version of [paust/pko-t5-base](https://huggingface.co/paust/pko-t5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
-- Loss: 0.5908
-- Rouge1: 0.0915
-- Rouge2: 0.0239
-- Rougel: 0.0906
-- Rougelsum: 0.0905
+- Loss: 0.7192
+- Rouge1: 0.0663
+- Rouge2: 0.0167
+- Rougel: 0.0663
+- Rougelsum: 0.0663
 
 ## Model description
 
@@ -47,98 +47,23 @@ The following hyperparameters were used during training:
 - seed: 42
 - optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
 - lr_scheduler_type: linear
-- num_epochs: 1
+- training_steps: 5000
 - mixed_precision_training: Native AMP
 
 ### Training results
 
-| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum |
-|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|
-| 0.7355        | 0.24  | 300  | 0.6505          | 0.0612 | 0.0114 | 0.0615 | 0.0615    |
-| 0.6806        | 0.48  | 600  | 0.6223          | 0.0849 | 0.0200 | 0.0848 | 0.0846    |
-| 0.6835        | 0.72  | 900  | 0.6020          | 0.0833 | 0.0205 | 0.0835 | 0.0834    |
-| 0.6402        | 0.96  | 1200 | 0.5970          | 0.0855 | 0.0213 | 0.0854 | 0.0855    |
-
-
-### How to
-```python
-import torch
-from transformers import T5TokenizerFast, T5ForConditionalGeneration
-
-# 1. 모델 및 토크나이저 로드
-model_id = "seungbo7747/summarization_model"
-tokenizer = T5TokenizerFast.from_pretrained(model_id)
-model = T5ForConditionalGeneration.from_pretrained(model_id)
-
-# 2. GPU 설정 (가능한 경우)
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-model.to(device)
-print(f"Using device: {device}")
-if torch.cuda.is_available():
-    print(f"GPU name: {torch.cuda.get_device_name(0)}")
-
-# 3. 요약 함수 정의
-def summarize_text(texts, max_input_length=512, max_output_length=150, num_beams=4):
-    """
-    주어진 텍스트 리스트를 요약하는 함수.
-    
-    Args:
-        texts (list[str]): 요약할 텍스트 리스트 (각 텍스트는 'summarize: ' 접두사 포함 가능).
-        max_input_length (int): 입력 텍스트 최대 길이.
-        max_output_length (int): 출력 요약 최대 길이.
-        num_beams (int): 빔 서치에서 사용할 빔 수.
-    
-    Returns:
-        list[str]: 요약된 텍스트 리스트.
-    """
-    # 입력 텍스트에 'summarize: ' 접두사 추가 (없는 경우)
-    inputs = [f"summarize: {text}" if not text.startswith("summarize: ") else text for text in texts]
-    
-    # 토큰화
-    tokenized_inputs = tokenizer(
-        inputs,
-        max_length=max_input_length,
-        truncation=True,
-        padding=True,
-        return_tensors="pt"
-    )
-    
-    # GPU로 입력 이동
-    tokenized_inputs = {k: v.to(device) for k, v in tokenized_inputs.items()}
-    
-    # 요약 생성
-    summary_ids = model.generate(
-        tokenized_inputs["input_ids"],
-        attention_mask=tokenized_inputs["attention_mask"],
-        max_length=max_output_length,
-        num_beams=num_beams,
-        early_stopping=True
-    )
-    
-    # 디코딩
-    summaries = tokenizer.batch_decode(summary_ids, skip_special_tokens=True)
-    return summaries
-
-# 4. 테스트 입력 예시
-test_texts = [
-    "summarize: 한국의 수도는 서울입니다. 서울은 한반도 중부에 위치하며, 인구는 약 970만 명입니다. 서울은 경제, 문화, 정치의 중심지로, 한강이 도시를 가로지르며 많은 역사적 유산과 현대적 건축물이 공존합니다.",
-    "summarize: 인공지능(AI)은 컴퓨터 시스템이 인간의 지능을 모방하거나 초월하도록 만드는 기술입니다. AI는 머신러닝, 딥러닝, 자연어 처리 등의 분야로 나뉘며, 의료, 금융, 제조 등 다양한 산업에서 활용되고 있습니다. 그러나 AI의 윤리적 문제와 일자리 대체 우려도 제기되고 있습니다.",
-    "summarize: 기후 변화는 지구 온난화, 해수면 상승, 극단적 기상 현상을 초래하는 글로벌 문제입니다. 이산화탄소 배출 감소와 재생 가능 에너지 사용이 해결책으로 제시되지만, 국제적 협력이 부족한 상황입니다."
-]
-
-# 5. 요약 실행 및 결과 출력
-summaries = summarize_text(test_texts)
-for i, (input_text, summary) in enumerate(zip(test_texts, summaries)):
-    print(f"\nInput {i+1}: {input_text}")
-    print(f"Summary {i+1}: {summary}")
-
-# 6. 단일 텍스트 요약 예시 (간단한 사용)
-single_text = "summarize: 블록체인은 분산된 디지털 장부로, 거래 데이터를 암호화하여 보안성과 투명성을 제공합니다. 비트코인과 같은 암호화폐뿐만 아니라 공급망 관리, 의료 기록 등 다양한 분야에서 활용되고 있습니다."
-summary = summarize_text([single_text])[0]
-print(f"\nSingle Input: {single_text}")
-print(f"Single Summary: {summary}")
-```
-
+| Training Loss | Epoch  | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum |
+|:-------------:|:------:|:----:|:---------------:|:------:|:------:|:------:|:---------:|
+| 1.1412        | 0.0111 | 500  | 0.8112          | 0.0612 | 0.0136 | 0.0611 | 0.0611    |
+| 0.8494        | 0.0222 | 1000 | 0.7681          | 0.0651 | 0.0150 | 0.0651 | 0.0650    |
+| 0.8299        | 0.0333 | 1500 | 0.7493          | 0.0659 | 0.0155 | 0.0658 | 0.0658    |
+| 0.7919        | 0.0444 | 2000 | 0.7379          | 0.0663 | 0.0158 | 0.0662 | 0.0662    |
+| 0.7858        | 0.0555 | 2500 | 0.7339          | 0.0667 | 0.0163 | 0.0667 | 0.0667    |
+| 0.7953        | 0.0666 | 3000 | 0.7330          | 0.0674 | 0.0164 | 0.0674 | 0.0674    |
+| 0.7769        | 0.0777 | 3500 | 0.7261          | 0.0679 | 0.0163 | 0.0679 | 0.0678    |
+| 0.7752        | 0.0888 | 4000 | 0.7182          | 0.0683 | 0.0163 | 0.0683 | 0.0683    |
+| 0.7743        | 0.0998 | 4500 | 0.7203          | 0.0682 | 0.0164 | 0.0681 | 0.0681    |
+| 0.7851        | 0.1109 | 5000 | 0.7179          | 0.0684 | 0.0165 | 0.0683 | 0.0683    |
 
 
 ### Framework versions

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4d50793ddc167ec54d1b2d6aebc313694068ebbddbde903ac7587d18a58caeb3
+oid sha256:c7695f6cb2eb7b97708cd8464d7223ea0bc2a0fe8846cedc9124c35f4723564b
 size 1102350184

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:05e4de3527ceaf8d19db459136c8d07c7e8f1e8eceb5d5d8cb77dd4495de7877
+oid sha256:9d7873673bc720e72537bf4e33a6337b67a6fa36414171e3c9ebda81c392dc99
 size 5368