Initial commit for the custom_summarization_dataset

README.md

@@ -0,0 +1,37 @@
+
+# Dataset Card for Custom Text Dataset
+
+## Dataset Name
+커스텀 CNN/DailyMail 추출 요약 데이터셋
+
+## Overview
+이 데이터셋은 CNN/DailyMail 뉴스 기사에서 추출한 문장들과 해당 문장의 요약으로 구성되어 있다. 
+이 데이터셋은 훈련 및 테스트를 위해 커스텀한 소규모 하위 데이터셋을 포함하고 있다.
+
+## Composition
+- 훈련 데이터: 하나의 문장과 그에 대한 요약이 포함된 샘플.
+- 테스트 데이터: CNN/DailyMail 데이터셋의 원본 테스트 세트에서 100개의 샘플을 추출.
+
+## Collection Process
+훈련 데이터는 수작업으로 생성되었으며, 테스트 데이터는 `cnn_dailymail` 데이터셋의 테스트 세트에서 추출되었다.
+
+## Preprocessing
+Hugging Face `datasets` 라이브러리를 사용하여 데이터를 전처리했다. 훈련 및 테스트 데이터셋은 Hugging Face에서 사용할 수 있는 형식으로 저장되었다.
+
+## How to Use
+```python
+from datasets import load_from_disk
+
+train_dataset = load_from_disk('./results/custom_dataset/train')
+test_dataset = load_from_disk('./results/custom_dataset/test')
+```
+
+## Evaluation
+이 데이터셋은 ROUGE와 같은 전통적인 요약 평가 지표를 사용하여 평가할 수 있다.
+
+## Limitations
+훈련 데이터셋은 매우 적은 양으로, 일반화가 어려울 수 있다. 테스트 데이터는 외부 출처에서 가져왔으며, 원본 데이터셋에 존재하는 편향이 포함될 수 있다.
+
+## Ethical Considerations
+이 데이터셋에는 민감한 정치적 주제와 관련된 내용이 포함되어 있다. 사용자는 요약에서 발생할 수 있는 오해나 편향을 주의해야 한다
+

test/dataset_dict.json

@@ -0,0 +1 @@
+{"splits": ["test"]}

test/test/data-00000-of-00001.arrow

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1e6aa13a3e10a33624931f6c220c9618528323886bd7b7ac334af681b8dc0646
+size 346576

test/test/dataset_info.json

@@ -0,0 +1,22 @@
+{
+  "citation": "",
+  "description": "",
+  "features": {
+    "sentence": {
+      "feature": {
+        "dtype": "string",
+        "_type": "Value"
+      },
+      "_type": "Sequence"
+    },
+    "labels": {
+      "feature": {
+        "dtype": "string",
+        "_type": "Value"
+      },
+      "_type": "Sequence"
+    }
+  },
+  "homepage": "",
+  "license": ""
+}

test/test/state.json

@@ -0,0 +1,13 @@
+{
+  "_data_files": [
+    {
+      "filename": "data-00000-of-00001.arrow"
+    }
+  ],
+  "_fingerprint": "a966e5e39a3a551f",
+  "_format_columns": null,
+  "_format_kwargs": {},
+  "_format_type": null,
+  "_output_all_columns": false,
+  "_split": null
+}

train/dataset_dict.json

@@ -0,0 +1 @@
+{"splits": ["train"]}

train/train/data-00000-of-00001.arrow

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c3b84a293ed7afd9641f578c760558feab774e12174775ffef3bd6d130873903
+size 1400

train/train/dataset_info.json

@@ -0,0 +1,16 @@
+{
+  "citation": "",
+  "description": "",
+  "features": {
+    "sentence": {
+      "dtype": "string",
+      "_type": "Value"
+    },
+    "labels": {
+      "dtype": "string",
+      "_type": "Value"
+    }
+  },
+  "homepage": "",
+  "license": ""
+}

train/train/state.json

@@ -0,0 +1,13 @@
+{
+  "_data_files": [
+    {
+      "filename": "data-00000-of-00001.arrow"
+    }
+  ],
+  "_fingerprint": "a1df46296853828f",
+  "_format_columns": null,
+  "_format_kwargs": {},
+  "_format_type": null,
+  "_output_all_columns": false,
+  "_split": null
+}