Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16 (8 per perangkat pada 2 GPU)
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 3
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
2.0195	0.4126	5000	2.6803
1.9432	0.8252	10000	2.6026
1.9104	1.2378	15000	2.5520
1.8733	1.6504	20000	2.5069
1.8138	2.0630	25000	2.4988
1.805	2.4757	30000	2.4878
1.8078	2.8883	35000	2.4782

Evaluation Results 📊

Metric Score Eval Loss 2.2052 ROUGE-1 34.09 ROUGE-2 18.68 ROUGE-L 29.38 BLEU 10.42

Framework versions

• Transformers 4.52.4
• Pytorch 2.6.0+cu124
• Datasets 3.6.0
• Tokenizers 0.21.1

Model Card for t5-small-indonesian-summarization

Model ini adalah versi fine-tuned dari panggi/t5-small-indonesian-summarization-cased yang dilatih khusus untuk tugas peringkasan teks abstrakstif dalam Bahasa Indonesia.

Model Details 📝

• Model Type: T5 (Text-to-Text Transfer Transformer)
• Language: Indonesian (id)
• License: Apache 2.0
• Fine-tuned from: panggi/t5-small-indonesian-summarization-cased
• Related Community: SeaLLMs

Intended Uses & Limitations 🎯

Intended Use

Model ini ditujukan untuk meringkas artikel berita, dokumen, atau konten lain dalam Bahasa Indonesia secara otomatis. Untuk mendapatkan hasil terbaik, awali teks masukan Anda dengan prefiks "ringkas: ", seperti pada contoh di bawah.

Limitations and Bias

• Domain: Kinerja terbaik model ini adalah pada teks berdomain berita, sesuai dengan data pelatihannya. Performanya mungkin menurun untuk jenis teks lain (misalnya, dokumen hukum atau sastra).
• Input Length: Masukan dibatasi hingga 512 token. Teks yang lebih panjang akan dipotong, yang berpotensi menghilangkan informasi penting di akhir dokumen.

How to Use 💻

from transformers import pipeline

summarizer = pipeline("summarization", model="Irvan14/t5-small-indonesian-summarization")

ARTICLE = """
Menteri Komunikasi dan Informatika (Menkominfo) Budi Arie Setiadi menyatakan bahwa serangan siber terhadap Pusat Data Nasional Sementara (PDNS) 2 merupakan ulah peretas yang menggunakan varian terbaru dari ransomware Lockbit 3.0. Menurut Budi, kejadian ini menjadi pembelajaran penting bagi pemerintah untuk segera membangun Pusat Data Nasional yang andal dan aman. Budi juga menegaskan bahwa pemerintah tidak akan membayar uang tebusan yang diminta oleh peretas sebesar USD 8 juta atau sekitar Rp 131 miliar, karena tidak ada jaminan data akan kembali meskipun tebusan dibayarkan.
"""

# Jangan lupa tambahkan prefiks "ringkas: "
summary = summarizer("ringkas: " + ARTICLE, max_length=128, min_length=30, do_sample=False)

print(summary[0]['summary_text'])