| | --- |
| | license: mit |
| | language: |
| | - id |
| | library_name: transformers |
| | tags: |
| | - text-classification |
| | - natural-language-inference |
| | - indonesian |
| | - perturbation-robustness |
| | - bert |
| | datasets: |
| | - fabhiansan/XSUM-Indonesia-AMR-NLI |
| | pipeline_tag: text-classification |
| | widget: |
| | - text: 'Premis: [TEKS PREMIS DI SINI]. Hipotesis: [TEKS HIPOTESIS DI SINI]' |
| | base_model: |
| | - indobenchmark/indobert-large-p2 |
| | --- |
| | |
| | # Indonesian BERT Large for Natural Language Inference (Perturbation Weighted) |
| |
|
| | ## Deskripsi Model |
| |
|
| | Model ini adalah versi *fine-tuned* dari `indobenchmark/indobert-large-p2` yang dilatih untuk tugas Natural Language Inference (NLI) biner pada data berbahasa Indonesia. Tujuan utama NLI adalah untuk menentukan apakah sebuah "hipotesis" dapat disimpulkan dari sebuah "premis". \ |
| | Model ini secara spesifik dilatih dengan strategi pembobotan sampel ganda: |
| | 1. Pembobotan untuk menyeimbangkan kelas label utama (entailment vs. non-entailment). |
| | 2. Pembobotan tambahan untuk jenis-jenis perturbasi spesifik dalam sampel kelas negatif (label 0), untuk meningkatkan ketahanan model terhadap variasi linguistik atau artefak data tertentu. |
| |
|
| | Model ini menghasilkan salah satu dari dua label (0 untuk non-entailment/kontradiksi, 1 untuk entailment). |
| |
|
| | | metrik | score | |
| | |---------|--------| |
| | | accuracy | 0.9129205120571598 | |
| | | macro_precision | 0.9052220320834325 | |
| | | macro_recall | 0.8766231236407768 | |
| | | macro_f1 | 0.8893040191206835 | |
| | |average_loss | 0.5746491376413663 | |
| | | train_loss_sample_weighted | 0.07019188567586254 | |
| | |
| | |
| | |
| | ### Penggunaan yang Ditujukan |
| | Model ini ditujukan untuk digunakan dalam tugas klasifikasi teks NLI biner dalam bahasa Indonesia. Dapat digunakan untuk: |
| | * Memverifikasi apakah suatu klaim (hipotesis) didukung oleh teks sumber (premis). |
| | * Menganalisis hubungan logis antara beberapa kalimat teks sumber dan kalimat ringkasannya. |
| | * Model akan menganggap ringkasan tidak entails ketika terjadi halusinasi. |
| | * Halusinasi yang dapat dideteksi oleh model ini adalah (Pagnoni dkk., 2021): |
| | * Predicate error |
| | * Discourse link error |
| | * Entity Error |
| | * Circumstance Error |
| | * Out of Article Error |
| | |
| | ## Cara Menggunakan |
| | |
| | Anda dapat menggunakan model ini dengan pustaka `transformers` dari Hugging Face: |
| | |
| | ```python |
| | from transformers import AutoTokenizer, AutoModelForSequenceClassification |
| | import torch |
| | |
| | model_name = "fabhiansan/indoBERT-Large-FactChecking-Summarization" |
| |
|
| | tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) |
| | model = AutoModelForSequenceClassification.from_pretrained(model_name_or_path) |
| |
|
| | device = torch.device("cuda" if torch.cuda.is_available() else "cpu") |
| | model.to(device) |
| | |
| | premise = "Timnas Indonesia berhasil memenangkan pertandingan sepak bola." |
| | hypothesis = "Indonesia kalah dalam laga tersebut." |
| | |
| | inputs = tokenizer(premise, hypothesis, return_tensors="pt", truncation=True, padding=True, max_length=512) |
| | inputs = {k: v.to(device) for k, v in inputs.items()} |
| | |
| | model.eval() # Set model ke mode evaluasi |
| | with torch.no_grad(): |
| | outputs = model(**inputs) |
| | logits = outputs.logits |
| | predictions = torch.argmax(logits, dim=-1) |
| | |
| | # Interpretasi hasil (asumsi label 0 = non-entailment, label 1 = entailment) |
| | if predictions.item() == 1: |
| | print("Hipotesis dapat disimpulkan dari premis (Entailment).") |
| | else: |
| | print("Hipotesis TIDAK dapat disimpulkan dari premis (Non-Entailment).") |
