SLM-ID-50M: Pra-pelatihan Model Bahasa Kecil Decoder-Only dari Nol untuk Bahasa Indonesia

Deskripsi Model

SLM-ID-50M adalah base language model (bukan chatbot) berarsitektur decoder-only bergaya Llama dengan sekitar 58 juta parameter. Angka 49,95 juta yang pernah digunakan sebelumnya merupakan angka perkiraan/pembulatan awal. Model ini dibangun dan dilatih dari nol (bukan hasil fine-tuning model lain) menggunakan korpus bahasa Indonesia terbuka, yaitu AksaraLLM/aksara-pretrain-id.

Model ini diposisikan sebagai fondasi eksperimen yang dapat digunakan peneliti atau pengembang untuk mempelajari pemodelan bahasa Indonesia dan melakukan Supervised Fine-Tuning (SFT) sesuai kebutuhan masing-masing.

Spesifikasi Arsitektur

Komponen	Spesifikasi
Tipe arsitektur	Decoder-only Transformer (Llama-like)
Total parameter	Sekitar 58 juta
Jumlah layer	13
Dimensi tersembunyi	512
Kepala atensi	8 (head dimension: 64)
Dimensi intermediate FFN	1.408
Aktivasi FFN	SwiGLU
Panjang konteks	512 token
Ukuran kosakata	16.000 (BPE)
Positional encoding	RoPE (`theta=10000`)
Normalisasi	RMSNorm (`eps=1e-5`)
Weight tying	Ya

Data Pelatihan

Dataset: AksaraLLM/aksara-pretrain-id
Sumber korpus: Wikipedia bahasa Indonesia dan CulturaX.
Jumlah dokumen: 765.815 dokumen bersih setelah deduplikasi SHA-1.
Total token: Sekitar 1,04 miliar token selama 3 epoch.
Perangkat keras pelatihan: 2 × NVIDIA Tesla T4 (Kaggle).

Hasil Evaluasi

Hasil evaluasi yang dilaporkan untuk checkpoint dan pengujian yang digunakan:

Validation loss (step 280.000): 2,9412.
Perplexity: 18,94.
Akurasi uji minimal pair: 90,0% pada 200 butir pengujian sintaksis.

Catatan: Skor minimal pair merupakan hasil pada set pengujian yang disebutkan di atas. Skor tersebut tidak boleh ditafsirkan sebagai akurasi umum model pada seluruh tugas pemahaman bahasa atau pengetahuan faktual.

Ketersediaan Checkpoint

Repositori ini menyediakan bobot model dalam format Safetensors dengan beberapa presisi numerik.

1. Checkpoint utama — step 280.000

Folder checkpoint	Presisi	Perkiraan ukuran	Keterangan
`pretrain_step_280000_int8`	8-bit	±57 MB	Ukuran paling kecil; ditujukan untuk eksperimen inferensi dengan kebutuhan memori lebih rendah.
`pretrain_step_280000_fp16`	16-bit	±112 MB	Kompromi ukuran dan presisi.
`pretrain_step_280000_fp32`	32-bit	±223 MB	Presisi penuh.

2. Checkpoint pendamping — step 188.000

Folder checkpoint	Presisi	Perkiraan ukuran
`pretrain_step_188000_int8`	8-bit	±57 MB
`pretrain_step_188000_fp16`	16-bit	±112 MB
`pretrain_step_188000_fp32`	32-bit	±223 MB

Ukuran file merupakan perkiraan dan dapat sedikit berbeda bergantung pada konfigurasi penyimpanan.

Cara Menggunakan Model

Model dapat dimuat menggunakan transformers melalui AutoModelForCausalLM dan AutoTokenizer. Contoh berikut menggunakan checkpoint utama varian INT8.

Instalasi dependensi

Pastikan Python dan pip telah tersedia, kemudian instal pustaka yang diperlukan:

pip install torch transformers safetensors accelerate

Memuat model dan menghasilkan teks

Contoh berikut menggunakan checkpoint utama pretrain_step_280000_fp16. Varian FP16 dipilih sebagai titik awal untuk menjalankan inferensi dengan presisi 16-bit.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer


MODEL_ID = "hakim32/slm-id-50m"
MODEL_SUBFOLDER = "pretrain_step_280000_fp16"

PROMPT = "Candi Borobudur terletak di"


def main():
    print(
        f"Memuat model dari {MODEL_ID} "
        f"(checkpoint: {MODEL_SUBFOLDER})..."
    )

    tokenizer = AutoTokenizer.from_pretrained(
        MODEL_ID,
        subfolder=MODEL_SUBFOLDER,
    )

    model = AutoModelForCausalLM.from_pretrained(
        MODEL_ID,
        subfolder=MODEL_SUBFOLDER,
        device_map="auto",
        torch_dtype=torch.float16,
    )

    model.eval()
    print("Model berhasil dimuat.")

    inputs = tokenizer(
        PROMPT,
        return_tensors="pt",
    ).to(model.device)

    print("Menghasilkan teks...")

    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=50,
            temperature=0.7,
            repetition_penalty=1.2,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id,
        )

    generated_text = tokenizer.decode(
        outputs[0],
        skip_special_tokens=True,
    )

    print("\n=== HASIL GENERASI ===")
    print(generated_text)


if __name__ == "__main__":
    main()

Simpan kode tersebut, misalnya sebagai run_inference.py, lalu jalankan:

python run_inference.py

Catatan: contoh ini menggunakan torch.float16 dan device_map="auto". Pastikan perangkat dan konfigurasi PyTorch yang digunakan mendukung operasi FP16. Jika menjalankan model pada CPU dan menemui kendala kompatibilitas atau performa, pertimbangkan untuk menggunakan checkpoint FP32.

Batasan Model

SLM-ID-50M merupakan base model yang belum melalui tahap Supervised Fine-Tuning (SFT) atau penyelarasan instruksi. Oleh karena itu:

Model ini tidak dirancang untuk berperilaku seperti chatbot yang mengikuti instruksi atau menjawab pertanyaan secara konsisten.
Fungsi utamanya adalah next-token prediction, yaitu memprediksi token berikutnya berdasarkan konteks teks sebelumnya.
Model dapat menghasilkan informasi yang keliru atau tidak faktual (hallucination).
Panjang konteks model dibatasi hingga 512 token.
Performa model bergantung pada domain, kualitas prompt, dan karakteristik data masukan.
Hasil evaluasi yang dilaporkan tidak menjamin performa yang sama pada dataset atau tugas lain.

Untuk penggunaan sebagai asisten percakapan atau sistem yang mengikuti instruksi, model perlu menjalani tahap pelatihan lanjutan seperti SFT dan evaluasi keselamatan serta kualitas keluaran.

Penggunaan dan Lisensi

Model ini dirilis dengan lisensi Apache License 2.0 sebagaimana dinyatakan pada metadata repositori. Pengguna tetap disarankan untuk memeriksa lisensi dataset sumber dan ketentuan penggunaannya sebelum mendistribusikan ulang model atau turunannya.

Sitasi

Jika menggunakan model ini dalam penelitian, publikasi, atau eksperimen, silakan gunakan sitasi berikut:

BibTeX

@misc{hakim2026slmid50m,
  author       = {Muflikhul Hakim},
  title        = {SLM-ID-50M: Pra-pelatihan Model Bahasa Kecil Decoder-Only dari Nol untuk Bahasa Indonesia},
  year         = {2026},
  publisher    = {Hugging Face},
  howpublished = {\url{https://huggingface.co/hakim32/slm-id-50m}}
}

Tautan

Model: https://huggingface.co/hakim32/slm-id-50m
Dataset: https://huggingface.co/datasets/AksaraLLM/aksara-pretrain-id

Dikembangkan oleh Muflikhul Hakim.

Downloads last month: 99

hakim32
/

slm-id-50m