DimasMP3/Qwen2.5-Exam-GenAI

datasets: - DimasMP3/Indo-Elementary-School-Exams (custom) metrics: - eval_loss: 0.6869

🎓 Qwen2.5-7B-Indo-Exam-Generator-16bit

Developed by: Dimas Maulana Putra (DimasMP3)
Model Type: Specialized Fine-Tuned for Indonesian Elementary Education
Training Status: Optimal @ Step 500 (Eval Loss: 0.686)

---

🌟 Overview

Qwen2.5-Indo-Exam-Generator adalah model bahasa yang telah di-finetuning secara khusus untuk menjawab tantangan dunia pendidikan di Indonesia. Model ini dilatih menggunakan dataset berkualitas tinggi sebanyak 4.500+ soal sekolah dasar yang disesuaikan dengan Kurikulum Merdeka.

Model ini bukan sekadar AI umum; ia dirancang untuk berperan sebagai Guru Digital yang mampu menghasilkan soal ujian (pilihan ganda) lengkap dengan kunci jawaban dan pembahasan yang akurat.

✨ Key Features

• 🇮🇩 Native Indonesian Support: Memahami istilah pendidikan lokal (IPAS, HOTS, Kurikulum Merdeka).
• 📝 Structured Output: Konsisten dalam menghasilkan format Soal, Opsi (A-D), Kunci, dan Pembahasan.
• 🧠 RAG Ready: Dioptimalkan untuk bekerja dengan sistem Retrieval-Augmented Generation (pgvector/Drizzle).
• 🚀 High Precision: Fine-tuned dalam format 16-bit untuk akurasi logika yang tajam.

---

📊 Training Results (WandB Metrics)

Training dilakukan dengan pengawasan ketat terhadap Validation Loss untuk mencegah halusinasi:

Metric	Value
Best Step	500
Validation Loss	0.6869
Training Loss	0.3204
Epoch	2.43

Note: Berhenti otomatis via Early Stopping di Step 650 untuk memastikan bobot terbaik (Step 500) yang tersimpan.

---

🛠️ Tech Stack

Model ini lahir dari perpaduan teknologi mutakhir:

• Base Model: unsloth/Qwen2.5-7B-Instruct
• Fine-tuning Tool: Unsloth (2x faster training)
• Framework: Huggingface TRL & Transformers
• Optimization: LoRA (Rank 128)

---

📖 Cara Penggunaan (Inference)

from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "DimasMP3/Qwen2.5-7B-Indo-Exam-Generator-16bit",
    max_seq_length = 2048,
    load_in_4bit = True,
)

prompt = """<|im_start|>system
Anda adalah Guru SD yang ahli. Buatlah soal pilihan ganda berdasarkan konteks materi ini.<|im_end|>
<|im_start|>user
Topik: Ekosistem Laut
Konteks: Terumbu karang adalah tempat tinggal ikan.<|im_end|>
<|im_start|>assistant
"""

# Generate Output...