UpMath/Thai-HomeworkGen-4B-v2

🤖 Thai-HomeworkGen — โมเดลสร้าง/แก้โจทย์คณิตศาสตร์ภาษาไทย

Thai-HomeworkGen เป็นโมเดลภาษาไทยขนาด 4B ที่ถูก fine-tune ด้วยเทคนิค Supervised Fine-tuning (SFT)
โดยใช้ไลบรารี trl ร่วมกับ QLoRA บนฐาน Qwen/Qwen2.5-7B

---

🧪 ตัวอย่างการใช้งาน

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("UpMath/Thai-HomeworkGen-4B-v2")
model = AutoModelForCausalLM.from_pretrained("UpMath/Thai-HomeworkGen-4B-v2",device_map="auto")

generator = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    max_new_tokens=2048,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

prompt = """
  โปรดสร้างโจทย์คณิตศาสตร์ใหม่ โดยมีรายละเอียดดังนี้:
  ระดับ Bloom: ["วิเคราะห์"] # หรือ ["วิเคราะห์", "จดจำ", .....]
  ระดับชั้น: มัธยมศึกษาปีที่ 4
  รูปแบบ: ปรนัย # หรือ อัตนัย
  โปรดสร้างโจทย์ พร้อมวิธีทำและคำตอบ:
"""

result = generator(prompt)[0]['generated_text']
print(result)

---

🎯 จุดประสงค์ของโมเดล

• ✅ สร้างโจทย์คณิตศาสตร์ใหม่ในรูปแบบภาษาไทย
• ✅ แสดงวิธีทำและคำตอบที่ชัดเจน
• ✅ รองรับระดับความคิดตามแนวทาง Bloom’s Taxonomy
• ✅ ออกแบบมาเพื่อใช้ในบริบทการศึกษา การสอน และการวัดผล reasoning

---

🧠 ข้อมูลการฝึก (Training Details)

• Base Model: Qwen/Qwen2.5-7B
• Library: trl (SFTTrainer)
• Adapter: QLoRA (peft)
• Batch Size: 2 × 4 (gradient_accumulation)
• Epochs: 3
• Sequence Length: 1024
• Dataset: Thai Math Dataset (~138K examples, translated + aligned)

โมเดลถูกฝึกด้วย QLoRA โดยใช้เทคนิค low-rank adapter (LoRA) ร่วมกับ quantization 4-bit
เพื่อให้สามารถฝึกบน GPU ขนาดกลาง เช่น A100 หรือ Colab Pro ได้อย่างมีประสิทธิภาพ

---

📦 Dataset ที่ใช้

ชื่อชุดข้อมูล: Thai-HomeworkGen-138K เนื้อหา: โจทย์คณิตศาสตร์ภาษาไทยระดับมัธยมปลาย พร้อมวิธีทำ คำตอบ และระดับ Bloom Taxonomy ต้นฉบับแปลจากชุดข้อมูลภาษาอังกฤษ

1. MathQA (allenai)
2. MATH-500 (HuggingFaceH4)
3. MATH-Algebra
4. math-mixture: mix_intermediate_algebra97_algebra01_prealgebra00
5. math-mixture: mix_algebra76_prealgebra12_number_theory08
6. Math-algebra (datafreak)
7. MATH Dataset (Hendrycks et al.)
8. GSM8K (openai)
9. Math QSA Dataset (Kaggle)
10. AQuA (DeepMind)

ชุดข้อมูลถูกแปลและจัดโครงสร้างโดยใช้ LLM (Gemma 2 27B) พร้อมตรวจสอบโดยผู้เชี่ยวชาญจาก สวทช.

👉 ดูรายละเอียดของ Dataset

---

การอ้างอิง

หากคุณใช้งานโมเดลนี้ สามารถให้เครดิตโปรเจกต์นี้ได้ด้วย