Create README.md

README.md

@@ -0,0 +1,262 @@
+---
+license: apache-2.0
+language:
+- id
+- en
+tags:
+- text-generation
+- indonesian
+- lfm2.5
+- liquid
+- fine-tuned
+- sft
+- instruction-tuning
+- coding
+- reasoning
+pipeline_tag: text-generation
+base_model: LiquidAI/LFM2.5-2.6B
+---
+
+# Orbit-3.5-Nano
+
+**Model Bahasa Indonesia berbasis LFM2.5 yang di-fine-tune untuk instruksi, percakapan, dan coding.**
+
+---
+
+## Ringkasan
+
+Orbit-3.5-Nano adalah **peningkatan dari Orbit-3.2-Nano** yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5-2.6B** dari **Liquid AI** dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman.
+
+Model ini dirancang untuk:
+- **Memahami instruksi Bahasa Indonesia** dengan baik
+- **Menjawab pertanyaan** secara natural dan informatif
+- **Membantu tugas coding** dengan pemahaman konteks lokal
+- **Membantu tugas sehari-hari** seperti menulis, merangkum, dan menjawab pertanyaan umum
+
+### Perjalanan Seri Orbit-Nano
+
+| Versi | Fokus |
+|-------|-------|
+| **Orbit-3-Nano** | Fondasi awal, fine-tune dari LFM2.5-2.6B |
+| **Orbit-3.2-Nano** | Peningkatan untuk pemahaman konteks |
+| **Orbit-3.5-Nano** | **Peningkatan dari 3.2** — fokus ke coding & instruksi umum |
+
+---
+
+## Spesifikasi Model
+
+| Komponen | Detail |
+|-----------|---------|
+| **Arsitektur** | Lfm2ForCausalLM |
+| **Model Type** | lfm2 |
+| **Hidden Size** | 2048 |
+| **Jumlah Layer** | 30 |
+| **Jumlah Attention Heads** | 32 |
+| **Vocab Size** | 128.000 |
+| **Max Position** | 131.072 token |
+| **Total Parameter** | ~2,6 Miliar |
+| **Bahasa** | Indonesia, Inggris |
+
+### Arsitektur Hybrid LFM2.5
+
+LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan:
+- **Short-Conv (LIV) layers** — untuk efisiensi komputasi
+- **GQA (Grouped Query Attention) layers** — untuk penalaran
+
+Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas.
+
+---
+
+## Base Model
+
+Model ini adalah versi **fine-tuned** dari:
+
+| Aspek | Detail |
+|-------|--------|
+| **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) |
+| **Pengembang** | Liquid AI |
+| **Lisensi Base** | LFM Open License v1.0 |
+| **Versi Sebelumnya** | [OpenPathAI/Orbit-3.2-Nano](https://huggingface.co/OpenPathAI/Orbit-3.2-Nano) |
+
+---
+
+## Detail Fine-Tuning
+
+| Parameter | Nilai |
+|-----------|-------|
+| **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA |
+| **LoRA Rank (r)** | 16 |
+| **LoRA Alpha** | 32 |
+| **LoRA Dropout** | 0,05 |
+| **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
+| **Precision** | FP16 |
+
+---
+
+## Cara Penggunaan
+
+### Instalasi
+
+```bash
+pip install transformers torch accelerate
+```
+
+Penggunaan Dasar (Dengan System Prompt)
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano"
+
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.float16,
+    device_map="auto",
+)
+
+# System prompt untuk hasil terbaik
+SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah.
+Jawab pertanyaan dengan singkat dan langsung.
+Jangan menganalisis pertanyaan."""
+
+messages = [
+    {"role": "system", "content": SYSTEM_PROMPT},
+    {"role": "user", "content": "Apa ibukota Indonesia?"}
+]
+
+inputs = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt",
+    return_dict=True,
+).to(model.device)
+
+outputs = model.generate(
+    **inputs,
+    max_new_tokens=2048,
+    temperature=0.3,
+    top_p=0.9,
+    do_sample=True,
+    pad_token_id=tokenizer.eos_token_id,
+)
+
+response = tokenizer.decode(
+    outputs[0][inputs["input_ids"].shape[1]:],
+    skip_special_tokens=True
+)
+
+# Strip tag </think> kalau ada
+if "</think>" in response:
+    response = response.split("</think>")[-1].strip()
+
+print(response)
+```
+
+Contoh Output
+
+```
+Jakarta adalah ibu kota Indonesia.
+```
+
+---
+
+Format Chat
+
+Model ini menggunakan chat template standar LFM2.5:
+
+```
+<|im_start|>system
+[System prompt]<|im_end|>
+<|im_start|>user
+[Pertanyaan kamu]<|im_end|>
+<|im_start|>assistant
+[Jawaban model]<|im_end|>
+```
+
+Gunakan tokenizer.apply_chat_template() untuk format yang benar.
+
+---
+
+Keterbatasan
+
+Keterbatasan Deskripsi
+Ukuran Model 2,6B parameter — kapasitas terbatas dibanding model besar
+Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat
+Reasoning Terbatas untuk tugas kompleks
+Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris
+Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban
+
+Model ini BUKAN untuk:
+
+· Keputusan medis, hukum, atau keuangan
+· Aplikasi produksi tanpa pengawasan
+· Tugas yang butuh akurasi tinggi
+
+---
+
+Tips Penggunaan
+
+Tips Detail
+Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan
+temperature=0.3 Biar lebih fokus, gak halusinasi
+max_new_tokens=2048 Biar jawaban gak terpotong
+Strip tag </think> Biar yang keluar cuma jawaban final
+
+---
+
+Lisensi
+
+Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.
+
+Ketentuan penting:
+
+· Bebas digunakan untuk penelitian dan pengembangan
+· Bebas dimodifikasi dan didistribusikan
+· Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
+· Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI
+
+Lihat file LICENSE untuk detail lengkap.
+
+---
+
+Atribusi
+
+Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:
+
+· Base Model: LiquidAI/LFM2.5-2.6B
+· Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano
+
+Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan.
+
+---
+
+Sitasi
+
+```bibtex
+@misc{orbit-3-5-nano,
+  author = {OpenPathAI},
+  title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language},
+  year = {2026},
+  publisher = {Hugging Face},
+  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}},
+  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano}
+}
+```
+
+---
+
+Kontak
+
+Saluran Detail
+Organisasi OpenPathAI
+Hugging Face OpenPathAI
+Base Model LiquidAI/LFM2.5-2.6B
+Versi Sebelumnya OpenPathAI/Orbit-3.2-Nano
+
+---
+
+Dikembangkan oleh OpenPathAI
+
+Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.