README.md

---
license: apache-2.0
language:
- id
- en
tags:
- text-generation
- indonesian
- lfm2.5
- liquid
- fine-tuned
- sft
- instruction-tuning
- coding
- reasoning
pipeline_tag: text-generation
base_model: LiquidAI/LFM2.5-2.6B
---

# Orbit-3.5-Nano

**Model Bahasa Indonesia berbasis LFM2.5 yang di fine-tune untuk instruksi, percakapan, dan coding.**

---

## Ringkasan

Orbit-3.5-Nano adalah **peningkatan dari Orbit-3.2-Nano** yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5-2.6B** dari **Liquid AI** dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman.

Model ini dirancang untuk:
- **Memahami instruksi Bahasa Indonesia** dengan baik
- **Menjawab pertanyaan** secara natural dan informatif
- **Membantu tugas coding** dengan pemahaman konteks lokal
- **Membantu tugas sehari-hari** seperti menulis, merangkum, dan menjawab pertanyaan umum

### Perjalanan Seri Orbit-Nano

| Versi | Fokus |
|-------|-------|
| **Orbit-3-Nano** | Fondasi awal, fine-tune dari LFM2.5-2.6B |
| **Orbit-3.2-Nano** | Peningkatan untuk pemahaman konteks |
| **Orbit-3.5-Nano** | **Peningkatan dari 3.2** fokus ke coding & instruksi umum |

---

## Spesifikasi Model

| Komponen | Detail |
|-----------|---------|
| **Arsitektur** | Lfm2ForCausalLM |
| **Model Type** | lfm2 |
| **Hidden Size** | 2048 |
| **Jumlah Layer** | 30 |
| **Jumlah Attention Heads** | 32 |
| **Vocab Size** | 128.000 |
| **Max Position** | 131.072 token |
| **Total Parameter** | ~2,6 Miliar |
| **Bahasa** | Indonesia, Inggris |

### Arsitektur Hybrid LFM2.5

LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan:
- **Short-Conv (LIV) layers** — untuk efisiensi komputasi
- **GQA (Grouped Query Attention) layers** — untuk penalaran

Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas.

---

## Base Model

Model ini adalah versi **fine-tuned** dari:

| Aspek | Detail |
|-------|--------|
| **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) |
| **Pengembang** | Liquid AI |
| **Lisensi Base** | LFM Open License v1.0 |
| **Versi Sebelumnya** | [OpenPathAI/Orbit-3.2-Nano](https://huggingface.co/OpenPathAI/Orbit-3.2-Nano) |

---

## Detail Fine-Tuning

| Parameter | Nilai |
|-----------|-------|
| **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA |
| **LoRA Rank (r)** | 16 |
| **LoRA Alpha** | 32 |
| **LoRA Dropout** | 0,05 |
| **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| **Precision** | FP16 |

---

## Cara Penggunaan

### Instalasi

```bash
pip install transformers torch accelerate
```

Penggunaan Dasar (Dengan System Prompt)

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto",
)

# System prompt untuk hasil terbaik
SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah.
Jawab pertanyaan dengan singkat dan langsung.
Jangan menganalisis pertanyaan."""

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Apa ibukota Indonesia?"}
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=0.3,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id,
)

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True
)

# Strip tag </think> kalau ada
if "</think>" in response:
    response = response.split("</think>")[-1].strip()

print(response)
```

Contoh Output

```
Jakarta adalah ibu kota Indonesia.
```

---

Format Chat

Model ini menggunakan chat template standar LFM2.5:

```
<|im_start|>system
[System prompt]<|im_end|>
<|im_start|>user
[Pertanyaan kamu]<|im_end|>
<|im_start|>assistant
[Jawaban model]<|im_end|>
```

Gunakan tokenizer.apply_chat_template() untuk format yang benar.

---

Keterbatasan

Keterbatasan Deskripsi
Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar
Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat
Reasoning Terbatas untuk tugas kompleks
Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris
Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban

Model ini BUKAN untuk:

- Keputusan medis, hukum, atau keuangan
- Aplikasi produksi tanpa pengawasan
- Tugas yang butuh akurasi tinggi

---

Tips Penggunaan

Tips Detail
Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan
temperature=0.3 Biar lebih fokus, gak halusinasi
max_new_tokens=2048 Biar jawaban gak terpotong
Strip tag </think> Biar yang keluar cuma jawaban final

---

Lisensi

Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.

Ketentuan penting:

- Bebas digunakan untuk penelitian dan pengembangan
- Bebas dimodifikasi dan didistribusikan
- Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
- Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI

Lihat file LICENSE untuk detail lengkap.

---

Atribusi

Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:

- Base Model: LiquidAI/LFM2.5-2.6B
- Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano

Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan.

---

Sitasi

```bibtex
@misc{orbit-3-5-nano,
  author = {OpenPathAI},
  title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}},
  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano}
}
```

---

Kontak

-  Website Details : https://openpath.web.id
-  Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI
-  Email : Coming Soon
-  Discord : https://discord.gg/Qp3NyrVFjg

---

Dikembangkan oleh OpenPathAI

Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.