README.md · OpenPathAI/Orbit-3.5-Nano at main

Update README.md

3421f41 verified 4 days ago

6.37 kB

---
license: apache-2.0
language:
- id
- en
tags:
- text-generation
- indonesian
- lfm2.5
- liquid
- fine-tuned
- sft
- instruction-tuning
- coding
- reasoning
pipeline_tag: text-generation
base_model: LiquidAI/LFM2.5-2.6B
---
# Orbit-3.5-Nano

**Model Bahasa Indonesia berbasis LFM2.5 yang di fine-tune untuk instruksi, percakapan, dan coding.**

---

## Ringkasan

Orbit-3.5-Nano adalah **peningkatan dari Orbit-3.2-Nano** yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5-2.6B** dari **Liquid AI** dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman.

Model ini dirancang untuk:
- **Memahami instruksi Bahasa Indonesia** dengan baik
- **Menjawab pertanyaan** secara natural dan informatif
- **Membantu tugas coding** dengan pemahaman konteks lokal
- **Membantu tugas sehari-hari** seperti menulis, merangkum, dan menjawab pertanyaan umum

### Perjalanan Seri Orbit-Nano

| Versi | Fokus |
|-------|-------|
| **Orbit-3-Nano** | Fondasi awal, fine-tune dari LFM2.5-2.6B |
| **Orbit-3.2-Nano** | Peningkatan untuk pemahaman konteks |
| **Orbit-3.5-Nano** | **Peningkatan dari 3.2** fokus ke coding & instruksi umum |

---

## Spesifikasi Model

| Komponen | Detail |
|-----------|---------|
| **Arsitektur** | Lfm2ForCausalLM |
| **Model Type** | lfm2 |
| **Hidden Size** | 2048 |
| **Jumlah Layer** | 30 |
| **Jumlah Attention Heads** | 32 |
| **Vocab Size** | 128.000 |
| **Max Position** | 131.072 token |
| **Total Parameter** | ~2,6 Miliar |
| **Bahasa** | Indonesia, Inggris |

### Arsitektur Hybrid LFM2.5

LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan:
- **Short-Conv (LIV) layers** — untuk efisiensi komputasi
- **GQA (Grouped Query Attention) layers** — untuk penalaran

Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas.

---

## Base Model

Model ini adalah versi **fine-tuned** dari:

| Aspek | Detail |
|-------|--------|
| **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) |
| **Pengembang** | Liquid AI |
| **Lisensi Base** | LFM Open License v1.0 |
| **Versi Sebelumnya** | [OpenPathAI/Orbit-3.2-Nano](https://huggingface.co/OpenPathAI/Orbit-3.2-Nano) |

---

## Detail Fine-Tuning

| Parameter | Nilai |
|-----------|-------|
| **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA |
| **LoRA Rank (r)** | 16 |
| **LoRA Alpha** | 32 |
| **LoRA Dropout** | 0,05 |
| **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| **Precision** | FP16 |
---
## Cara Penggunaan
### Instalasi
```bash
pip install transformers torch accelerate
```
Penggunaan Dasar (Dengan System Prompt)
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto",
)
# System prompt untuk hasil terbaik
SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah.
Jawab pertanyaan dengan singkat dan langsung.
Jangan menganalisis pertanyaan."""
messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Apa ibukota Indonesia?"}
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=0.3,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id,
)
response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True
)
# Strip tag </think> kalau ada
if "</think>" in response:
    response = response.split("</think>")[-1].strip()
print(response)
```
Contoh Output
```
Jakarta adalah ibu kota Indonesia.
```
---
Format Chat
Model ini menggunakan chat template standar LFM2.5:
```
<|im_start|>system
[System prompt]<|im_end|>
<|im_start|>user
[Pertanyaan kamu]<|im_end|>
<|im_start|>assistant
[Jawaban model]<|im_end|>
```
Gunakan tokenizer.apply_chat_template() untuk format yang benar.
---
Keterbatasan
Keterbatasan Deskripsi
Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar
Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat
Reasoning Terbatas untuk tugas kompleks
Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris
Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban
Model ini BUKAN untuk:
- Keputusan medis, hukum, atau keuangan
- Aplikasi produksi tanpa pengawasan
- Tugas yang butuh akurasi tinggi
---
Tips Penggunaan
Tips Detail
Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan
temperature=0.3 Biar lebih fokus, gak halusinasi
max_new_tokens=2048 Biar jawaban gak terpotong
Strip tag </think> Biar yang keluar cuma jawaban final
---
Lisensi
Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.
Ketentuan penting:
- Bebas digunakan untuk penelitian dan pengembangan
- Bebas dimodifikasi dan didistribusikan
- Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
- Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI
Lihat file LICENSE untuk detail lengkap.
---
Atribusi
Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:
- Base Model: LiquidAI/LFM2.5-2.6B
- Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano
Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan.
---
Sitasi
```bibtex
@misc{orbit-3-5-nano,
  author = {OpenPathAI},
  title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}},
  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano}
}
```
---
Kontak
-  Website Details : https://openpath.web.id
-  Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI
-  Email : Coming Soon
-  Discord : https://discord.gg/Qp3NyrVFjg
---
Dikembangkan oleh OpenPathAI
Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.

	---
	license: apache-2.0
	language:
	- id
	- en
	tags:
	- text-generation
	- indonesian
	- lfm2.5
	- liquid
	- fine-tuned
	- sft
	- instruction-tuning
	- coding
	- reasoning
	pipeline_tag: text-generation
	base_model: LiquidAI/LFM2.5-2.6B
	---

	# Orbit-3.5-Nano

	Model Bahasa Indonesia berbasis LFM2.5 yang di fine-tune untuk instruksi, percakapan, dan coding.

	---

	## Ringkasan

	Orbit-3.5-Nano adalah peningkatan dari Orbit-3.2-Nano yang dikembangkan oleh OpenPathAI sebagai bagian dari seri Orbit. Model ini dibangun di atas LFM2.5-2.6B dari Liquid AI dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman.

	Model ini dirancang untuk:
	- Memahami instruksi Bahasa Indonesia dengan baik
	- Menjawab pertanyaan secara natural dan informatif
	- Membantu tugas coding dengan pemahaman konteks lokal
	- Membantu tugas sehari-hari seperti menulis, merangkum, dan menjawab pertanyaan umum

	### Perjalanan Seri Orbit-Nano

	\| Versi \| Fokus \|
	\|-------\|-------\|
	\| Orbit-3-Nano \| Fondasi awal, fine-tune dari LFM2.5-2.6B \|
	\| Orbit-3.2-Nano \| Peningkatan untuk pemahaman konteks \|
	\| Orbit-3.5-Nano \| Peningkatan dari 3.2 fokus ke coding & instruksi umum \|

	---

	## Spesifikasi Model

	\| Komponen \| Detail \|
	\|-----------\|---------\|
	\| Arsitektur \| Lfm2ForCausalLM \|
	\| Model Type \| lfm2 \|
	\| Hidden Size \| 2048 \|
	\| Jumlah Layer \| 30 \|
	\| Jumlah Attention Heads \| 32 \|
	\| Vocab Size \| 128.000 \|
	\| Max Position \| 131.072 token \|
	\| Total Parameter \| ~2,6 Miliar \|
	\| Bahasa \| Indonesia, Inggris \|

	### Arsitektur Hybrid LFM2.5

	LFM2.5 menggunakan arsitektur hybrid yang menggabungkan:
	- Short-Conv (LIV) layers — untuk efisiensi komputasi
	- GQA (Grouped Query Attention) layers — untuk penalaran

	Kombinasi ini membuat model cepat dan hemat memori, cocok untuk perangkat dengan sumber daya terbatas.

	---

	## Base Model

	Model ini adalah versi fine-tuned dari:

	\| Aspek \| Detail \|
	\|-------\|--------\|
	\| Base Model \| [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) \|
	\| Pengembang \| Liquid AI \|
	\| Lisensi Base \| LFM Open License v1.0 \|
	\| Versi Sebelumnya \| [OpenPathAI/Orbit-3.2-Nano](https://huggingface.co/OpenPathAI/Orbit-3.2-Nano) \|

	---

	## Detail Fine-Tuning

	\| Parameter \| Nilai \|
	\|-----------\|-------\|
	\| Metode \| SFT (Supervised Fine-Tuning) dengan QLoRA \|
	\| LoRA Rank (r) \| 16 \|
	\| LoRA Alpha \| 32 \|
	\| LoRA Dropout \| 0,05 \|
	\| Target Modules \| q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj \|
	\| Precision \| FP16 \|

	---

	## Cara Penggunaan

	### Instalasi

	```bash
	pip install transformers torch accelerate
	```

	Penggunaan Dasar (Dengan System Prompt)

	```python
	from transformers import AutoModelForCausalLM, AutoTokenizer
	import torch

	MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano"

	tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
	model = AutoModelForCausalLM.from_pretrained(
	MODEL_NAME,
	torch_dtype=torch.float16,
	device_map="auto",
	)

	# System prompt untuk hasil terbaik
	SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah.
	Jawab pertanyaan dengan singkat dan langsung.
	Jangan menganalisis pertanyaan."""

	messages = [
	{"role": "system", "content": SYSTEM_PROMPT},
	{"role": "user", "content": "Apa ibukota Indonesia?"}
	]

	inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	return_tensors="pt",
	return_dict=True,
	).to(model.device)

	outputs = model.generate(
	**inputs,
	max_new_tokens=2048,
	temperature=0.3,
	top_p=0.9,
	do_sample=True,
	pad_token_id=tokenizer.eos_token_id,
	)

	response = tokenizer.decode(
	outputs[0][inputs["input_ids"].shape[1]:],
	skip_special_tokens=True
	)

	# Strip tag </think> kalau ada
	if "</think>" in response:
	response = response.split("</think>")[-1].strip()

	print(response)
	```

	Contoh Output

	```
	Jakarta adalah ibu kota Indonesia.
	```

	---

	Format Chat

	Model ini menggunakan chat template standar LFM2.5:

	```
	<\|im_start\|>system
	[System prompt]<\|im_end\|>
	<\|im_start\|>user
	[Pertanyaan kamu]<\|im_end\|>
	<\|im_start\|>assistant
	[Jawaban model]<\|im_end\|>
	```

	Gunakan tokenizer.apply_chat_template() untuk format yang benar.

	---

	Keterbatasan

	Keterbatasan Deskripsi
	Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar
	Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat
	Reasoning Terbatas untuk tugas kompleks
	Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris
	Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban

	Model ini BUKAN untuk:

	- Keputusan medis, hukum, atau keuangan
	- Aplikasi produksi tanpa pengawasan
	- Tugas yang butuh akurasi tinggi

	---

	Tips Penggunaan

	Tips Detail
	Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan
	temperature=0.3 Biar lebih fokus, gak halusinasi
	max_new_tokens=2048 Biar jawaban gak terpotong
	Strip tag </think> Biar yang keluar cuma jawaban final

	---

	Lisensi

	Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.

	Ketentuan penting:

	- Bebas digunakan untuk penelitian dan pengembangan
	- Bebas dimodifikasi dan didistribusikan
	- Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
	- Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI

	Lihat file LICENSE untuk detail lengkap.

	---

	Atribusi

	Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:

	- Base Model: LiquidAI/LFM2.5-2.6B
	- Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano

	Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan.

	---

	Sitasi

	```bibtex
	@misc{orbit-3-5-nano,
	author = {OpenPathAI},
	title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language},
	year = {2026},
	publisher = {Hugging Face},
	howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}},
	note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano}
	}
	```

	---

	Kontak

	- Website Details : https://openpath.web.id
	- Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI
	- Email : Coming Soon
	- Discord : https://discord.gg/Qp3NyrVFjg

	---

	Dikembangkan oleh OpenPathAI

	Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.