Hugging Face's logo

OpenPathAI
/
Orbit-3.5-Nano

Text Generation
Safetensors
Indonesian
English
lfm2
indonesian
lfm2.5
liquid
fine-tuned
sft
instruction-tuning
coding
reasoning
conversational
Model card Files
xet
 Community
Orbit-3.5-Nano / README.md
titanthree's picture
titanthree
Update README.md
3421f41 verified
preview code
|
Raw History Blame Contribute Delete
6.37 kB
metadata 
license: apache-2.0
language:
  - id
  - en
tags:
  - text-generation
  - indonesian
  - lfm2.5
  - liquid
  - fine-tuned
  - sft
  - instruction-tuning
  - coding
  - reasoning
pipeline_tag: text-generation
base_model: LiquidAI/LFM2.5-2.6B

Orbit-3.5-Nano

Model Bahasa Indonesia berbasis LFM2.5 yang di fine-tune untuk instruksi, percakapan, dan coding.

Ringkasan

Orbit-3.5-Nano adalah peningkatan dari Orbit-3.2-Nano yang dikembangkan oleh OpenPathAI sebagai bagian dari seri Orbit. Model ini dibangun di atas LFM2.5-2.6B dari Liquid AI dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman.

Model ini dirancang untuk:

  • Memahami instruksi Bahasa Indonesia dengan baik
  • Menjawab pertanyaan secara natural dan informatif
  • Membantu tugas coding dengan pemahaman konteks lokal
  • Membantu tugas sehari-hari seperti menulis, merangkum, dan menjawab pertanyaan umum

Perjalanan Seri Orbit-Nano

Versi Fokus
Orbit-3-Nano Fondasi awal, fine-tune dari LFM2.5-2.6B
Orbit-3.2-Nano Peningkatan untuk pemahaman konteks
Orbit-3.5-Nano Peningkatan dari 3.2 fokus ke coding & instruksi umum

Spesifikasi Model

Komponen Detail
Arsitektur Lfm2ForCausalLM
Model Type lfm2
Hidden Size 2048
Jumlah Layer 30
Jumlah Attention Heads 32
Vocab Size 128.000
Max Position 131.072 token
Total Parameter ~2,6 Miliar
Bahasa Indonesia, Inggris

Arsitektur Hybrid LFM2.5

LFM2.5 menggunakan arsitektur hybrid yang menggabungkan:

  • Short-Conv (LIV) layers — untuk efisiensi komputasi
  • GQA (Grouped Query Attention) layers — untuk penalaran

Kombinasi ini membuat model cepat dan hemat memori, cocok untuk perangkat dengan sumber daya terbatas.

Base Model

Model ini adalah versi fine-tuned dari:

Aspek Detail
Base Model LiquidAI/LFM2.5-2.6B
Pengembang Liquid AI
Lisensi Base LFM Open License v1.0
Versi Sebelumnya OpenPathAI/Orbit-3.2-Nano

Detail Fine-Tuning

Parameter Nilai
Metode SFT (Supervised Fine-Tuning) dengan QLoRA
LoRA Rank (r) 16
LoRA Alpha 32
LoRA Dropout 0,05
Target Modules q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Precision FP16

Cara Penggunaan

Instalasi 

pip install transformers torch accelerate

Penggunaan Dasar (Dengan System Prompt)

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    torch_dtype=torch.float16,
    device_map="auto",
)

# System prompt untuk hasil terbaik
SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah.
Jawab pertanyaan dengan singkat dan langsung.
Jangan menganalisis pertanyaan."""

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "Apa ibukota Indonesia?"}
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=2048,
    temperature=0.3,
    top_p=0.9,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id,
)

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True
)

# Strip tag </think> kalau ada
if "</think>" in response:
    response = response.split("</think>")[-1].strip()

print(response)

Contoh Output

Jakarta adalah ibu kota Indonesia.

Format Chat

Model ini menggunakan chat template standar LFM2.5:

<|im_start|>system
[System prompt]<|im_end|>
<|im_start|>user
[Pertanyaan kamu]<|im_end|>
<|im_start|>assistant
[Jawaban model]<|im_end|>

Gunakan tokenizer.apply_chat_template() untuk format yang benar.

Keterbatasan

Keterbatasan Deskripsi Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat Reasoning Terbatas untuk tugas kompleks Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban

Model ini BUKAN untuk:

  • Keputusan medis, hukum, atau keuangan
  • Aplikasi produksi tanpa pengawasan
  • Tugas yang butuh akurasi tinggi

Tips Penggunaan

Tips Detail Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan temperature=0.3 Biar lebih fokus, gak halusinasi max_new_tokens=2048 Biar jawaban gak terpotong Strip tag Biar yang keluar cuma jawaban final

Lisensi

Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI.

Ketentuan penting:

  • Bebas digunakan untuk penelitian dan pengembangan
  • Bebas dimodifikasi dan didistribusikan
  • Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD
  • Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI

Lihat file LICENSE untuk detail lengkap.

Atribusi

Model ini dikembangkan oleh OpenPathAI sebagai turunan dari:

  • Base Model: LiquidAI/LFM2.5-2.6B
  • Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano

Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan.

Sitasi

@misc{orbit-3-5-nano,
  author = {OpenPathAI},
  title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}},
  note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano}
}

Kontak

Dikembangkan oleh OpenPathAI

Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.