--- license: apache-2.0 language: - id - en tags: - text-generation - indonesian - lfm2.5 - liquid - fine-tuned - sft - instruction-tuning - coding - reasoning pipeline_tag: text-generation base_model: LiquidAI/LFM2.5-2.6B --- # Orbit-3.5-Nano **Model Bahasa Indonesia berbasis LFM2.5 yang di fine-tune untuk instruksi, percakapan, dan coding.** --- ## Ringkasan Orbit-3.5-Nano adalah **peningkatan dari Orbit-3.2-Nano** yang dikembangkan oleh **OpenPathAI** sebagai bagian dari seri Orbit. Model ini dibangun di atas **LFM2.5-2.6B** dari **Liquid AI** dan dioptimalkan untuk berbagai tugas dalam Bahasa Indonesia, termasuk instruksi, percakapan, dan pemrograman. Model ini dirancang untuk: - **Memahami instruksi Bahasa Indonesia** dengan baik - **Menjawab pertanyaan** secara natural dan informatif - **Membantu tugas coding** dengan pemahaman konteks lokal - **Membantu tugas sehari-hari** seperti menulis, merangkum, dan menjawab pertanyaan umum ### Perjalanan Seri Orbit-Nano | Versi | Fokus | |-------|-------| | **Orbit-3-Nano** | Fondasi awal, fine-tune dari LFM2.5-2.6B | | **Orbit-3.2-Nano** | Peningkatan untuk pemahaman konteks | | **Orbit-3.5-Nano** | **Peningkatan dari 3.2** fokus ke coding & instruksi umum | --- ## Spesifikasi Model | Komponen | Detail | |-----------|---------| | **Arsitektur** | Lfm2ForCausalLM | | **Model Type** | lfm2 | | **Hidden Size** | 2048 | | **Jumlah Layer** | 30 | | **Jumlah Attention Heads** | 32 | | **Vocab Size** | 128.000 | | **Max Position** | 131.072 token | | **Total Parameter** | ~2,6 Miliar | | **Bahasa** | Indonesia, Inggris | ### Arsitektur Hybrid LFM2.5 LFM2.5 menggunakan arsitektur **hybrid** yang menggabungkan: - **Short-Conv (LIV) layers** — untuk efisiensi komputasi - **GQA (Grouped Query Attention) layers** — untuk penalaran Kombinasi ini membuat model **cepat** dan **hemat memori**, cocok untuk perangkat dengan sumber daya terbatas. --- ## Base Model Model ini adalah versi **fine-tuned** dari: | Aspek | Detail | |-------|--------| | **Base Model** | [LiquidAI/LFM2.5-2.6B](https://huggingface.co/LiquidAI/LFM2.5-2.6B) | | **Pengembang** | Liquid AI | | **Lisensi Base** | LFM Open License v1.0 | | **Versi Sebelumnya** | [OpenPathAI/Orbit-3.2-Nano](https://huggingface.co/OpenPathAI/Orbit-3.2-Nano) | --- ## Detail Fine-Tuning | Parameter | Nilai | |-----------|-------| | **Metode** | SFT (Supervised Fine-Tuning) dengan QLoRA | | **LoRA Rank (r)** | 16 | | **LoRA Alpha** | 32 | | **LoRA Dropout** | 0,05 | | **Target Modules** | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj | | **Precision** | FP16 | --- ## Cara Penggunaan ### Instalasi ```bash pip install transformers torch accelerate ``` Penggunaan Dasar (Dengan System Prompt) ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch MODEL_NAME = "OpenPathAI/Orbit-3.5-Nano" tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, torch_dtype=torch.float16, device_map="auto", ) # System prompt untuk hasil terbaik SYSTEM_PROMPT = """Kamu adalah asisten AI yang ramah. Jawab pertanyaan dengan singkat dan langsung. Jangan menganalisis pertanyaan.""" messages = [ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": "Apa ibukota Indonesia?"} ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt", return_dict=True, ).to(model.device) outputs = model.generate( **inputs, max_new_tokens=2048, temperature=0.3, top_p=0.9, do_sample=True, pad_token_id=tokenizer.eos_token_id, ) response = tokenizer.decode( outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True ) # Strip tag kalau ada if "" in response: response = response.split("")[-1].strip() print(response) ``` Contoh Output ``` Jakarta adalah ibu kota Indonesia. ``` --- Format Chat Model ini menggunakan chat template standar LFM2.5: ``` <|im_start|>system [System prompt]<|im_end|> <|im_start|>user [Pertanyaan kamu]<|im_end|> <|im_start|>assistant [Jawaban model]<|im_end|> ``` Gunakan tokenizer.apply_chat_template() untuk format yang benar. --- Keterbatasan Keterbatasan Deskripsi Ukuran Model 2,6B parameter kapasitas terbatas dibanding model besar Akurasi Fakta Mungkin menghasilkan informasi yang tidak akurat Reasoning Terbatas untuk tugas kompleks Bahasa Fokus Bahasa Indonesia, tapi masih bisa Inggris Prefix Aneh Kadang menulis "Pertanyaan:", "Tugas:" di awal jawaban Model ini BUKAN untuk: - Keputusan medis, hukum, atau keuangan - Aplikasi produksi tanpa pengawasan - Tugas yang butuh akurasi tinggi --- Tips Penggunaan Tips Detail Pakai system prompt Wajib, biar model gak "menganalisis" pertanyaan temperature=0.3 Biar lebih fokus, gak halusinasi max_new_tokens=2048 Biar jawaban gak terpotong Strip tag Biar yang keluar cuma jawaban final --- Lisensi Model ini mengikuti LFM Open License v1.0, sama seperti base model dari Liquid AI. Ketentuan penting: - Bebas digunakan untuk penelitian dan pengembangan - Bebas dimodifikasi dan didistribusikan - Penggunaan komersial gratis hanya untuk entitas dengan pendapatan tahunan di bawah $10 juta USD - Jika pendapatan melebihi ambang batas, diperlukan lisensi komersial terpisah dari Liquid AI Lihat file LICENSE untuk detail lengkap. --- Atribusi Model ini dikembangkan oleh OpenPathAI sebagai turunan dari: - Base Model: LiquidAI/LFM2.5-2.6B - Versi Sebelumnya: OpenPathAI/Orbit-3.2-Nano Kami menghargai karya Liquid AI yang telah memungkinkan model ini dikembangkan. --- Sitasi ```bibtex @misc{orbit-3-5-nano, author = {OpenPathAI}, title = {Orbit-3.5-Nano: Fine-tuned LFM2.5 for Indonesian Language}, year = {2026}, publisher = {Hugging Face}, howpublished = {\url{https://huggingface.co/OpenPathAI/Orbit-3.5-Nano}}, note = {Fine-tuned from LiquidAI/LFM2.5-2.6B, improved from Orbit-3.2-Nano} } ``` --- Kontak - Website Details : https://openpath.web.id - Hugging Face OpenPathAI : https://huggingface.co/OpenPathAI - Email : Coming Soon - Discord : https://discord.gg/Qp3NyrVFjg --- Dikembangkan oleh OpenPathAI Model ini adalah turunan dari LFM2.5-2.6B dan peningkatan dari Orbit-3.2-Nano. Penggunaan tunduk pada LFM Open License v1.0.