emrevrg/Norovox-Alpha-MoE-2.1B

🧠 Norovox Alpha MoE 2.1B

Ozgun NorovoxAlphaCore mimarisinin buyuk Mixture-of-Experts surumu — 32 uzman, top-2 yonlendirme.

Gelismis mimari ozellikler (hepsi Norovox'a ozgu)

• RoPE konumsal kodlama + RMSNorm + SwiGLU aktivasyon
• GQA (grouped-query attention) — verimli uzun baglam
• MTP (coklu-token tahmin) baslliklari — reasoning-odakli tahmin
• MoE router (32 uzman, top-2) — dinamik uzman yonlendirme
• identity_anchor — Norovox kimlik cipasi

Reasoning-odakli kurulum

Model chat_template.jinja + system_prompt.txt ile adim-adim dusunme (...) formatina hazir gelir; Norovox kimligiyle konusur.

Not: MoE uzmanlari fonksiyon-koruyan baslatilir; ek MoE egitimiyle uzmanlasir. 2.1B parametreye olceklenmis, reasoning-odakli ozgun bir temeldir.

Lisans: Apache-2.0.

_{Tokenizer: Qwen2.5-uyumlu sozluk, Apache-2.0 (lisans geregi atif).}