Efe2898
/

500m-dense-base

Model card Files Files and versions

Efe2898 commited on 24 days ago

Commit

f950d12

·

verified ·

1 Parent(s): d18b8b7

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -23,7 +23,7 @@ Hazır ağırlıklar (pre-trained weights) kullanarak ince ayar (fine-tuning) ya
 ## Mimari Detaylar
 Model konfigürasyonu bi tık deneysel, MoE mimarisine yönelik tasarlandı:
-- **Parametre Boyutu:** ~520M
 - **Katman Sayısı (Layers):** 24 Toplam Katman (20 Full Attention + 4 Sliding Window Attention)
 - **Dikkat Mekanizması (Attention):** Grouped Query Attention (GQA) - 16 Attention Head, 4 Key-Value Head.
 - **Bağlam Uzunluğu (Context Length):** YaRN RoPE ölçeklendirmesi (scaling) ile 65.536 token.

 ## Mimari Detaylar
 Model konfigürasyonu bi tık deneysel, MoE mimarisine yönelik tasarlandı:
+- **Parametre Boyutu:** ~870M (500m yazma sebebi tamamen hata.)
 - **Katman Sayısı (Layers):** 24 Toplam Katman (20 Full Attention + 4 Sliding Window Attention)
 - **Dikkat Mekanizması (Attention):** Grouped Query Attention (GQA) - 16 Attention Head, 4 Key-Value Head.
 - **Bağlam Uzunluğu (Context Length):** YaRN RoPE ölçeklendirmesi (scaling) ile 65.536 token.