SykoSLM
/

SykoLLM-V3.2-Thinking-Beta-Instruct

Text Generation

Model card Files Files and versions

burak commited on Jan 18

Commit

21b9f11

·

verified ·

1 Parent(s): e5a1fbf

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -32,7 +32,7 @@ Bu proje, "Büyük modeller her zaman daha iyidir" algısına karşı, verimli v
 - **Tamamen Yerli Tokenizer:** 50.000 kelimelik (vocab size) özel tokenizer eğitildi. Türkçe'nin eklemeli yapısına (agglutinative) tam uyumlu olması için tasarlandı. Bu sayede model, diğer çok dilli modellere göre daha az token ile daha fazla Türkçe içerik ifade edebilir.
 - **Sıfırdan Eğitim (Pre-training):** Model, T4 GPU'lar üzerinde Wikipedia verileri ile dilin temel yapısını (morfoloji ve sentaks) öğrenmek için yüksek öğrenme oranı (High Learning Rate) ile "agresif" bir başlangıç eğitimi aldı.
-- **Instruct Tuning:** Temel eğitimin ardından, A100 GPU üzerinde 700.000+ satırlık Instruct (Talimat) verisi ile sohbet yeteneği kazandırıldı.
 - **Donanım & Optimizasyon:** Eğitim sürecinde `Flash Attention 2`, `bfloat16` ve `torch.compile` teknolojileri kullanılarak A100 GPU'nun sınırları zorlandı.
 ## ⚙️ Teknik Detaylar

 - **Tamamen Yerli Tokenizer:** 50.000 kelimelik (vocab size) özel tokenizer eğitildi. Türkçe'nin eklemeli yapısına (agglutinative) tam uyumlu olması için tasarlandı. Bu sayede model, diğer çok dilli modellere göre daha az token ile daha fazla Türkçe içerik ifade edebilir.
 - **Sıfırdan Eğitim (Pre-training):** Model, T4 GPU'lar üzerinde Wikipedia verileri ile dilin temel yapısını (morfoloji ve sentaks) öğrenmek için yüksek öğrenme oranı (High Learning Rate) ile "agresif" bir başlangıç eğitimi aldı.
+- **Instruct Tuning:** Temel eğitimin ardından, A100 GPU üzerinde 100.000+ satırlık Instruct (Talimat) verisi ile sohbet yeteneği kazandırıldı.
 - **Donanım & Optimizasyon:** Eğitim sürecinde `Flash Attention 2`, `bfloat16` ve `torch.compile` teknolojileri kullanılarak A100 GPU'nun sınırları zorlandı.
 ## ⚙️ Teknik Detaylar