Create README.md

README.md

@@ -0,0 +1,141 @@
+---
+license: apache-2.0
+language:
+  - tr
+  - en
+tags:
+  - causal-lm
+  - custom-architecture
+  - turkish
+  - code
+  - from-scratch
+pipeline_tag: text-generation
+library_name: transformers
+datasets:
+  - uonlp/CulturaX
+  - HuggingFaceTB/cosmopedia
+  - roneneldan/TinyStories
+  - nampdn-ai/tiny-textbooks
+  - nampdn-ai/tiny-codes
+  - ise-uiuc/Magicoder-Evol-Instruct-110K
+  - theblackcat102/evol-codealpaca-v1
+  - turkish-nlp-suite/InstrucTurca
+---
+
+# SykoLLM-V5.4
+
+**SykoLLM**, modern dil modeli tasarım prensiplerinden (RoPE, RMSNorm, SwiGLU, GQA) ilham alınarak sıfırdan yazılmış özel bir mimariyle oluşturulmuş 233M parametreli bir nedensel dil modelidir. Türkçe, İngilizce ve kod içeren çok dilli bir veri karışımıyla eğitilmiştir.
+
+---
+
+## Model Detayları
+
+| Özellik | Değer |
+|---|---|
+| **Mimari** | Syko (özel Llama-tarzı decoder) |
+| **Parametre Sayısı** | 233,214,720 |
+| **Gizli Boyut** | 768 |
+| **Katman Sayısı** | 24 |
+| **Dikkat Başlığı** | 6 |
+| **Bağlam Uzunluğu** | 1024 token |
+| **Kelime Hazinesi** | 32.000 (özel BPE) |
+| **Eğitim Adımı** | 4.000 |
+| **Son Loss** | ~2.0 |
+| **Hassasiyet** | fp16 |
+| **Lisans** | Apache 2.0 |
+
+---
+
+## Mimari Özellikleri
+
+- **RMSNorm** — fp16 stabilitesi için varyans hesabı float32'de yapılır
+- **RoPE** — float32 cos/sin hesaplamasıyla Döndürmalı Konum Kodlaması
+- **SwiGLU** — kapılı MLP aktivasyonu (gate × up → down projeksiyonu)
+- **GQA desteği** — `num_key_value_heads` ile Gruplu Sorgu Dikkat mekanizması
+- **Ön-norm** — her alt katmandan (dikkat + MLP) önce normalizasyon
+- **Embedding scaling yok** — sqrt çarpımı olmadan temiz embedding
+- **lm_head float32'de** — 768→32000 projeksiyonunda fp16 taşmasını önler
+
+---
+
+## Eğitim Verisi
+
+Model, aşağıdaki veri setlerinin harmanlanmış karışımıyla eğitilmiştir:
+
+| Veri Seti | Açıklama |
+|---|---|
+| `uonlp/CulturaX` (tr) | Türkçe web metni |
+| `HuggingFaceTB/cosmopedia` | Sentetik eğitim içeriği |
+| `roneneldan/TinyStories` | Kısa İngilizce hikayeler |
+| `nampdn-ai/tiny-textbooks` | Sentetik ders kitabı içeriği |
+| `nampdn-ai/tiny-codes` | Kod talimat çiftleri |
+| `ise-uiuc/Magicoder-Evol-Instruct-110K` | Kod talimat verisi |
+| `theblackcat102/evol-codealpaca-v1` | Kod talimat verisi |
+| `turkish-nlp-suite/InstrucTurca` | Türkçe talimat çiftleri |
+
+Veriler, düzgün karışım sağlamak amacıyla 10K'lık bloklar halinde karıştırılarak eğitime hazırlanmıştır.
+
+---
+
+## Tokenizer
+
+Eğitim verisinin 100K örneği üzerinde eğitilmiş özel BPE tokenizer.
+
+Özel tokenlar: `<pad>`, `<bos>`, `<eos>`, `<unk>`, `<user>`, `</user>`, `<assistant>`, `</assistant>`, `<think>`, `</think>`, `<code>`, `</code>`, `<tr>`, `<en>`
+
+---
+
+## Kullanım
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-V5.4")
+model = AutoModelForCausalLM.from_pretrained("SykoSLM/SykoLLM-V5.4", trust_remote_code=True)
+model.eval()
+
+prompt = "<bos><user>\nMerhaba, nasılsın?</user>\n<assistant>\n"
+inputs = tokenizer(prompt, return_tensors="pt")
+
+with torch.no_grad():
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=200,
+        temperature=0.7,
+        top_p=0.9,
+        do_sample=True,
+        repetition_penalty=1.1,
+    )
+
+print(tokenizer.decode(outputs[0], skip_special_tokens=False))
+```
+
+---
+
+## Sınırlamalar
+
+- 233M parametre nispeten küçük bir modeldir. Karmaşık çok adımlı akıl yürütme güvenilir olmayabilir.
+- 4.000 adım eğitilmiştir — daha fazla eğitim tutarlılığı ve doğruluğu artırır.
+- Özellikle bilgi yoğun sorularda yanlış bilgi üretebilir.
+- Güvenlik için ince ayar yapılmamıştır — çıktılar filtresizdir.
+
+---
+
+## Eğitim Altyapısı
+
+| Özellik | Değer |
+|---|---|
+| **Donanım** | 2× NVIDIA T4 (Kaggle) |
+| **Framework** | PyTorch + HuggingFace Transformers |
+| **Dağıtık Eğitim** | DDP (Accelerate) |
+| **Optimizer** | AdamW |
+| **Öğrenme Hızı** | 3e-4, cosine decay |
+| **Batch Boyutu** | 6 cihaz başına × 10 gradient accumulation = efektif 120 |
+| **Warmup** | 300 adım |
+
+---
+
+## Lisans
+
+Apache 2.0 — detaylar için [LICENSE](LICENSE) dosyasına bakın.