README.md

---
language:
- tr
library_name: transformers
tags:
- llama-3
- turkish
- NonTrained
- 1.5b
license: apache-2.0
---

# SykoLLM-V3.3-Beta (Non-Trained) 🇹🇷

Bu repo, **SykoLLM V3.3** sürümünün eğitim öncesi (randomly initialized) iskelet modelini içerir. Model **Llama 3** mimarisi üzerine inşa edilmiştir ve özellikle Türkçe dil yetenekleri için optimize edilecek şekilde tasarlanmıştır.

🚨 **DİKKAT:** Bu model henüz **EĞİTİLMEMİŞTİR (Untrained)**. Ağırlıkları rastgeledir. Şu haliyle anlamlı cevaplar veremez. Pre-training (CulturaX veri seti ile) süreci yakında başlayacaktır.

## Model Mimarisi ve Özellikler

Bu model, standart Llama 3 mimarisini takip eder ancak 1.5 Milyar parametre sınıfına uyarlanmıştır.

| Özellik | Değer | Açıklama |
| :--- | :--- | :--- |
| **Parametre Sayısı** | ~1.61 Milyar | Giriş seviyesi LLM için ideal denge |
| **Context Size** | 8K (8192) | Uzun metinleri anlama kapasitesi |
| **Vocab Size** | 128k | Llama 3 Tokenizer (Zengin Türkçe desteği) |
| **Hidden Size** | 2048 | Model genişliği |
| **Layers** | 24 | Katman sayısı |
| **GQA** | Var | Grouped Query Attention (Daha hızlı inference) |

## Yol Haritası 🗺️

- [x] Model mimarisinin belirlenmesi (Llama 3 tabanlı 1.5B)
- [x] Hugging Face reposunun oluşturulması
- [ ] **Pre-training:** uonlp/CulturaX veri seti ile A100 GPU üzerinde eğitim
- [ ] **Fine-tuning:** Türkçe talimat (instruct) veri setleri ile ince ayar

## Geliştirici Notu
Ben Burak (15), bu model üzerinde sıfırdan model eğitimi deneyimleri yapıyorum. Önceki V3.2 (320M) modelimden elde ettiğim tecrübeleri, şimdi A100 donanımı ve modern Llama 3 mimarisi ile birleştirerek 1.5B seviyesine taşıyorum.

---
*Geliştirici: syko818121*