Upload README.md with huggingface_hub
Browse files
README.md
ADDED
|
@@ -0,0 +1,63 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- tr
|
| 4 |
+
license: apache-2.0
|
| 5 |
+
tags:
|
| 6 |
+
- turkish
|
| 7 |
+
- llama
|
| 8 |
+
- causal-lm
|
| 9 |
+
- pytorch
|
| 10 |
+
- rel0aded
|
| 11 |
+
pipeline_tag: text-generation
|
| 12 |
+
---
|
| 13 |
+
|
| 14 |
+
# 🦁 Rel0aded-1B: Türkçe Küçük Dil Modeli
|
| 15 |
+
|
| 16 |
+
> ⚠️ **DURUM: AKTİF ÖN EĞİTİM (PRE-TRAINING) AŞAMASINDADIR (Work in Progress / WIP)**
|
| 17 |
+
> Bu depo, **Rel0aded-1B** modelinin sıfırdan ön eğitim (pre-training) sürecine ait periyodik checkpoint ağırlıklarını barındırmaktadır.
|
| 18 |
+
> Model henüz eğitim aşamasında olup, ham checkpoint'ler son kullanıcı sohbetine hazır değildir. Nihai ağırlıklar, SFT (Talimat & Sohbet Eğitimi) ve GGUF sürümleri (Ollama / Open WebUI) eğitim tamamlandığında resmi olarak yayınlanacaktır.
|
| 19 |
+
|
| 20 |
+
---
|
| 21 |
+
|
| 22 |
+
## 📌 Proje Özeti
|
| 23 |
+
**Rel0aded-1B**, Türkçe dilinin morfolojik yapısını, zengin kelime haznesini ve semantik derinliğini en yüksek verimlilikle kavramak üzere sıfırdan (*from scratch*) eğitilen **1.014 Milyar (1.01B) parametreli** açık kaynak bir temel dil modelidir (Foundation SLM).
|
| 24 |
+
|
| 25 |
+
---
|
| 26 |
+
|
| 27 |
+
## ⚙️ Model Mimarisi (Llama-3 & GQA Standartları)
|
| 28 |
+
| Mimari Bileşen | Değer | Açıklama |
|
| 29 |
+
|---|---|---|
|
| 30 |
+
| **Parametre Sayısı** | **1,014,061,056 (~1.01B)** | 21 Transformer Bloğu |
|
| 31 |
+
| **Model Boyutu (Hidden Dim)** | **2048** | Geniş temsil uzayı |
|
| 32 |
+
| **Dikkat Mekanizması** | **GQA (16:4)** | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) |
|
| 33 |
+
| **Bağlam Uzunluğu (Context)** | **1,024 Token** | RoPE $\theta=500,000$ (YaRN ile 16k/32k genişletilebilir) |
|
| 34 |
+
| **MLP Yapısı** | **SwiGLU** | Intermediate Size: 5632 |
|
| 35 |
+
| **Tokenizer** | **Özel BPE Tokenizer** | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) |
|
| 36 |
+
| **Normalizasyon** | **RMSNorm** | Epsilon: 1e-5 |
|
| 37 |
+
| **Ağırlık Paylaşımı** | **Weight Tying** | Input Embedding = Output LM Head |
|
| 38 |
+
|
| 39 |
+
---
|
| 40 |
+
|
| 41 |
+
## 📚 Çok Alanlı Zengin Türkçe Veri Havuzu
|
| 42 |
+
Model tek bir kaynağa hapsolmamak adına 8 farklı dev Türkçe havuzdan sürekli olarak beslenmektedir:
|
| 43 |
+
1. **Edebi & Zengin Kelime Haznesi:** YTÜ Cosmos Türkçe Kitaplar (`ytu-ce-cosmos/turkce-kitap`)
|
| 44 |
+
2. **Kodlama & Mantık Yürütme:** Türkçe Python Yönerge Seti (`bysismo/Turkish-Python-instruction`)
|
| 45 |
+
3. **Akademik & Genel Kültür:** YTÜ Cosmos Corpus v1.0 (`ytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0`)
|
| 46 |
+
4. **Yüksek Kaliteli Web Arşivi:** FineWeb-2 Türkçe (`altaidevorg/fineweb-2-turkish-categorized`)
|
| 47 |
+
5. **Günlük İnternet Dili:** Turkish LLM Dataset (`tascib/turkish-llm-dataset`)
|
| 48 |
+
6. **Temizlenmiş Metin Havuzu:** Cleaned Turkish Corpus (`serda-dev/turkish-raw-text-cleaned`)
|
| 49 |
+
7. **Ansiklopedik Referans:** Türkçe Vikipedi (`wikimedia/wikipedia`)
|
| 50 |
+
8. **Devasa İnternet Külliyatı:** CulturaX (`uonlp/CulturaX`)
|
| 51 |
+
|
| 52 |
+
---
|
| 53 |
+
|
| 54 |
+
## 🚀 Yol Haritası (Roadmap)
|
| 55 |
+
- [x] Özel Türkçe BPE Tokenizer geliştirilmesi (16k vocab)
|
| 56 |
+
- [x] 1.014B Llama-3 + GQA mimarisinin tasarımı ve çift GPU optimizasyonu
|
| 57 |
+
- [ ] 🔄 **Ön Eğitim (Pre-training) - [ŞU ANDA AKTİF OLARAK ÇALIŞIYOR]**
|
| 58 |
+
- [ ] SFT (Supervised Fine-Tuning - Türkçe Talimat & Sohbet Uyarlaması)
|
| 59 |
+
- [ ] DPO / Alignment (İnsan Tercih Hizalaması)
|
| 60 |
+
- [ ] GGUF (Q4_K_M, Q8_0, FP16) quantizasyonu & Ollama / Open WebUI dağıtımı
|
| 61 |
+
|
| 62 |
+
---
|
| 63 |
+
*Geliştirici:* **Rel0aded / Yağız Gür**
|