Rel0aded commited on
Commit
3bf1b5c
·
verified ·
1 Parent(s): cab3981

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +63 -0
README.md ADDED
@@ -0,0 +1,63 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ language:
3
+ - tr
4
+ license: apache-2.0
5
+ tags:
6
+ - turkish
7
+ - llama
8
+ - causal-lm
9
+ - pytorch
10
+ - rel0aded
11
+ pipeline_tag: text-generation
12
+ ---
13
+
14
+ # 🦁 Rel0aded-1B: Türkçe Küçük Dil Modeli
15
+
16
+ > ⚠️ **DURUM: AKTİF ÖN EĞİTİM (PRE-TRAINING) AŞAMASINDADIR (Work in Progress / WIP)**
17
+ > Bu depo, **Rel0aded-1B** modelinin sıfırdan ön eğitim (pre-training) sürecine ait periyodik checkpoint ağırlıklarını barındırmaktadır.
18
+ > Model henüz eğitim aşamasında olup, ham checkpoint'ler son kullanıcı sohbetine hazır değildir. Nihai ağırlıklar, SFT (Talimat & Sohbet Eğitimi) ve GGUF sürümleri (Ollama / Open WebUI) eğitim tamamlandığında resmi olarak yayınlanacaktır.
19
+
20
+ ---
21
+
22
+ ## 📌 Proje Özeti
23
+ **Rel0aded-1B**, Türkçe dilinin morfolojik yapısını, zengin kelime haznesini ve semantik derinliğini en yüksek verimlilikle kavramak üzere sıfırdan (*from scratch*) eğitilen **1.014 Milyar (1.01B) parametreli** açık kaynak bir temel dil modelidir (Foundation SLM).
24
+
25
+ ---
26
+
27
+ ## ⚙️ Model Mimarisi (Llama-3 & GQA Standartları)
28
+ | Mimari Bileşen | Değer | Açıklama |
29
+ |---|---|---|
30
+ | **Parametre Sayısı** | **1,014,061,056 (~1.01B)** | 21 Transformer Bloğu |
31
+ | **Model Boyutu (Hidden Dim)** | **2048** | Geniş temsil uzayı |
32
+ | **Dikkat Mekanizması** | **GQA (16:4)** | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) |
33
+ | **Bağlam Uzunluğu (Context)** | **1,024 Token** | RoPE $\theta=500,000$ (YaRN ile 16k/32k genişletilebilir) |
34
+ | **MLP Yapısı** | **SwiGLU** | Intermediate Size: 5632 |
35
+ | **Tokenizer** | **Özel BPE Tokenizer** | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) |
36
+ | **Normalizasyon** | **RMSNorm** | Epsilon: 1e-5 |
37
+ | **Ağırlık Paylaşımı** | **Weight Tying** | Input Embedding = Output LM Head |
38
+
39
+ ---
40
+
41
+ ## 📚 Çok Alanlı Zengin Türkçe Veri Havuzu
42
+ Model tek bir kaynağa hapsolmamak adına 8 farklı dev Türkçe havuzdan sürekli olarak beslenmektedir:
43
+ 1. **Edebi & Zengin Kelime Haznesi:** YTÜ Cosmos Türkçe Kitaplar (`ytu-ce-cosmos/turkce-kitap`)
44
+ 2. **Kodlama & Mantık Yürütme:** Türkçe Python Yönerge Seti (`bysismo/Turkish-Python-instruction`)
45
+ 3. **Akademik & Genel Kültür:** YTÜ Cosmos Corpus v1.0 (`ytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0`)
46
+ 4. **Yüksek Kaliteli Web Arşivi:** FineWeb-2 Türkçe (`altaidevorg/fineweb-2-turkish-categorized`)
47
+ 5. **Günlük İnternet Dili:** Turkish LLM Dataset (`tascib/turkish-llm-dataset`)
48
+ 6. **Temizlenmiş Metin Havuzu:** Cleaned Turkish Corpus (`serda-dev/turkish-raw-text-cleaned`)
49
+ 7. **Ansiklopedik Referans:** Türkçe Vikipedi (`wikimedia/wikipedia`)
50
+ 8. **Devasa İnternet Külliyatı:** CulturaX (`uonlp/CulturaX`)
51
+
52
+ ---
53
+
54
+ ## 🚀 Yol Haritası (Roadmap)
55
+ - [x] Özel Türkçe BPE Tokenizer geliştirilmesi (16k vocab)
56
+ - [x] 1.014B Llama-3 + GQA mimarisinin tasarımı ve çift GPU optimizasyonu
57
+ - [ ] 🔄 **Ön Eğitim (Pre-training) - [ŞU ANDA AKTİF OLARAK ÇALIŞIYOR]**
58
+ - [ ] SFT (Supervised Fine-Tuning - Türkçe Talimat & Sohbet Uyarlaması)
59
+ - [ ] DPO / Alignment (İnsan Tercih Hizalaması)
60
+ - [ ] GGUF (Q4_K_M, Q8_0, FP16) quantizasyonu & Ollama / Open WebUI dağıtımı
61
+
62
+ ---
63
+ *Geliştirici:* **Rel0aded / Yağız Gür**