---
language:
- tr
- en
license: apache-2.0
tags:
- turkish
- llama
- causal-lm
- reasoning
- chain-of-thought
- cot
- pytorch
- rel0aded
pipeline_tag: text-generation
---
# 🦁 Turkish-1B (Official Release)
[-blue.svg?style=for-the-badge&logo=cpu)](https://huggingface.co/Rel0aded/Turkish-1B)
[](https://huggingface.co/Rel0aded/Turkish-1B)
[](https://huggingface.co/Rel0aded/Turkish-1B)
[](https://opensource.org/licenses/Apache-2.0)
[](https://github.com/Rel0aded)
**Turkish-1B**, Türkçe dil yapısına ve morfolojisine tam uyum sağlamak üzere sıfırdan (*from scratch*) eğitilmiş **1.014 Milyar (1.01B) parametreli** açık kaynaklı bir temel dil modelidir (Foundation SLM).
Model; hem **ön eğitimini (pre-training)** hem de adım adım akıl yürütme (` ... `), doğal diyalog, akademik ders/ödev desteği ve Word/Excel/PDF belge otomasyonu kazandıran **SFT (Supervised Fine-Tuning)** aşamalarını eksiksiz tamamlamıştır.
---
## 🚀 Model Sürümleri
Bu depoda iki ana ağırlık dosyası sunulmaktadır:
1. **`turkish_1b_final.pt` (2.03 GB - Önerilen / Final Sürüm):**
- DeepSeek-R1 tarzı ` ... ` muhakeme adımlarına sahiptir.
- Doğal Türkçe ve İngilizce iletişim yetisi, hazırlık/üniversite dersleri (STEM, matematik, kodlama ve slayt özeti) için optimize edilmiştir.
- FP16 formatında olup, minimum VRAM/RAM (yalnızca ~2.2 GB) ile hızlıca çalışır.
2. **`checkpoint.pt` (6.11 GB - Ham Taban Model):**
- 13.730 adımlık ön eğitim sonrası elde edilen saf temel model ağırlıklarıdır (Base Foundation LM).
---
## ⚙️ Model Mimarisi (Llama-3 & GQA Standartları)
| Mimari Bileşen | Değer | Teknik Açıklama |
|---|---|---|
| **Toplam Parametre Sayısı** | **1,014,061,056 (~1.014B)** | 21 Derin Transformer Bloğu |
| **Gizli Katman Boyutu (Hidden Dim)** | **2048** | Geniş semantik temsil uzayı |
| **Dikkat Mekanizması** | **GQA (16:4)** | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) |
| **MLP Yapısı** | **SwiGLU** | Intermediate Size: 5632 (Llama-3 standardı) |
| **Tokenizer** | **Özel BPE Tokenizer** | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) |
| **Normalizasyon** | **RMSNorm** | Epsilon: 1e-5 (Pre-LayerNorm stabilite) |
| **Pozisyonel Kodlama** | **RoPE (Rotary Embeddings)** | Taban Frekans $\theta=500.000$ |
---
## 💻 Hızlı Kullanım (Resmi Python SDK - `agent.py`)
Depoda bulunan resmi [`agent.py`](https://huggingface.co/Rel0aded/Turkish-1B/blob/main/agent.py) modülü ile modeli tek satırda yükleyebilir, hem sohbet edebilir hem de ofis belgelerini işletebilirsiniz:
```python
from agent import Turkish1BAgent
# Modeli başlat (turkish_1b_final.pt dosyasını otomatik yükler)
bot = Turkish1BAgent()
# 1. Akıl Yürütme ve Sohbet ( ...)
res = bot.chat("Bir yapay zeka modeli neden adım adım düşünmeye ihtiyaç duyar?")
print("🧠 Düşünce:", res["thought"])
print("🗣️ Yanıt:", res["answer"])
# 2. Ofis & Belge Otomasyonu (Word, Excel, PDF)
sonuc = bot.chat(
user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana Word raporu hazırla.",
files=["ekstre.pdf", "butce.xlsx"],
web_search=True
)
print("📁 Oluşturulan Dosyalar:", sonuc["created_files"]) # ['Turkish1B_Cikti.docx']
# 3. Canlı Daktilo Akışı (Streaming)
for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"):
print(token, end="", flush=True)
```
---
## 📊 Eğitim Detayları
- **Ön Eğitim (Pre-Training):** 13.730 Adım (~450 Milyon Türkçe Token), 8 farklı edebi, akademik ve web veri havuzu. Kayıp (Loss): 4.43 ➔ ~2.85.
- **İnce Ayar (SFT & Reasoning):** 800 Adım (Türkçe CoT, MetaMathQA, CodeFeedback, Hazırlık İngilizce diyalog ve Yağız kimlik hizalaması).
- **Donanım:** Dual Tesla T4 Cloud GPU (8-Bit AdamW + Flash Attention).
---
## 👨💻 Geliştirici & Lisans
Bu model ve mimari **Rel0aded / Yağız** tarafından geliştirilmiştir.
Tüm model ağırlıkları ve kodlar **Apache 2.0 Lisansı** ile açık kaynak olarak topluluğa sunulmaktadır.