🦁 Turkish-1B (Official Release)
Turkish-1B, Türkçe dil yapısına ve morfolojisine tam uyum sağlamak üzere sıfırdan (from scratch) eğitilmiş 1.014 Milyar (1.01B) parametreli açık kaynaklı bir temel dil modelidir (Foundation SLM).
Model; hem ön eğitimini (pre-training) hem de adım adım akıl yürütme (<think> ... </think>), doğal diyalog, akademik ders/ödev desteği ve Word/Excel/PDF belge otomasyonu kazandıran SFT (Supervised Fine-Tuning) aşamalarını eksiksiz tamamlamıştır.
🚀 Model Sürümleri
Bu depoda iki ana ağırlık dosyası sunulmaktadır:
turkish_1b_final.pt(2.03 GB - Önerilen / Final Sürüm):- DeepSeek-R1 tarzı
<think> ... </think>muhakeme adımlarına sahiptir. - Doğal Türkçe ve İngilizce iletişim yetisi, hazırlık/üniversite dersleri (STEM, matematik, kodlama ve slayt özeti) için optimize edilmiştir.
- FP16 formatında olup, minimum VRAM/RAM (yalnızca ~2.2 GB) ile hızlıca çalışır.
- DeepSeek-R1 tarzı
checkpoint.pt(6.11 GB - Ham Taban Model):- 13.730 adımlık ön eğitim sonrası elde edilen saf temel model ağırlıklarıdır (Base Foundation LM).
⚙️ Model Mimarisi (Llama-3 & GQA Standartları)
| Mimari Bileşen | Değer | Teknik Açıklama |
|---|---|---|
| Toplam Parametre Sayısı | 1,014,061,056 (~1.014B) | 21 Derin Transformer Bloğu |
| Gizli Katman Boyutu (Hidden Dim) | 2048 | Geniş semantik temsil uzayı |
| Dikkat Mekanizması | GQA (16:4) | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) |
| MLP Yapısı | SwiGLU | Intermediate Size: 5632 (Llama-3 standardı) |
| Tokenizer | Özel BPE Tokenizer | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) |
| Normalizasyon | RMSNorm | Epsilon: 1e-5 (Pre-LayerNorm stabilite) |
| Pozisyonel Kodlama | RoPE (Rotary Embeddings) | Taban Frekans $\theta=500.000$ |
💻 Hızlı Kullanım (Resmi Python SDK - agent.py)
Depoda bulunan resmi agent.py modülü ile modeli tek satırda yükleyebilir, hem sohbet edebilir hem de ofis belgelerini işletebilirsiniz:
from agent import Turkish1BAgent
# Modeli başlat (turkish_1b_final.pt dosyasını otomatik yükler)
bot = Turkish1BAgent()
# 1. Akıl Yürütme ve Sohbet (<think> ...)
res = bot.chat("Bir yapay zeka modeli neden adım adım düşünmeye ihtiyaç duyar?")
print("🧠 Düşünce:", res["thought"])
print("🗣️ Yanıt:", res["answer"])
# 2. Ofis & Belge Otomasyonu (Word, Excel, PDF)
sonuc = bot.chat(
user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana Word raporu hazırla.",
files=["ekstre.pdf", "butce.xlsx"],
web_search=True
)
print("📁 Oluşturulan Dosyalar:", sonuc["created_files"]) # ['Turkish1B_Cikti.docx']
# 3. Canlı Daktilo Akışı (Streaming)
for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"):
print(token, end="", flush=True)
📊 Eğitim Detayları
- Ön Eğitim (Pre-Training): 13.730 Adım (~450 Milyon Türkçe Token), 8 farklı edebi, akademik ve web veri havuzu. Kayıp (Loss): 4.43 ➔ ~2.85.
- İnce Ayar (SFT & Reasoning): 800 Adım (Türkçe CoT, MetaMathQA, CodeFeedback, Hazırlık İngilizce diyalog ve Yağız kimlik hizalaması).
- Donanım: Dual Tesla T4 Cloud GPU (8-Bit AdamW + Flash Attention).
👨💻 Geliştirici & Lisans
Bu model ve mimari Rel0aded / Yağız tarafından geliştirilmiştir.
Tüm model ağırlıkları ve kodlar Apache 2.0 Lisansı ile açık kaynak olarak topluluğa sunulmaktadır.