🦁 Turkish-1B (Official Release)

Parameters Architecture Language License Developer

Turkish-1B, Türkçe dil yapısına ve morfolojisine tam uyum sağlamak üzere sıfırdan (from scratch) eğitilmiş 1.014 Milyar (1.01B) parametreli açık kaynaklı bir temel dil modelidir (Foundation SLM).

Model; hem ön eğitimini (pre-training) hem de adım adım akıl yürütme (<think> ... </think>), doğal diyalog, akademik ders/ödev desteği ve Word/Excel/PDF belge otomasyonu kazandıran SFT (Supervised Fine-Tuning) aşamalarını eksiksiz tamamlamıştır.


🚀 Model Sürümleri

Bu depoda iki ana ağırlık dosyası sunulmaktadır:

  1. turkish_1b_final.pt (2.03 GB - Önerilen / Final Sürüm):
    • DeepSeek-R1 tarzı <think> ... </think> muhakeme adımlarına sahiptir.
    • Doğal Türkçe ve İngilizce iletişim yetisi, hazırlık/üniversite dersleri (STEM, matematik, kodlama ve slayt özeti) için optimize edilmiştir.
    • FP16 formatında olup, minimum VRAM/RAM (yalnızca ~2.2 GB) ile hızlıca çalışır.
  2. checkpoint.pt (6.11 GB - Ham Taban Model):
    • 13.730 adımlık ön eğitim sonrası elde edilen saf temel model ağırlıklarıdır (Base Foundation LM).

⚙️ Model Mimarisi (Llama-3 & GQA Standartları)

Mimari Bileşen Değer Teknik Açıklama
Toplam Parametre Sayısı 1,014,061,056 (~1.014B) 21 Derin Transformer Bloğu
Gizli Katman Boyutu (Hidden Dim) 2048 Geniş semantik temsil uzayı
Dikkat Mekanizması GQA (16:4) 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım)
MLP Yapısı SwiGLU Intermediate Size: 5632 (Llama-3 standardı)
Tokenizer Özel BPE Tokenizer 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu)
Normalizasyon RMSNorm Epsilon: 1e-5 (Pre-LayerNorm stabilite)
Pozisyonel Kodlama RoPE (Rotary Embeddings) Taban Frekans $\theta=500.000$

💻 Hızlı Kullanım (Resmi Python SDK - agent.py)

Depoda bulunan resmi agent.py modülü ile modeli tek satırda yükleyebilir, hem sohbet edebilir hem de ofis belgelerini işletebilirsiniz:

from agent import Turkish1BAgent

# Modeli başlat (turkish_1b_final.pt dosyasını otomatik yükler)
bot = Turkish1BAgent()

# 1. Akıl Yürütme ve Sohbet (<think> ...)
res = bot.chat("Bir yapay zeka modeli neden adım adım düşünmeye ihtiyaç duyar?")
print("🧠 Düşünce:", res["thought"])
print("🗣️ Yanıt:", res["answer"])

# 2. Ofis & Belge Otomasyonu (Word, Excel, PDF)
sonuc = bot.chat(
    user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana Word raporu hazırla.",
    files=["ekstre.pdf", "butce.xlsx"],
    web_search=True
)
print("📁 Oluşturulan Dosyalar:", sonuc["created_files"]) # ['Turkish1B_Cikti.docx']

# 3. Canlı Daktilo Akışı (Streaming)
for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"):
    print(token, end="", flush=True)

📊 Eğitim Detayları

  • Ön Eğitim (Pre-Training): 13.730 Adım (~450 Milyon Türkçe Token), 8 farklı edebi, akademik ve web veri havuzu. Kayıp (Loss): 4.43 ➔ ~2.85.
  • İnce Ayar (SFT & Reasoning): 800 Adım (Türkçe CoT, MetaMathQA, CodeFeedback, Hazırlık İngilizce diyalog ve Yağız kimlik hizalaması).
  • Donanım: Dual Tesla T4 Cloud GPU (8-Bit AdamW + Flash Attention).

👨‍💻 Geliştirici & Lisans

Bu model ve mimari Rel0aded / Yağız tarafından geliştirilmiştir.
Tüm model ağırlıkları ve kodlar Apache 2.0 Lisansı ile açık kaynak olarak topluluğa sunulmaktadır.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support