--- language: - tr - en license: apache-2.0 tags: - turkish - llama - causal-lm - reasoning - chain-of-thought - cot - pytorch - rel0aded pipeline_tag: text-generation --- # 🦁 Turkish-1B (Official Release)
[![Parameters](https://img.shields.io/badge/Parametre-1.014B%20(1.01B)-blue.svg?style=for-the-badge&logo=cpu)](https://huggingface.co/Rel0aded/Turkish-1B) [![Architecture](https://img.shields.io/badge/Mimari-Llama--3%20%2B%20GQA-orange.svg?style=for-the-badge&logo=meta)](https://huggingface.co/Rel0aded/Turkish-1B) [![Language](https://img.shields.io/badge/Dil-T%C3%BCrk%C3%A7e%20%26%20English-red.svg?style=for-the-badge)](https://huggingface.co/Rel0aded/Turkish-1B) [![License](https://img.shields.io/badge/Lisans-Apache%202.0-green.svg?style=for-the-badge)](https://opensource.org/licenses/Apache-2.0) [![Developer](https://img.shields.io/badge/Geli%C5%9Ftirici-Rel0aded%20%2F%20Ya%C4%9F%C4%B1z-purple.svg?style=for-the-badge)](https://github.com/Rel0aded)
**Turkish-1B**, Türkçe dil yapısına ve morfolojisine tam uyum sağlamak üzere sıfırdan (*from scratch*) eğitilmiş **1.014 Milyar (1.01B) parametreli** açık kaynaklı bir temel dil modelidir (Foundation SLM). Model; hem **ön eğitimini (pre-training)** hem de adım adım akıl yürütme (` ... `), doğal diyalog, akademik ders/ödev desteği ve Word/Excel/PDF belge otomasyonu kazandıran **SFT (Supervised Fine-Tuning)** aşamalarını eksiksiz tamamlamıştır. --- ## 🚀 Model Sürümleri Bu depoda iki ana ağırlık dosyası sunulmaktadır: 1. **`turkish_1b_final.pt` (2.03 GB - Önerilen / Final Sürüm):** - DeepSeek-R1 tarzı ` ... ` muhakeme adımlarına sahiptir. - Doğal Türkçe ve İngilizce iletişim yetisi, hazırlık/üniversite dersleri (STEM, matematik, kodlama ve slayt özeti) için optimize edilmiştir. - FP16 formatında olup, minimum VRAM/RAM (yalnızca ~2.2 GB) ile hızlıca çalışır. 2. **`checkpoint.pt` (6.11 GB - Ham Taban Model):** - 13.730 adımlık ön eğitim sonrası elde edilen saf temel model ağırlıklarıdır (Base Foundation LM). --- ## ⚙️ Model Mimarisi (Llama-3 & GQA Standartları) | Mimari Bileşen | Değer | Teknik Açıklama | |---|---|---| | **Toplam Parametre Sayısı** | **1,014,061,056 (~1.014B)** | 21 Derin Transformer Bloğu | | **Gizli Katman Boyutu (Hidden Dim)** | **2048** | Geniş semantik temsil uzayı | | **Dikkat Mekanizması** | **GQA (16:4)** | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) | | **MLP Yapısı** | **SwiGLU** | Intermediate Size: 5632 (Llama-3 standardı) | | **Tokenizer** | **Özel BPE Tokenizer** | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) | | **Normalizasyon** | **RMSNorm** | Epsilon: 1e-5 (Pre-LayerNorm stabilite) | | **Pozisyonel Kodlama** | **RoPE (Rotary Embeddings)** | Taban Frekans $\theta=500.000$ | --- ## 💻 Hızlı Kullanım (Resmi Python SDK - `agent.py`) Depoda bulunan resmi [`agent.py`](https://huggingface.co/Rel0aded/Turkish-1B/blob/main/agent.py) modülü ile modeli tek satırda yükleyebilir, hem sohbet edebilir hem de ofis belgelerini işletebilirsiniz: ```python from agent import Turkish1BAgent # Modeli başlat (turkish_1b_final.pt dosyasını otomatik yükler) bot = Turkish1BAgent() # 1. Akıl Yürütme ve Sohbet ( ...) res = bot.chat("Bir yapay zeka modeli neden adım adım düşünmeye ihtiyaç duyar?") print("🧠 Düşünce:", res["thought"]) print("🗣️ Yanıt:", res["answer"]) # 2. Ofis & Belge Otomasyonu (Word, Excel, PDF) sonuc = bot.chat( user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana Word raporu hazırla.", files=["ekstre.pdf", "butce.xlsx"], web_search=True ) print("📁 Oluşturulan Dosyalar:", sonuc["created_files"]) # ['Turkish1B_Cikti.docx'] # 3. Canlı Daktilo Akışı (Streaming) for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"): print(token, end="", flush=True) ``` --- ## 📊 Eğitim Detayları - **Ön Eğitim (Pre-Training):** 13.730 Adım (~450 Milyon Türkçe Token), 8 farklı edebi, akademik ve web veri havuzu. Kayıp (Loss): 4.43 ➔ ~2.85. - **İnce Ayar (SFT & Reasoning):** 800 Adım (Türkçe CoT, MetaMathQA, CodeFeedback, Hazırlık İngilizce diyalog ve Yağız kimlik hizalaması). - **Donanım:** Dual Tesla T4 Cloud GPU (8-Bit AdamW + Flash Attention). --- ## 👨‍💻 Geliştirici & Lisans Bu model ve mimari **Rel0aded / Yağız** tarafından geliştirilmiştir. Tüm model ağırlıkları ve kodlar **Apache 2.0 Lisansı** ile açık kaynak olarak topluluğa sunulmaktadır.