|
Download README.md from Rel0aded/Turkish-1B: direct link, hf CLI and curl.
- Browser
- Download file 4.67 kB
-
https://huggingface.co/Rel0aded/Turkish-1B/resolve/main/README.md
- Command line
-
hf download hf://Rel0aded/Turkish-1B/README.md
-
curl -L -o README.md https://huggingface.co/Rel0aded/Turkish-1B/resolve/main/README.md
4.67 kB
| language: | |
| - tr | |
| - en | |
| license: apache-2.0 | |
| tags: | |
| - turkish | |
| - llama | |
| - causal-lm | |
| - reasoning | |
| - chain-of-thought | |
| - cot | |
| - pytorch | |
| - rel0aded | |
| pipeline_tag: text-generation | |
| # 🦁 Turkish-1B (Official Release) | |
| <div align="center"> | |
| [-blue.svg?style=for-the-badge&logo=cpu)](https://huggingface.co/Rel0aded/Turkish-1B) | |
| [](https://huggingface.co/Rel0aded/Turkish-1B) | |
| [](https://huggingface.co/Rel0aded/Turkish-1B) | |
| [](https://opensource.org/licenses/Apache-2.0) | |
| [](https://github.com/Rel0aded) | |
| </div> | |
| **Turkish-1B**, Türkçe dil yapısına ve morfolojisine tam uyum sağlamak üzere sıfırdan (*from scratch*) eğitilmiş **1.014 Milyar (1.01B) parametreli** açık kaynaklı bir temel dil modelidir (Foundation SLM). | |
| Model; hem **ön eğitimini (pre-training)** hem de adım adım akıl yürütme (`<think> ... </think>`), doğal diyalog, akademik ders/ödev desteği ve Word/Excel/PDF belge otomasyonu kazandıran **SFT (Supervised Fine-Tuning)** aşamalarını eksiksiz tamamlamıştır. | |
| --- | |
| ## 🚀 Model Sürümleri | |
| Bu depoda iki ana ağırlık dosyası sunulmaktadır: | |
| 1. **`turkish_1b_final.pt` (2.03 GB - Önerilen / Final Sürüm):** | |
| - DeepSeek-R1 tarzı `<think> ... </think>` muhakeme adımlarına sahiptir. | |
| - Doğal Türkçe ve İngilizce iletişim yetisi, hazırlık/üniversite dersleri (STEM, matematik, kodlama ve slayt özeti) için optimize edilmiştir. | |
| - FP16 formatında olup, minimum VRAM/RAM (yalnızca ~2.2 GB) ile hızlıca çalışır. | |
| 2. **`checkpoint.pt` (6.11 GB - Ham Taban Model):** | |
| - 13.730 adımlık ön eğitim sonrası elde edilen saf temel model ağırlıklarıdır (Base Foundation LM). | |
| --- | |
| ## ⚙️ Model Mimarisi (Llama-3 & GQA Standartları) | |
| | Mimari Bileşen | Değer | Teknik Açıklama | | |
| |---|---|---| | |
| | **Toplam Parametre Sayısı** | **1,014,061,056 (~1.014B)** | 21 Derin Transformer Bloğu | | |
| | **Gizli Katman Boyutu (Hidden Dim)** | **2048** | Geniş semantik temsil uzayı | | |
| | **Dikkat Mekanizması** | **GQA (16:4)** | 16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım) | | |
| | **MLP Yapısı** | **SwiGLU** | Intermediate Size: 5632 (Llama-3 standardı) | | |
| | **Tokenizer** | **Özel BPE Tokenizer** | 16,384 Sözcük Dağarcığı (Türkçe ek ve kök uyumlu) | | |
| | **Normalizasyon** | **RMSNorm** | Epsilon: 1e-5 (Pre-LayerNorm stabilite) | | |
| | **Pozisyonel Kodlama** | **RoPE (Rotary Embeddings)** | Taban Frekans $\theta=500.000$ | | |
| --- | |
| ## 💻 Hızlı Kullanım (Resmi Python SDK - `agent.py`) | |
| Depoda bulunan resmi [`agent.py`](https://huggingface.co/Rel0aded/Turkish-1B/blob/main/agent.py) modülü ile modeli tek satırda yükleyebilir, hem sohbet edebilir hem de ofis belgelerini işletebilirsiniz: | |
| ```python | |
| from agent import Turkish1BAgent | |
| # Modeli başlat (turkish_1b_final.pt dosyasını otomatik yükler) | |
| bot = Turkish1BAgent() | |
| # 1. Akıl Yürütme ve Sohbet (<think> ...) | |
| res = bot.chat("Bir yapay zeka modeli neden adım adım düşünmeye ihtiyaç duyar?") | |
| print("🧠 Düşünce:", res["thought"]) | |
| print("🗣️ Yanıt:", res["answer"]) | |
| # 2. Ofis & Belge Otomasyonu (Word, Excel, PDF) | |
| sonuc = bot.chat( | |
| user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana Word raporu hazırla.", | |
| files=["ekstre.pdf", "butce.xlsx"], | |
| web_search=True | |
| ) | |
| print("📁 Oluşturulan Dosyalar:", sonuc["created_files"]) # ['Turkish1B_Cikti.docx'] | |
| # 3. Canlı Daktilo Akışı (Streaming) | |
| for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"): | |
| print(token, end="", flush=True) | |
| ``` | |
| --- | |
| ## 📊 Eğitim Detayları | |
| - **Ön Eğitim (Pre-Training):** 13.730 Adım (~450 Milyon Türkçe Token), 8 farklı edebi, akademik ve web veri havuzu. Kayıp (Loss): 4.43 ➔ ~2.85. | |
| - **İnce Ayar (SFT & Reasoning):** 800 Adım (Türkçe CoT, MetaMathQA, CodeFeedback, Hazırlık İngilizce diyalog ve Yağız kimlik hizalaması). | |
| - **Donanım:** Dual Tesla T4 Cloud GPU (8-Bit AdamW + Flash Attention). | |
| --- | |
| ## 👨💻 Geliştirici & Lisans | |
| Bu model ve mimari **Rel0aded / Yağız** tarafından geliştirilmiştir. | |
| Tüm model ağırlıkları ve kodlar **Apache 2.0 Lisansı** ile açık kaynak olarak topluluğa sunulmaktadır. | |