Seffaflik: temel modeli (Qwen3-14B) acikca belirt; sifirdan/tokenizer iddialarini duzelt

README.md

@@ -6,6 +6,7 @@ license_name: ecloud-open-community-license
 license_link: LICENSE
 library_name: transformers
 pipeline_tag: text-generation
+base_model: Qwen/Qwen3-14B
 tags:
 - turkish
 - türkçe
@@ -31,7 +32,7 @@ model-index:
 
 # Erk
 
-### Türkçe için sıfırdan geliştirilmiş yapay zekâ modeli
+### Türkçe için geliştirilmiş yapay zekâ modeli
 
 *Dünya modelleri Türkçe'yi yabancı bir dil gibi harf harf söker.*
 **Erk, dilin kökünü ve eklerini bir bütün olarak anlar.**
@@ -57,18 +58,18 @@ model-index:
 **Erk**, [eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr) tarafından
 geliştirilen, **14 milyar parametreli**, Türkçe odaklı bir büyük dil modelidir.
 
-> **"Sıfırdan" ne demek?** Erk'i, açık bir temel model üzerinde **sıfırdan kurduğumuz
-> bir Türkçe eğitim hattıyla** geliştirdik: sıfırdan oluşturduğumuz Türkçe derlem,
-> milyarlarca token'lık Türkçe sürekli ön-eğitim ve gerçek belgelerle talimat ayarı.
-> Amacımız tekerleği yeniden icat etmek değil, **Türkçe'yi en iyi anlayan modeli**
-> üretmekti. Sektördeki güçlü Türkçe modellerin çoğu gibi biz de güçlü bir açık temelden
-> yola çıktık; asıl değeri katan ise Türkçe'ye özel geliştirme sürecimizdir — ve
-> TurkishMMLU'da bu temeli geçerek bunu kanıtladık.
+> **Temel model ve şeffaflık.** Erk, açık kaynaklı **[Qwen/Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)**
+> temel alınarak geliştirilmiştir; mimari, tokenizer ve sohbet formatı bu temelden gelir.
+> eCloud'un kattığı değer, bunun üzerine kurduğumuz **Türkçe geliştirme hattıdır**: kapsamlı
+> Türkçe sürekli ön-eğitim (continued pretraining) ve gerçek belgelerle talimat ayarı (SFT).
+> Sektördeki güçlü Türkçe modellerin çoğu gibi (Trendyol → Llama, Turkish-Gemma → Gemma) biz de
+> güçlü bir açık temelden yola çıktık; asıl farkı katan Türkçe'ye özel eğitim sürecimizdir — ve
+> TurkishMMLU'da temel modeli **%63,4'ten %69,7'ye** çıkararak bunu kanıtladık.
 
 Bugün Türkçe kullanan yapay zekâ modellerinin çoğu İngilizce için tasarlandı ve Türkçe'ye
-sonradan uyarlandı. Erk ise baştan sona Türkçe düşünülerek geliştirildi: kapsamlı Türkçe
-ön-eğitim ve gerçek belgelerle beslenen talimat ayarıyla, Türkçe'yi bir ikinci dil olarak
-değil, öncelikli dili olarak işler.
+sonradan uyarlandı. Erk'in Türkçe geliştirme hattı ise Türkçe önceliklidir: kapsamlı Türkçe
+sürekli ön-eğitim ve gerçek belgelerle beslenen talimat ayarıyla, temel modeli Türkçe'de
+belirgin biçimde ileri taşır.
 
 ### Değerlendirme — Evaluation
 
@@ -78,7 +79,7 @@ test edilen açık Türkçe modellerin **en iyisidir.**
 | Sıra | Model | Ölçek | TurkishMMLU |
 |:--:|:---|:--:|:--:|
 | | **Erk** | **14B** | **%69,7** |
-| | Qwen3 | 14B | %63,4 |
+| | Qwen3-14B *(temel model)* | 14B | %63,4 |
 | | Trendyol Asure | 12B | %60,9 |
 | 4 | Turkish-Gemma (YTÜ) | 9B | %60,4 |
 | 5 | Trendyol v4 | 7B | %53,0 |
@@ -100,32 +101,23 @@ test edilen açık Türkçe modellerin **en iyisidir.**
 
 Tüm ders skorları ve metodoloji: [`degerlendirme/turkishmmlu.md`](degerlendirme/turkishmmlu.md)
 
-### Türkçe tokenizasyon araştırmamız
+### Tokenizer hakkında
 
-Türkçe sondan eklemelidir: *"gözlüklerimizdekilerdenmiş"* gibi tek bir kelimeye onlarca
-ek eklenebilir. İngilizce için tasarlanmış tokenizer'lar bu yapıyı tanımaz ve kelimeyi
-gereksiz parçalara böler.
+Erk, temel model **Qwen3-14B'nin tokenizer'ını** kullanır (ChatML formatı, ~152K sözlük).
+Bu, temel modelle tam uyumu korur.
 
-Açık eğitim reçetemiz [nanosohbet](https://github.com/ecloudtechnology/nanosohbet)
-kapsamında, Türkçe'ye özel bir tokenizer eğitip 14 tokenizer'la karşılaştırdık.
-Ürettiğimiz Türkçe-native tokenizer, aynı Türkçe metni **GPT-4'ün yarısı kadar token'a
-böler** (kelime başına 1,51'e karşı 3,01) ve test edilen tüm tokenizer'ları Türkçe'de
-geçer.
-
-| Tokenizer | Kelime başına token (Türkçe) | Göreli maliyet |
-|:---|:---:|:---:|
-| **Türkçe-native (nanosohbet)** | **1.51** | **1.00×** |
-| GPT-4o | 2.26 | 1.50× |
-| GPT-4 | 3.01 | **1.99×** |
-| Kimi K2 | 3.07 | 2.03× |
-
-Tam karşılaştırma:
-[nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results).
+> **Not — ayrı bir araştırma:** Açık eğitim reçetemiz
+> [nanosohbet](https://github.com/ecloudtechnology/nanosohbet) kapsamında, sıfırdan model
+> eğitimi senaryosu için Türkçe'ye özel bir BPE tokenizer eğittik ve 14 tokenizer'la
+> karşılaştırdık. Bu Türkçe tokenizer aynı Türkçe metni GPT-4'ün yaklaşık yarısı kadar
+> token'a böler (kelime başına 1,51'e karşı 3,01). **Bu tokenizer araştırma amaçlıdır ve
+> Erk-14B'de kullanılmamaktadır** — nanosohbet reçetesiyle sıfırdan model eğitmek isteyenler
+> içindir. Ayrıntı: [nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results).
 
 ### Erk'i ayıran üç ilke
 
-**1. Kökünden Türkçe.** Kapsaml�� Türkçe sürekli ön-eğitim ve Türkçe'ye özel geliştirme
-sürecimizle, dilin kendi yapısını temelden anlayan bir dil sezgisi.
+**1. Derinlemesine Türkçe.** Kapsamlı Türkçe sürekli ön-eğitim ve Türkçe'ye özel geliştirme
+sürecimizle, temel modelin Türkçe yetkinliğini belirgin biçimde ileri taşıyan bir dil sezgisi.
 
 **2. Gerçek bilgiyle beslendi.** Erk yalnızca genel sohbetle değil; gerçek hukuki
 belgeler, otoriter akademik kaynaklar, doğrulanmış güncel olaylar ve gerçek kullanıcı
@@ -212,7 +204,7 @@ büyük kapasite, daha derin muhakeme ve alan uzmanlığı hedefleniyor.
 
 ```bibtex
 @misc{erk2026,
-  title  = {Erk: Türkçe için sıfırdan geliştirilmiş yapay zekâ modeli},
+  title  = {Erk: Türkçe için geliştirilmiş yapay zekâ modeli (Qwen3-14B tabanlı)},
   author = {eCloud Yazılım Teknolojileri},
   year   = {2026},
   url    = {https://huggingface.co/ecloudtech/Erk-14B}
@@ -225,19 +217,23 @@ büyük kapasite, daha derin muhakeme ve alan uzmanlığı hedefleniyor.
 
 ### What is Erk?
 
-**Erk** is a **14-billion-parameter, Turkish-native** large language model developed by
+**Erk** is a **14-billion-parameter, Turkish-focused** large language model developed by
 [eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr).
 
+> **Base model & transparency.** Erk is built on the open-source
+> **[Qwen/Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)**; the architecture, tokenizer
+> and chat format come from that base. eCloud's contribution is the **Turkish development
+> pipeline** layered on top: extensive Turkish continued pretraining and instruction tuning
+> (SFT) grounded in real documents. Like most strong Turkish models (Trendyol → Llama,
+> Turkish-Gemma → Gemma), we start from a capable open base — the value we add is the
+> Turkish-specific training, and we proved it by lifting the base from **63.4% to 69.7%**
+> on TurkishMMLU.
+
 Almost every AI model used for Turkish today was designed for English, with Turkish
 taught to it afterward. Every Turkish user pays the price: the model doesn't understand
 Turkish's agglutinative structure, over-splits words, and runs slower and more expensively.
-
-Erk takes a different path. We built it on a strong open base model, through a
-**Turkish training pipeline we created from scratch**: a from-scratch Turkish corpus,
-extensive Turkish continued pretraining, and instruction tuning grounded in real
-documents. Like most strong Turkish models, we started from a capable open base — the
-value we add is the Turkish-specific development, and we proved it by surpassing that
-base on TurkishMMLU.
+Erk's Turkish pipeline targets exactly this: extensive Turkish continued pretraining and
+instruction tuning that move the base model meaningfully forward in Turkish.
 
 ### Evaluation
 
@@ -247,7 +243,7 @@ Erk is **the best of the open Turkish models tested.**
 | Rank | Model | Size | TurkishMMLU |
 |:--:|:---|:--:|:--:|
 | | **Erk** | **14B** | **69.7%** |
-| | Qwen3 | 14B | 63.4% |
+| | Qwen3-14B *(base model)* | 14B | 63.4% |
 | | Trendyol Asure | 12B | 60.9% |
 | 4 | Turkish-Gemma | 9B | 60.4% |
 | 5 | Trendyol v4 | 7B | 53.0% |
@@ -257,23 +253,18 @@ Strongest subjects: **Geography 85% · Philosophy 85% · Religion & Ethics 83%
 History 76%.** All results measured with `lm-evaluation-harness` on the public
 TurkishMMLU test set, 0-shot, with every model evaluated under identical conditions.
 
-### Turkish tokenization research
-
-Turkish is agglutinative — dozens of suffixes attach to a single root. English-centric
-tokenizers over-split Turkish. As part of our open recipe
-[nanosohbet](https://github.com/ecloudtechnology/nanosohbet), we trained a Turkish-native
-tokenizer and compared 14 tokenizers: ours splits the same Turkish text into **half the
-tokens of GPT-4** and beats every tokenizer tested.
+### About the tokenizer
 
-| Tokenizer | Tokens per word (Turkish) | Relative cost |
-|:---|:---:|:---:|
-| **Turkish-native (nanosohbet)** | **1.51** | **1.00×** |
-| GPT-4o | 2.26 | 1.50× |
-| GPT-4 | 3.01 | **1.99×** |
-| Kimi K2 | 3.07 | 2.03× |
+Erk uses the tokenizer of its base model, **Qwen3-14B** (ChatML format, ~152K vocab),
+preserving full compatibility with the base.
 
-Full comparison:
-[nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results).
+> **Note — separate research:** As part of our open recipe
+> [nanosohbet](https://github.com/ecloudtechnology/nanosohbet), we trained a Turkish-specific
+> BPE tokenizer for the *train-from-scratch* scenario and compared 14 tokenizers: it splits
+> the same Turkish text into about half the tokens of GPT-4 (1.51 vs 3.01 per word).
+> **This tokenizer is research-only and is not used in Erk-14B** — it is for people training
+> their own Turkish model from scratch with the nanosohbet recipe. Details:
+> [nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results).
 
 ### Usage