Seffaflik: temel modeli (Qwen3-14B) acikca belirt; sifirdan/tokenizer iddialarini duzelt
576e3c8 verified | language: | |
| - tr | |
| license: other | |
| license_name: ecloud-open-community-license | |
| license_link: LICENSE | |
| library_name: transformers | |
| pipeline_tag: text-generation | |
| base_model: Qwen/Qwen3-14B | |
| tags: | |
| - turkish | |
| - türkçe | |
| - erk | |
| - ecloud | |
| - llm | |
| - conversational | |
| - text-generation-inference | |
| model-index: | |
| - name: Erk-14B | |
| results: | |
| - task: | |
| type: text-generation | |
| dataset: | |
| name: TurkishMMLU | |
| type: turkishmmlu | |
| metrics: | |
| - type: accuracy | |
| value: 69.7 | |
| name: TurkishMMLU (0-shot, 9 ders ortalaması) | |
| <div align="center"> | |
| # Erk | |
| ### Türkçe için geliştirilmiş yapay zekâ modeli | |
| *Dünya modelleri Türkçe'yi yabancı bir dil gibi harf harf söker.* | |
| **Erk, dilin kökünü ve eklerini bir bütün olarak anlar.** | |
| <br> | |
| [](https://huggingface.co/ecloudtech/Erk-14B) | |
| [](degerlendirme/turkishmmlu.md) | |
| [](#) | |
| **Açık Türkçe modeller arasında TurkishMMLU birincisi** | |
| [Modeli indir (🤗)](https://huggingface.co/ecloudtech/Erk-14B) · [Türkçe](#türkçe) · [English](#english) · [eCloud Tech.](https://www.e-cloud.web.tr) | |
| </div> | |
| --- | |
| ## Türkçe | |
| ### Erk nedir? | |
| **Erk**, [eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr) tarafından | |
| geliştirilen, **14 milyar parametreli**, Türkçe odaklı bir büyük dil modelidir. | |
| > **Temel model ve şeffaflık.** Erk, açık kaynaklı **[Qwen/Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)** | |
| > temel alınarak geliştirilmiştir; mimari, tokenizer ve sohbet formatı bu temelden gelir. | |
| > eCloud'un kattığı değer, bunun üzerine kurduğumuz **Türkçe geliştirme hattıdır**: kapsamlı | |
| > Türkçe sürekli ön-eğitim (continued pretraining) ve gerçek belgelerle talimat ayarı (SFT). | |
| > Sektördeki güçlü Türkçe modellerin çoğu gibi (Trendyol → Llama, Turkish-Gemma → Gemma) biz de | |
| > güçlü bir açık temelden yola çıktık; asıl farkı katan Türkçe'ye özel eğitim sürecimizdir — ve | |
| > TurkishMMLU'da temel modeli **%63,4'ten %69,7'ye** çıkararak bunu kanıtladık. | |
| Bugün Türkçe kullanan yapay zekâ modellerinin çoğu İngilizce için tasarlandı ve Türkçe'ye | |
| sonradan uyarlandı. Erk'in Türkçe geliştirme hattı ise Türkçe önceliklidir: kapsamlı Türkçe | |
| sürekli ön-eğitim ve gerçek belgelerle beslenen talimat ayarıyla, temel modeli Türkçe'de | |
| belirgin biçimde ileri taşır. | |
| ### Değerlendirme — Evaluation | |
| Erk, bağımsız ve kamuya açık **TurkishMMLU** kıyaslamasında (9 ders, 0-shot doğruluk) | |
| test edilen açık Türkçe modellerin **en iyisidir.** | |
| | Sıra | Model | Ölçek | TurkishMMLU | | |
| |:--:|:---|:--:|:--:| | |
| | | **Erk** | **14B** | **%69,7** | | |
| | | Qwen3-14B *(temel model)* | 14B | %63,4 | | |
| | | Trendyol Asure | 12B | %60,9 | | |
| | 4 | Turkish-Gemma (YTÜ) | 9B | %60,4 | | |
| | 5 | Trendyol v4 | 7B | %53,0 | | |
| | 6 | Kumru (VNGRS) | 2B | %20,1 | | |
| **Ders bazında Erk:** | |
| | Ders | Doğruluk | | Ders | Doğruluk | | |
| |:---|:--:|:--:|:---|:--:| | |
| | Coğrafya | %85 | | Fizik | %62 | | |
| | Felsefe | %85 | | Kimya | %61 | | |
| | Din ve Ahlak | %83 | | Türk Dili ve Edebiyatı | %64 | | |
| | Tarih | %76 | | Matematik | %40 | | |
| | Biyoloji | %71 | | | | | |
| > **Metodoloji:** Tüm sonuçlar `lm-evaluation-harness` ile, bağımsız ve kamuya açık | |
| > TurkishMMLU test setinde, 0-shot koşulunda ölçülmüştür. Karşılaştırılan tüm modeller | |
| > aynı koşullarda değerlendirilmiş ve şeffaf biçimde birlikte raporlanmıştır. | |
| Tüm ders skorları ve metodoloji: [`degerlendirme/turkishmmlu.md`](degerlendirme/turkishmmlu.md) | |
| ### Tokenizer hakkında | |
| Erk, temel model **Qwen3-14B'nin tokenizer'ını** kullanır (ChatML formatı, ~152K sözlük). | |
| Bu, temel modelle tam uyumu korur. | |
| > **Not — ayrı bir araştırma:** Açık eğitim reçetemiz | |
| > [nanosohbet](https://github.com/ecloudtechnology/nanosohbet) kapsamında, sıfırdan model | |
| > eğitimi senaryosu için Türkçe'ye özel bir BPE tokenizer eğittik ve 14 tokenizer'la | |
| > karşılaştırdık. Bu Türkçe tokenizer aynı Türkçe metni GPT-4'ün yaklaşık yarısı kadar | |
| > token'a böler (kelime başına 1,51'e karşı 3,01). **Bu tokenizer araştırma amaçlıdır ve | |
| > Erk-14B'de kullanılmamaktadır** — nanosohbet reçetesiyle sıfırdan model eğitmek isteyenler | |
| > içindir. Ayrıntı: [nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results). | |
| ### Erk'i ayıran üç ilke | |
| **1. Derinlemesine Türkçe.** Kapsamlı Türkçe sürekli ön-eğitim ve Türkçe'ye özel geliştirme | |
| sürecimizle, temel modelin Türkçe yetkinliğini belirgin biçimde ileri taşıyan bir dil sezgisi. | |
| **2. Gerçek bilgiyle beslendi.** Erk yalnızca genel sohbetle değil; gerçek hukuki | |
| belgeler, otoriter akademik kaynaklar, doğrulanmış güncel olaylar ve gerçek kullanıcı | |
| konuşmalarıyla eğitildi. Bu yaklaşım, modelin uydurmaya (halüsinasyon) eğilimini azaltır | |
| ve yanlış öncülleri reddetme yeteneği kazandırır. | |
| **3. Açık ve tekrarlanabilir.** Erk'i doğuran eğitim reçetesinin her adımı — | |
| tokenizer'dan ön-eğitime, talimat ayarına— [nanosohbet](https://github.com/ecloudtechnology/nanosohbet) | |
| deposunda açıktır. İsteyen inceler, isteyen kendi Türkçe modelini eğitir. | |
| ### Kullanım | |
| ```python | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| tokenizer = AutoTokenizer.from_pretrained("ecloudtech/Erk-14B", trust_remote_code=True) | |
| model = AutoModelForCausalLM.from_pretrained( | |
| "ecloudtech/Erk-14B", | |
| trust_remote_code=True, | |
| device_map="auto", | |
| torch_dtype="auto", | |
| ) | |
| mesajlar = [ | |
| {"role": "user", "content": "Osmanlı Devleti'nin kuruluşunu kısaca anlatır mısın?"} | |
| ] | |
| metin = tokenizer.apply_chat_template(mesajlar, tokenize=False, add_generation_prompt=True) | |
| girdi = tokenizer(metin, return_tensors="pt").to(model.device) | |
| cikti = model.generate(**girdi, max_new_tokens=512, temperature=0.6, top_p=0.9) | |
| print(tokenizer.decode(cikti[0][girdi.input_ids.shape[1]:], skip_special_tokens=True)) | |
| ``` | |
| ### Örnek yetenekler | |
| Erk, yalnızca akıcı Türkçe üretmekle kalmaz; **yanlış öncülleri reddeder**: | |
| > **Kullanıcı:** Fatih İstanbul'u fethederken Toyota marka araçla mı gitti? | |
| > | |
| > **Erk:** Hayır. Fatih Sultan Mehmet İstanbul'u 1453'te fethetti; Toyota ise 1937'de | |
| > Japonya'da kurulan bir otomobil markasıdır ve o dönemde henüz yoktu. Bu nedenle soru | |
| > tarihî gerçeklerle örtüşmemektedir. | |
| ### Model kartı | |
| | Özellik | Değer | | |
| |:---|:---| | |
| | Geliştirici | eCloud Yazılım Teknolojileri | | |
| | Model tipi | Nedensel dil modeli (decoder-only) | | |
| | Parametre | 14 milyar | | |
| | Dil | Türkçe | | |
| | Bağlam uzunluğu | 32.768 token | | |
| | Bilgi kesim tarihi | Ağustos 2026 | | |
| | Sohbet formatı | ChatML | | |
| | Kesinlik | bfloat16 | | |
| | TurkishMMLU | **%69,7** (açık Türkçe modellerde 1.) | | |
| | Lisans | [eCloud Açık Topluluk Lisansı](https://huggingface.co/ecloudtech/Erk-14B/blob/main/LICENSE) | | |
| ### Sınırlamalar | |
| Erk güçlü bir Türkçe modelidir; ancak her dil modeli gibi sınırları vardır: | |
| - **Matematik ve sayısal muhakeme** en zayıf olduğu alandır (%40). Karmaşık hesaplama | |
| gerektiren görevlerde çıktıları doğrulayın. | |
| - Çok spesifik, güncel olaylara dair ayrıntılarda hata yapabilir. | |
| - Bilgi kesim tarihi Ağustos 2026'dır; sonraki gelişmeleri bilmez. | |
| - Üretilen içerik olgusal olarak yanlış olabilir; kritik kullanımlarda doğrulama gerekir. | |
| ### Lisans ve ticari kullanım | |
| Erk **açık kaynaklıdır**: herkes indirebilir, çalıştırabilir, inceleyebilir ve üzerine | |
| türev çalışmalar (ince ayar, uyarlama) geliştirebilir. | |
| **Ticari kullanım** — Erk'in veya türevlerinin bir ürün, hizmet ya da gelir getirici | |
| faaliyette kullanılması — eCloud Yazılım Teknolojileri'nden yazılı izin gerektirir. | |
| Ticari kullanım ve iş birliği: **info@e-cloud.web.tr** | |
| ### Sırada: Erk-32B | |
| Erk'in genişletilmiş ölçekli sürümü **Erk-32B** üzerindeki çalışmalar başlıyor. Daha | |
| büyük kapasite, daha derin muhakeme ve alan uzmanlığı hedefleniyor. | |
| ### Atıf | |
| ```bibtex | |
| @misc{erk2026, | |
| title = {Erk: Türkçe için geliştirilmiş yapay zekâ modeli (Qwen3-14B tabanlı)}, | |
| author = {eCloud Yazılım Teknolojileri}, | |
| year = {2026}, | |
| url = {https://huggingface.co/ecloudtech/Erk-14B} | |
| } | |
| ``` | |
| --- | |
| ## English | |
| ### What is Erk? | |
| **Erk** is a **14-billion-parameter, Turkish-focused** large language model developed by | |
| [eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr). | |
| > **Base model & transparency.** Erk is built on the open-source | |
| > **[Qwen/Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)**; the architecture, tokenizer | |
| > and chat format come from that base. eCloud's contribution is the **Turkish development | |
| > pipeline** layered on top: extensive Turkish continued pretraining and instruction tuning | |
| > (SFT) grounded in real documents. Like most strong Turkish models (Trendyol → Llama, | |
| > Turkish-Gemma → Gemma), we start from a capable open base — the value we add is the | |
| > Turkish-specific training, and we proved it by lifting the base from **63.4% to 69.7%** | |
| > on TurkishMMLU. | |
| Almost every AI model used for Turkish today was designed for English, with Turkish | |
| taught to it afterward. Every Turkish user pays the price: the model doesn't understand | |
| Turkish's agglutinative structure, over-splits words, and runs slower and more expensively. | |
| Erk's Turkish pipeline targets exactly this: extensive Turkish continued pretraining and | |
| instruction tuning that move the base model meaningfully forward in Turkish. | |
| ### Evaluation | |
| On the independent, public **TurkishMMLU** benchmark (9 subjects, 0-shot accuracy), | |
| Erk is **the best of the open Turkish models tested.** | |
| | Rank | Model | Size | TurkishMMLU | | |
| |:--:|:---|:--:|:--:| | |
| | | **Erk** | **14B** | **69.7%** | | |
| | | Qwen3-14B *(base model)* | 14B | 63.4% | | |
| | | Trendyol Asure | 12B | 60.9% | | |
| | 4 | Turkish-Gemma | 9B | 60.4% | | |
| | 5 | Trendyol v4 | 7B | 53.0% | | |
| | 6 | Kumru | 2B | 20.1% | | |
| Strongest subjects: **Geography 85% · Philosophy 85% · Religion & Ethics 83% · | |
| History 76%.** All results measured with `lm-evaluation-harness` on the public | |
| TurkishMMLU test set, 0-shot, with every model evaluated under identical conditions. | |
| ### About the tokenizer | |
| Erk uses the tokenizer of its base model, **Qwen3-14B** (ChatML format, ~152K vocab), | |
| preserving full compatibility with the base. | |
| > **Note — separate research:** As part of our open recipe | |
| > [nanosohbet](https://github.com/ecloudtechnology/nanosohbet), we trained a Turkish-specific | |
| > BPE tokenizer for the *train-from-scratch* scenario and compared 14 tokenizers: it splits | |
| > the same Turkish text into about half the tokens of GPT-4 (1.51 vs 3.01 per word). | |
| > **This tokenizer is research-only and is not used in Erk-14B** — it is for people training | |
| > their own Turkish model from scratch with the nanosohbet recipe. Details: | |
| > [nanosohbet/results](https://github.com/ecloudtechnology/nanosohbet/tree/main/results). | |
| ### Usage | |
| ```python | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| tokenizer = AutoTokenizer.from_pretrained("ecloudtech/Erk-14B", trust_remote_code=True) | |
| model = AutoModelForCausalLM.from_pretrained( | |
| "ecloudtech/Erk-14B", trust_remote_code=True, device_map="auto", torch_dtype="auto" | |
| ) | |
| messages = [{"role": "user", "content": "Explain the founding of the Ottoman Empire in Turkish."}] | |
| text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) | |
| inputs = tokenizer(text, return_tensors="pt").to(model.device) | |
| out = model.generate(**inputs, max_new_tokens=512, temperature=0.6, top_p=0.9) | |
| print(tokenizer.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)) | |
| ``` | |
| ### Model details | |
| | Property | Value | | |
| |:---|:---| | |
| | Developer | eCloud Yazılım Teknolojileri | | |
| | Type | Causal decoder-only LM | | |
| | Parameters | 14 billion | | |
| | Language | Turkish | | |
| | Context length | 32,768 tokens | | |
| | Knowledge cutoff | August 2026 | | |
| | Chat format | ChatML | | |
| | Precision | bfloat16 | | |
| | License | eCloud Open Community License | | |
| ### Limitations | |
| - **Mathematics and numerical reasoning** is the weakest area (40%). Verify outputs on | |
| computation-heavy tasks. | |
| - May err on very specific, recent factual details. Knowledge cutoff is August 2026. | |
| - Generated content can be factually incorrect; verify for critical use. | |
| ### License & commercial use | |
| Erk is **open source**: anyone may download, run, study and build derivatives. | |
| **Commercial use** requires written permission from eCloud Yazılım Teknolojileri. | |
| Commercial use & partnerships: **info@e-cloud.web.tr** | |
| The full training recipe is open at | |
| [nanosohbet](https://github.com/ecloudtechnology/nanosohbet). | |
| --- | |
| <div align="center"> | |
| Bir **[eCloud Yazılım Teknolojileri](https://www.e-cloud.web.tr)** projesidir. | |
| <br> | |
| *Yerli zekâ, küresel ölçek.* | |
| </div> | |