drkkahraman/cokertme3_0.2b

TCYZ Cokertme-3 (0.2B)

TCYZ (Türkiye Cumhuriyeti Yapay Zeka) projesinin bir parçası olan Cokertme-3, 208 milyon parametrelik, hafif ama yetenekli bir Türkçe dil modelidir. Doruk Kahraman tarafından geliştirilen bu model, özellikle düşük donanımlı cihazlarda ve yerel sistemlerde yüksek performans göstermesi için optimize edilmiştir.

🚀 Model Detayları

• Geliştiren: Doruk Kahraman (TED Bodrum Koleji)
• Model Tipi: Llama tabanlı Causal Language Model
• Parametre Sayısı: 208.66M
• Eğitim Verisi: Özel olarak temizlenmiş ve zenginleştirilmiş Türkçe veri seti
• Hassasiyet (Precision): FP16 (Eğitim sırasında Mixed Precision kullanılmıştır)
• Kontekst Uzunluğu: 2048 Token

🛠️ Teknik Mimari

Model, aşağıdaki hiper-parametreler ile sıfırdan inşa edilmiştir:

• Layers: 8
• Attention Heads: 8
• Hidden Size: 2048
• Intermediate Size: 1376
• Vocabulary Size: 5000 (ByteLevelBPE)

💻 Kullanım (Inference)

Bu modeli Hugging Face transformers kütüphanesi ile şu şekilde kullanabilirsiniz:

from transformers import LlamaForCausalLM, GPT2TokenizerFast

model_id = "TCYZ/cokertme3" # Kendi kullanıcı adınla değiştir
tokenizer = GPT2TokenizerFast.from_pretrained(model_id)
model = LlamaForCausalLM.from_pretrained(model_id)

prompt = "Merhaba, nasılsın?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))