Instructions to use Akdenizz/Kumru-Coder-Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Akdenizz/Kumru-Coder-Base with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Akdenizz/Kumru-Coder-Base") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Akdenizz/Kumru-Coder-Base") model = AutoModelForCausalLM.from_pretrained("Akdenizz/Kumru-Coder-Base", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Akdenizz/Kumru-Coder-Base with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Akdenizz/Kumru-Coder-Base" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Akdenizz/Kumru-Coder-Base", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Akdenizz/Kumru-Coder-Base
- SGLang
How to use Akdenizz/Kumru-Coder-Base with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Akdenizz/Kumru-Coder-Base" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Akdenizz/Kumru-Coder-Base", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Akdenizz/Kumru-Coder-Base" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Akdenizz/Kumru-Coder-Base", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Akdenizz/Kumru-Coder-Base with Docker Model Runner:
docker model run hf.co/Akdenizz/Kumru-Coder-Base
# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Akdenizz/Kumru-Coder-Base")
model = AutoModelForCausalLM.from_pretrained("Akdenizz/Kumru-Coder-Base", device_map="auto")
messages = [
{"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))Bu model, Türkçe'nin dil yapısını derinlemesine anlayabilen Kumru-2B mimarisi üzerine inşa edilmiş, Python programlama diline odaklanmış özel bir ince ayar çalışmasıdır. Amacımız, hem Türkçe hem İngilizce talimatları anlayabilen, hafif yapısıyla kişisel bilgisayarlarda bile çalışabilen, açık kaynak bir kod asistanı sunmaktı. Projeyi geliştirirken önceliğimiz erişilebilirlik oldu. Büyük modellerin 70B parametre gibi donanım gereksinimleri çoğu geliştirici için ulaşılmazken, bu 2 milyar parametreli model Tesla T4 gibi giriş seviyesi GPU'larda bile sorunsuz çalışabiliyor. Böylece öğrenciler, bağımsız geliştiriciler ve küçük ekipler de yapay zeka destekli kodlama imkanından faydalanabiliyor. Teknik Mimari ve Tasarım Kararları: Neden LoRA yöntemini seçtik? Modeli eğitirken tam parametre güncellemesi yerine QLoRA yöntemini tercih ettik. Bunun temel nedeni donanım verimliliği oldu. Kumru-2B'nin 2 milyar parametresinin tamamını 32-bit hassasiyetle eğitmek yaklaşık 40-48 GB VRAM gerektirirken, 4-bit kuantizasyon ve LoRA adaptörleri sayesinde bu değeri yaklaşık 10-12 GB'a indirdik. Böylece Google Colab'ın ücretsiz T4 instance'larında bile eğitim yapabilme imkanı doğdu. LoRA'nın rank değerini 16, alpha değerini ise 32 olarak belirledik. Bu denge, modelin öğrenme kapasitesi ile hesaplama maliyeti arasındaki sweet spot oldu. Hedeflediğimiz tüm katmanlara yani attention ve feed-forward katmanlarına adaptörleri uygulayarak maksimum öğrenme esnekliği sağladık. Veri Seti Seçimi ve Hazırlığı: Eğitim verisi olarak CodeAlpaca-20k koleksiyonundan özenle seçilmiş 5,700 Python örneği kullandık. Neden sadece Python? Çünkü dil sayısını artırmak yerine tek bir dilde derinlemesine uzmanlaşmayı hedefledik. Her şeyin birazını bilen bir model yerine, Python'u iyi bilen bir model oluşturmak istedik. Veri temizliği aşamasında şu kriterleri uyguladık: İnstruction-completion çiftleri eksik olan örnekleri çıkardık. Çok karmaşık yani 500 satırdan uzun kodları filtreledik. Pratik kullanımda daha az hata yapmasını sağlamak için orta karmaşıklıkta örnekleri tuttuk. Alpaca formatına dönüştürerek tutarlı bir prompt yapısı sağladık. Veri formatımız şu şekilde yapılandırıldı: Üç diyez işaretiyle başlayan Talimat başlığı altında git yapmak istediği işlemin doğal dilde tanımı yer alıyor. Ardından üç diyez işaretiyle Kod başlığı altında Python kodu geliyor. Optimizasyon Stratejisi: Eğitim sürecinde karşılaştığımız en büyük zorluk bellek yönetimi oldu. Gradient checkpointing aktif hale getirerek hesaplama-bellek takası yaptık. Page AdamW 8-bit optimizör kullanarak optimizer durumlarının bellekte kapladığı alanı yüzde 75 oranında azalttık. Öğrenme oranını 0.0002 olarak belirledik. Bu değer, 4-bit kuantize modeller için literatürde önerilen üst sınırdadır. Cosine schedule ile learning rate'i warmup sonrası yumuşak bir şekilde düşürerek modelin lokal minimumlara takılmasını engelledik. Eğitim Sürecinin Detayları: Eğitimi tek bir epoch üzerinden gerçekleştirdik. Daha fazla epoch denedik ancak overfitting riski belirdiği için 712 adımda durmayı uygun gördük. Bunu hesaplarken 5,700 örneği 8 gradient accumulation step'e böldük. Her 50 adımda bir checkpoint alarak olası donanım arızalarına karşı sigorta yaptık. Donanım ortamımız şöyleydi: NVIDIA Tesla T4 PCIe 16GB GPU kullandık. Süre yaklaşık 1 saat 37 dakika sürdü. Batch size 1 olarak ayarladık ancak gradient accumulation step'ini 8 yaptık. Max sequence length 1024 token olarak belirledik. Eğitim curve'ü incelendiğinde, loss değeri ilk adımlarda 0.80 civarında başladı ve 700. adıma kadar düşüş trendini sürdürerek 0.66 seviyelerine kadar geriledi. Bu dalgalanma normal kabul edilebilir. Kod üretim modellerinde loss'un sabit bir düşüş yerine dalgalı seyretmesi, modelin çeşitli kod kalıplarını öğrenmeye çalıştığının işareti. Kullanım Senaryoları ve Kapasite: Bu model özellikle şu senaryolar için optimize edilmiştir: Birincisi eğitim ve öğrenme. Programlamaya yeni başlayan öğrencilerin bu problemini nasıl çözebilirim sorusuna örnek kodlar üreterek öğrenme sürecini hızlandırma. İkincisi hızlı prototipleme. Bir fikri hızla kodlamak isteyen geliştiriciler için boilerplate kod üretimi. Örneğin bir CSV dosyasını okuyup pandas ile filtreleyen script yaz gibi talimatlarla zaman kazandırma. Üçüncüsü kod tamamlama. IDE veya editör entegrasyonları ile geliştiriciye öneriler sunma. Modelin 2B parametreli hafif yapısı, yerel makinelerde bile saniyeler içinde yanıt üretebilmesini sağlıyor. Dördüncüsü Türkçe dokümantasyon. Türkçe açıklamaları olan kod örnekleri üretebilme kapasitesi, dilimizde programlama eğitimi veren kurumlar için avantaj sağlıyor. Performans Karakteristiği ve Sınırlamalar: Modelin yeteneklerini test ederken şu gözlemleri yaptık: Güçlü yönleri arasında temel Python sözdizimi ve standart kütüphane kullanımında oldukça başarılı olması yer alıyor. Liste comprehension, fonksiyon tanımlama, dosya IO gibi temel yapıları doğru üretme yeteneği var. Türkçe ve İngilizce karışık talimatları anlayabiliyor yani code-switching yapabiliyor. Dikkat edilmesi gereken noktalar: Model 2 milyar parametre ile sınırlıdır. Bu nedenle çok karmaşık algoritmalar örneğin ağır graf teorisi problemleri, karmaşık matematiksel optimizasyonlar konusunda tutarsız sonuçlar verebilir. Üçüncü parti kütüphanelerin ileri seviye API'lerinde hata yapabilir, temel kullanımlarında daha başarılıdır. Üretilen kodların her zaman çalışacağı garantisi yoktur, mutlaka test edilmelidir. Güvenlik açısından, kullanıcı girdilerini işleyen kodlarda SQL injection, path traversal gibi riskler oluşabilir. Üretilen kodlar üretim ortamına alınmadan önce gözden geçirilmelidir. Kurulum ve Kullanım Rehberi: Modeli kullanmak için transformers kütüphanesi yeterlidir. GPU şart değil, CPU üzerinde de çalışır ancak yavaş olur. Temel kullanım şöyle: Önce transformers kütüphanesinden AutoModelForCausalLM ve AutoTokenizer'ı import ediyorsunuz. Torch kütüphanesini de import edin. Model ID'nizi tanımlayın. Tokenizer'ı from_pretrained metoduyla yükleyin, trust_remote_code'u True yapmayı unutmayın. Modeli de aynı şekilde yükleyin, torch_dtype olarak float16 belirtin ve device_map'ı auto yapın. Prompt'unuzu hazırlarken üç diyez işaretiyle Talimat yazın, altına yapmak istediğinizi açıklayın, sonra üç diyez işaretiyle Kod yazın ve altına boş bırakın. Tokenizer ile prompt'u tensor'e çevirin ve modelin device'ına gönderin. Model generate metoduyla çıktı üretsin. Max_new_tokens 150 civarında iyi çalışıyor, temperature 0.7 ve do_sample True yapın. Sonucu decode edip yazdırın. Düşük bellekli sistemler için 4-bit kullanım: BitsAndBytesConfig import edin. Load_in_4bit True yapın, bnb_4bit_compute_dtype'ı torch.float16 yapın. Modeli yüklerken quantization_config olarak bu ayarları verin. Geliştirme Yol Haritası ve Katkı: Bu model Base yani temel sürümdür. Gelecekte planlanan iyileştirmeler arasında HTML CSS gibi web teknolojilerinin eklenmesi var. Daha büyük ve çeşitli Python kod veri setleri ile devam eğitimi yani continual pre-training yapılacak. Kod çalıştırma ve geri bildirim döngüsü ile pekiştirmeli öğrenme uygulanacak. IDE eklentileri ve API servisi olarak kullanıma sunulması planlanıyor. Projeye katkıda bulunmak isterseniz, model üzerinde kendi veri setlerinizle ince ayar yaparak pull request gönderebilir veya hata raporları ile gelişimine destek olabilirsiniz. Lisans ve Etik Kullanım Bu model Apache 2.0 lisansı altında açık kaynak olarak sunulmaktadır. Ticari ve akademik kullanıma uygundur. Ancak üretilen kodların sorumluluğu kullanıcıya aittir. Özellikle şunlara dikkat edilmelidir: Üretilen kodların güvenlik açısından denetlenmesi gerekir. Kişisel veri içeren prompt'larla kullanım sırasında dikkatli olunmalıdır. Modelin üretebileceği zararlı kodların filtrelenmesi kullanıcının sorumluluğundadır. Teşekkür: Bu model VNGRS AI ekibinin geliştirdiği Kumru-2B modeli üzerine inşa edilmiştir. Ayrıca HuggingFace ekibine peft ve transformers kütüphaneleri için, CodeAlpaca veri setini toplayan topluluğa katkılarından dolayı teşekkür ederiz.
- Downloads last month
- 2
Model tree for Akdenizz/Kumru-Coder-Base
Base model
vngrs/Kumru-2B
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Akdenizz/Kumru-Coder-Base") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)