Instructions to use veripazari/Kumru-2B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use veripazari/Kumru-2B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="veripazari/Kumru-2B") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("veripazari/Kumru-2B") model = AutoModelForCausalLM.from_pretrained("veripazari/Kumru-2B", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use veripazari/Kumru-2B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "veripazari/Kumru-2B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "veripazari/Kumru-2B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/veripazari/Kumru-2B
- SGLang
How to use veripazari/Kumru-2B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "veripazari/Kumru-2B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "veripazari/Kumru-2B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "veripazari/Kumru-2B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "veripazari/Kumru-2B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use veripazari/Kumru-2B with Docker Model Runner:
docker model run hf.co/veripazari/Kumru-2B
Not: Bu model orijinal olarak vngrs-ai tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.
🔗 Orijinal Kaynak: vngrs-ai/Kumru-2B 🔗 Derleyen Platform: VeriPazarı
Model Bilgisi
Kumru-2B, VNGRS tarafından Türkçe için sıfırdan geliştirilen Kumru LLM'in hafif ve açık kaynaklı sürümüdür.
- 500 GB'lık temizlenmiş ve tekilleştirilmiş bir veri kümesi üzerinde 300B token ile ön eğitilmiş ve 1M örnek ile denetimli ince ayar (supervised fine-tuning) yapılmıştır.
- Kod, matematik ve sohbet şablonlarını destekleyen, Türkçe için özel olarak geliştirilmiş modern bir tokenizer ile birlikte gelir.
- Kumru, varsayılan olarak 8.192 token'lık yerel bir bağlam uzunluğuna (context length) sahiptir.
- Bu, talimat odaklı ince ayar yapılmış (instruct fine-tuned) sürümdür.
- Ön eğitilmiş temel (Base) sürümüne buradan ulaşabilirsiniz.
7B sürümünün demosunu buradan deneyebilirsiniz.
Kullanım
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "vngrs-ai/Kumru-2B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
def generate_response(query):
messages = [
{'role': 'system', 'content': 'Adın Kumru. VNGRS tarafından Türkçe için sıfırdan eğitilmiş bir dil modelisin.'},
{'role': 'user', 'content': query}
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors='pt', add_generation_prompt=True).to(model.device)
model_outputs = model.generate(model_inputs, max_new_tokens=512, do_sample=True, top_p=0.9, temperature=0.7, repetition_penalty=1.1)
output_tokens = model_outputs[0].cpu().detach().numpy().tolist()
generated_tokens = output_tokens[model_inputs[0].shape[0]:]
response = tokenizer.decode(generated_tokens, skip_special_tokens=True)
return response
query = "Efes antik kentinin önemi nedir?"
response = generate_response(query)
print(response)
Değerlendirme Sonuçları
Hem Kumru-7B hem de Kumru-2B, Cetvel kıyaslama (benchmark) seti üzerinde değerlendirilmiştir.
Kumru'nun genel olarak LLaMA-3.3–70B, Gemma-3–27B, Qwen-2–72B ve Aya-32B gibi çok daha büyük modelleri önemli ölçüde geride bıraktığını gözlemliyoruz. Dil bilgisi düzeltme ve metin özetleme gibi Türkçe dilinin inceliklerini gerektiren görevlerde üstün başarı göstermektedir.
Tokenizer Verimliliği
Kumru tokenizer; 50.176'lık kelime dağarcığı boyutu, ön-tokenizasyon (pre-tokenization) regex yapısı ve sohbet şablonu içeren modern bir BPE tokenizer'dır.
Diğer açık kaynaklı modeller, daha büyük kelime dağarcığı boyutlarına sahip olmalarına rağmen Kumru'dan %38 ile %98 arasında daha fazla token harcamaktadır. Bu, Kumru'nun bağlam uzunluğu içerisinde daha fazla metni temsil edebildiği, daha hızlı ve daha düşük maliyetle işlem yapabildiği anlamına gelir. Kumru'nun yerel bağlam uzunluğu 8.192 olsa da, piyasadaki diğer çok dilli modellerle karşılaştırıldığında efektif bağlam uzunluğunun 11.280 ile 16.180 arasında olduğu düşünülebilir. Bu durum, yerel bir Türkçe tokenizer'a sahip olmanın temsil gücü, hız ve maliyet açısından verimliliğini kanıtlamaktadır.
Atıf
@misc{turker2025kumru,
title={Kumru},
author={Turker, Meliksah and Ari, Erdi and Han, Aydin},
year={2025},
url={https://huggingface.co/vngrs-ai/Kumru-2B}
}
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.
- Downloads last month
- 45


