| | --- |
| | pipeline_tag: text-generation |
| | language: |
| | - tr |
| | - en |
| | tags: |
| | - llama |
| | - text-generation |
| | - custom-model |
| | - pre-trained |
| | license: apache-2.0 |
| | --- |
| | |
| | # SykoLLM-V4.4 |
| |
|
| | SykoLLM-V4.4, LLaMA mimarisi temel alınarak **sıfırdan (from scratch)** eğitilmiş özel, hafif ve hızlı bir dil modelidir. Düşük kaynak tüketimi ile metin üretimi (text generation) görevlerini yerine getirmek üzere tasarlanmıştır. |
| |
|
| | ## Eğitim Detayları (Training Details) |
| |
|
| | Bu model ince ayar (fine-tuning) yapılmamış, tamamen sıfırdan pre-train edilmiştir. Eğitim süreciyle ilgili detaylar şunlardır: |
| |
|
| | * **Veri Seti:** 1.6 Milyon örnek (example) |
| | * **Donanım:** Nvidia A100 GPU |
| | * **Eğitim Süresi:** Yaklaşık 20 saat |
| | * **Eğitim Tipi:** Pre-training (Sıfırdan) |
| |
|
| | ## 📊 Model Özellikleri (Model Specs) |
| |
|
| | Modelin teknik özellikleri aşağıdaki gibidir: |
| |
|
| | * **Mimari:** LlamaForCausalLM |
| | * **Parametre Boyutu:** Kompakt (1024 Hidden Size, 20 Gizli Katman) |
| | * **Bağlam Penceresi (Context Window):** 1024 token |
| | * **Dikkat Başlıkları (Attention Heads):** 8 (Num Key Value Heads: 8) |
| | * **Kelime Dağarcığı (Vocab Size):** 32,000 |
| | * **Veri Tipi:** `bfloat16` (Daha verimli bellek kullanımı ve hızlı çıkarım için) |
| | * **Parametre Sayısı** `~338 Milyon` |
| |
|
| | ## Karşılaştırma Testleri (Her test 100 örnek ile yapılmıştır.) |
| |
|
| |  |
| |
|
| |  |
| |
|
| |  |
| |
|
| | **SykoLLM-V4.4'ün ARC-EASY** testinde **%3** oranında **düşüş** yaşamasının sebebi **yıkıcı unutma'dır** |
| |
|
| | Ancak son çıkan modelim olan **SykoLLM-V4.4'ün** testlerde genel olarak daha **başarılı** olmuştur. |
| |
|
| |
|
| |
|
| | ## Nasıl Kullanılır? (Quick Start) |
| |
|
| | Modeli Hugging Face `transformers` kütüphanesi ile saniyeler içinde projene dahil edebilirsin. |
| |
|
| | Öncelikle gerekli kütüphaneleri kurduğundan emin ol: |
| |
|
| |
|
| | `pip install transformers torch` |
| |
|
| | Ardırdan aşağıdaki kodla birlikte modeli çalıştırabilirsiniz: |
| |
|
| | ```bash |
| | from transformers import AutoModelForCausalLM, AutoTokenizer |
| | import torch |
| | |
| | # Modelin repo adı |
| | model_id = "syko818121/SykoLLM-V4.4" |
| | |
| | # Tokenizer ve Modeli yükleme |
| | tokenizer = AutoTokenizer.from_pretrained(model_id) |
| | model = AutoModelForCausalLM.from_pretrained( |
| | model_id, |
| | torch_dtype=torch.bfloat16, |
| | device_map="auto" |
| | ) |
| | |
| | # Test metni |
| | user_message = "6 + 6 kaç eder?" |
| | |
| | # Llama 3 orijinal chat template'inin manuel olarak eklenmesi |
| | # user ve assistant rolleri ile special token'lar korundu |
| | prompt = ( |
| | f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n" |
| | f"{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n" |
| | ) |
| | |
| | inputs = tokenizer(prompt, return_tensors="pt").to(model.device) |
| | |
| | # Metin üretimi |
| | outputs = model.generate( |
| | **inputs, |
| | max_new_tokens=100, |
| | temperature=0.15, |
| | top_p=0.9, |
| | early_stopping=True, |
| | repetition_penalty=1.16, |
| | do_sample=False |
| | ) |
| | |
| | # Çıktıyı decode etme |
| | response = tokenizer.decode(outputs[0], skip_special_tokens=True) |
| | |
| | # Sadece asistanın verdiği cevabı temiz bir şekilde alma |
| | final_response = response.split("assistant\n\n")[-1].strip() |
| | |
| | print(final_response) |
