File size: 3,465 Bytes
12dd6fb 12ae782 7333919 a540da4 12ae782 a540da4 12dd6fb e1de432 12dd6fb 12ae782 12dd6fb 26f5bf0 12dd6fb 12ae782 12dd6fb 12ae782 12dd6fb 12ae782 12dd6fb 92e27e8 12dd6fb 12ae782 92e27e8 12dd6fb f00e5ad 9e3625d 720cbce f00e5ad e1de432 12dd6fb 12ae782 12dd6fb 12ae782 26f5bf0 a45569a 26f5bf0 a45569a c565485 a45569a 2f3448a a45569a c565485 a45569a c565485 a45569a c565485 2f3448a c565485 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 | ---
pipeline_tag: text-generation
language:
- tr
- en
tags:
- llama
- text-generation
- custom-model
- pre-trained
license: apache-2.0
---
# SykoLLM-V4.4
SykoLLM-V4.4, LLaMA mimarisi temel alınarak **sıfırdan (from scratch)** eğitilmiş özel, hafif ve hızlı bir dil modelidir. Düşük kaynak tüketimi ile metin üretimi (text generation) görevlerini yerine getirmek üzere tasarlanmıştır.
## Eğitim Detayları (Training Details)
Bu model ince ayar (fine-tuning) yapılmamış, tamamen sıfırdan pre-train edilmiştir. Eğitim süreciyle ilgili detaylar şunlardır:
* **Veri Seti:** 1.6 Milyon örnek (example)
* **Donanım:** Nvidia A100 GPU
* **Eğitim Süresi:** Yaklaşık 20 saat
* **Eğitim Tipi:** Pre-training (Sıfırdan)
## 📊 Model Özellikleri (Model Specs)
Modelin teknik özellikleri aşağıdaki gibidir:
* **Mimari:** LlamaForCausalLM
* **Parametre Boyutu:** Kompakt (1024 Hidden Size, 20 Gizli Katman)
* **Bağlam Penceresi (Context Window):** 1024 token
* **Dikkat Başlıkları (Attention Heads):** 8 (Num Key Value Heads: 8)
* **Kelime Dağarcığı (Vocab Size):** 32,000
* **Veri Tipi:** `bfloat16` (Daha verimli bellek kullanımı ve hızlı çıkarım için)
* **Parametre Sayısı** `~338 Milyon`
## Karşılaştırma Testleri (Her test 100 örnek ile yapılmıştır.)
**SykoLLM-V4.4'ün ARC-EASY** testinde **%3** oranında **düşüş** yaşamasının sebebi **yıkıcı unutma'dır**
Ancak son çıkan modelim olan **SykoLLM-V4.4'ün** testlerde genel olarak daha **başarılı** olmuştur.
## Nasıl Kullanılır? (Quick Start)
Modeli Hugging Face `transformers` kütüphanesi ile saniyeler içinde projene dahil edebilirsin.
Öncelikle gerekli kütüphaneleri kurduğundan emin ol:
`pip install transformers torch`
Ardırdan aşağıdaki kodla birlikte modeli çalıştırabilirsiniz:
```bash
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Modelin repo adı
model_id = "syko818121/SykoLLM-V4.4"
# Tokenizer ve Modeli yükleme
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
# Test metni
user_message = "6 + 6 kaç eder?"
# Llama 3 orijinal chat template'inin manuel olarak eklenmesi
# user ve assistant rolleri ile special token'lar korundu
prompt = (
f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n"
f"{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
# Metin üretimi
outputs = model.generate(
**inputs,
max_new_tokens=100,
temperature=0.15,
top_p=0.9,
early_stopping=True,
repetition_penalty=1.16,
do_sample=False
)
# Çıktıyı decode etme
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
# Sadece asistanın verdiği cevabı temiz bir şekilde alma
final_response = response.split("assistant\n\n")[-1].strip()
print(final_response) |