SykoLLM-V3.2-Thinking-Beta-Instruct (300M) 🇹🇷

SykoLLM-V3.2, tamamen sıfırdan eğitilmiş (built from scratch), Türkçe dil yapısına özel olarak optimize edilmiş 300 Milyon parametreli deneysel bir Büyük Dil Modelidir (LLM).

Bu model, mevcut popüler modellerin (Llama, Qwen vb.) üzerine fine-tune DEĞİLDİR. Mimarisi, tokenizer'ı ve ağırlıkları tamamen özgün bir şekilde geliştirilmiştir.

Modelim HALA gelişmektedir. o yüzden hatalar kaçınılmaz olacaktır. bunu dikkate alarak kullanmanızı tavsiye ederim.

🌟 Modelin Hikayesi ve Özellikleri

Bu proje, "Büyük modeller her zaman daha iyidir" algısına karşı, verimli ve optimize edilmiş küçük modellerin neler yapabileceğini test etmek amacıyla geliştirilmiştir.

• Tamamen Yerli Tokenizer: 50.000 kelimelik (vocab size) özel tokenizer eğitildi. Türkçe'nin eklemeli yapısına (agglutinative) tam uyumlu olması için tasarlandı. Bu sayede model, diğer çok dilli modellere göre daha az token ile daha fazla Türkçe içerik ifade edebilir.
• Sıfırdan Eğitim (Pre-training): Model, T4 GPU'lar üzerinde Wikipedia verileri ile dilin temel yapısını (morfoloji ve sentaks) öğrenmek için yüksek öğrenme oranı (High Learning Rate) ile "agresif" bir başlangıç eğitimi aldı.
• Instruct Tuning: Temel eğitimin ardından, A100 GPU üzerinde 100.000+ satırlık Instruct (Talimat) verisi ile sohbet yeteneği kazandırıldı.
• Donanım & Optimizasyon: Eğitim sürecinde Flash Attention 2, bfloat16 ve torch.compile teknolojileri kullanılarak A100 GPU'nun sınırları zorlandı.

⚙️ Teknik Detaylar

Özellik	Değer
Model Tipi	Causal Decoder-Only Transformer
Parametre Sayısı	~300 Milyon
Context Window	1024 Token
Vocab Size	50.257 (Özel Türkçe Tokenizer)
Eğitim Donanımı	NVIDIA T4 (Pre-train) -> NVIDIA A100 (SFT)
Eğitim Formatı	Instruct (User/Assistant)

🚀 Nasıl Kullanılır?

Model özel mimari ve tokenizer içerdiği için trust_remote_code=True parametresi önemlidir.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "syko818121/SykoLLM-V3.2-Thinking-Beta-Instruct"

# Model ve Tokenizer Yükleme
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    trust_remote_code=True
)

# Prompt Formatı
system_prompt = "Sen yardımsever bir yapay zeka asistanısın."
user_input = "Yapay zeka gelecekte dünyayı nasıl değiştirecek?"

prompt = f"### user: {user_input}\n### assistant:"

# Inference
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs, 
        max_new_tokens=256, 
        do_sample=True, 
        temperature=0.7, 
        top_p=0.9,
        repetition_penalty=1.2,
        pad_token_id=tokenizer.eos_token_id
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))