Update README.md

README.md

@@ -96,27 +96,49 @@ Syko mimarisi Transformers'a kayıtlı olmadığı için, modeli çalıştırmak
 ## Kullanım
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
+# 1. Yeni sürümü zorla yükle (Eski sürümün önbellekte kalmasını önler)
+# 1. Yeni sürümü zorla yükle ve uyumluluk için torchvision'ı dahil et
+!pip install --upgrade syko-llm==0.3.4 transformers
+
+import syko
 import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-tokenizer = AutoTokenizer.from_pretrained("SykoSLM/SykoLLM-V5.4")
-model = AutoModelForCausalLM.from_pretrained("SykoSLM/SykoLLM-V5.4", trust_remote_code=True)
+# 2. Cihaz ayarı (GPU varsa GPU, yoksa CPU)
+device = "cuda" if torch.cuda.is_available() else "cpu"
+print(f"Kullanılan cihaz: {device}")
+
+# 3. Model ve Tokenizer'ı yükle
+model_id = "SykoSLM/SykoLLM-V5.4"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.float32, device_map="cuda:0")
 model.eval()
 
-prompt = "<bos><user>\nMerhaba, nasılsın?</user>\n<assistant>\n"
-inputs = tokenizer(prompt, return_tensors="pt")
+# 4. Prompt hazırlığı (Eğitim formatınla birebir aynı olmalı!)
+prompt = "<bos><user>\nGökyüzü hangi renktir?</user>\n<assistant>\n"
+inputs = tokenizer(prompt, return_tensors="pt").to(device)
 
+# 5. Yeni nesil, stabilize edilmiş Generation ayarları
 with torch.no_grad():
     outputs = model.generate(
         **inputs,
-        max_new_tokens=200,
-        temperature=0.3,
-        top_p=0.9,
-        do_sample=True,
-        repetition_penalty=1.16,
+        max_new_tokens=512,           # Üretilecek maksimum token
+        use_cache=False,               
+        do_sample=True,               # Modelin farklı kelimeler seçmesine izin ver
+        temperature=0.3,              # Yaratıcılık/Tutarlılık dengesi
+        top_p=0.9,                    # Sadece en mantıklı %90'lık ihtimallerden seç
+        repetition_penalty=1.17,      
+        pad_token_id=tokenizer.pad_token_id,
+        eos_token_id=tokenizer.eos_token_id,
     )
 
-print(tokenizer.decode(outputs[0], skip_special_tokens=False))
+# 6. Çıktıyı decode et ve göster
+# prompt'u dahil etmeden sadece yeni üretilen kısmı görmek istersen skip_special_tokens=True yapabilirsiniz
+response = tokenizer.decode(outputs[0], skip_special_tokens=False)
+
+print("\n--- MODEL ÇIKTISI ---")
+print(response)
+print("---------------------")
 ```
 
 ---