Update README.md

README.md

@@ -46,17 +46,46 @@ Modeli `transformers` kütüphanesi ile kolayca projenize dahil edebilirsiniz:
 
 ```python
 from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
 
+# Modelin repo adı
 model_id = "syko818121/SykoLLM-V4.7-CodeX-Beta"
 
-# Tokenizer ve Modeli yükle
+# Tokenizer ve Modeli yükleme
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id, 
+    torch_dtype=torch.bfloat16, 
+    device_map="auto"
+)
 
-# Örnek bir prompt
-prompt = "Write a Python function to reverse a string."
-inputs = tokenizer(prompt, return_tensors="pt")
+# Test metni
+user_message = "6 + 6 kaç eder?"
 
-# Çıktı üret
-outputs = model.generate(**inputs, max_new_tokens=100)
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+# Llama 3 orijinal chat template'inin manuel olarak eklenmesi
+# user ve assistant rolleri ile special token'lar korundu
+prompt = (
+    f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n"
+    f"{user_message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+)
+
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+
+# Metin üretimi
+outputs = model.generate(
+    **inputs, 
+    max_new_tokens=100, 
+    temperature=0.15, 
+    top_p=0.9,
+    early_stopping=True,
+    repetition_penalty=1.16,
+    do_sample=False
+)
+
+# Çıktıyı decode etme
+response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+# Sadece asistanın verdiği cevabı temiz bir şekilde alma
+final_response = response.split("assistant\n\n")[-1].strip()
+
+print(final_response)