sixfingerdev commited on
Commit
a82dd7b
·
verified ·
1 Parent(s): 30af946

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +30 -10
README.md CHANGED
@@ -32,19 +32,39 @@ tags:
32
  ## 🚀 Kullanım
33
  ```
34
  from transformers import AutoModelForCausalLM, AutoTokenizer
35
-
36
- # Model yükle
37
- model = AutoModelForCausalLM.from_pretrained("sixfingerdev/kayra-stable", trust_remote_code=True)
 
 
 
38
  tokenizer = AutoTokenizer.from_pretrained("sixfingerdev/kayra-stable")
 
 
 
 
 
39
 
40
- # Soru sor
41
- prompt = "### Soru: Türkiye'nin başkenti neresidir?\n\n### Cevap:"
42
- inputs = tokenizer(prompt, return_tensors="pt")
43
 
44
- # Cevap üret
45
- outputs = model.generate(**inputs, max_new_tokens=100, temperature=0.2)
46
- response = tokenizer.decode(outputs[0], skip_special_tokens=True)
47
- print(response.split("### Cevap:")[-1].strip())
 
 
 
 
 
 
 
 
 
 
 
 
48
  ```
49
  ## ✅ Test Sonuçları
50
 
 
32
  ## 🚀 Kullanım
33
  ```
34
  from transformers import AutoModelForCausalLM, AutoTokenizer
35
+
36
+ # Model ve tokenizer yükle
37
+ model = AutoModelForCausalLM.from_pretrained(
38
+ "sixfingerdev/kayra-stable",
39
+ trust_remote_code=True
40
+ )
41
  tokenizer = AutoTokenizer.from_pretrained("sixfingerdev/kayra-stable")
42
+
43
+ # Soru sor
44
+ def generate_response(prompt):
45
+ formatted = f"### Soru: {prompt}\n\n### Cevap:"
46
+ inputs = tokenizer(formatted, return_tensors="pt")
47
 
48
+ # token_type_ids varsa kaldır (model kullanmıyor)
49
+ if "token_type_ids" in inputs:
50
+ del inputs["token_type_ids"]
51
 
52
+ outputs = model.generate(
53
+ **inputs,
54
+ max_new_tokens=100,
55
+ temperature=0.2,
56
+ do_sample=True,
57
+ top_p=0.9,
58
+ repetition_penalty=1.1
59
+ )
60
+
61
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
62
+ return response.split("### Cevap:")[-1].strip()
63
+
64
+ # Örnek kullanım
65
+ print(generate_response("Türkiye'nin başkenti neresidir?"))
66
+ print(generate_response("Python nedir?"))
67
+ print(generate_response("Nasılsın?"))
68
  ```
69
  ## ✅ Test Sonuçları
70