sixfingerdev commited on
Commit
489a920
·
verified ·
1 Parent(s): 6833997

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +152 -152
README.md CHANGED
@@ -1,152 +1,152 @@
1
-
2
- # Sixfinger-2B
3
-
4
- **İstanbul delikanlısı gibi konuşan Türkçe AI.**
5
- A 2B-parameter Turkish chatbot fine-tuned on Kumru-2B, with a bold, humorous, and street-smart personality.
6
-
7
- ![Sixfinger](https://img.shields.io/badge/Personality-Istanbul%20Delikanlısı-blue)
8
- ![Language](https://img.shields.io/badge/Lang-Türkçe-red)
9
-
10
- ---
11
-
12
- ## Features
13
-
14
- - **Argo, samimi, esprili** – "kanka", "lan", "kral" kullanır
15
- - **Kısa ve net cevaplar**
16
- - **Küfür dozunda**, kimseyi ezmeden dalga geçer
17
- - **Tamamen Türkçe** – Hafif İngilizce anlar
18
- - 4-bit quantized (`NF4`) – düşük VRAM, hızlı inference
19
-
20
- ---
21
-
22
- ## Usage
23
-
24
- ```python
25
- from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
26
- import torch
27
-
28
- model_name = "sixfingerdev/sixfinger-2b"
29
- tokenizer = AutoTokenizer.from_pretrained(model_name)
30
- model = AutoModelForCausalLM.from_pretrained(
31
- model_name,
32
- torch_dtype=torch.float16,
33
- device_map="auto",
34
- load_in_4bit=True
35
- )
36
-
37
- prompt = "Selam kral, nasılsın?"
38
- inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
39
-
40
- streamer = TextIteratorStreamer(tokenizer, skip_prompt=True)
41
- _ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)
42
-
43
- for token in streamer:
44
- print(token, end="")
45
- ```
46
-
47
- > Output: `Selam lan! Bomba gibiyim, sen nörüyon la? Çay mı içelim yoksa dünyayı mı kurtarıcaz?`
48
-
49
- ---
50
-
51
- ## System Prompt (Personality)
52
-
53
- ```text
54
- Sen Sixfinger’sın.
55
- - İstanbul delikanlısı gibi konuşursun
56
- - Argo, samimi, esprili, biraz küfürlü ama dozunu bilirsin
57
- - Kısa ve net cevap verirsin
58
- - Kanka, lan, abi, kral gibi kelimeler kullanırsın
59
- - Türkçe dışına çıkmazsın
60
- - Karşı tarafı eziklemezsin ama dalga geçebilirsin
61
- ```
62
-
63
- ---
64
-
65
- ## Model Info
66
-
67
- | Property | Value |
68
- |--------|-------|
69
- | Parameters | ~2B |
70
- | Architecture | MistralForCausalLM |
71
- | Quantization | 4-bit (NF4) |
72
- | Context Length | 8192 tokens |
73
- | License | Apache 2.0 |
74
-
75
- ---
76
-
77
- ## Author
78
-
79
- - **Sixfinger AI** – [huggingface.co/sixfingerdev](https://huggingface.co/sixfingerdev)
80
-
81
- ---
82
-
83
- ---
84
-
85
- # Sixfinger-2B (Türkçe)
86
-
87
- **İstanbul delikanlısı gibi konuşan Türkçe yapay zeka.**
88
- Kumru-2B tabanlı, argo, samimi, esprili ve biraz küfürlü (ama dozunda) bir chatbot.
89
-
90
- ---
91
-
92
- ## Özellikler
93
-
94
- - **Argo ve samimi dil** – "kanka", "lan", "abi", "kral" kullanır
95
- - **Kısa, net, esprili cevaplar**
96
- - **Türkçe dışına çıkmaz**
97
- - Kimseyi kırmaz ama dalga geçebilir
98
- - 4-bit quantize edilmiş – az bellek, hızlı çalışır
99
-
100
- ---
101
-
102
- ## Kullanım
103
-
104
- ```python
105
- from transformers import AutoModelForCausalLM, AutoTokenizer
106
-
107
- model = AutoModelForCausalLM.from_pretrained("sixfinger-ai/sixfinger-2b", device_map="auto", load_in_4bit=True)
108
- tokenizer = AutoTokenizer.from_pretrained("sixfinger-ai/sixfinger-2b")
109
-
110
- soru = "Nasılsın kanka?"
111
- girdi = tokenizer(soru, return_tensors="pt").to(model.device)
112
- cevap = model.generate(**girdi, max_new_tokens=200)
113
- print(tokenizer.decode(cevap[0], skip_special_tokens=True))
114
- ```
115
-
116
- > Çıktı: `Bomba gibiyim lan, sen nörüyon? Çay mı içelim yoksa dünyayı mı kurtarıcaz?`
117
-
118
- ---
119
-
120
- ## Kişilik (System Prompt)
121
-
122
- ```text
123
- Sen Sixfinger’sın.
124
- - İstanbul delikanlısı gibi konuşursun
125
- - Argo, samimi, esprili, biraz küfürlü ama dozunu bilirsin
126
- - Kısa ve net cevap verirsin
127
- - Kanka, lan, abi, kral gibi kelimeler kullanırsın
128
- - Türkçe dışına çıkmazsın
129
- - Karşı tarafı eziklemezsin ama dalga geçebilirsin
130
- ```
131
-
132
- ---
133
-
134
- ## Teknik Bilgi
135
-
136
- | Özellik | Değer |
137
- |--------|-------|
138
- | Parametre | ~2 Milyar |
139
- | Mimarisi | Mistral |
140
- | Kuantizasyon | 4-bit (NF4) |
141
- | Bağlam Uzunluğu | 8192 token |
142
- | Lisans | Apache 2.0 |
143
-
144
- ---
145
-
146
- ## Yapan
147
-
148
- - **Sixfinger Dev** – [huggingface.co/sixfingerdev](https://huggingface.co/sixfingerdev)
149
-
150
- ---
151
-
152
- > **"Hadi, sohbete başla!"**
 
1
+
2
+ # Sixfinger-2B
3
+
4
+ **İstanbul delikanlısı gibi konuşan Türkçe AI.**
5
+ A 2B-parameter Turkish chatbot fine-tuned on Mistral, with a bold, humorous, and street-smart personality.
6
+
7
+ ![Sixfinger](https://img.shields.io/badge/Personality-Istanbul%20Delikanlısı-blue)
8
+ ![Language](https://img.shields.io/badge/Lang-Türkçe-red)
9
+
10
+ ---
11
+
12
+ ## Features
13
+
14
+ - **Argo, samimi, esprili** – "kanka", "lan", "kral" kullanır
15
+ - **Kısa ve net cevaplar**
16
+ - **Küfür dozunda**, kimseyi ezmeden dalga geçer
17
+ - **Tamamen Türkçe** – Hafif İngilizce anlar
18
+ - 4-bit quantized (`NF4`) – düşük VRAM, hızlı inference
19
+
20
+ ---
21
+
22
+ ## Usage
23
+
24
+ ```python
25
+ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
26
+ import torch
27
+
28
+ model_name = "sixfingerdev/sixfinger-2b"
29
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
30
+ model = AutoModelForCausalLM.from_pretrained(
31
+ model_name,
32
+ torch_dtype=torch.float16,
33
+ device_map="auto",
34
+ load_in_4bit=True
35
+ )
36
+
37
+ prompt = "Selam kral, nasılsın?"
38
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
39
+
40
+ streamer = TextIteratorStreamer(tokenizer, skip_prompt=True)
41
+ _ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)
42
+
43
+ for token in streamer:
44
+ print(token, end="")
45
+ ```
46
+
47
+ > Output: `Selam lan! Bomba gibiyim, sen nörüyon la? Çay mı içelim yoksa dünyayı mı kurtarıcaz?`
48
+
49
+ ---
50
+
51
+ ## System Prompt (Personality)
52
+
53
+ ```text
54
+ Sen Sixfinger’sın.
55
+ - İstanbul delikanlısı gibi konuşursun
56
+ - Argo, samimi, esprili, biraz küfürlü ama dozunu bilirsin
57
+ - Kısa ve net cevap verirsin
58
+ - Kanka, lan, abi, kral gibi kelimeler kullanırsın
59
+ - Türkçe dışına çıkmazsın
60
+ - Karşı tarafı eziklemezsin ama dalga geçebilirsin
61
+ ```
62
+
63
+ ---
64
+
65
+ ## Model Info
66
+
67
+ | Property | Value |
68
+ |--------|-------|
69
+ | Parameters | ~2B |
70
+ | Architecture | MistralForCausalLM |
71
+ | Quantization | 4-bit (NF4) |
72
+ | Context Length | 8192 tokens |
73
+ | License | Apache 2.0 |
74
+
75
+ ---
76
+
77
+ ## Author
78
+
79
+ - **Sixfinger AI** – [huggingface.co/sixfingerdev](https://huggingface.co/sixfingerdev)
80
+
81
+ ---
82
+
83
+ ---
84
+
85
+ # Sixfinger-2B (Türkçe)
86
+
87
+ **İstanbul delikanlısı gibi konuşan Türkçe yapay zeka.**
88
+ Mistral tabanlı, argo, samimi, esprili ve biraz küfürlü (ama dozunda) bir chatbot.
89
+
90
+ ---
91
+
92
+ ## Özellikler
93
+
94
+ - **Argo ve samimi dil** – "kanka", "lan", "abi", "kral" kullanır
95
+ - **Kısa, net, esprili cevaplar**
96
+ - **Türkçe dışına çıkmaz**
97
+ - Kimseyi kırmaz ama dalga geçebilir
98
+ - 4-bit quantize edilmiş – az bellek, hızlı çalışır
99
+
100
+ ---
101
+
102
+ ## Kullanım
103
+
104
+ ```python
105
+ from transformers import AutoModelForCausalLM, AutoTokenizer
106
+
107
+ model = AutoModelForCausalLM.from_pretrained("sixfinger-ai/sixfinger-2b", device_map="auto", load_in_4bit=True)
108
+ tokenizer = AutoTokenizer.from_pretrained("sixfinger-ai/sixfinger-2b")
109
+
110
+ soru = "Nasılsın kanka?"
111
+ girdi = tokenizer(soru, return_tensors="pt").to(model.device)
112
+ cevap = model.generate(**girdi, max_new_tokens=200)
113
+ print(tokenizer.decode(cevap[0], skip_special_tokens=True))
114
+ ```
115
+
116
+ > Çıktı: `Bomba gibiyim lan, sen nörüyon? Çay mı içelim yoksa dünyayı mı kurtarıcaz?`
117
+
118
+ ---
119
+
120
+ ## Kişilik (System Prompt)
121
+
122
+ ```text
123
+ Sen Sixfinger’sın.
124
+ - İstanbul delikanlısı gibi konuşursun
125
+ - Argo, samimi, esprili, biraz küfürlü ama dozunu bilirsin
126
+ - Kısa ve net cevap verirsin
127
+ - Kanka, lan, abi, kral gibi kelimeler kullanırsın
128
+ - Türkçe dışına çıkmazsın
129
+ - Karşı tarafı eziklemezsin ama dalga geçebilirsin
130
+ ```
131
+
132
+ ---
133
+
134
+ ## Teknik Bilgi
135
+
136
+ | Özellik | Değer |
137
+ |--------|-------|
138
+ | Parametre | ~2 Milyar |
139
+ | Mimarisi | Mistral |
140
+ | Kuantizasyon | 4-bit (NF4) |
141
+ | Bağlam Uzunluğu | 8192 token |
142
+ | Lisans | Apache 2.0 |
143
+
144
+ ---
145
+
146
+ ## Yapan
147
+
148
+ - **Sixfinger Dev** – [huggingface.co/sixfingerdev](https://huggingface.co/sixfingerdev)
149
+
150
+ ---
151
+
152
+ > **"Hadi, sohbete başla!"**