Tiny-LLM / tokenizer.json
syko818121's picture
Upload tokenizer.json with huggingface_hub
0449f0e verified
{
"<pad>": 0,
"<unk>": 1,
"<bos>": 2,
"<eos>": 3,
",": 4,
".": 5,
":": 6,
"?": 7,
"ama": 8,
"an": 9,
"anlarda": 10,
"belki": 11,
"bence": 12,
"bir": 13,
"biraz": 14,
"bugün": 15,
"cevap": 16,
"civarında": 17,
"dinleniyorum": 18,
"dolu": 19,
"ederim": 20,
"en": 21,
"evet": 22,
"güneşli": 23,
"güzel": 24,
"güzelliklerle": 25,
"hafta": 26,
"hava": 27,
"hayat": 28,
"hayır": 29,
"henüz": 30,
"için": 31,
"içiyorum": 32,
"i̇stanbul'da": 33,
"i̇yiyim": 34,
"kadıköy": 35,
"kahve": 36,
"kesin": 37,
"kesinlikle": 38,
"kitap": 39,
"küçük": 40,
"mantı": 41,
"merhaba": 42,
"mi": 43,
"mı": 44,
"nasıl": 45,
"nasılsın": 46,
"ne": 47,
"nerede": 48,
"okurum": 49,
"oturuyorsun": 50,
"oturuyorum": 51,
"planım": 52,
"planın": 53,
"saklı": 54,
"sen": 55,
"sence": 56,
"serin": 57,
"sevdiğim": 58,
"sevdiğin": 59,
"sonu": 60,
"soru": 61,
"teşekkür": 62,
"var": 63,
"ve": 64,
"yapıyorsun": 65,
"yemek": 66,
"yok": 67,
"şu": 68
}