nursimakgul/turkish-fen-tokenizer-v1

Türkçe Fen Bilgisi Tokenizer

Bu tokenizer ortaokul fen bilgisi müfredatına özel olarak eğitilmiş bir Türkçe BPE tokenizer'dır.

Kullanım

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("nursimakgul/turkish-fen-tokenizer-v1")
text = "Atom nedir?"
tokens = tokenizer.encode(text)
print(tokens)
Özellikler
Vocab boyutu: 50,000

Türkçe fen bilgisi metinleriyle eğitildi

Özel tokenlar içerir