LLM'in Fine Tune İşleminde Kullanılan Veri Seti
Merhabalar, geliştirdiğiniz modeli ve modelleri büyük bir heyecanla takip ediyorum. Öncelikle böyle önemli bir iş yaptığınız ve bu alandaki ciddi atılımları desteklediğiniz için teşekkürler. Mistral'in 7B'lik base modelini kendi veri setinizle fine tune edip Türkçe talimatlı bir instruct model haline getirdiniz ve bunun yanında LoRA dışında daha yeni bir yaklaşım olan DORA gibi önemli bir yenilikçi teknolojiyi daha projenize dahil ettiniz ve bu gerçekten oldukça önemli bir tercih bence. Peki burada kullanılan 5B token büyüklüğündeki veri seti tamamıyla Türkçe verileri mi içeriyor yoksa Türkçe ağırlıklı ancak İngilizce gibi uluslararası dillerden de veri örnekleri de dahil edildi mi? Veri seti oluşturma sürecinde tamamıyla insan kontrollü ve gerçek verilere dayanan bir veri üretim anlayışı mı benimsendi yoksa içerisinde sentetik olarak üretilen veriler de mevcut mu? Modelinizi denemek ve kendimce test edebilmek için Atatürk'ün Nutuk eserinden oluşturduğum Benchmark veri setiyle BERTScore F1, SBERT Similarity ve Rouge gibi çeşitli alana yönelik testlere tabi tuttum ve daha öncesinde Mistral tarafından instruct edilmiş olan modele gerçekleştirdiğim bu testin sonucuyla bir kıyaslama yoluna gittim. Sonuçlar Mistral tarafından instruct edilen modele göre çok az daha düşük olsa da böylesine yakın sonuçlar almak takdiri hak eden bir sonuç gerçekten ve eminim ki ilerleyen süreçte daha da iyi sonuçlar elde edilecektir. Veri seti tarafındaki merakımı giderebilirseniz çok sevinirim.
temperature ayarını sonuna kadar aç, eos_token'i boş bırak. ekran kartın yanana kadar günlerce rastgele cümle oluşturur. oradaki içerik dataset hakkında bir fikir verebilir.
Ne bu şimdi?