YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
alibayram/yapay_zeka_turkce_mmlu_model_cevaplari/ veriseti üzerinde çeşitli modeller test edilmiştir. Test edilen modeller sırasıyla:
** gpt-oss:20b
** gpt-oss:120b
** unsloth/gemma3-1b-it modeli üzerine entegre edilmiş sk75/gemma3-1b-lora ağırlıkları
Modeller test edilirken verisetindeki her konu başlığından o konu başlığındaki soru sayısıyla orantılı olarak toplamda 186 soru seçilmiştir.
Performanslar aşağıdaki gibidir:
-**gpt-oss:20b -> Toplam doğru: 101/186 Başarı: 0.543 Geçen süre: 533.645 sn
-**gpt-oss:120b -> Toplam doğru: 126/186 Başarı: 0.6774 Geçen süre: 758.806 sn
-**sk75/gemma3-1b-lora + unsloth/gemma3-1b -> Toplam doğru:67/186 Başarı: 36.02 Geçen süre:68.78 sn
Gpt modellerinin bazı sorularda think=False belirtilmesine rağmen bir düşünce sürecine gittiği gözlemlenmiştir. Bundan dolayı bazı sorularda yanlış yapmıştır. Ayrıca token sayısı da belirtildiği için bazı sorulardaki düşünceleri yarım kalmıştır. Yine de sadece cevap vermesi gerektiği belirtildiği için bir takım sorulardaki yaklaşımı yanlış olarak değerlendirilmiştir. Ancak gemma ile finetune edilmiş model bütün sorularda sadece şıkları vermiştir. Ancak o modelde de modelin rastgele bir şık seçme ihtimali vardır. Toplam başarı oranı, geçen süre göz önünde bulundurulduğunda bu oran yüksektir.
Uploaded model
- Developed by: sk75
- License: apache-2.0
- Finetuned from model : unsloth/gemma-3-1b-it
This gemma3_text model was trained 2x faster with Unsloth
