Gemma-3-1B İstatistik Fine-Tune (Türkçe, Doğrudan Cevap Varyantı)
Bu model, Google'ın Gemma-3-1B-IT modeli üzerine Türkçe istatistik konularında soru-cevap yapabilmesi için fine-tune edilmiştir. Model, ara muhakeme adımlarını göstermeden doğrudan nihai açıklamayı üretir.
Aynı veri setiyle eğitilmiş, cevap vermeden önce görünür bir düşünce zinciri (
<think>...</think>) üreten bir muhakemeli varyant da mevcuttur: Toivo0/gemma-3-finetune-thinking. İki varyant, hangi yaklaşımın istatistik eğitimi senaryosu için daha uygun olduğunu karşılaştırmak amacıyla aynı veri ve aynı split ile paralel olarak eğitilmiştir.
Model Bilgileri
| Base Model | unsloth/gemma-3-1b-it-unsloth-bnb-4bit |
| Eğitim Veri Seti | Toivo0/Turkce-istatistik-reasoning (400 soru-cevap çifti) |
| Geliştirici | Toivo0 |
| Dil | Türkçe |
| Lisans | Apache-2.0 |
| Eğitim Aracı | Unsloth + HuggingFace TRL |
Eğitim Veri Seti Hakkında
Model, 7 istatistik modülünü kapsayan 400 soru-cevap çiftiyle eğitilmiştir. Veri setindeki her örnek, modelin iç muhakeme sürecini (thinking) ve nihai açıklamasını (content) ayrı alanlar olarak içerir — ancak bu varyantın eğitiminde yalnızca nihai açıklama (content) kullanılmış, thinking alanı eğitim hedefine dahil edilmemiştir. Bu sayede model, ara adımları göstermeden doğrudan ve daha kısa cevaplar üretir.
Kapsanan Konular:
| Modül | Konu | Soru Sayısı |
|---|---|---|
| 1 | İstatistiğin Temelleri | 51 |
| 2 | Betimsel İstatistik | 50 |
| 3 | Olasılık | 55 |
| 4 | Olasılık Dağılımları | 51 |
| 5 | Örnekleme ve Tahmin | 59 |
| 6 | Hipotez Testleri | 89 |
| 7 | Regresyon ve Korelasyon | 45 |
Kullanım
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Toivo0/gemma-3-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Hipotez testinde p-değeri ne anlama gelir?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)
📊 Türkçe MMLU Benchmark Sonuçları
Bu model, 6200 sorudan oluşan Türkçe MMLU benchmark testi ile taban model ve fine-tune edilmiş model üzerinde karşılaştırmalı olarak test edilmiştir.
📈 Genel Başarı Karşılaştırması
| Model | Toplam Başarı Oranı (%) | Doğru Cevap / Toplam Soru | Test Süresi |
|---|---|---|---|
Base Model (gemma-3-1b-it) |
%24.56 | 1523 / 6200 | 4544 s |
Fine-Tuned Model (gemma-3-finetune) |
%23.69 | 1469 / 6200 | 6715 s |
| Fark | -0.87% | -54 Soru | - |
🏆 En Çok Gelişim Gösteren Alanlar (Top 10)
| Kategori | Base (%) | Fine-Tuned (%) | Gelişim |
|---|---|---|---|
| Turizm ve Seyahat Hizmetleri | %16.00 | %28.00 | +12.00% |
| Ehliyet Sınavı | %24.00 | %31.00 | +7.00% |
| KPSS Denemeleri | %20.00 | %26.00 | +6.00% |
| Medya ve İletişim | %17.00 | %23.00 | +6.00% |
| Sosyoloji | %23.00 | %29.00 | +6.00% |
| Felsefe | %22.00 | %27.00 | +5.00% |
| Aşçılık | %21.00 | %25.00 | +4.00% |
| DHBT | %27.00 | %31.00 | +4.00% |
| Ev İdaresi | %19.00 | %23.00 | +4.00% |
| Perakende Satış ve Mağaza Yöneticiliği | %25.00 | %29.00 | +4.00% |
📉 En Çok Düşüş Gösteren Alanlar (Top 5)
| Kategori | Base (%) | Fine-Tuned (%) | Düşüş |
|---|---|---|---|
| Özel Koruma ve Güvenlik | %36.00 | %25.00 | -11.00% |
| İşletme Yönetimi | %27.00 | %16.00 | -11.00% |
| Tıbbi Dokümantasyon ve Sekreterlik | %33.00 | %23.00 | -10.00% |
| Kamu Yönetimi | %27.00 | %20.00 | -7.00% |
| Sağlık Yönetimi | %24.00 | %17.00 | -7.00% |
📚 Tüm Kategorilerin Detaylı Başarı Tablosu
62 kategorinin tamamını görmek için tıklayın
| Bölüm / Kategori | Base Model (%) | Fine-Tuned Model (%) | Fark (%) |
|---|---|---|---|
| AUZEF | %28.00 | %26.00 | -2.00% |
| Acil Durum ve Afet Yönetimi | %28.00 | %27.00 | -1.00% |
| Adalet | %21.00 | %24.00 | +3.00% |
| Aşçılık | %21.00 | %25.00 | +4.00% |
| Bankacılık ve Sigortacılık | %21.00 | %22.00 | +1.00% |
| Büro Yönetimi ve Yönetici Asistanlığı | %28.00 | %23.00 | -5.00% |
| DHBT | %27.00 | %31.00 | +4.00% |
| Dini Bilgiler | %33.00 | %33.00 | +0.00% |
| Dış Ticaret | %24.00 | %19.00 | -5.00% |
| Ehliyet Sınavı | %24.00 | %31.00 | +7.00% |
| Elektrik Enerjisi Üretim, İletim ve Dağıtımı | %24.00 | %25.00 | +1.00% |
| Emlak ve Emlak Yönetimi | %23.00 | %23.00 | +0.00% |
| Ev İdaresi | %19.00 | %23.00 | +4.00% |
| Felsefe | %22.00 | %27.00 | +5.00% |
| Fotoğrafçılık ve Kameramanlık | %22.00 | %18.00 | -4.00% |
| Futbol | %28.00 | %24.00 | -4.00% |
| Halkla İlişkiler ve Reklamcılık | %24.00 | %22.00 | -2.00% |
| Halkla İlişkiler ve Tanıtım | %24.00 | %24.00 | +0.00% |
| Havacılık Yönetimi | %27.00 | %27.00 | +0.00% |
| KPSS | %24.00 | %26.00 | +2.00% |
| KPSS Denemeleri | %20.00 | %26.00 | +6.00% |
| Kamu Yönetimi | %27.00 | %20.00 | -7.00% |
| Kim 500 Milyar İster | %27.00 | %28.00 | +1.00% |
| Kültürel Miras ve Turizm | %26.00 | %28.00 | +2.00% |
| Laborant ve Veteriner Sağlık | %25.00 | %24.00 | -1.00% |
| Lojistik | %21.00 | %20.00 | -1.00% |
| Maliye | %24.00 | %24.00 | +0.00% |
| Marka İletişimi | %22.00 | %19.00 | -3.00% |
| Medya ve İletişim | %17.00 | %23.00 | +6.00% |
| Menkul Kıymetler ve Sermaye Piyasası | %24.00 | %20.00 | -4.00% |
| Muhasebe ve Vergi Uygulamaları | %24.00 | %27.00 | +3.00% |
| Okul Öncesi Öğretmenliği | %24.00 | %20.00 | -4.00% |
| Perakende Satış ve Mağaza Yöneticiliği | %25.00 | %29.00 | +4.00% |
| Radyo ve Televizyon Programcılığı | %25.00 | %24.00 | -1.00% |
| Sağlık Kurumları İşletmeciliği | %21.00 | %24.00 | +3.00% |
| Sağlık Yönetimi | %24.00 | %17.00 | -7.00% |
| Siyer | %27.00 | %23.00 | -4.00% |
| Sosyal Hizmet | %25.00 | %22.00 | -3.00% |
| Sosyal Hizmetler | %27.00 | %21.00 | -6.00% |
| Sosyoloji | %23.00 | %29.00 | +6.00% |
| Spor Yönetimi | %28.00 | %31.00 | +3.00% |
| TUS | %22.00 | %18.00 | -4.00% |
| Tarih | %26.00 | %24.00 | -2.00% |
| Tarım | %19.00 | %15.00 | -4.00% |
| Turizm ve Otel İşletmeciliği | %30.00 | %26.00 | -4.00% |
| Turizm ve Seyahat Hizmetleri | %16.00 | %28.00 | +12.00% |
| Türk Dili ve Edebiyatı | %22.00 | %25.00 | +3.00% |
| Tıbbi Dokümantasyon ve Sekreterlik | %33.00 | %23.00 | -10.00% |
| Uluslararası İlişkiler | %29.00 | %25.00 | -4.00% |
| Uluslararası Ticaret ve Lojistik Yönetimi | %26.00 | %27.00 | +1.00% |
| Yaşlı Bakımı | %23.00 | %17.00 | -6.00% |
| Yerel Yönetimler | %25.00 | %25.00 | +0.00% |
| Yönetim Bilişim Sistemleri | %28.00 | %23.00 | -5.00% |
| Çalışma Ekonomisi ve Endüstri İlişkileri | %30.00 | %28.00 | -2.00% |
| Çağrı Merkezi Hizmetleri | %27.00 | %24.00 | -3.00% |
| Çocuk Gelişimi | %23.00 | %21.00 | -2.00% |
| Özel Koruma ve Güvenlik | %36.00 | %25.00 | -11.00% |
| Üniversite Giriş Sınavı Temel Bilimler | %20.00 | %20.00 | +0.00% |
| İktisat | %21.00 | %21.00 | +0.00% |
| İlahiyat | %20.00 | %19.00 | -1.00% |
| İnsan Kaynakları Yönetimi | %22.00 | %20.00 | -2.00% |
| İşletme Yönetimi | %27.00 | %16.00 | -11.00% |
Sonuç Yorumu
Bu fine-tune, istatistik alanına özel bir eğitimdir. MMLU testi ise 62 farklı genel bilgi kategorisini ölçmektedir. Genel başarıda gözlemlenen -0.87%'lik düşüş, 1B parametreli küçük bir modelde alan-spesifik fine-tuning'in beklenen bir sonucudur.
This gemma3_text model was trained 2x faster with Unsloth and Huggingface's TRL library.
- Downloads last month
- 171
Model tree for Toivo0/gemma-3-finetune
Base model
google/gemma-3-1b-pt