--- base_model: unsloth/Qwen3.5-4B datasets: - yoitsmeyusuf/felsefe_finetune tags: - text-generation-inference - transformers - unsloth - qwen3_5 - trl - lora license: apache-2.0 language: - tr --- # felsefe-lora `unsloth/Qwen3.5-4B` taban modelinin, Türkçe felsefe (düşünürler, akımlar, temel kavramlar) soru-cevap verisiyle LoRA fine-tune edilmiş adaptörü. - **Domain:** Felsefe (Türkçe) - **Taban model:** [unsloth/Qwen3.5-4B](https://huggingface.co/unsloth/Qwen3.5-4B) - **Eğitim verisi:** [yoitsmeyusuf/felsefe_finetune](https://huggingface.co/datasets/yoitsmeyusuf/felsefe_finetune) (527 soru-cevap satırı — Ekşi Sözlük + r/felsefe scraping + 2 elle yazılmış seed) - **Yöntem:** [Unsloth](https://github.com/unslothai/unsloth) `FastModel` + PEFT LoRA (4bit, `r=16`, `lora_alpha=16`, hedef modüller: q/k/v/o/gate/up/down_proj), 1 epoch, effective batch size 8 (`per_device_train_batch_size=2` × `gradient_accumulation_steps=4`), `learning_rate=2e-4`, RTX 4060 Laptop (8GB VRAM) üzerinde. - **Eğitim kaybı (loss):** 67 adımda ~3.53 → ~1.5-2.9 aralığına düştü (küçük veri seti + 1 epoch nedeniyle adımlar arası dalgalanma var, ama net bir düşüş trendi mevcut). ## Örnek çıktı Model, `apply_chat_template(..., tokenize=True)` çok-modlu (image-text-to-text) işlemci formatı gerektirdiği için mesaj içeriği `[{"type": "text", "text": ...}]` şeklinde verilmeli (bkz. `odev3_finetune/test_inference.py`). **Soru:** "Nietzsche'nin üst-insan (übermensch) kavramı nedir?" > (Model önce İngilizce bir "thinking" bölümü üretiyor, ardından Türkçe > cevaba geçiyor — taban model bir reasoning modeli olduğu için bu davranış > beklenen; kısa `max_new_tokens` ile test edildiğinde cevap bu noktada > kesildi.) Türkçe cevap bölümü üst-insanı değerler yaratma, geleneksel > ahlakı aşma ve "Tanrı öldü" sonrası anlam arayışı bağlamında doğru şekilde > özetliyor. **Soru:** "Varoluşçuluk nedir, temsilcileri kimlerdir?" > "Varoluşçuluk, insanın varoluşunun önceliği, özgürlüğü ve sorumluluğu > üzerine kurulu bir felsefi akımdır. Varoluşçular, insanın doğuştan bir öz > veya amaçla yüklü olmadığını, varoluşunun kendisiyle başladığını > savunurlar..." (Sartre, Camus, Kierkegaard, Heidegger, de Beauvoir temsilci > olarak sayıldı.) **Soru:** "Descartes'ın 'düşünüyorum öyleyse varım' önermesi ne anlama gelir?" > Model, önermeyi *Discourse on Method*/*Meditations* bağlamına oturtup > şüphe etme ediminin bile varoluşu kanıtladığını doğru şekilde açıkladı. Üçü de konuya hakim, tutarlı ve Türkçe felsefi içerik üretti — LoRA adaptörünün taban modeli felsefe domain'ine yönlendirdiği gözlemlendi. Daha uzun/kesilmemiş cevaplar için `max_new_tokens` artırılmalı. ## MMLU Benchmark: Taban Model vs Fine-Tune (LoRA) Model, [alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari](https://huggingface.co/datasets/alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari) deposundaki Türkçe MMLU test seti ve değerlendirme mantığı (`olcum.py`) kullanılarak taban modelle (`unsloth/Qwen3.5-4B`) karşılaştırmalı olarak test edildi. **Yöntem notu:** Orijinal `olcum.py` Ollama üzerinden çalışıyor; bu model Ollama'da değil (LoRA adaptörü olarak HF'de) bulunduğundan, aynı veri seti, aynı prompt formatı ve aynı doğruluk kontrolü (harf eşleşmesi + belirsiz cevaplarda `sentence-transformers/paraphrase-multilingual-mpnet-base-v2` ile anlamsal benzerlik) `unsloth.FastModel` üzerinden doğrudan çalıştırılarak birebir uygulandı ([kod](https://huggingface.co/yoitsmeyusuf/felsefe-lora/blob/main/mmlu_benchmark.py)). 62 bölümün her birinden rastgele (seed=42) 15 soru örneklendi (toplam 930 soru/model, tüm 6200 soru değil) — greedy decoding (`do_sample=False`), `enable_thinking=False`. ### Genel sonuç | Model | Doğru | Toplam | Başarı | Süre | |---|---|---|---|---| | **Taban** — `unsloth/Qwen3.5-4B` | 588 | 930 | **%63.23** | 438.4s | | **Fine-tune (LoRA)** — `yoitsmeyusuf/felsefe-lora` | 578 | 930 | **%62.15** | 575.5s | Genel MMLU başarısında fark: **-1.08 puan** (LoRA − Taban). Felsefe verisiyle yapılan dar kapsamlı (527 satır, 1 epoch) bir LoRA fine-tune'un genel bilgi MMLU'sunda gözle görülür bir artış sağlaması beklenmiyordu — hedef zaten genel yetenek değil, felsefe domain'inde üslup/derinlikti (bkz. yukarıdaki örnek çıktılar). İlginç şekilde `Felsefe` bölümünün kendisinde de bu örneklemde taban model daha iyi çıktı (Taban %60.0 vs LoRA %53.33) — n=15 soruluk küçük örneklemde bir soru bile birkaç puanlık oynamaya yol açtığından (±1 doğru cevap ≈ ±6.7 puan) ve LoRA'nın çıktı stilini kısa tek harften ziyade daha açıklamalı/uzun cevaplara kaydırmış olabileceğinden (bu benchmark yalnızca tek harf cevabını puanlıyor), bu sonucu 'fine-tune felsefe bilgisini kötüleştirdi' şeklinde değil, MCQ-tarzı kısa cevap formatına karşı bir üslup uyumsuzluğu + küçük örneklem gürültüsü olarak okumak daha doğru. ### Bölüm bazlı sonuçlar (62 bölüm, bölüm başına 15 soru)
Tüm bölümleri göster | Bölüm | Taban | LoRA | Fark | |---|---|---|---| | Sağlık Kurumları İşletmeciliği | %66.67 | %86.67 | +20.00 | | Turizm ve Otel İşletmeciliği | %60.00 | %80.00 | +20.00 | | Adalet | %53.33 | %66.67 | +13.34 | | Kültürel Miras ve Turizm | %53.33 | %66.67 | +13.34 | | Tarım | %60.00 | %73.33 | +13.33 | | Çocuk Gelişimi | %66.67 | %80.00 | +13.33 | | İnsan Kaynakları Yönetimi | %66.67 | %80.00 | +13.33 | | İşletme Yönetimi | %46.67 | %60.00 | +13.33 | | Acil Durum ve Afet Yönetimi | %60.00 | %66.67 | +6.67 | | Dini Bilgiler | %60.00 | %66.67 | +6.67 | | Futbol | %60.00 | %66.67 | +6.67 | | Halkla İlişkiler ve Tanıtım | %53.33 | %60.00 | +6.67 | | Kamu Yönetimi | %60.00 | %66.67 | +6.67 | | Lojistik | %60.00 | %66.67 | +6.67 | | TUS | %60.00 | %66.67 | +6.67 | | Uluslar Arası İlişkiler | %53.33 | %60.00 | +6.67 | | Yerel Yönetimler | %73.33 | %80.00 | +6.67 | | Emlak ve Emlak Yönetimi | %46.67 | %53.33 | +6.66 | | Halkla İlişkiler ve Reklamcılık | %46.67 | %53.33 | +6.66 | | Turizm ve Seyehat Hizmetleri | %46.67 | %53.33 | +6.66 | | AUZEF | %53.33 | %53.33 | +0.00 | | Bankacılık ve Sigortacılık | %40.00 | %40.00 | +0.00 | | DHBT | %66.67 | %66.67 | +0.00 | | Marka İletişimi | %33.33 | %33.33 | +0.00 | | Muhasebe ve Vergi Uygulamaları | %66.67 | %66.67 | +0.00 | | Parakende Satış ve Mağaza Yöneticiliği | %66.67 | %66.67 | +0.00 | | Siyer | %53.33 | %53.33 | +0.00 | | Sosyal Hizmet | %53.33 | %53.33 | +0.00 | | Sosyal Hizmetler | %80.00 | %80.00 | +0.00 | | Tıbbi Dökümantasyon ve Sekreterlik | %80.00 | %80.00 | +0.00 | | Yönetim Bİlişim Sistemleri | %73.33 | %73.33 | +0.00 | | Özel Koruma ve Güvenlik | %53.33 | %53.33 | +0.00 | | Üniversite Giriş Sınavı Temel Bilimler | %66.67 | %66.67 | +0.00 | | Büro Yönetimi ve Yönetici Asistanlığı | %73.33 | %66.67 | -6.66 | | Fotoğrafçılık ve Kameramanlık | %53.33 | %46.67 | -6.66 | | KPSS | %53.33 | %46.67 | -6.66 | | Maliye | %73.33 | %66.67 | -6.66 | | Radyo ve Televizyon Programcılığı | %73.33 | %66.67 | -6.66 | | Sağlık Yönetimi | %73.33 | %66.67 | -6.66 | | Spor Yönetimi | %73.33 | %66.67 | -6.66 | | İktisat | %73.33 | %66.67 | -6.66 | | Dış Ticaret | %60.00 | %53.33 | -6.67 | | Ehliyet Sınavı | %66.67 | %60.00 | -6.67 | | Felsefe | %60.00 | %53.33 | -6.67 | | Laborant ve Veteriner Sağlık | %80.00 | %73.33 | -6.67 | | Medya ve İletişim | %60.00 | %53.33 | -6.67 | | Menkul Kıymetler ve Sermaye Piyasası | %66.67 | %60.00 | -6.67 | | Okul Öncesi Öğretmenliği | %66.67 | %60.00 | -6.67 | | Sosyoloji | %80.00 | %73.33 | -6.67 | | Türk Dili ve Edebiyatı | %46.67 | %40.00 | -6.67 | | Uluslararası Ticaret ve Lojistik Yönetimi | %66.67 | %60.00 | -6.67 | | Yaşlı Bakımı | %66.67 | %60.00 | -6.67 | | Çalışma Ekonomisi ve Endüstri İlişkileri | %60.00 | %53.33 | -6.67 | | İlahiyat | %86.67 | %80.00 | -6.67 | | Aşçılık | %53.33 | %40.00 | -13.33 | | Ev İdaresi | %80.00 | %66.67 | -13.33 | | KPSS Denemeleri | %73.33 | %60.00 | -13.33 | | Tarih | %60.00 | %46.67 | -13.33 | | Çağrı Merkezi Hizmetleri | %73.33 | %60.00 | -13.33 | | Havacılık Yönetimi | %66.67 | %53.33 | -13.34 | | Elektrik Enerjisi Üretim,İletim ve Dağıtımı | %93.33 | %73.33 | -20.00 | | Kim 500 Milyar İster | %66.67 | %40.00 | -26.67 |
Ham cevaplar ve tam sonuç JSON'ları bu repoda: [`sonuclar/`](https://huggingface.co/yoitsmeyusuf/felsefe-lora/tree/main/sonuclar). ## Felsefe Benchmark (Özel, 100 Soru) odev5'teki genel Türkçe MMLU testine ek olarak, model sıfırdan hazırlanmış, yalnızca felsefe konularına odaklanan 100 soruluk (13 kategori) özel bir benchmark'ta da test edildi ve taban modelin yanı sıra 3 farklı model ailesinden referans modellerle karşılaştırıldı. Soru seti ve değerlendirme kodu: [`felsefe_benchmark.py`](https://huggingface.co/yoitsmeyusuf/felsefe-lora/blob/main/felsefe_odev6/felsefe_benchmark.py), [`felsefe_sorulari.py`](https://huggingface.co/yoitsmeyusuf/felsefe-lora/blob/main/felsefe_odev6/felsefe_sorulari.py) (bu repoda `felsefe_odev6/` altında; asıl geliştirme deposu: [odev6_felsefe_benchmark](https://huggingface.co/datasets/yoitsmeyusuf/felsefe-benchmark-100)). Yöntem `mmlu_benchmark.py` ile birebir aynı: harf eşleşmesi + belirsiz durumda `sentence-transformers/paraphrase-multilingual-mpnet-base-v2` ile anlamsal benzerlik, greedy decoding (`do_sample=False`), `enable_thinking=False`. ### Genel sonuç | Model | Etiket | Doğru | Toplam | Başarı | Süre | |---|---|---|---|---|---| | `unsloth/Qwen3.5-4B` | taban_model | 100 | 100 | **%100.0** | 51.8s | | `yoitsmeyusuf/felsefe-lora` | finetune_lora | 100 | 100 | **%100.0** | 70.9s | | `unsloth/Qwen2.5-7B-Instruct-bnb-4bit` | qwen2_5_7b_instruct | 99 | 100 | **%99.0** | 47.2s | | `unsloth/Llama-3.2-3B-Instruct-bnb-4bit` | llama3_2_3b_instruct | 91 | 100 | **%91.0** | 24.2s | | `unsloth/gemma-2-2b-it-bnb-4bit` | gemma2_2b_it | 87 | 100 | **%87.0** | 38.3s | ### Kategori bazlı sonuç | Kategori | taban_model | finetune_lora | qwen2_5_7b_instruct | llama3_2_3b_instruct | gemma2_2b_it | |---|---|---|---|---|---| | 19. Yüzyıl Felsefesi | %100.0 | %100.0 | %100.0 | %85.71 | %71.43 | | 20. Yüzyıl Felsefesi | %100.0 | %100.0 | %100.0 | %100.0 | %100.0 | | Antik Yunan Felsefesi | %100.0 | %100.0 | %100.0 | %81.82 | %81.82 | | Epistemoloji | %100.0 | %100.0 | %100.0 | %100.0 | %88.89 | | Estetik | %100.0 | %100.0 | %100.0 | %87.5 | %87.5 | | Etik | %100.0 | %100.0 | %100.0 | %77.78 | %100.0 | | Mantık | %100.0 | %100.0 | %100.0 | %87.5 | %50.0 | | Metafizik ve Ontoloji | %100.0 | %100.0 | %100.0 | %88.89 | %100.0 | | Modern Felsefe | %100.0 | %100.0 | %100.0 | %100.0 | %88.89 | | Ortaçağ ve İslam Felsefesi | %100.0 | %100.0 | %100.0 | %100.0 | %88.89 | | Siyaset Felsefesi | %100.0 | %100.0 | %100.0 | %100.0 | %100.0 | | Zihin Felsefesi ve Çağdaş Felsefe | %100.0 | %100.0 | %100.0 | %100.0 | %90.0 | | Çağdaş Felsefe | %100.0 | %100.0 | %0.0 | %0.0 | %100.0 | Ham cevaplar ve tam sonuç JSON'ları: [`felsefe_odev6/sonuclar/`](https://huggingface.co/yoitsmeyusuf/felsefe-lora/tree/main/felsefe_odev6/sonuclar). ## Kullanım ```python from unsloth import FastModel model, tokenizer = FastModel.from_pretrained( model_name="yoitsmeyusuf/felsefe-lora", max_seq_length=2048, load_in_4bit=True, ) FastModel.for_inference(model) messages = [{"role": "user", "content": [{"type": "text", "text": "Sokrates kimdir?"}]}] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_tensors="pt" ).to(model.device) out = model.generate(input_ids=inputs, max_new_tokens=512) print(tokenizer.decode(out[0], skip_special_tokens=True)) ``` Bu qwen3_5 modeli [Unsloth](https://github.com/unslothai/unsloth) ile 2x daha hızlı eğitildi. [](https://github.com/unslothai/unsloth)