---
language:
- tr
license: apache-2.0
base_model: unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit
tags:
- peft
- lora
- qwen2
- e-commerce
- customer-support
- turkish
---

# TR-ECommerce-CustomerSupport-LoRA

Bu model, e-ticaret müşteri destek alanındaki Türkçe metinleri daha iyi anlayıp cevap üretebilmesi için `unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit` modeli üzerine LoRA ile fine-tune edilmiştir.

## 📊 MMLU Benchmark Karşılaştırması

Fine-tune edilmiş bu model, öncelikle genel kültür ve muhakeme yeteneğini ölçmek adına Türkçe Yapay Zeka MMLU veri setinin **1000 soruluk** kapsamlı bir alt kümesi üzerinden test edilmiştir. Base model ile yapılan karşılaştırmalı performans testi sonuçları aşağıdadır:

| Model | Model Tipi | Başarı Oranı (%) | Doğru Cevap | Çözülen Soru | Toplam Süre (sn)* |
| :--- | :--- | :--- | :--- | :--- | :--- |
| `unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit` | Base Model | **%22.00** | 220 | 1000 | 881.830 |
| `Mer1Alii/TR-ECommerce-CustomerSupport-LoRA` | Fine-Tuned (LoRA) | **%34.10** | 341 | 1000 | 567.668 |

> **MMLU Değerlendirmesi:** Çoktan seçmeli bir testte %22'lik başarı şans faktörüne (random guessing) oldukça yakındır. Fine-tune işlemi sonrası bu oranın %34.10'a çıkması, modelin genel kültür bilgisinin artmasından ziyade; **verilen "sadece şıkkın harfini yaz" talimatına ve formata çok daha iyi uyum sağlamasından** kaynaklanmaktadır. Bu test göstermektedir ki LoRA eğitimi yıkıcı unutmaya (catastrophic forgetting) yol açmamış, modelin formatı öğrenme kapasitesini belirgin şekilde artırmıştır. 
> 
> *\*Not: Süredeki dramatik iyileşme, kısmen GPU/Cache ısınmasından ve modelin talimata uyarak gereksiz uzunlukta token üretmeyi bırakmasından (doğrudan tek harf üretmesi) kaynaklanmaktadır.*

---

## 🎯 Özel E-Ticaret Benchmark Karşılaştırması (Asıl Odak)

Model e-ticaret müşteri desteği için fine-tune edildiğinden, modelin asıl başarısını ölçmek adına **500 soruluk özel bir e-ticaret test seti (TR-ECommerce-CustomerSupport-Benchmark)** oluşturulmuştur. Bu veri seti, eğitim verisinden tamamen ayrılmış %10'luk bir kısımdır.

Önceki değerlendirmelerde vurgulanan *"bölüm bazlı (stratified) örnekleme"* önerisine uygun olarak; test seti 5 ana kategoriye ayrılmış ve her kategoriden tam **100'er adet** dengeli soru seçilmiştir.

| Model | Basari (%) | Dogru | Toplam Soru | Sure (sn) |
| :--- | :--- | :--- | :--- | :--- |
| `Qwen2.5-1.5B (Base Model)` | **%27.40** | 137 | 500 | 310.5 |
| `TR-ECommerce-LoRA (Fine-Tuned)` | **%39.80** | 199 | 500 | 240.9 |
| `Gemma-3-1B-IT` | **%49.80** | 249 | 500 | 321.5 |
| `Llama-3.2-1B-Instruct` | **%23.40** | 117 | 500 | 241.8 |
| `Qwen2.5-0.5B-Instruct` | **%42.40** | 212 | 500 | 316.9 |

> **Analiz (Gerçek E-Ticaret Performansı):** Kendi hazırladığımız dengeli (stratified) 500 soruluk test setinde Qwen 2.5 1.5B Base modeli %27.40 başarı gösterirken, aynı modelin üzerine eğittiğimiz LoRA versiyonu **%39.80** puana (oransal olarak ~%45 iyileşme) çıkmıştır. Bu artış, modelin e-ticaret domaininde (kargo, iade, fatura vb. müşteri şikayetleri) hedeflediğimiz uzmanlaşmayı başarıyla kazandığını ispatlamaktadır. Llama 3.2 gibi popüler modelleri de bu spesifik alanda geride bırakmıştır.



## 🚀 Kullanım (Usage)

Modeli `transformers` ve `peft` kütüphaneleri ile kolayca kullanabilirsiniz:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base_model_id = "unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit"
peft_model_id = "Mer1Alii/TR-ECommerce-CustomerSupport-LoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
model = AutoModelForCausalLM.from_pretrained(base_model_id, torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, peft_model_id)

prompt = "Kargom 3 gündür yolda gözüküyor, ne yapmalıyım?"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## 🔗 Veri Seti ve Test Kodu (Dataset & Benchmark)

Tüm test kodları ve veri setleri tamamen şeffaf bir şekilde bu deponun "Files and versions" sekmesinde yer almaktadır:
- **Özel E-Ticaret Benchmark Testi:** Modelin kendi e-ticaret senaryomuzda test edildiği 500 soruluk JSON veri seti (`custom_benchmark_final.json`) ve 4-bit optimize test kodu (`custom_benchmark_test.py`).
- **MMLU Testi:** Önceki MMLU testini yapmak için kullanılan kod (`hf_olcum.py`). 

Model eğitimi sırasında kullanılan asıl veri setine ve tokenizer'a aşağıdaki linklerden ulaşabilirsiniz:
- Dataset: [Mer1Alii/TR-ECommerce-CustomerSupport-Instructions](https://huggingface.co/datasets/Mer1Alii/TR-ECommerce-CustomerSupport-Instructions)
- Tokenizer: [Mer1Alii/TR-ECommerce-CustomerSupport-Tokenizer](https://huggingface.co/Mer1Alii/TR-ECommerce-CustomerSupport-Tokenizer)