---
license: apache-2.0
language:
  - tr
  - en
tags:
  - dataset-tools
  - multiple-choice
  - sft
  - data-cleaning
---

# Multiple-Choice Correct-Answer Filter

Çoktan seçmeli SFT dataset'lerinde **şıkları tamamen kaldırıp soruyu saf metne indiren ve cevap mesajını doğru şıkkın düz metnine çeviren** küçük bir Python aracı.

Fizik, matematik, tarih gibi derslere özgü kurulmamıştır — `conversations` veya `messages` formatındaki herhangi bir JSONL çoktan seçmeli veri setinde çalışır.

## Ne yapar?

**Önce:**
```
user:      Soru: Termodinamiğin birinci yasası neyi ifade eder?
           A) Entropi her zaman artar
           B) Enerji korunur
           C) Mutlak sıcaklık sıfıra ulaşılamaz
           D) Isı soğuktan sıcağa akar

assistant: Cevap: B) Enerji korunur
```

**Sonra:**
```
user:      Termodinamiğin birinci yasası neyi ifade eder?

assistant: Enerji korunur
```

- Soru metnindeki tüm şık satırları ve "Soru:" / "Question:" prefix'i temizlenir.
- Cevap mesajı, doğru şıkkın harf/prefix'siz düz metnine dönüşür.
- Serbest metinli (çoktan seçmeli olmayan) kayıtlar varsayılan olarak olduğu gibi geçirilir.

## Desteklenen formatlar

| Yapı | Örnek |
|------|-------|
| `conversations` | `[{"from": "human/gpt", "value": "..."}]` |
| `messages` | `[{"role": "user/assistant", "content": "..."}]` |

Desteklenen cevap prefixleri:
- Türkçe: `Cevap: B)`, `Doğru cevap: B`, `**Cevap:** **B) ...**`
- İngilizce: `Answer: B`, `The answer is B`, `**Answer:** B`, `B is correct`

A–Z arası harfler (fizik80k örneklerinde A–J'ye kadar şık olabiliyor).

## Kurulum

Dependency yok, pure Python 3.10+.

```bash
wget https://huggingface.co/MRBeDev/mc-answer-filter/resolve/main/filter_correct_answer.py
```

## Kullanım

**1) HF'ten otomatik indir + temizle (tüm split'ler birden):**

```bash
export HF_TOKEN=hf_...  # private dataset için

python3 filter_correct_answer.py \
  --hf mrbe-share/fizik80k \
  --outdir ./out/fizik
```

**2) Tek lokal dosya:**

```bash
python3 filter_correct_answer.py \
  --file train.jsonl \
  --output train_clean.jsonl
```

**3) Çoktan seçmeli olmayanları at:**

```bash
python3 filter_correct_answer.py \
  --hf mrbe-share/fizik80k \
  --outdir ./out/fizik \
  --drop-non-mc
```

**4) Sadece belirli bir split:**

```bash
python3 filter_correct_answer.py \
  --hf MRBeDev/physics-reasoning-dataset \
  --split-path train.jsonl \
  --outdir ./out/physics
```

## CLI flag'leri

| Flag | Açıklama |
|------|----------|
| `--hf REPO` | HuggingFace dataset id |
| `--file PATH` | Lokal .jsonl (--hf yerine) |
| `--output PATH` | Tek dosya modu çıktı (--file ile) |
| `--outdir DIR` | Çoklu dosya modu çıkış dizini (--hf ile) |
| `--split-path X` | Belirli dosya(lar)ı işle (birden fazla kez verilebilir) |
| `--drop-non-mc` | Çoktan seçmeli olmayan kayıtları at |
| `--token TOKEN` | HF API token (private için) |
| `--cache-dir DIR` | İndirilen dosyaların cache'i (default `/tmp/hf_dataset_cache`) |
| `--force-download` | Cache'i yok say |

## Dataset bütünlüğü

Default olarak çoktan seçmeli olmayan kayıtlar **olduğu gibi** geçirilir, böylece dataset boyutu korunur. Sadece çoktan seçmeli soruların içi temizlenir ve cevap mesajı sadeleştirilir. `--drop-non-mc` ile bu davranışı değiştirebilirsin.

## Lisans

Apache 2.0. İstediğin gibi kullan.