code/kod/faz8_prep_v15b.py

"""
Faz 8 v1.5b — ORPO/tercih verisi (chosen/rejected), v1.5b chat prompt.

v1 (faz8_prep_dpo.py {instruction,chosen,rejected}) KORUNUR; bu YENİ üretici v1.5b chat prompt verir.
KARAR v1.5: ORPO (referans-modelsiz; DPO 177M'de nötraldı) → tercih VERİSİ DPO ile AYNI, fark LOSS (faz8 training).
Bu betik VERİ üretir; ORPO loss faz8_orpo.py'de (paired TODO). ORPO tek-aşama: SFT-loss + λ·odds-ratio(chosen>rejected).

Kaynaklar (v1 ile aynı): EN=HuggingFaceH4/ultrafeedback_binarized(train_prefs), TR=selimc/orpo-dpo-mix-TR-20k(train).
⚠️ DİSTİLASYON NOTU: ultrafeedback = GPT-4-yargılı/karışık-model tamamlamalı → PUBLIC için GRİ ALAN.
   Tam-permissive alternatif: OASST insan-RANKING'inden çift türet (aynı prompt'a farklı-rank asistan yanıtları) — gelecek iş.
   Şimdilik v1 kaynak korunur (tercih-sıralama, doğrudan-çıktı-kopyalamadan hafif) + bu not.

Çıktı: {"prompt": <chat>, "chosen": str, "rejected": str, "lang"} JSONL → faz8_orpo.py --data.
  prompt = render([user]) + "### Asistan:\n" (faz6 şablonu tek-kaynak; faz7_rag.build_chat_prompt ile AYNI).

Çalıştırma (Colab/yerel; datasets + sentencepiece + HF login):
  HF_TOKEN=hf_xxx python faz8_prep_v15b.py --out orpo_v15b.jsonl --n_en 8000 --n_tr 8000
"""
import os, sys, json, random, argparse
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
from faz6_prep_v15b import render, load_tok   # tek-kaynak şablon + tokenizer

EN_REPO = "HuggingFaceH4/ultrafeedback_binarized"
TR_REPO = "selimc/orpo-dpo-mix-TR-20k"


# ───────────── saf-mantık (yerelde gerçek tokenizer'la test edilebilir) ─────────────
def chat_prompt(user_text):
    """v1.5b: tek user turu → asistan üret. faz7_rag.build_chat_prompt ile BİREBİR aynı layout."""
    return render([{"role": "user", "content": user_text.strip()}]) + "\n\n### Asistan:\n"


def last_assistant(messages):
    """chosen/rejected mesaj listesinden son assistant içeriği (str gelirse aynen)."""
    if isinstance(messages, str):
        return messages.strip()
    for m in reversed(messages or []):
        if isinstance(m, dict) and m.get("role") == "assistant":
            return (m.get("content") or "").strip()
    return ""


def tok_len(sp, prompt, resp):
    """faz8_orpo ile aynı: prompt + yanıt + eos."""
    return len(sp.encode(prompt + resp.strip(), out_type=int)) + 1


def make_pair(sp, raw_prompt, chosen, rejected, max_len, lang):
    """{prompt(chat),chosen,rejected,lang}; ikisi de max_len'e sığmalı, chosen≠rejected."""
    p_raw, c, r = (raw_prompt or "").strip(), (chosen or "").strip(), (rejected or "").strip()
    if not (p_raw and c and r) or c == r:
        return None
    prompt = chat_prompt(p_raw)
    if tok_len(sp, prompt, c) > max_len or tok_len(sp, prompt, r) > max_len:
        return None
    return {"prompt": prompt, "chosen": c, "rejected": r, "lang": lang}


# ───────────── yükleyiciler (datasets gerekir) ─────────────
def gather(sp, repo, split, max_len, want, lang, cap_src=0):
    from datasets import load_dataset
    ds = load_dataset(repo, split=split)
    out = []
    for ex in ds:
        raw = ex.get("prompt") or ex.get("question") or ex.get("instruction") or ""
        row = make_pair(sp, raw, last_assistant(ex.get("chosen")),
                        last_assistant(ex.get("rejected")), max_len, lang)
        if row:
            out.append(row)
        if len(out) >= (cap_src or want):
            break
    print(f"[{repo.split('/')[-1]}] tutuldu {len(out)}", flush=True)
    return out


def stats(sp, rows, name):
    if not rows:
        print(f"[{name}] 0 örnek", flush=True); return
    sample = rows if len(rows) <= 2000 else random.sample(rows, 2000)
    lc = sorted(tok_len(sp, r["prompt"], r["chosen"]) for r in sample)
    lr = sorted(tok_len(sp, r["prompt"], r["rejected"]) for r in sample)
    print(f"[{name}] n={len(rows)} | chosen tok med={lc[len(lc)//2]} p90={lc[int(len(lc)*0.9)]} "
          f"| rejected med={lr[len(lr)//2]}", flush=True)


def main():
    ap = argparse.ArgumentParser()
    ap.add_argument("--out", default="orpo_v15b.jsonl")
    ap.add_argument("--max_len", type=int, default=1024, help="prompt+yanıt token tavanı (≤2048; ORPO chosen+rejected forward → kısa tut)")
    ap.add_argument("--n_en", type=int, default=8000)
    ap.add_argument("--n_tr", type=int, default=8000)
    ap.add_argument("--cap_src", type=int, default=0, help="smoke test: kaynak başına ~N (0=üretim)")
    ap.add_argument("--seed", type=int, default=42)
    args = ap.parse_args()

    token = os.environ.get("HF_TOKEN")
    try:
        from huggingface_hub import get_token
        token = token or get_token()
    except Exception:
        pass
    sp = load_tok(token)
    rng = random.Random(args.seed)

    print("=== EN (ultrafeedback) ===", flush=True)
    en = gather(sp, EN_REPO, "train_prefs", args.max_len, args.n_en, "en", args.cap_src)
    print("=== TR (orpo-dpo-mix-TR) ===", flush=True)
    tr = gather(sp, TR_REPO, "train", args.max_len, args.n_tr, "tr", args.cap_src)

    stats(sp, en, "EN"); stats(sp, tr, "TR")
    data = en + tr; rng.shuffle(data)
    with open(args.out, "w", encoding="utf-8") as f:
        for r in data:
            f.write(json.dumps(r, ensure_ascii=False) + "\n")
    stats(sp, data, "TOPLAM")
    print(f"\n[bitti] {len(data)} çift (EN {len(en)} + TR {len(tr)}) -> {args.out}", flush=True)


if __name__ == "__main__":
    main()