| |
| """Kural tabanlı aday süzgeci (DeBERTa yok): görünür + etkileşimli etiketler + metni dolu yaygın etiketler, |
| TF-IDF sırasıyla en fazla K aday. pos_idx yeniden hesaplanır. Kullanım: |
| python m2w_filter.py --data m2w_full_all --out m2w_v2 --K 128""" |
| import argparse, gzip, json, os |
| import numpy as np |
|
|
| INTER = {"a", "button", "input", "select", "textarea", "option", "label", "summary"} |
| EXTRA = {"li", "img", "svg", "i", "span", "div", "td", "tr", "th", "h1", "h2", "h3", "h4", "p"} |
|
|
|
|
| def level(c): |
| """0 = görünür + etkileşimli etiket (öncelikli), 1 = görünür + metni dolu yaygın etiket, None = at.""" |
| b = c.get("bbox") |
| if b is None or b[2] <= 0 or b[3] <= 0: |
| return None |
| if c["tag"] in INTER: |
| return 0 |
| if c["tag"] in EXTRA and "|" in c["text"] and len(c["text"].split("|")[-1].strip()) > 0: |
| return 1 |
| return None |
|
|
|
|
| def select(cands, K): |
| """Önce seviye 0 (TF-IDF sırasıyla, en çok K), yer kalırsa seviye 1; sonra özgün TF-IDF sırasına döndür.""" |
| lv = [level(c) for c in cands] |
| first = [i for i, l in enumerate(lv) if l == 0][:K] |
| rest = [i for i, l in enumerate(lv) if l == 1][: K - len(first)] |
| return sorted(first + rest) |
|
|
|
|
| def main(): |
| ap = argparse.ArgumentParser() |
| ap.add_argument("--data", default="m2w_full_all") |
| ap.add_argument("--out", default="m2w_v2") |
| ap.add_argument("--K", type=int, default=160) |
| ap.add_argument("--splits", nargs="+", default=["train", "val", "test_task", "test_website", "test_domain"]) |
| a = ap.parse_args() |
| os.makedirs(a.out, exist_ok=True) |
| summ = {} |
| for s in a.splits: |
| p = os.path.join(a.data, f"{s}.jsonl.gz") |
| if not os.path.exists(p): |
| continue |
| n = hit = 0 |
| sizes = [] |
| with gzip.open(p, "rt", encoding="utf-8") as f, gzip.open(os.path.join(a.out, f"{s}.jsonl.gz"), "wt", encoding="utf-8") as g: |
| for l in f: |
| ex = json.loads(l) |
| pos = set(ex["pos_idx"]) |
| keep = select(ex["cands"], a.K) |
| new = dict(ex) |
| new["cands"] = [ex["cands"][i] for i in keep] |
| new["pos_idx"] = [r for r, i in enumerate(keep) if i in pos] |
| new["n_total_before"] = len(ex["cands"]) |
| new["dropped_pos"] = [ex["cands"][i] for i in sorted(pos) if i not in set(keep)] |
| g.write(json.dumps(new, ensure_ascii=False) + "\n") |
| n += 1; hit += len(new["pos_idx"]) > 0; sizes.append(len(keep)) |
| summ[s] = {"n": n, f"recall@K": hit / n, "aday_ortanca": int(np.median(sizes)), "aday_p90": int(np.percentile(sizes, 90))} |
| print(f" {s}: n={n} | doğru kalıyor (tavan)={hit/n:.3f} | aday ortanca={summ[s]['aday_ortanca']} p90={summ[s]['aday_p90']}") |
| json.dump(summ, open(os.path.join(a.out, "filtre_ozet.json"), "w"), indent=2) |
|
|
|
|
| if __name__ == "__main__": |
| main() |
|
|
