marcin119a/herbert-nieruchomosci-pl

Herbert — Nieruchomości PL (MLM)

Model allegro/herbert-base-cased poddany domain adaptation na polskich ogłoszeniach nieruchomości metodą Masked Language Modeling (MLM).

Dane treningowe

Dataset: marcin119a/nieruchomosci-polska-mlm

Ogłoszenia nieruchomości z różnych miast Polski zawierające opisy mieszkań, domów i działek.

Trening

• Metoda: Masked Language Modeling (15% maskowań)
• Epoki: 3
• Optymalizator: AdamW, lr=2e-5, weight_decay=0.01
• Scheduler: cosine z warmup 5%

Użycie

from transformers import pipeline

pipe = pipeline("fill-mask", model="marcin119a/herbert-nieruchomosci-pl")
results = pipe("Mieszkanie na sprzedaż w centrum [MASK].")
for r in results:
    print(r["token_str"], r["score"])