RuModernBERT-base-anekdot-scorer

English description

Оценщик русскоязычных анекдотов на основе deepvk/RuModernBERT-base. Дообучен на текстовом подмножестве anekdots датасета d0rj/anekdot: train 618 470, val 77 308, test 77 310. Оценка 0–1 предсказывает сглаженную долю положительных голосов читателей anekdot.ru.

LR 2e-5, seed 42, 3 эпохи; опубликован лучший по val checkpoint 19328. 149 млн параметров, CLS + линейная голова. Вход — до 512 токенов; длинные тексты: первые 128 + последние 382 токена тела.

Использование

from transformers import AutoModelForSequenceClassification, AutoTokenizer

repo = "d0rj/RuModernBERT-base-anekdot-scorer"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(
    repo, trust_remote_code=True
).eval()
scores = model.score_texts(["Ваш анекдот здесь."], tokenizer, calibrated=True)

score_texts сохраняет исходное head+tail усечение. calibrated=False возвращает исходную оценку; True применяет сохранённую val-калибровку. trust_remote_code=True загружает адаптер исходной обученной головы. Проверено с Transformers 5.17.0 / PyTorch 2.11.0.

Сравнение на одном test из 77 310 примеров

Модель	Spearman ↑	BCE ↓	BCE calibrated ↓	MAE ↓	RMSE ↓	Текстов/с ↑
Small (эта модель)	0.4933	0.6686	0.6672	0.1343	0.1666	583.3
BERTA	0.4656	0.6716	0.6694	0.1389	0.1709	1212.6
rubert-tiny-turbo	0.4010	0.6745	0.6738	0.1433	0.1750	3096.3
Gemma4-E4B-it (zero-shot)	0.1398	0.7524	0.6847	0.2035	0.2521	10.5
Среднее train	—	0.6863	—	0.1598	0.1908	—

MAE/RMSE — до калибровки. Калибровка: энкодеры — val 77 308, Gemma — val 2048. Скорость после прогрева на RTX 5070 Ti: batch 64 у энкодеров, batch 4 NF4/BF16 у Gemma. Один seed 42; корпус ранее исследовался. Голоса читателей не являются независимой экспертной оценкой юмора. Ревизии источников, калибровка и полные результаты: training_metadata.json, evaluation_results.json.