Описание модели

Модель была создана для дообучения "HuggingFaceTB/SmolLM-135M-Instruct" с использованием Proximal Policy Optimization (PPO)

Правильно оценивает сгенерированный моделью текст, на обучающем датасете показала большие различия в оценках для 'chosen' и 'rejected'

Как использовать:

reward_model = AutoModelForSequenceClassification.from_pretrained(
        MODEL_ID,
        num_labels=1
    )
reward_model.to(device)

inputs_chosen = tokenizer.apply_chat_template(['some text', tokenize=False)
inputs_chosen = tokenizer(inputs_chosen, return_tensors="pt").to(DEVICE)
score_chosen = reward_model(**inputs_chosen).logits[0].cpu().detach()
print(score_chosen)