|
|
--- |
|
|
library_name: transformers |
|
|
tags: |
|
|
- trl |
|
|
- reward-trainer |
|
|
datasets: |
|
|
- HumanLLMs/Human-Like-DPO-Dataset |
|
|
language: |
|
|
- en |
|
|
base_model: |
|
|
- HuggingFaceTB/SmolLM-135M-Instruct |
|
|
--- |
|
|
|
|
|
## Описание модели |
|
|
Модель была создана для дообучения "HuggingFaceTB/SmolLM-135M-Instruct" с использованием Proximal Policy Optimization |
|
|
(PPO) |
|
|
|
|
|
Правильно оценивает сгенерированный моделью текст, на обучающем датасете показала большие различия в оценках для 'chosen' и 'rejected' |
|
|
## Как использовать: |
|
|
```python |
|
|
reward_model = AutoModelForSequenceClassification.from_pretrained( |
|
|
MODEL_ID, |
|
|
num_labels=1 |
|
|
) |
|
|
reward_model.to(device) |
|
|
|
|
|
inputs_chosen = tokenizer.apply_chat_template(['some text', tokenize=False) |
|
|
inputs_chosen = tokenizer(inputs_chosen, return_tensors="pt").to(DEVICE) |
|
|
score_chosen = reward_model(**inputs_chosen).logits[0].cpu().detach() |
|
|
print(score_chosen) |
|
|
``` |
