SmolLM - PPO

Дообучение методом PPO для более разговорных ответов.

Качество

Средняя логпроба на токен ответа:

  • Train: -1.976
  • SQuAD: -3.836

Модель получилось достаточно спорной, ответы не являются в желаемой степени логичными и связными.

Downloads last month
317
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ivanz24/llm-course-hw2-ppo

Finetuned
(424)
this model

Dataset used to train ivanz24/llm-course-hw2-ppo