File size: 1,562 Bytes
ad3790c f4be5f1 ad3790c f4be5f1 ad3790c f4be5f1 ad3790c 085da2f ad3790c f4be5f1 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | BerryLM Wildberries & Russ
Модели и данные
Базовая модель
Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации.
---
Датасет
Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth.
Метод
DAPO с Reward Hacking Prevention
Применяется метод один из модификаций GRPO.
Cистема из 2 reward-функций, направленная на предотвращение reward hacking (эксплуатации слабостей reward-сигнала):
- Reasoning Compression
- Languange Answer Correctenss
Архитектура обучения
Обучение организовано в распределённом режиме:
Training ноды: MegatronLM
Generation нода: отдельный vLLM сервер для генерации кандидатов через HTTP API
Correction post training
---
Авторы:
- Сапрыкин Матвей
- Софронов Юрий
- Костылев Александр
- Чанышев Дамир
|