| --- |
| license: other |
| license_name: proprietaty |
| license_link: LICENSE |
| --- |
| |
| BerryLM-XL |
| Wildberries & Russ |
|
|
| ## Модели и данные |
| 357b; fp8 |
| ### Базовая модель |
|
|
| В работе используется языковая модель на основе архитектуры трансформера. Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации до 120K токенов. |
|
|
| ### Датасет |
|
|
| Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth. |
|
|
| ## Метод |
|
|
| ### GRPO с Reward Hacking Prevention |
|
|
| В post-training используется DAPO - один из вариантов семейства GRPO, адаптированный под сценарии, где нужно одновременно контролировать качество ответа и форму reasoning-процесса. В рабочем контуре используется компактная система из двух reward-функций с весами 0.8 / 0.2, собранная вокруг задачи предотвращения reward hacking. |
|
|
| ### Архитектура обучения |
|
|
| Обучение организовано в распределённом режиме (1150 GPU days): |
|
|
| - **Training ноды**: Full unfreeze. Megatron LM |
| - **Generation нода**: отдельный vLLM сервер для генерации RollOUTS через HTTP API |
| - **Correction post training** |
|
|
|
|
| Авторы: |
| - Сапрыкин Матвей |
| - Софронов Юрий |
| - Костылев Александр |
| - Чанышев Дамир |
