---
license: other
license_name: proprietaty
license_link: LICENSE
---

BerryLM-XL
Wildberries & Russ

## Модели и данные
357b; fp8
### Базовая модель

В работе используется языковая модель на основе архитектуры трансформера. Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации до 120K токенов.

### Датасет

Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth.

## Метод

### GRPO с Reward Hacking Prevention

В post-training используется DAPO - один из вариантов семейства GRPO, адаптированный под сценарии, где нужно одновременно контролировать качество ответа и форму reasoning-процесса. В рабочем контуре используется компактная система из двух reward-функций с весами 0.8 / 0.2, собранная вокруг задачи предотвращения reward hacking.

### Архитектура обучения

Обучение организовано в распределённом режиме (1150 GPU days):

- **Training ноды**: Full unfreeze. Megatron LM
- **Generation нода**: отдельный vLLM сервер для генерации RollOUTS через HTTP API
- **Correction post training**


Авторы: 
- Сапрыкин Матвей 
- Софронов Юрий 
- Костылев Александр
- Чанышев Дамир