| BerryLM |
| Wildberries & Russ |
|
|
| ## Модели и данные |
|
|
| ### Базовая модель |
|
|
| В работе используется языковая модель на основе архитектуры трансформера. Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации до 32K токенов. |
|
|
| ### Датасет |
|
|
| Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth. |
|
|
| ## Метод |
|
|
| ### GRPO с Reward Hacking Prevention |
|
|
| Применяется метод один из модификаций GRPO. |
|
|
| Ключевая особенность реализации — система из 11 reward-функций, направленная на предотвращение reward hacking (эксплуатации слабостей reward-сигнала): |
|
|
| 1. Качество русского языка |
| 2. Следование структуре ответа |
| 3. Анти-зацикливание |
| 4. Фактологическая точность на нужных задачах |
|
|
| Reward-функции работают на уровне токенизированных последовательностей и текста, анализируя как структуру ответа (специальные токены каналов), так и его содержание. Веса функций настроены так, что основной сигнал имеет наибольший вес, а остальные служат регуляризацией и контролем качества. |
|
|
| ### Архитектура обучения |
|
|
| Обучение организовано в распределённом режиме: |
|
|
| - **Training ноды**: DeepSpeed ZeRO-3 для эффективного распределения модели и оптимизатора |
| - **Generation нода**: отдельный vLLM сервер для генерации кандидатов через HTTP API |
| - **Correction post training** |
|
|
|
|
| Авторы: |
| - Сапрыкин Матвей |
| - Софронов Юрий |
| - Костылев Александр |
| - Чанышев Дамир |
|
|
|
|
| --- |
| license: unknown |
| license_name: proprietary |
| license_link: LICENSE |
| --- |
|
|
