Update README.md

README.md

@@ -1,5 +1,39 @@
----
-license: unknown
-license_name: proprietary
-license_link: LICENSE
----
+BerryLM
+Wildberries & Russ
+
+## Модели и данные
+
+### Базовая модель
+
+В работе используется языковая модель на основе архитектуры трансформера. Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом до 32K токенов.
+
+### Датасет
+
+Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth.
+
+## Метод
+
+### GRPO с Reward Hacking Prevention
+
+Применяется метод один из модификаций GRPO.
+
+Ключевая особенность реализации — система из 11 reward-функций, направленная на предотвращение reward hacking (эксплуатации слабостей reward-сигнала):
+
+1. Качество русского языка
+2. Следование структуре ответа
+3. Анти-зацикливание 
+4. Фактологическая точность на нужных задачах
+
+Reward-функции работают на уровне токенизированных последовательностей и текста, анализируя как структуру ответа (специальные токены каналов), так и его содержание. Веса функций настроены так, что основной сигнал имеет наибольший вес, а остальные служат регуляризацией и контролем качества.
+
+### Архитектура обучения
+
+Обучение организовано в распределённом режиме:
+- **Training ноды**: DeepSpeed ZeRO-3 для эффективного распределения модели и оптимизатора
+- **Generation нода**: отдельный vLLM сервер для генерации кандидатов через HTTP API
+- **Correction post training**
+---
+license: unknown
+license_name: proprietary
+license_link: LICENSE
+---