Увеличение батча замедляет вычисление
#7
by FDuCHeS - opened
Здравствуйте, при попытке увеличить количество пассаджей для обработки например на RTX 4090, снижается скорость вычисления. Чем больше батч, тем медленнее в расчете на одну строку.
Например. Подаю лист с 50 строками по 1000 токенов, обработка условно занимает 10 секунд.
Подаю в цикле лист с 1 строкой на 1000 токенов, но 50 раз и это занимает 5 секунд.
Такая проблема только от 1000 токенов
Например если батч из строк на 512 токенов, то увеличение батча приводит к производительности
Это естественные ограничения модели?
Проверьте потребление vRAM во время инференса. Есть подозрение, что у вас заканчивается vRAM и модель начинает выгружать данные в оперативную память, что приводит к сильному замедлению инференса.
lossful changed discussion status to closed