Кэширование
#10
by borisssgrecchkin - opened
Выполнил инференс на ГПУ через traformers. При запросе со списком passages длиной равной 5 (строки по 5-7 слов) кэш заполняет 7гб памяти. Из-за чего так происходит и можно ли как-то это обойти?
Скорее всего вы не используете контексный менеджер with torch.no_grad(): для инференса и из-за этого модель хранит все градиенты, требуемые для обучения, которые и забивают память. Можете попробовать инференс с ним или через sentence_transformers.
lossful changed discussion status to closed