bitsandbytes/v0.50.0/en/reference/optim/ademamix.md

AdEMAMix

AdEMAMix is a variant of the Adam optimizer.

bitsandbytes also supports paged optimizers which take advantage of CUDAs unified memory to transfer memory from the GPU to the CPU when GPU memory is exhausted.

AdEMAMix[[api-class]][[bitsandbytes.optim.AdEMAMix]]

AdEMAMix8bit[[bitsandbytes.optim.AdEMAMix8bit]]

AdEMAMix32bit[[bitsandbytes.optim.AdEMAMix32bit]]

PagedAdEMAMix[[bitsandbytes.optim.PagedAdEMAMix]]

PagedAdEMAMix8bit[[bitsandbytes.optim.PagedAdEMAMix8bit]]

PagedAdEMAMix32bit[[bitsandbytes.optim.PagedAdEMAMix32bit]]