bitsandbytes/v0.50.0/en/reference/optim/ademamix.md

# AdEMAMix

[AdEMAMix](https://hf.co/papers/2409.03137) is a variant of the `Adam` optimizer.

bitsandbytes also supports paged optimizers which take advantage of CUDAs unified memory to transfer memory from the GPU to the CPU when GPU memory is exhausted.

## AdEMAMix[[api-class]][[bitsandbytes.optim.AdEMAMix]]

## AdEMAMix8bit[[bitsandbytes.optim.AdEMAMix8bit]]

## AdEMAMix32bit[[bitsandbytes.optim.AdEMAMix32bit]]

## PagedAdEMAMix[[bitsandbytes.optim.PagedAdEMAMix]]

## PagedAdEMAMix8bit[[bitsandbytes.optim.PagedAdEMAMix8bit]]

## PagedAdEMAMix32bit[[bitsandbytes.optim.PagedAdEMAMix32bit]]