File size: 416 Bytes
cb2428f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
pip uninstall autoawq
pip install git+https://github.com/casper-hansen/AutoAWQ.git --no-deps # or "autoawq>=0.2.9"
CUDA_VISIBLE_DEVICES=0,1 \
swift export \
--model Qwen/Qwen3-30B-A3B \
--dataset 'swift/Qwen3-SFT-Mixin' \
--device_map auto \
--quant_n_samples 64 \
--quant_batch_size -1 \
--max_length 8192 \
--quant_method awq \
--quant_bits 4 \
--output_dir Qwen3-30B-A3B-AWQ
|