| --data-dir /root/pilot1b/data --out-dir /root/pilot1b/runs/doucz --steps 2860 --ckpt-every 150 --log-every 10 --vocab 32768 --dtype uint16 --block 4096 --n-layer 20 --n-embd 2048 --n-head 16 --value-residual --batch 256 --grad-accum 8 --norm rmsnorm --pos rope --rope-theta 500000 --ffn swiglu --ffn-mult 2.667 --qk-norm --attn-bias 0 --optimizer muon --muon-lr 0.02 --lr 6e-4 --min-lr 6e-5 --wd 0.1 --schedule wsd --decay-frac 0.2 --warmup 150 --act-ckpt --loss-chunk 1024 --sampler epoch --seed 1 --data-seed 20261023 --compile --eval-every 1000000 --eval-iters 1 --data-dir-2 /root/pilot1b/data_p01 --switch-step 1801 |