progress/list.md

### 1. `train_dflash_lora.py` 
* 加了lora，原来是调用小模型，现在是hidden states+lora预测。
* `dflash_lora_mask_fn`函数是在处理预测的那一块草稿Block时，可以同时看到这一块里的所有词。

### 2. OOM优化
* 分片策略ZeRO-3，FSDP切分从`SHARD_GRAD_OP`升级到`FULL_SHARD`。
* `batch-size=1`，`accumulation-steps=8`。
* 参考之前的代码用了FlexAttention（`dflash_lora_mask_fn`）。
* `_chunked_lm_loss()`，把算loss切片成256块来算+梯度检查。

### 运行
* bash /workspace/hanrui/junquan/SpecForge/scripts/run_train_dflash_lora.sh 2