fix mask and position bug for batch generation
#35
by qingsonglv - opened
No description provided.
这里确实是有问题的，batch的时候，官方没有修复这个bug。你的修改了之后训练起来还有问题吗？
训练是不受影响的，因为训练没有left pad，只是inference有影响。batch size=1的chat函数应该也没有影响，只有不定长batch generation的时候有影响。
看起来是我这边测试的问题，其实是没有bug的……
qingsonglv changed pull request status to closed