模型推理脚本报错
#29
by Jay0324 - opened
最后一步 outputs = model.generate(**inputs, **gen_kwargs)的时候报错
kv_cache 居然是一个字符串'past_key_values' ，而且device_map的问题也没有解决，还要自己去找各个设备不统一的点。。
按照github的要求装依赖，transformers是4.40
transformers改为4.40 ok了
ZHANGYUXUAN-zR changed discussion status to closed