能提供一下量化脚本吗

#3
by aierwiki - opened

你好,我基于Mistral-Small-3.1-24B-Instruct-2503微调之后的模型,在使用llmcompressor量化的时候,报了个错误torch.fx.proxy.TraceError: symbolically traced variables cannot be used as inputs to control flow,不知道您有没有遇到这个问题,能分享一下您的量化脚本吗

Sign up or log in to comment