triton model configuration needed
#55
by wangruiai2023 - opened
已经将仓库转化为了 pt 模型文件，使用 triton 部署的话需要 config.pbtxt 。但是我不了解如何确定 input 参数以及使用推荐使用何种 backend？
我通过 tokenizer 确定了 ouput
wangruiai2023 changed discussion status to closed
已经将仓库转化为了 pt 模型文件，使用 triton 部署的话需要 config.pbtxt 。但是我不了解如何确定 input 参数以及使用推荐使用何种 backend？
我通过 tokenizer 确定了 ouput