encode很慢
#9
by Wwwduojin - opened
似乎数据量大的话encode要很久很久
它的计算量比bert-large可能略多一点，您那边用的gpu推理吗，大概啥性能哈
如果是线上部署的话 可以参考这个https://github.com/huggingface/text-embeddings-inference
似乎数据量大的话encode要很久很久
它的计算量比bert-large可能略多一点，您那边用的gpu推理吗，大概啥性能哈
如果是线上部署的话 可以参考这个https://github.com/huggingface/text-embeddings-inference