作为langchain-agent基座存在工具调用不稳定的问题

#12
by BoChen2333 - opened

在同样的langchain框架下(相同提示词),均openai兼容调用,三次测试:1. deepseek-chat和k2-turbo-preview具有稳定的工具调用能力和思维链路,MiMo似乎会出现偶尔的工具调用失败情况。2. deepseek-chat和k2-turbo-preview对于上次上下文能够保留更准确的类似于session_id 这种特殊文本(比如带有session_id的暴露出来的url在多次工具调用和最终模型输出结果中稳定准确的输出),在3次测试中MiMo出现工具产生的固定的图的url(带有session_id)模型回复没有准确保留信息,导致url渲染失败的问题。3. 价格确实是最便宜的,希望后续能提高稳定性,未来作为agent基座这是相对来说重要的。

提供的工具大概15~20个,且有详细的工具调用流程作为工具注释传入

多重Sparse MoE,发现确实容易出现这些情况

工具调用有概率会出现在reasoning content里,温度调低也无法避免,大概十次会出现一次

Sign up or log in to comment