为什么我的模型回答总是回答一些与输入无关的故事性很强的话
#2
by huanglb - opened
我使用了llamacpp对atom-7b-chat进行了8位量化，在使用的过程中，模型总是续写故事性很强的语句，但是与我的input关联不大甚至无关，是我的操作方式有问题吗？
如果我无法得到帮助，我可能不得不转向其它模型，至少chatglm在我的本地上运行的很好
我是一个第一次接触llm的新人，而且没有接触过相关的基础性教育，如果对我有批评性意见请在发表完意见后告诉我一些与我的问题有关的建议
谢谢大家的帮助
llamacpp
我使用了llamacpp对atom-7b-chat进行了8位量化，在使用的过程中，模型总是续写故事性很强的语句，但是与我的input关联不大甚至无关，是我的操作方式有问题吗？
如果我无法得到帮助，我可能不得不转向其它模型，至少chatglm在我的本地上运行的很好
我是一个第一次接触llm的新人，而且没有接触过相关的基础性教育，如果对我有批评性意见请在发表完意见后告诉我一些与我的问题有关的建议
谢谢大家的帮助
使用llamacpp的话，需要对llama.cpp 做一些调整。后续我们会提供llama.cpp的相关改动PR
我使用了llamacpp对atom-7b-chat进行了8位量化，在使用的过程中，模型总是续写故事性很强的语句，但是与我的input关联不大甚至无关，是我的操作方式有问题吗？
如果我无法得到帮助，我可能不得不转向其它模型，至少chatglm在我的本地上运行的很好
我是一个第一次接触llm的新人，而且没有接触过相关的基础性教育，如果对我有批评性意见请在发表完意见后告诉我一些与我的问题有关的建议
谢谢大家的帮助
这样直接通过langchain 应该是不work的，主要是我们对话的格式使用不对。