Problemas com outputs
Boa tarde a todos.
Consegui fazer rodar em uma VM para disponibilizar o serviço via API, está tudo rodando certinho.
Mas o output do modelo é um looping, ele não interrompe a geração de palavras nunca, mesmo você sendo extremamente específico no prompt no questionamento ao modelo, testei inúmeros prompts, ele gera uma resposta infinita alucinando sem parar ou entrando em looping se for um assunto granular (de uma ou poucas frases)
Já viram sobre isso?
Abraços.
Boa tarde! Acredito que precisamos de mais detalhes, como o snippet do código que você está usando, parâmetros de geração e também informar se está rodando com Ollama, vLLM ou outro. Sugiro testar algo como:
stop=["<|im_end|>"],
top_p=0.95,
temperature=0.2,
max_tokens=512
Assim dá pra entender melhor o que pode estar causando o looping.
Obrigado mestre!
Só com essas informações já rodou.
Obrigado pelo retorno!
Obrigado mestre!
Só com essas informações já rodou.
Obrigado pelo retorno!
tem planos de disponibilizar essa API publicamente?
se quiser trocar uma ideia sobre, me chama no wpp 64 992124205