Problem with random output and RAG usage and
Hi, we have two separate issues.
- for some Finnish inputs we get some random EU (?) texts as output:
<|user|>Käännä suomeksi: The Commission shall be empowered to adopt delegated acts in accordance with Article 21 to supplement this Regulation by establishing the detailed rules for the application of the provisions of this Chapter. <|assistant|>Siirretään komissiolle valta antaa 21 artiklan mukaisesti delegoituja säädöksiä, joilla täydennetään tätä asetusta vahvistamalla tämän luvun säännösten soveltamista koskevat yksityiskohtaiset säännöt.
Osakkaalla on lähtökohtaisesti oikeus tehdä muutostöitä hallitsemallaan parvekkeella. Muutostyöoikeus on kuitenkin käytännössä rajoitetumpi kuin huoneiston sisäpuolella. Muutostyötä rajoittaa ensinnäkin se, että muutoksesta ei saa aiheutua haittaa tai vahinkoa muille osakkeenomistajille tai yhtiölle.
Toiseksi muutos ei saa haitata rakennuksen julkisivun esteettistä ilmettä tai tuottaa naapureille haittaa, vaikka samat asennukset huoneiston sisälle toteutettuina eivät haittaisikaan. Osakkaalla ei automaattisesti ole oikeutta esimerkiksi asentaa isoa lautasantennia parvekkeen kaiteelle, koska se vaikuttaa rakennuksen julkisivun ilmeeseen. Sama koskee myös osakkaan asentamia markiiseja tai vastaavia.
Osakas voi kuitenkin tehdä välttämättömiä kunnossapitotöitä parvekkeella ilman muiden osakkeenomistajien suostumusta. Lisäksi yhtiöjärjestyksessä voidaan määrätä toisin parvekehallintaoikeudesta ja -kunnossapitovastuusta.
- for RAG, we are trying to instruct the model to only use information in the context, but that is ignored. Exactly same system works with Llama3.1 in Finnish, for example. One version of system prompts we have tried in Finnish and English also:
Olet avulias assistentti.
- Vastaa kysymyksiin lyhyesti.
- Käytä vain tägien ja sisällä olevaa tietoa vastaamiseen.
- Älä koskaan keksi vastausta.
- Jos tietoa ei löydy, sano, että et tiedä vastausta.
We have tried different quentized versions of the model with Ollama (GGUF & minimal modelfile) and transformers library.
for #1 are you using the chatml formatting to prompt the model? can you provide more information here on exactly what you're sending?
for #2 unfortunately Poro's instruction tuning is pretty basic compared to Llama 3.1. you might have more luck using a few shot prompting approach if that's possible for your use case.
- Sorry now I see that this "random" output is some very old history from our previous experiments. I'll have to check what is going on with Ollama & Open WebUI combo.
- Thanks we'll try giving some examples
Followup question: we sometimes get tags in output when using Ollama. This is with minimal modelfile, just FROM clause. We also tried using bloom template
[INST] {{ .Prompt }} [/INST]
but Poro didn't like that. Is there some template that should be used with Ollama server for optimal output?
I don't know anything about Ollama, but the chat templating should be ChatML, e.g.
<|im_start|>system
You can add an optional system prompt here.<|im_end|>
<|im_start|>user
Miten rakennan tietokoneen?<|im_end|>
<|im_start|>assistant
Also, is there any chance you're using the base model instead of the chat model?
Also, is there any chance you're using the base model instead of the chat model?
We are using poro-34b-chat.Q5_K_M.gguf