added prompt template

app.py

@@ -5,11 +5,22 @@ model_name = "Hemanth-thunder/Tamil-Mistral-7B-Instruct-v0.1"
 model_file = "tamil-mistral-7b-instruct-v0.1.Q4_K_M.gguf" 
 
 model_path = hf_hub_download(model_name, filename=model_file)
+
+prompt = """<s> சரியான பதிலுடன் வேலையை வெற்றிகரமாக முடிக்க. தேவையான தகவலை உள்ளிடவும்.
+
+### Instruction:
+{}
+
+### Response:
+"""
+ 
+
 llm = AutoModelForCausalLM.from_pretrained(model_name, model_file=model_file, 
                                            model_type="mistral", gpu_layers=0)
 def alternatingly_agree(message, history):
-    result = llm(message)
-    return result
+    prompt = prompt.format(message)
+    result = llm(message,max_new_tokens=50,temperature=0.7)
+    return result #stream=True
  
 
 gr.ChatInterface(alternatingly_agree).launch()