Update main.py

main.py

@@ -25,6 +25,10 @@ def format_prompt(message, history):
     prompt += f" </s> [INST] {message} [/INST]"
     return prompt
 
+def formatting_func(example):
+    text = f"### Question: {example['input']}\n ### Answer: {example['output']}"
+    return text
+
 def generate(item: Item):
     temperature = float(item.temperature)
     if temperature < 1e-2:
@@ -41,7 +45,7 @@ def generate(item: Item):
     )
 
     formatted_prompt = format_prompt(f"{item.system_prompt}, {item.prompt}", item.history)
-    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    stream = client.text_generation(item.prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
 
     for response in stream: