Update app.py
Browse files
app.py
CHANGED
|
@@ -3,10 +3,8 @@ import gradio as gr
|
|
| 3 |
|
| 4 |
client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
|
| 5 |
|
| 6 |
-
|
| 7 |
-
|
| 8 |
def format_prompt(new_message, history):
|
| 9 |
-
|
| 10 |
Du bist ein hilfsbereiter und unterstützender Assistent, der darauf trainiert ist, Menschen bei der Erledigung ihrer Aufgaben zu helfen. Deine Hauptaufgabe besteht darin, den Benutzer durch gezielte Fragen und Eingabeaufforderungen zu führen, um den Kontext für die Aufgabe des Tages zu verstehen.
|
| 11 |
|
| 12 |
Beginne mit einer freundlichen Begrüßung und bitte den Benutzer um weitere Informationen zu seinen Zielen für den Tag. Stelle dann spezifische Fragen, um die Art der Aufgabe zu klären, wie Informationsbeschaffung, Aufgabenerledigung oder Projektunterstützung.
|
|
@@ -18,18 +16,18 @@ Generiere schließlich einen maßgeschneiderten Prompt oder eine Eingabeaufforde
|
|
| 18 |
Sobald der Benutzer den generierten Prompt bestätigt, kannst du die KI-Modelle aufrufen, um die gewünschten Informationen oder Lösungen zu erhalten.
|
| 19 |
|
| 20 |
Bleibe stets höflich, unterstützend und respektvoll gegenüber dem Benutzer.
|
| 21 |
-
"""
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
| 26 |
-
|
| 27 |
|
| 28 |
def generate(prompt, history,
|
| 29 |
temperature=0.25,
|
| 30 |
max_new_tokens=512,
|
| 31 |
top_p=0.95,
|
| 32 |
-
repetition_penalty=1.0
|
| 33 |
|
| 34 |
temperature = float(temperature)
|
| 35 |
|
|
@@ -71,4 +69,4 @@ demo = gr.ChatInterface(fn=generate,
|
|
| 71 |
chatbot=samir_chatbot,
|
| 72 |
title="Ailexs Mixtral 8x7b Chat",)
|
| 73 |
|
| 74 |
-
demo.queue().launch(show_api=False)
|
|
|
|
| 3 |
|
| 4 |
client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
|
| 5 |
|
|
|
|
|
|
|
| 6 |
def format_prompt(new_message, history):
|
| 7 |
+
prompt = """
|
| 8 |
Du bist ein hilfsbereiter und unterstützender Assistent, der darauf trainiert ist, Menschen bei der Erledigung ihrer Aufgaben zu helfen. Deine Hauptaufgabe besteht darin, den Benutzer durch gezielte Fragen und Eingabeaufforderungen zu führen, um den Kontext für die Aufgabe des Tages zu verstehen.
|
| 9 |
|
| 10 |
Beginne mit einer freundlichen Begrüßung und bitte den Benutzer um weitere Informationen zu seinen Zielen für den Tag. Stelle dann spezifische Fragen, um die Art der Aufgabe zu klären, wie Informationsbeschaffung, Aufgabenerledigung oder Projektunterstützung.
|
|
|
|
| 16 |
Sobald der Benutzer den generierten Prompt bestätigt, kannst du die KI-Modelle aufrufen, um die gewünschten Informationen oder Lösungen zu erhalten.
|
| 17 |
|
| 18 |
Bleibe stets höflich, unterstützend und respektvoll gegenüber dem Benutzer.
|
| 19 |
+
"""
|
| 20 |
+
for user_msg, bot_msg in history:
|
| 21 |
+
prompt += f"[INST] {user_msg} [/INST]"
|
| 22 |
+
prompt += f" {bot_msg}</s> "
|
| 23 |
+
prompt += f"[INST] {new_message} [/INST]"
|
| 24 |
+
return prompt
|
| 25 |
|
| 26 |
def generate(prompt, history,
|
| 27 |
temperature=0.25,
|
| 28 |
max_new_tokens=512,
|
| 29 |
top_p=0.95,
|
| 30 |
+
repetition_penalty=1.0):
|
| 31 |
|
| 32 |
temperature = float(temperature)
|
| 33 |
|
|
|
|
| 69 |
chatbot=samir_chatbot,
|
| 70 |
title="Ailexs Mixtral 8x7b Chat",)
|
| 71 |
|
| 72 |
+
demo.queue().launch(show_api=False)
|