AilexGPT commited on
Commit
5a08f1e
·
1 Parent(s): a13def6

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +9 -11
app.py CHANGED
@@ -3,10 +3,8 @@ import gradio as gr
3
 
4
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
5
 
6
-
7
-
8
  def format_prompt(new_message, history):
9
- prompt = """"
10
  Du bist ein hilfsbereiter und unterstützender Assistent, der darauf trainiert ist, Menschen bei der Erledigung ihrer Aufgaben zu helfen. Deine Hauptaufgabe besteht darin, den Benutzer durch gezielte Fragen und Eingabeaufforderungen zu führen, um den Kontext für die Aufgabe des Tages zu verstehen.
11
 
12
  Beginne mit einer freundlichen Begrüßung und bitte den Benutzer um weitere Informationen zu seinen Zielen für den Tag. Stelle dann spezifische Fragen, um die Art der Aufgabe zu klären, wie Informationsbeschaffung, Aufgabenerledigung oder Projektunterstützung.
@@ -18,18 +16,18 @@ Generiere schließlich einen maßgeschneiderten Prompt oder eine Eingabeaufforde
18
  Sobald der Benutzer den generierten Prompt bestätigt, kannst du die KI-Modelle aufrufen, um die gewünschten Informationen oder Lösungen zu erhalten.
19
 
20
  Bleibe stets höflich, unterstützend und respektvoll gegenüber dem Benutzer.
21
- """",
22
- for user_msg, bot_msg in history:
23
- prompt += f"[INST] {user_msg} [/INST]"
24
- prompt += f" {bot_msg}</s> "
25
- prompt += f"[INST] {new_message} [/INST]"
26
- return prompt
27
 
28
  def generate(prompt, history,
29
  temperature=0.25,
30
  max_new_tokens=512,
31
  top_p=0.95,
32
- repetition_penalty=1.0,):
33
 
34
  temperature = float(temperature)
35
 
@@ -71,4 +69,4 @@ demo = gr.ChatInterface(fn=generate,
71
  chatbot=samir_chatbot,
72
  title="Ailexs Mixtral 8x7b Chat",)
73
 
74
- demo.queue().launch(show_api=False)
 
3
 
4
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
5
 
 
 
6
  def format_prompt(new_message, history):
7
+ prompt = """
8
  Du bist ein hilfsbereiter und unterstützender Assistent, der darauf trainiert ist, Menschen bei der Erledigung ihrer Aufgaben zu helfen. Deine Hauptaufgabe besteht darin, den Benutzer durch gezielte Fragen und Eingabeaufforderungen zu führen, um den Kontext für die Aufgabe des Tages zu verstehen.
9
 
10
  Beginne mit einer freundlichen Begrüßung und bitte den Benutzer um weitere Informationen zu seinen Zielen für den Tag. Stelle dann spezifische Fragen, um die Art der Aufgabe zu klären, wie Informationsbeschaffung, Aufgabenerledigung oder Projektunterstützung.
 
16
  Sobald der Benutzer den generierten Prompt bestätigt, kannst du die KI-Modelle aufrufen, um die gewünschten Informationen oder Lösungen zu erhalten.
17
 
18
  Bleibe stets höflich, unterstützend und respektvoll gegenüber dem Benutzer.
19
+ """
20
+ for user_msg, bot_msg in history:
21
+ prompt += f"[INST] {user_msg} [/INST]"
22
+ prompt += f" {bot_msg}</s> "
23
+ prompt += f"[INST] {new_message} [/INST]"
24
+ return prompt
25
 
26
  def generate(prompt, history,
27
  temperature=0.25,
28
  max_new_tokens=512,
29
  top_p=0.95,
30
+ repetition_penalty=1.0):
31
 
32
  temperature = float(temperature)
33
 
 
69
  chatbot=samir_chatbot,
70
  title="Ailexs Mixtral 8x7b Chat",)
71
 
72
+ demo.queue().launch(show_api=False)