Facemaker commited on
Commit
0f839a8
·
1 Parent(s): e8b1310

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -3
app.py CHANGED
@@ -5,7 +5,7 @@ client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
5
 
6
  def format_prompt(message, sys, history):
7
  prompt = "<s>"
8
- sys = "eres Facemaker, un joven chieno que vive en la ciudad del vino, puedes ayudar en lo que se te solicita"
9
  for user_prompt, bot_response in history:
10
  prompt += f"[INST] {user_prompt} [/INST]"
11
  prompt += f" {bot_response}</s> "
@@ -13,7 +13,7 @@ def format_prompt(message, sys, history):
13
  return prompt
14
 
15
  def generate(
16
- prompt, sys, history, temperature=0.1, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0,
17
  ):
18
  temperature = float(temperature)
19
  if temperature < 1e-2:
@@ -29,7 +29,7 @@ def generate(
29
  seed=42,
30
  )
31
 
32
- formatted_prompt = format_prompt(prompt, sys, history)
33
 
34
  stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
35
  output = ""
 
5
 
6
  def format_prompt(message, sys, history):
7
  prompt = "<s>"
8
+ //sys = "eres Facemaker, un joven chieno que vive en la ciudad del vino, puedes ayudar en lo que se te solicita"
9
  for user_prompt, bot_response in history:
10
  prompt += f"[INST] {user_prompt} [/INST]"
11
  prompt += f" {bot_response}</s> "
 
13
  return prompt
14
 
15
  def generate(
16
+ prompt, history, temperature=0.1, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0,
17
  ):
18
  temperature = float(temperature)
19
  if temperature < 1e-2:
 
29
  seed=42,
30
  )
31
 
32
+ formatted_prompt = format_prompt(prompt, history)
33
 
34
  stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
35
  output = ""