RodriiS commited on
Commit
bf841e7
·
verified ·
1 Parent(s): c0bc251

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -5
app.py CHANGED
@@ -1,12 +1,13 @@
1
  from transformers import pipeline
2
  import gradio as gr
3
 
4
- # Carrega um modelo de linguagem
5
- chat = pipeline("text-generation", model="tiiuae/falcon-7b-instruct")
6
 
7
  def responder(msg):
8
- resposta = chat(msg, max_length=100, pad_token_id=50256)[0]['generated_text']
9
- return resposta
 
 
10
 
11
- # Interface
12
  gr.Interface(fn=responder, inputs="text", outputs="text").launch()
 
1
  from transformers import pipeline
2
  import gradio as gr
3
 
4
+ # Carrega Falcon 7B Instruct
5
+ chat = pipeline("text-generation", model="tiiuae/falcon-7b-instruct", device_map="auto")
6
 
7
  def responder(msg):
8
+ prompt = f"Você é um assistente útil que responde em português.\nUsuário: {msg}\nAssistente:"
9
+ resposta = chat(prompt, max_new_tokens=200, temperature=0.7, top_p=0.9)[0]['generated_text']
10
+ # Remove o prompt da saída
11
+ return resposta.split("Assistente:")[-1].strip()
12
 
 
13
  gr.Interface(fn=responder, inputs="text", outputs="text").launch()