Update app.py

app.py

@@ -1,63 +1,49 @@
 import gradio as gr
 from llama_cpp import Llama
 
-# Carregar o modelo GGML
-llm = Llama(model_path="Xavier 3b Teste01.gguf", n_ctx=512)
+# Carregar o modelo GGML localmente
+llm = Llama(model_path="Llama-3.2-3B-Instruct-Q8_0.gguf", n_ctx=512)
 
 # Definir a mensagem inicial
 mensagem_inicial = (
     "Olá! Eu sou um atendente virtual da Receita Federal e do Projeto Remessa Conforme. "
-    "Estou aqui para responder perguntas sobre o Remessa Conforme, suas regras e benefícios. "
+    "Você pode perguntar tudo sobre como funciona o Remessa Conforme, suas regras e benefícios. "
     "Este projeto foi desenvolvido com a colaboração de Anderson Xavier. Como posso te ajudar hoje?"
 )
 
-# Lista de palavras-chave relevantes para o escopo
-palavras_chave = ["remessa conforme", "receita federal", "tributação", "importação", "benefícios fiscais"]
-
-def verificar_escopo(mensagem):
-    """Verifica se a mensagem do usuário está dentro do escopo definido."""
-    mensagem_lower = mensagem.lower()
-    return any(palavra in mensagem_lower for palavra in palavras_chave)
-
-def respond(message, history):
-    # Verificar se a mensagem está dentro do escopo permitido
-    if not verificar_escopo(message):
-        return history + [(message, "Desculpe, só posso responder perguntas sobre o Projeto Remessa Conforme e temas relacionados.")]
+def respond(message, history, system_message, max_tokens, temperature, top_p):
+    # Adicionar a mensagem inicial ao histórico se for a primeira interação
+    if not history:
+        history = [(mensagem_inicial, "")]
 
     # Construir o prompt com o histórico atualizado
-    prompt = "\n".join([f"User: {user}\nAssistant: {bot}" for user, bot in history if user])
-    prompt += f"\nUser: {message}\nAssistant:"
-
-    # Executar inferência com o modelo
+    prompt = system_message + "\n"
+    for user_msg, bot_msg in history:
+        if user_msg:
+            prompt += f"User: {user_msg}\n"
+        if bot_msg:
+            prompt += f"Assistant: {bot_msg}\n"
+    prompt += f"User: {message}\nAssistant:"
+
+    # Executar a inferência com o modelo local
     response = ""
-    result = llm(prompt, max_tokens=100, temperature=0.7, top_p=0.95, stream=True)
+    result = llm(prompt, max_tokens=max_tokens, temperature=temperature, top_p=top_p, stream=True)
 
-    # Adicionar a resposta ao histórico e retornar de forma incremental
+    # Retornar a resposta em streaming
     for token in result:
         response += token["choices"][0]["text"]
-        yield history + [(message, response)]
-
-# Configuração da interface Gradio
-with gr.Blocks() as demo:
-    chatbot = gr.Chatbot(value=[(None, mensagem_inicial)])  # Carrega a mensagem inicial no chat
-    msg = gr.Textbox(show_label=False, placeholder="Digite sua mensagem...")
-    state = gr.State([])  # Estado para armazenar o histórico
+        yield response
 
-    # Adicionais inputs para controle
-    additional_inputs = [
-        gr.Textbox(value=mensagem_inicial, label="Mensagem Inicial (Editável)"),
+# Configurar a interface Gradio com a mensagem inicial
+demo = gr.ChatInterface(
+    respond,
+    additional_inputs=[
         gr.Textbox(value="Você está falando com um assistente virtual da Receita Federal.", label="System message"),
         gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
         gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p")
-    ]
-
-    # Lógica para enviar a mensagem e processar a resposta
-    def send_message(user_message, history):
-        return respond(user_message, history)
-
-    # Configuração do layout do chatbot
-    msg.submit(send_message, [msg, state], [chatbot, state])
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
+    ],
+)
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()