Update app.py

app.py

@@ -1,42 +1,57 @@
 import gradio as gr
 from llama_cpp import Llama
 
-# Carregar o modelo GGML localmente
+# Carregar o modelo GGML
 llm = Llama(model_path="Llama-3.2-3B-Instruct-Q8_0.gguf", n_ctx=512)
 
-# Definir a mensagem inicial
-mensagem_inicial = [
-    ["", "Olá! Eu sou um atendente virtual da Receita Federal e do Projeto Remessa Conforme. "
-          "Você pode perguntar tudo sobre como funciona o Remessa Conforme, suas regras e benefícios. "
-          "Este projeto foi desenvolvido com a colaboração de Anderson Xavier. Como posso te ajudar hoje?"]
-]
+# Definir a mensagem inicial como resposta automática
+mensagem_inicial = (
+    "Olá! Eu sou um atendente virtual da Receita Federal e do Projeto Remessa Conforme. "
+    "Você pode perguntar tudo sobre como funciona o Remessa Conforme, suas regras e benefícios. "
+    "Este projeto foi desenvolvido com a colaboração de Anderson Xavier. Como posso te ajudar hoje?"
+)
+
+# Função para gerar uma resposta inicial automática
+def start_conversation():
+    return [(None, mensagem_inicial)]
+
+# Função de resposta para processar mensagens
+def respond(message, history):
+    # Adicionar a mensagem do usuário ao histórico
+    history = history + [(message, "")]
 
-# Função de resposta para processar as interações
-def respond(message, history=[]):
-    # Construir o prompt a partir do histórico e da mensagem atual
-    prompt = "\n".join([f"User: {user}\nAssistant: {bot}" for user, bot in history])
-    prompt += f"\nUser: {message}\nAssistant:"
+    # Construir o prompt com o histórico
+    prompt = "\n".join([f"User: {user}\nAssistant: {bot}" for user, bot in history if user])
+    prompt += "\nAssistant:"
 
-    # Executar a inferência com o modelo local
+    # Executar inferência com o modelo
     response = ""
     result = llm(prompt, max_tokens=100, temperature=0.7, top_p=0.95, stream=True)
 
-    # Retornar a resposta em streaming
+    # Adicionar a resposta do modelo ao histórico
     for token in result:
         response += token["choices"][0]["text"]
-        yield response
-
-# Configurar a interface Gradio com a mensagem inicial predefinida
-demo = gr.ChatInterface(
-    fn=respond,
-    chatbot=gr.Chatbot(value=mensagem_inicial),
-    additional_inputs=[
-        gr.Textbox(value="Você está falando com um assistente virtual da Receita Federal.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
-    ],
-)
+        yield history[:-1] + [(message, response)]
+
+# Configurar a interface Gradio com a resposta inicial automática
+with gr.Blocks() as demo:
+    chatbot = gr.Chatbot()  # Inicializa o chatbot
+    msg = gr.Textbox(show_label=False, placeholder="Digite sua mensagem...")
+    state = gr.State([])  # Estado para manter o histórico
+
+    # Função de atualização para o chatbot
+    def load_initial_message():
+        initial_history = start_conversation()
+        return initial_history
+
+    # Disparar a mensagem inicial ao carregar a interface
+    chatbot.update(load_initial_message())
+
+    # Lógica para enviar a mensagem e processar respostas
+    def send_message(user_message, history):
+        return respond(user_message, history)
+
+    msg.submit(send_message, [msg, state], [chatbot, state])
 
 if __name__ == "__main__":
     demo.launch()