Update app.py

app.py

@@ -90,22 +90,19 @@ def classify_only(text: str):
 # 2. IA Generativa (LLaMA 3) para resposta ao cliente
 # ======================================================================
 
-# Troque por outro modelo se quiser algo mais leve
-GEN_MODEL_ID = os.getenv(
-    "GEN_MODEL_ID",
-    "meta-llama/Meta-Llama-3-8B-Instruct",
-)
+# ======================================================================
+# 2. IA Generativa (FLAN-T5) para resposta ao cliente
+# ======================================================================
+
+GEN_MODEL_ID = os.getenv("GEN_MODEL_ID", "google/flan-t5-base")
 
-generator = hf_pipeline(
-    "text-generation",
-    model=GEN_MODEL_ID,
-    tokenizer=GEN_MODEL_ID,
-)
+# text2text-generation funciona muito bem com FLAN
+generator = hf_pipeline("text2text-generation", model=GEN_MODEL_ID)
 
 
 def build_prompt(history, user_text, sentimento_json):
     """
-    Constroi um prompt amigavel para LLaMA 3, usando historico + sentimento.
+    Constroi um prompt amigavel para FLAN-T5, usando historico + sentimento.
     NENHUMA referencia a processo interno aparece na resposta.
     """
     sentimento = None
@@ -117,7 +114,7 @@ def build_prompt(history, user_text, sentimento_json):
     if sentimento is None:
         sentimento = "nao identificado"
 
-    # Cabecalho de instrucao (o modelo ve, o cliente nao)
+    # Cabeçalho de instrução (modelo vê, cliente não)
     prompt = (
         "Você é um atendente virtual educado, empático e profissional "
         "de uma loja online. Responda SEMPRE em português do Brasil, "
@@ -131,7 +128,7 @@ def build_prompt(history, user_text, sentimento_json):
         "Histórico da conversa:\n"
     )
 
-    # Historico anterior
+    # Histórico anterior
     if history:
         for user, bot in history:
             prompt += f"Cliente: {user}\n"
@@ -140,13 +137,13 @@ def build_prompt(history, user_text, sentimento_json):
     # Nova mensagem
     prompt += f"Cliente: {user_text}\n"
     prompt += "Atendente:"
-
     return prompt
 
 
 def generate_reply_with_history(history, user_text, sentimento_json):
     """
-    Gera uma resposta levando em conta historico + sentimento.
+    Gera uma resposta levando em conta historico + sentimento,
+    usando FLAN-T5 em modo text2text-generation.
     """
     if not user_text or user_text.strip() == "":
         return "Digite uma mensagem."
@@ -155,11 +152,10 @@ def generate_reply_with_history(history, user_text, sentimento_json):
 
     outputs = generator(
         prompt,
-        max_new_tokens=160,
+        max_length=160,
+        do_sample=True,
         temperature=0.7,
         top_p=0.9,
-        do_sample=True,
-        return_full_text=False,
     )
 
     reply = outputs[0]["generated_text"]