.env

app.py

@@ -1,65 +1,44 @@
 import os
 from dotenv import load_dotenv
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+from huggingface_hub import InferenceClient
 
-# Carrega variáveis de ambiente
+# Carrega o token da API do arquivo .env (crie o arquivo com HF_API_TOKEN=seu_token)
 load_dotenv()
 api_key = os.getenv("HF_API_TOKEN")
-if not api_key:
-    raise ValueError("Erro: HF_API_TOKEN não encontrado. Configure-o nas secrets do Space.")
 
-# Configuração de quantização
-quant_config = BitsAndBytesConfig(
-    load_in_4bit=True,
-    bnb_4bit_quant_type="nf4",
-    bnb_4bit_use_double_quant=True,
-    bnb_4bit_compute_dtype="bfloat16"
-)
-
-# Inicializa o modelo e o tokenizer
-model_id = "Qwen/Qwen2-7B-Instruct-GPTQ-Int4"  # Modelo GPTQ oficial da Qwen
-tokenizer = AutoTokenizer.from_pretrained(model_id, token=api_key)
-model = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    quantization_config=quant_config,
-    device_map="auto",
-    token=api_key
-)
+# Inicializa o cliente de inferência (usa a API gratuita do HF)
+client = InferenceClient(token=api_key)  # Sem provider específico, usa o padrão do HF para Mistral
 
-# Função do chatbot
+# Função do chatbot: Lida com histórico e prompt do usuário
 def chat_with_llm(message, history):
     try:
-        # Constrói o histórico de mensagens
+        # Constrói o histórico de mensagens no formato esperado (multi-turn)
         messages = []
         for user_msg, bot_msg in history:
             messages.append({"role": "user", "content": user_msg})
             if bot_msg:
                 messages.append({"role": "assistant", "content": bot_msg})
         messages.append({"role": "user", "content": message})
-
-        # Tokeniza a entrada
-        inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")
         
-        # Gera a resposta
-        outputs = model.generate(
-            inputs,
-            max_new_tokens=500,
-            temperature=0.5,
-            top_p=0.9,
-            do_sample=True
+        # Chama a API do Mistral
+        response = client.chat.completions.create(
+            model="mistralai/Mistral-7B-Instruct-v0.3",
+            messages=messages,
+            max_tokens=150,  # Limite de tokens gerados (ajuste para mais/menos)
+            temperature=0.7,  # Controle de criatividade (0.0 a 1.0)
         )
-        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        return response
+        return response.choices[0].message.content
     except Exception as e:
-        return f"Erro: {str(e)}. Verifique o token API, conexão com a internet ou requisitos de hardware."
+        return f"Erro: {str(e)}. Verifique seu token API ou limites de uso."
 
-# Interface Gradio
+# Cria a interface do chatbot no Gradio
 demo = gr.ChatInterface(
     fn=chat_with_llm,
-    title="Chatbot com Qwen2-7B Quantizado",
-    description="Chatbot usando Qwen2-7B quantizado em 4-bit para maior eficiência.",
+    title="Chatbot com Mistral (Gratuito via HF API)",
+    description="Teste o chatbot usando Mistral. Plano gratuito com limites.",
 )
 
+# Lança o app (no Spaces, isso é automático)
 if __name__ == "__main__":
     demo.launch()

requirements.txt

@@ -1,8 +0,0 @@
-gradio==4.40.0
-huggingface_hub==0.23.4
-python-dotenv==1.0.1
-transformers
-bitsandbytes
-accelerate
-gradio
-python-dotenv