Create app.py

app.py

@@ -0,0 +1,33 @@
+#este archivo carga bien el modelo de llm
+import gradio as gr
+from huggingface_hub import InferenceClient
+import os
+
+# Obtén el token de manera segura desde el entorno
+hf_token = os.getenv("HF_API_TOKEN")
+client = InferenceClient(
+    "microsoft/Phi-3-mini-4k-instruct",
+    token=hf_token
+)
+
+# Define la función de inferencia que usa la API
+def generate_response(input_text):
+    prompt = f"Debes de responder a cualquier pregunta:\nPregunta: {input_text}"
+    try:
+        # Realizar la inferencia usando el cliente de Hugging Face
+        messages = [{"role": "user", "content": prompt}]
+        response = client.chat_completion(messages=messages, max_tokens=500)
+        
+        # Extrae el texto generado
+        if hasattr(response, 'choices') and response.choices:
+            generated_text = response.choices[0].message.content
+        else:
+            generated_text = str(response)
+            
+        return generated_text
+    except Exception as e:
+        return f"Error al realizar la inferencia: {e}"
+
+# Configura la interfaz en Gradio
+demo = gr.Interface(fn=generate_response, inputs="text", outputs="text", title="LLM Chatbot con API de Inferencia")
+demo.launch()