Update app.py

app.py

@@ -1,36 +1,29 @@
-import gradio as gr
-
-# Load model directly
-from transformers import AutoTokenizer, AutoModelForCausalLM
+import os
 
-tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2")
-model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2")
+from groq import Groq
 
-def eval_text(text):
-    # Encode the input text
-    text = "Eres un experto en lenguaje claro. Evalúa el texto siguiente y di si es muy claro, claro o poco claro. El texto es este: " + text
-    input_ids = tokenizer.encode(text, return_tensors="pt")
+import gradio as gr
 
-# Generate text
-    out = model.generate(
-        input_ids,
-        min_length=100,
-        max_length=750,
-        eos_token_id=5,
-        pad_token_id=1,
-        top_k=10,
-        top_p=0.0,
-        no_repeat_ngram_size=5
-    )
+client = Groq(
+    api_key=os.environ.get("GROQ_API_KEY"),
+)
 
-# Decode the generated output
-    generated_text = list(map(tokenizer.decode, out))[0]
-    print(generated_text)
+def eval_text (text):
+  prompt = "Eres un experto en lenguaje claro. Evalúa la calidad del lenguaje de este texto:"
+  input = prompt + text
 
+  chat_completion = client.chat.completions.create(
+    messages=[
+        {
+            "role": "user",
+            "content": input,
+        }
+    ],
+    model="mixtral-8x7b-32768",
+)
 
-    return(f"Result: {generation[0]['generated_text']}")
+  return (chat_completion.choices[0].message.content)
 
+demo = gr.Interface(fn=eval_text, inputs="text", outputs="text", title="EmpatIA")
 
-demo = gr.Interface(fn=eval_text, inputs="text", outputs="text", title="microsoft/phi-2")
-    
-demo.launch(share=True)
+demo.launch()