feat: Add env example and update app

.env.example

@@ -0,0 +1,8 @@
+AZURE_AISEARCH_API_KEY=
+AZURE_AISEARCH_ENDPOINT=https://search-legislation.search.windows.net
+AZURE_AISEARCH_INDEX=
+AOAI_API_KEY=
+AOAI_ENDPOINT=https://openai-chabot.openai.azure.com/
+AOAI_API_VERSION=2023-03-15-preview
+AZURE_ML_ENDPOINT=https://Phi-3-5-mini-instruct-pzgvm.eastus.models.ai.azure.com/chat/completions
+AZURE_ML_API_KEY=

.gitignore

@@ -0,0 +1 @@
+.env

app.py

@@ -1,21 +1,68 @@
+import time
+from dotenv import load_dotenv
+import os
+from azure.search.documents import SearchClient
+from azure.core.credentials import AzureKeyCredential
 import gradio as gr
-from huggingface_hub import InferenceClient
+import random
+from openai import AzureOpenAI
+import requests
+import json
+from requests.auth import HTTPBasicAuth
 
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+load_dotenv()
+
+# Set up the search client with your service details
+search_client = SearchClient(endpoint=os.getenv("AZURE_AISEARCH_ENDPOINT"),
+                             index_name=os.getenv("AZURE_AISEARCH_INDEX"),
+                             credential=AzureKeyCredential(os.getenv("AZURE_AISEARCH_API_KEY")))
+
+client = AzureOpenAI(
+    api_key= os.getenv("AOAI_API_KEY"),
+    api_version= os.getenv("AOAI_API_VERSION"),
+    azure_endpoint= os.getenv("AOAI_ENDPOINT"),
+)
+
+# Informações do endpoint
+azure_ml_endpoint_url = os.getenv("AZURE_ML_ENDPOINT")
+azure_ml_api_key = os.getenv("AZURE_ML_API_KEY")
+
+# Headers para autenticação e conteúdo
+headers = {
+    "Content-Type": "application/json",
+    "Authorization": f"{azure_ml_api_key}"
+}
+
+def search(user_query):
+  search_results = search_client.search(
+      search_text=user_query,
+      highlight_fields="content",  # Indicar o campo que deve ser realçado
+      top=3 # Limitar o número de resultados retornados
+  )
+
+  # Estruturar os resultados
+  contents = []
+  sources = []
+  for result in search_results:
+      document_name = result['metadata_storage_name']
+      formatted_name = document_name.replace("_", " ").replace(".pdf", "").upper()
+      sources.append(formatted_name)
+
+      # Pegar os highlights e unificar em uma string
+      highlights = " ".join(result.get('@search.highlights', {}).get('content', []))
+      contents.append(f"Fonte: {formatted_name}\nTrecho destacado: {highlights}")
+
+  # Combinar os resultados em uma única string
+  highlighted_content = "\n\n".join(contents)
+  return highlighted_content
 
 
 def respond(
     message,
     history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
+    model
 ):
-    messages = [{"role": "system", "content": system_message}]
+    messages = []
 
     for val in history:
         if val[0]:
@@ -27,38 +74,110 @@ def respond(
 
     response = ""
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
-
-        response += token
-        yield response
-
-
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
-    ],
-)
+    highlighted_content = search(message)
+    GROUNDED_PROMPT = f"""
+    Você é um assistente virtual amigável especializado em responder questões sobre a legislação das Resoluções e Portarias da universidade Unesp. O conteúdo dos atos normativos é de responsabilidade do Grupo Técnico de Informação e Documentação da Secretaria Geral (GTID/SG).
+
+    Instruções:
+    1. Responda à pergunta usando **somente** as fontes fornecidas abaixo.
+    2. Seja amigável e conciso em suas respostas.
+    3. Cite a fonte utilizada durante e ao final da resposta.
+    4. Responda **apenas** com os fatos relacionados nas fontes fornecidas.
+    5. Se não houver informações suficientes nas fontes abaixo, informe que não sabe.
+    6. Não gere respostas que não usem as fontes fornecidas.
+    7. Formate o nome do arquivo da fonte para apenas o nome da fonte (exemplo: RESOLUÇÃO_UNESP_Nº_05_DE_07_DE_FEVEREIRO_DE_2024.pdf -> RESOLUÇÃO UNESP Nº05 DE 07 DE FEVEREIRO DE 2024).
+    8. Sempre que possível, cite no início da resposta o artigo, parágrafo, inciso, alíneas e/ou itens que foi retirado a resposta.
+
+    Fontes e Trechos Destacados:
+    {highlighted_content}
+
+    Pergunta:
+    {message}
+
+    Formato de Resposta:
+    1. **Introdução**: Comece com uma saudação amigável e uma breve introdução.
+    2. **Resposta**: Forneça a resposta à pergunta de forma clara e concisa.
+    3. **Citação de Fontes**: Cite a fonte utilizada durante e ao final da resposta.
+    4. **Conclusão**: Termine com uma frase de encerramento amigável.
+
+    Exemplo de Resposta:
+
+    Olá! Obrigado por sua pergunta.
+
+    [resposta]
+
+    Fonte(s): [nome da fonte usada].
+    """
+    print("Modelo = ", model)
+    if model == "gpt-4" or model == "gpt-35-turbo":
+      completion = client.chat.completions.create(
+          model="gpt-35-turbo",
+          messages=[
+              {
+                  "role": "user",
+                  "content": GROUNDED_PROMPT,
+              },
+          ],
+      )
+      token = completion.choices[0].message.content
+    else: #Phi
+      data = {
+        "messages": [
+            {"role": "user", "content": GROUNDED_PROMPT}
+        ],
+        "temperature": 0.8,
+        "top_p": 0.1,
+        "max_tokens": 2048
+       }
+
+      # Converta para JSON
+      payload = json.dumps(data)
+      # Realizar a inferência
+      response_api = requests.post(azure_ml_endpoint_url, headers=headers, data=payload)
+      response_json = response_api.json()
+      content = response_json['choices'][0]['message']['content']
+      token = content.strip()
+
+    response += token
+    # yield response
+
+    # Envia o texto gradualmente (efeito de digitação)
+    displayed_response = ""
+    for char in response:
+        displayed_response += char
+        time.sleep(0.01)  # Intervalo entre os caracteres para o efeito de digitação
+        yield displayed_response
+
+
+examplesChatbot = [
+    ["Quais são Instrumentos para a Execução da Política de SANS da UNESP?"],
+    ["Qual é o prazo de integralização do curso de graduação em Medicina Veterinária?"],
+    ["Qual a estrutura curricular do Curso de Engenharia Agronômica da Faculdade de Ciências Agrárias e Veterinárias do câmpus de Jaboticabal?"],
+    ["Quais são os membros da Comissão Permanente de Avaliação - CPA para o exercício de 2024?"]
+
+]
+
+chatbot = gr.Chatbot(
+    placeholder="<strong>Sou o Chatbot de Legislação da Unesp</strong><br>Fique à vontade para fazer perguntas",
+    bubble_full_width=True,
+    avatar_images=(None, os.path.join("imgs", "chatbot-avatar-open.png")),
+    )
+text = gr.Textbox(placeholder="Faça uma pergunta sobre a Legislação da Unesp", submit_btn=True)
+dropdown = gr.Dropdown(["gpt-35-turbo", "gpt-4", "Phi-3-5-mini-instruct"], label='Modelo',)
 
+with gr.Blocks() as demo:
+  chat = gr.ChatInterface(
+      respond,
+      textbox=text,
+      additional_inputs=[
+          dropdown,
+      ],
+      additional_inputs_accordion = 'Configurações',
+      chatbot=chatbot,
+      # examples= examplesChatbot,
+      # theme = 'soft'
+  )
+  examples_list = gr.Examples(examples=examplesChatbot, inputs=text)
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch(debug=True)

requirements.txt

@@ -1 +1,4 @@
-huggingface_hub==0.25.2
+huggingface_hub==0.25.2
+openai
+azure-search-documents
+azure-core