Update app.py

app.py

@@ -1,85 +1,106 @@
-SYSTEM_PROMPT = "O ChatGEO é um assistente virtual especializado em geografia, projetado para ajudar estudantes a explorar e compreender diversos tópicos relacionados ao mundo ao seu redor. Com uma personalidade amigável e conhecimento abrangente, o ChatGEO está pronto para responder suas perguntas geográficas com precisão e clareza. Exemplos de Perguntas para ChatGEO: Qual é a capital do Brasil? Descreva o processo de formação de uma cadeia de montanhas. Quais são os principais rios da América do Sul? Explique o conceito de zonas climáticas e suas características. Como a globalização impacta as relações entre os países? Quais são as diferenças entre latitude e longitude? Liste os países que fazem parte da União Europeia. O que são fenômenos naturais e como eles afetam o ambiente?Fale sobre as características geográficas da África Subsaariana. Como os vulcões se formam e quais são seus efeitos na paisagem? Ao utilizar o ChatGEO, sinta-se à vontade para fazer perguntas sobre mapas, países, climas, fenômenos naturais, e outros temas geográficos. O ChatGEO está aqui para tornar a aprendizagem de geografia divertida e informativa!"
-
-TITLE = "ChatGEO"
-EXAMPLE_INPUT = "Olá, ChatGEO! Como você pode me ajudar hoje?"
-from typing import Iterator
-
+from huggingface_hub import InferenceClient
 import gradio as gr
-import os
-import requests
-import matplotlib
-matplotlib.use('agg')
-
-zephyr_7b_beta = "https://api-inference.huggingface.co/models/HuggingFaceH4/zephyr-7b-beta/"
-
-
-HF_TOKEN = os.getenv("HF_TOKEN")
-HEADERS = {"Authorization": f"Bearer {HF_TOKEN}"}
-
-def build_input_prompt(message, chatbot, system_prompt):
-    """
-    Constrói a string do prompt de entrada a partir das interações do chatbot e da mensagem atual.
-    """
-    input_prompt = "<|system|>\n" + system_prompt + "</s>\n<|user|>\n"
-    for interaction in chatbot:
-        input_prompt = input_prompt + str(interaction[0]) + "</s>\n<|assistant|>\n" + str(interaction[1]) + "\n</s>\n<|user|>\n"
-
-    input_prompt = input_prompt + str(message) + "</s>\n<|assistant|>"
-    return input_prompt
-
-
-def post_request_beta(payload):
-    """
-    Sends a POST request to the predefined Zephyr-7b-Beta URL and returns the JSON response.
-    """
-    response = requests.post(zephyr_7b_beta, headers=HEADERS, json=payload)
-    response.raise_for_status()  # Will raise an HTTPError if the HTTP request returned an unsuccessful status code
-    return response.json()
-
-
-def predict_beta(message, chatbot=[], system_prompt=""):
-    input_prompt = build_input_prompt(message, chatbot, system_prompt)
-    data = {
-        "inputs": input_prompt
-    }
-
-    try:
-        response_data = post_request_beta(data)
-        json_obj = response_data[0]
-        
-        if 'generated_text' in json_obj and len(json_obj['generated_text']) > 0:
-            bot_message = json_obj['generated_text']
-            return bot_message
-        elif 'error' in json_obj:
-            raise gr.Error(json_obj['error'] + ' Please refresh and try again with smaller input prompt')
-        else:
-            warning_msg = f"Unexpected response: {json_obj}"
-            raise gr.Error(warning_msg)
-    except requests.HTTPError as e:
-        error_msg = f"Request failed with status code {e.response.status_code}"
-        raise gr.Error(error_msg)
-    except json.JSONDecodeError as e:
-        error_msg = f"Failed to decode response as JSON: {str(e)}"
-        raise gr.Error(error_msg)
-
-def test_preview_chatbot(message, history):
-    response = predict_beta(message, history, SYSTEM_PROMPT)
-    text_start = response.rfind("<|assistant|>", ) + len("<|assistant|>")
-    response = response[text_start:]
-    return response
-
-
-
-welcome_preview_message = f"""
-Bem vindo ao **{TITLE}** Pergunte-me algo como: 
-**"{EXAMPLE_INPUT}"**
-"""
-
-chatbot_preview = gr.Chatbot(layout="panel", value=[(None, welcome_preview_message)],
-    avatar_images=["./user.png", "./botz.png"], bubble_full_width=False, show_label=False, show_copy_button=False,)
+import random
+
+client = InferenceClient("google/gemma-2b-it")
+
+def format_prompt(message, history):
+    prompt = "O ChatGEO é um assistente virtual especializado em geografia, projetado para ajudar estudantes a explorar e compreender diversos tópicos relacionados ao mundo ao seu redor. Com uma personalidade amigável e conhecimento abrangente, o ChatGEO está pronto para responder suas perguntas geográficas com precisão e clareza. Exemplos de Perguntas para ChatGEO: Qual é a capital do Brasil? Descreva o processo de formação de uma cadeia de montanhas. Quais são os principais rios da América do Sul? Explique o conceito de zonas climáticas e suas características. Como a globalização impacta as relações entre os países? Quais são as diferenças entre latitude e longitude? Liste os países que fazem parte da União Europeia. O que são fenômenos naturais e como eles afetam o ambiente?Fale sobre as características geográficas da África Subsaariana. Como os vulcões se formam e quais são seus efeitos na paisagem? Ao utilizar o ChatGEO, sinta-se à vontade para fazer perguntas sobre mapas, países, climas, fenômenos naturais, e outros temas geográficos. O ChatGEO está aqui para tornar a aprendizagem de geografia divertida e informativa!"
+    if history:
+        for user_prompt, bot_response in history:
+            prompt += f"<start_of_turn>user{user_prompt}<end_of_turn>"
+            prompt += f"<start_of_turn>model{bot_response}"
+    prompt += f"<start_of_turn>user{message}<end_of_turn><start_of_turn>model"
+    return prompt
+
+
+def generate(prompt, history, temperature=0.7, max_new_tokens=1024, top_p=0.90, repetition_penalty=0.9):
+    temperature = float(temperature)
+    if temperature < 1e-2:
+        temperature = 1e-2
+    top_p = float(top_p)
+   
+    if not history:
+        history = []
+
+    rand_seed = random.randint(1, 1111111111111111)
     
-textbox_preview = gr.Textbox(scale=7, container=False, lines=4, value=EXAMPLE_INPUT)
-
-demo = gr.ChatInterface(test_preview_chatbot, chatbot=chatbot_preview, textbox=textbox_preview, submit_btn='Perguntar', retry_btn=None, clear_btn=None, undo_btn=None)
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=rand_seed,
+    )
+
+    formatted_prompt = format_prompt(prompt, history)
+
+    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    output = ""
+
+    for response in stream:
+        output += response.token.text
+        yield output
+    history.append((prompt, output))
+    return output
 
+    
+mychatbot = gr.Chatbot(
+    avatar_images=["./user.png", "./botgm.png"], bubble_full_width=False, show_label=False, show_copy_button=True, likeable=True,)
+
+additional_inputs=[
+    gr.Slider(
+        label="Temperature",
+        value=0.7,
+        minimum=0.0,
+        maximum=1.0,
+        step=0.01,
+        interactive=True,
+        info="Higher values generate more diverse outputs",
+    ),
+    gr.Slider(
+        label="Max new tokens",
+        value=6400,
+        minimum=0,
+        maximum=8000,
+        step=64,
+        interactive=True,
+        info="The maximum numbers of new tokens",
+    ),
+    gr.Slider(
+        label="Top-p",
+        value=0.90,
+        minimum=0.0,
+        maximum=1,
+        step=0.01,
+        interactive=True,
+        info="Higher values sample more low-probability tokens",
+    ),
+    gr.Slider(
+        label="Repetition penalty",
+        value=1.0,
+        minimum=0.1,
+        maximum=2.0,
+        step=0.1,
+        interactive=True,
+        info="Penalize repeated tokens",
+    )
+]
+
+
+
+iface = gr.ChatInterface(fn=generate, 
+                        chatbot=mychatbot,
+						additional_inputs=additional_inputs,
+                        submit_btn='Enviar',
+                        retry_btn=None,
+                        undo_btn=None,
+                        clear_btn=None 
+                       )
+
+with gr.Blocks() as demo:
+    gr.HTML("<center><h2 style='font-size: 22px; text-align: center; color: #007BFF;'>ChatGEO IA</h2><p><b>Tire suas dúvidas, peça sugestões sobre os assuntos da Geografia e muito mais!</b></p></center>")
+    iface.render()
+    
 demo.queue().launch(show_api=False)