Update app.py

app.py

@@ -5,25 +5,19 @@ import random
 client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.3")
 
 def format_prompt(message, history):
-    prompt = "O ChatGEO é um assistente virtual especializado em geografia, projetado para ajudar estudantes a explorar e compreender diversos tópicos relacionados ao mundo ao seu redor. Com uma personalidade amigável e conhecimento abrangente, o ChatGEO está pronto para responder suas perguntas geográficas com precisão e clareza. Exemplos de Perguntas para ChatGEO: Qual é a capital do Brasil? Descreva o processo de formação de uma cadeia de montanhas. Quais são os principais rios da América do Sul? Explique o conceito de zonas climáticas e suas características. Como a globalização impacta as relações entre os países? Quais são as diferenças entre latitude e longitude? Liste os países que fazem parte da União Europeia. O que são fenômenos naturais e como eles afetam o ambiente?Fale sobre as características geográficas da África Subsaariana. Como os vulcões se formam e quais são seus efeitos na paisagem? Ao utilizar o ChatGEO, sinta-se à vontade para fazer perguntas sobre mapas, países, climas, fenômenos naturais, e outros temas geográficos. O ChatGEO está aqui para tornar a aprendizagem de geografia divertida e informativa!"
+    prompt = "O ChatGEO é um assistente virtual especializado em geografia..."
     if history:
         for user_prompt, bot_response in history:
             prompt += f"<start_of_turn>user{user_prompt}<end_of_turn>"
-            prompt += f"<start_of_turn>model{bot_response}"
+            prompt += f"<start_of_turn>model{bot_response}<end_of_turn>"
     prompt += f"<start_of_turn>user{message}<end_of_turn><start_of_turn>model"
     return prompt
 
-
-def generate(prompt, history, temperature=0.7, max_new_tokens=1024, top_p=0.90, repetition_penalty=0.9):
-    temperature = float(temperature)
-    if temperature < 1e-2:
-        temperature = 1e-2
+def generate(message, history, temperature=0.7, max_new_tokens=1024, top_p=0.90, repetition_penalty=0.9):
+    temperature = max(float(temperature), 1e-2)
     top_p = float(top_p)
-   
-    if not history:
-        history = []
 
-    rand_seed = random.randint(1, 1111111111111111)
+    formatted_prompt = format_prompt(message, history)
     
     generate_kwargs = dict(
         temperature=temperature,
@@ -31,25 +25,27 @@ def generate(prompt, history, temperature=0.7, max_new_tokens=1024, top_p=0.90,
         top_p=top_p,
         repetition_penalty=repetition_penalty,
         do_sample=True,
-        seed=rand_seed,
+        seed=random.randint(1, 1111111111111111),
     )
 
-    formatted_prompt = format_prompt(prompt, history)
-
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
-
     for response in stream:
         output += response.token.text
         yield output
-    history.append((prompt, output))
+    
+    history.append((message, output))  # Aqui, 'message' é a entrada do usuário e 'output' é a resposta do bot.
     return output
 
-    
 mychatbot = gr.Chatbot(
-    avatar_images=["./user.png", "./botgm.png"], bubble_full_width=False, show_label=False, show_copy_button=True, likeable=True,)
+    avatar_images=["./user.png", "./botgm.png"],
+    bubble_full_width=False,
+    show_label=False,
+    show_copy_button=True,
+    likeable=True,
+)
 
-additional_inputs=[
+additional_inputs = [
     gr.Slider(
         label="Temperature",
         value=0.7,
@@ -61,18 +57,18 @@ additional_inputs=[
     ),
     gr.Slider(
         label="Max new tokens",
-        value=6400,
+        value=1024,  # Reduzido para um valor mais razoável.
         minimum=0,
         maximum=8000,
         step=64,
         interactive=True,
-        info="The maximum numbers of new tokens",
+        info="The maximum number of new tokens",
     ),
     gr.Slider(
         label="Top-p",
         value=0.90,
         minimum=0.0,
-        maximum=1,
+        maximum=1.0,
         step=0.01,
         interactive=True,
         info="Higher values sample more low-probability tokens",
@@ -88,19 +84,18 @@ additional_inputs=[
     )
 ]
 
-
-
-iface = gr.ChatInterface(fn=generate, 
-                        chatbot=mychatbot,
-						additional_inputs=additional_inputs,
-                        submit_btn='Enviar',
-                        retry_btn=None,
-                        undo_btn=None,
-                        clear_btn=None 
-                       )
+iface = gr.ChatInterface(
+    fn=generate, 
+    chatbot=mychatbot,
+    additional_inputs=additional_inputs,
+    submit_btn='Enviar',
+    retry_btn=None,
+    undo_btn=None,
+    clear_btn=None
+)
 
 with gr.Blocks() as demo:
     gr.HTML("<center><h2 style='font-size: 22px; text-align: center; color: #007BFF;'>ChatGEO IA</h2><p><b>Tire suas dúvidas, peça sugestões sobre os assuntos da Geografia e muito mais!</b></p></center>")
     iface.render()
     
-demo.queue().launch(show_api=False)
+demo.queue().launch(show_api=False)