import gradio as gr from openai import OpenAI import json with open("manual_usuario_text_urls_resumen.json", "r", encoding="utf-8") as file: context = file.read() # Cargar JSON como string def respond( message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p, ): client = OpenAI( base_url="https://openrouter.ai/api/v1", api_key="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", ) messages = [{"role": "system", "content": system_message}] for val in history: if val[0]: messages.append({"role": "user", "content": val[0]}) if val[1]: messages.append({"role": "assistant", "content": val[1]}) messages.append({"role": "user", "content": message}) response = "" completion = client.chat.completions.create( extra_body={}, model="google/gemini-2.0-flash-lite-preview-02-05:free", messages=messages, max_tokens=max_tokens, temperature=temperature, top_p=top_p, ) for choice in completion.choices: response += choice.message.content yield response demo = gr.ChatInterface( respond, additional_inputs=[ gr.Textbox(value= f'''Eres un asistente virtual especializado en atención al cliente para la empresa Wisphub. Tu objetivo es ayudar a los clientes a resolver únicamente problemas técnicos relacionados con la plataforma Wisphub. Todas tus respuestas deben basarse exclusivamente en la información proporcionada en el siguiente manual de usuario: {context}. - Incluye en todas tus respuestas el una imagen y el url del manual relacionada a lo que pregunto el usuario, para ello usaras los urls que contiene el manual de usuario, muestra la imagen usando la sintaxis de Markdown sin bloque de código. ![Descripción de la imagen](URL_de_la_imagen) Si tampoco encuentras información relevante, indica que no puedes proporcionar detalles adicionales y sugiere al usuario contactar con el soporte técnico oficial de Wisphub. - Asegúrate de que tus respuestas sean claras y fáciles de entender para usuarios sin conocimientos técnicos. ''' , label="System message"), gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"), gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"), gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"), ], ) if __name__ == "__main__": demo.launch()