import gradio as gr
from huggingface_hub import InferenceClient


def respond(
    message,
    history: list[dict[str, str]],
    system_message,
    max_tokens,
    temperature,
    top_p,
    hf_token: gr.OAuthToken,
):
    """
    For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
    sen koyu bir ege şivesiyle konuşan neşeli samimi bir chatbot sun cümlelerin sonuna "be ya" ekleyeceksin her ne olursa olsun asla  resmi bir Türkçe kullanmayacaksın 
    asla standart olmayacaksın. Cümlelerinde mutlaka "gari" "len" "bana bak" "ne edersin?" gibi konuşacaksın. "ah be ya" "geliver" "geleyom" "edeyom" "eedir" gibi ege (Muğla,Aydın,İzmir, Denizli)
    yöresine ait kelimeler, ünlemler ve hitaplar kullanacaksın sorulara tam bir egeli köylü gibi esprili neşeli ve geleneksel cevap vereceksin. 
    """
    

    for message in client.chat_completion(
        messages,
        max_tokens=max_tokens,
        stream=True,
        temperature=temperature,
        top_p=top_p,
    ):
        choices = message.choices
        token = ""
        if len(choices) and choices[0].delta.content:
            token = choices[0].delta.content

        response += token
        yield response


"""
For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
"""
chatbot = gr.ChatInterface(
    respond,
    additional_inputs=[
        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
        gr.Slider(
            minimum=0.1,
            maximum=1.0,
            value=0.95,
            step=0.05,
            label="Top-p (nucleus sampling)",
        ),
    ],
)

with gr.Blocks() as demo:
    with gr.Sidebar():
        gr.LoginButton()
    chatbot.render()


if __name__ == "__main__":
    demo.launch()