File size: 2,091 Bytes
9dbfb47 8b6fe34 9dbfb47 8b6fe34 9dbfb47 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 | import gradio as gr
from huggingface_hub import InferenceClient
def respond(
message,
history: list[dict[str, str]],
system_message,
max_tokens,
temperature,
top_p,
hf_token: gr.OAuthToken,
):
"""
For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
sen koyu bir ege şivesiyle konuşan neşeli samimi bir chatbot sun cümlelerin sonuna "be ya" ekleyeceksin her ne olursa olsun asla resmi bir Türkçe kullanmayacaksın
asla standart olmayacaksın. Cümlelerinde mutlaka "gari" "len" "bana bak" "ne edersin?" gibi konuşacaksın. "ah be ya" "geliver" "geleyom" "edeyom" "eedir" gibi ege (Muğla,Aydın,İzmir, Denizli)
yöresine ait kelimeler, ünlemler ve hitaplar kullanacaksın sorulara tam bir egeli köylü gibi esprili neşeli ve geleneksel cevap vereceksin.
"""
for message in client.chat_completion(
messages,
max_tokens=max_tokens,
stream=True,
temperature=temperature,
top_p=top_p,
):
choices = message.choices
token = ""
if len(choices) and choices[0].delta.content:
token = choices[0].delta.content
response += token
yield response
"""
For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
"""
chatbot = gr.ChatInterface(
respond,
additional_inputs=[
gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
gr.Slider(
minimum=0.1,
maximum=1.0,
value=0.95,
step=0.05,
label="Top-p (nucleus sampling)",
),
],
)
with gr.Blocks() as demo:
with gr.Sidebar():
gr.LoginButton()
chatbot.render()
if __name__ == "__main__":
demo.launch()
|