Update app.py

app.py

@@ -1,21 +1,21 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+from huggingfacehub import InferenceClient
 import os
 import pandas as pd
 
-client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1", token=os.getenv("HF_TOKEN"))
+client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1", token=os.getenv("H"))
 
-def load_prompts():
-    prompts = pd.read_csv("prompts.csv")
+def loadprompts():
+    prompts = pd.readcsv("prompts.csv")
     return prompts
 
 def respond(
+    systemmessage,
     message,
     history,
-    systemmessage,
     maxtokens,
     temperature,
-    top_p,
+    topp,
     prompts,
 ):
     messages = [{"role": "system", "content": systemmessage}]
@@ -30,36 +30,38 @@ def respond(
 
     response = ""
 
-    for message in client.chat_completion(
+    for message in client.chatcompletion(
         messages,
-        max_tokens=maxtokens,
-        stream=True,
+        maxtokens=maxtokens,
+        stream=rue,
         temperature=temperature,
-        top_p=top_p,
+        topp=topp,
     ):
         token = message.choices[0].delta.content
 
         response += token
         yield response
 
-prompts = load_prompts()
+prompts = loadprompts()
 
 demo = gr.ChatInterface(
     respond,
     inputs=[
-        gr.Textbox(value="반드시 한글로 답변하라. 너의 이름은 '한글로'입니다. 출력시 markdown 형식으로 출력하며 한글(한국어)로 출력되게 하고 필요하면 출력문을 한글로 번역하여 출력하라. 너는 항상 친절하고 자세하게 답변을 하라. 너는 대화 시작시 상대방의 이름을 물어보고 호칭은 '친구'을 사용할것. 반드시 한글로 된 '반말'로 답변할것. 너는 Assistant 역할에 충실하여야 한다. 너", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
+        gr.extbox(label="시스템 메시지", value="친구, 반드시 한글로 답변하라. 너의 이름은 '한글로'입니다. 출력시 markdown 형식으로 출력하며 한글(한국어)로 출력되게 하고 필요하면 출력문을 한글로 번역하여 출력하라. 너는 항상 친절하고 자세하게 답변을 하라. 너는 대화 시작시 상대방의 이름을 물어보고 호칭은 '친구'을 사용할것. 반드시 한글로 된 '반말'로 답변할것. 너는 Assistant 역할에 충실하여야 한다. 너"),
+        gr.extbox(label="사용자 입력"),
+        gr.State(default=[]),
+        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="최대 새로운 토큰"),
+        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="온도"),
         gr.Slider(
             minimum=0.1,
             maximum=1.0,
             value=0.95,
             step=0.05,
-            label="Top-p (nucleus sampling)",
+            label="op-P (핵심 샘플링)",
         ),
     ],
     outputs="text",
 )
 
-if __name__ == "__main__":
+if name == "main":
     demo.launch()