bkaplan commited on
Commit
f7ebb72
·
verified ·
1 Parent(s): 95cd9f3

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +33 -48
app.py CHANGED
@@ -1,63 +1,48 @@
1
  import gradio as gr
2
  from huggingface_hub import InferenceClient
3
 
4
- # Hugging Face model adını burada belirtin.
5
- client = InferenceClient("bkaplan/MRL1") # Kendi modelinize uygun ismi yazın.
6
 
7
- def respond(
8
- message,
9
- history: list[tuple[str, str]],
10
- system_message,
11
- max_tokens,
12
- temperature,
13
- top_p,
14
- ):
15
- # Sistem mesajını ekliyoruz.
16
  messages = [{"role": "system", "content": system_message}]
17
-
18
- # Sohbet geçmişini işleme.
19
- for val in history:
20
- if val[0]: # Kullanıcı mesajı varsa.
21
- messages.append({"role": "user", "content": val[0]})
22
- if val[1]: # Asistan yanıtı varsa.
23
- messages.append({"role": "assistant", "content": val[1]})
24
-
25
- # Kullanıcının yeni mesajını ekliyoruz.
26
  messages.append({"role": "user", "content": message})
27
-
 
28
  response = ""
29
-
30
- # LLaMA tabanlı modeller için client.chat çağrısı.
31
- for message in client.chat(
32
- inputs=messages, # Mesaj listesi.
33
- parameters={
34
- "max_length": max_tokens, # Maksimum token sayısı.
35
- "temperature": temperature, # Rastgelelik ayarı.
36
- "top_p": top_p, # Nükleus örnekleme oranı.
37
- },
38
- stream=True, # Yanıt akışını aktif et.
39
- ):
40
- token = message.get("generated_text", "") # Yanıt metnini al.
41
- response += token
42
- yield response
43
-
44
-
45
- # Gradio arayüzü.
46
  demo = gr.ChatInterface(
47
- respond,
48
  additional_inputs=[
49
  gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
50
  gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
51
  gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
52
- gr.Slider(
53
- minimum=0.1,
54
- maximum=1.0,
55
- value=0.95,
56
- step=0.05,
57
- label="Top-p (nucleus sampling)",
58
- ),
59
- ],
60
  )
61
 
62
  if __name__ == "__main__":
63
- demo.launch()
 
1
  import gradio as gr
2
  from huggingface_hub import InferenceClient
3
 
4
+ # InferenceClient'ı doğru şekilde çağırın
5
+ client = InferenceClient("bkaplan/MRL1")
6
 
7
+ def respond(message, history, system_message, max_tokens, temperature, top_p):
8
+ # Mesaj listesini hazırlayın
 
 
 
 
 
 
 
9
  messages = [{"role": "system", "content": system_message}]
10
+
11
+ # Sohbet geçmişini ekleyin
12
+ for user, assistant in history:
13
+ if user:
14
+ messages.append({"role": "user", "content": user})
15
+ if assistant:
16
+ messages.append({"role": "assistant", "content": assistant})
17
+
18
+ # Yeni mesajı ekleyin
19
  messages.append({"role": "user", "content": message})
20
+
21
+ # Yanıt üretimi
22
  response = ""
23
+ try:
24
+ # client.chat() yerine client.chat metodunu kullanın
25
+ for token in client.chat(
26
+ messages,
27
+ max_tokens=max_tokens,
28
+ temperature=temperature,
29
+ top_p=top_p
30
+ ):
31
+ response += token
32
+ yield response
33
+ except Exception as e:
34
+ yield f"Hata oluştu: {str(e)}"
35
+
36
+ # Gradio arayüzü
 
 
 
37
  demo = gr.ChatInterface(
38
+ respond,
39
  additional_inputs=[
40
  gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
41
  gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
42
  gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
43
+ gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
44
+ ]
 
 
 
 
 
 
45
  )
46
 
47
  if __name__ == "__main__":
48
+ demo.launch()