gefrontz commited on
Commit
86db4a4
·
verified ·
1 Parent(s): 73b8458

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -4
app.py CHANGED
@@ -1,18 +1,19 @@
1
  import gradio as gr
2
  from transformers import pipeline
3
 
4
- # Chat için eğitilmiş güçlü bir model
5
  pipe = pipeline(
6
  "text-generation",
7
- model="mistralai/Mixtral-8x7B-Instruct-v0.1",
8
  max_new_tokens=200
9
  )
10
 
11
  def reply(message, history):
 
12
  prompt = f"User: {message}\nAssistant:"
13
  output = pipe(prompt)[0]["generated_text"]
14
-
15
- # Model "Assistant:" sonrası her şeyi döndürüyor, fazlasını temizleyelim
16
  if "Assistant:" in output:
17
  output = output.split("Assistant:")[1].strip()
18
  return output
 
1
  import gradio as gr
2
  from transformers import pipeline
3
 
4
+ # Daha küçük ve hafif bir model (phi-2)
5
  pipe = pipeline(
6
  "text-generation",
7
+ model="microsoft/phi-2",
8
  max_new_tokens=200
9
  )
10
 
11
  def reply(message, history):
12
+ # Basit bir prompt formatı
13
  prompt = f"User: {message}\nAssistant:"
14
  output = pipe(prompt)[0]["generated_text"]
15
+
16
+ # Eğer model 'Assistant:' ile devam ederse, oradan sonrasını al
17
  if "Assistant:" in output:
18
  output = output.split("Assistant:")[1].strip()
19
  return output