GoshawkVortexAI commited on
Commit
1c8cec8
·
verified ·
1 Parent(s): a1b6f75

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +21 -4
app.py CHANGED
@@ -1,4 +1,22 @@
1
  # app.py
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  import gradio as gr
3
  from transformers import LlamaForCausalLM, LlamaTokenizer
4
  import torch
@@ -7,12 +25,12 @@ import torch
7
  MODEL_ID = "GoshawkVortexAI/ggml-alpaca-7b-q4"
8
 
9
  # Tokenizer ve modeli yükle (CPU için)
10
- print("Model yükleniyor... Bu işlem biraz zaman alabilir.")
11
  tokenizer = LlamaTokenizer.from_pretrained(MODEL_ID)
12
  model = LlamaForCausalLM.from_pretrained(
13
  MODEL_ID,
14
- device_map="cpu", # CPU kullan
15
- torch_dtype=torch.float32 # CPU için uygun dtype
16
  )
17
  print("Model yüklendi.")
18
 
@@ -32,6 +50,5 @@ iface = gr.Interface(
32
  description="Hugging Face üzerinden CPU'da çalışan Alpaca modeline prompt girin."
33
  )
34
 
35
- # Başlat
36
  if __name__ == "__main__":
37
  iface.launch()
 
1
  # app.py
2
+ import subprocess
3
+ import sys
4
+ import importlib
5
+
6
+ # Paketleri kontrol et, yoksa yükle
7
+ def install_if_missing(package):
8
+ try:
9
+ importlib.import_module(package)
10
+ except ImportError:
11
+ print(f"{package} bulunamadı, yükleniyor...")
12
+ subprocess.check_call([sys.executable, "-m", "pip", "install", package])
13
+
14
+ # Gerekli paketler
15
+ install_if_missing("transformers")
16
+ install_if_missing("torch")
17
+ install_if_missing("gradio")
18
+
19
+ # Şimdi import edebiliriz
20
  import gradio as gr
21
  from transformers import LlamaForCausalLM, LlamaTokenizer
22
  import torch
 
25
  MODEL_ID = "GoshawkVortexAI/ggml-alpaca-7b-q4"
26
 
27
  # Tokenizer ve modeli yükle (CPU için)
28
+ print("Model yükleniyor... Bu biraz zaman alabilir.")
29
  tokenizer = LlamaTokenizer.from_pretrained(MODEL_ID)
30
  model = LlamaForCausalLM.from_pretrained(
31
  MODEL_ID,
32
+ device_map="cpu",
33
+ torch_dtype=torch.float32
34
  )
35
  print("Model yüklendi.")
36
 
 
50
  description="Hugging Face üzerinden CPU'da çalışan Alpaca modeline prompt girin."
51
  )
52
 
 
53
  if __name__ == "__main__":
54
  iface.launch()