Update app.py

app.py

@@ -1,62 +1,37 @@
 # app.py
-import subprocess
-import sys
-import importlib
-
-# Gerekli paketleri kontrol et, yoksa yükle
-def install_if_missing(package):
-    try:
-        importlib.import_module(package)
-    except ImportError:
-        print(f"{package} bulunamadı, yükleniyor...")
-        subprocess.check_call([sys.executable, "-m", "pip", "install", package])
-
-install_if_missing("gdown")
-install_if_missing("gradio")
-
 import gradio as gr
-import gdown
-import os
-from pathlib import Path
-
-# Model linki (Drive paylaşılan)
-DRIVE_LINK = "https://drive.google.com/uc?id=1OlQWjcevXx-Zw0XXGXK4qyWYW2GP7IaB"
-MODEL_PATH = "ggml-alpaca-7b-q4.bin"
-
-# Modeli indir (eğer yoksa)
-if not Path(MODEL_PATH).exists():
-    print("Model indiriliyor...")
-    gdown.download(DRIVE_LINK, MODEL_PATH, quiet=False)
-else:
-    print("Model zaten mevcut.")
+from transformers import LlamaForCausalLM, LlamaTokenizer
+import torch
+
+# Model ID Hugging Face üzerinde
+MODEL_ID = "GoshawkVortexAI/ggml-alpaca-7b-q4"
+
+# Tokenizer ve modeli yükle (CPU için)
+print("Model yükleniyor... Bu işlem biraz zaman alabilir.")
+tokenizer = LlamaTokenizer.from_pretrained(MODEL_ID)
+model = LlamaForCausalLM.from_pretrained(
+    MODEL_ID,
+    device_map="cpu",        # CPU kullan
+    torch_dtype=torch.float32  # CPU için uygun dtype
+)
+print("Model yüklendi.")
 
-# CPU için llama.cpp ile çalıştırma fonksiyonu
+# Tahmin fonksiyonu
 def generate(prompt):
-    # llama.cpp binary'si 'main' olarak varsayılıyor
-    cmd = [
-        "./main",  # llama.cpp binary
-        "-m", MODEL_PATH,
-        "-p", prompt,
-        "-n", "128",  # max token
-        "-t", "4"     # CPU thread sayısı
-    ]
-    
-    try:
-        result = subprocess.run(cmd, capture_output=True, text=True)
-        output = result.stdout
-        return output
-    except Exception as e:
-        return f"Hata: {e}"
+    inputs = tokenizer(prompt, return_tensors="pt")
+    outputs = model.generate(**inputs, max_new_tokens=128)
+    text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return text
 
 # Gradio arayüzü
 iface = gr.Interface(
     fn=generate,
-    inputs=gr.Textbox(lines=3, placeholder="Prompt yaz..."),
+    inputs=gr.Textbox(lines=3, placeholder="Prompt yazın..."),
     outputs="text",
     title="Alpaca-7B Q4 CPU",
-    description="Google Drive'dan indirilen Q4 quantized Alpaca modelini CPU üzerinde çalıştırır."
+    description="Hugging Face üzerinden CPU'da çalışan Alpaca modeline prompt girin."
 )
 
-# Arayüzü başlat
+# Başlat
 if __name__ == "__main__":
     iface.launch()