deepseek-coder / app.py
Akdenizz's picture
Update app.py
b8e3e96 verified
Raw History Blame Contribute Delete
4.5 kB
# Gerekli Python kütüphanelerini dahil ediyoruz.
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import gradio as gr
import os
# Kullanacağımız OPT-350M modelinin adını belirliyoruz.
model_name = "facebook/opt-350m" # <-- Burayı değiştirdik!
print(f"'{model_name}' modeli yükleniyor... Bu işlem çok hızlı olacaktır!")
# Modeli ve tokenlaştırıcısını yüklüyoruz.
try:
tokenizer = AutoTokenizer.from_pretrained(model_name) # OPT için trust_remote_code gerekli değil
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.float32, # OPT için float32 daha uygun olabilir, bfloat16 her zaman desteklenmez
device_map="auto"
)
print(f"'{model_name}' modeli başarıyla yüklendi!")
except Exception as e:
print(f"Model yüklenirken bir hata oluştu: {e}")
print("Lütfen Space ayarlarınızda yeterli donanım (CPU/GPU) seçili olduğundan emin olun.")
raise e
# Adel'in kod üretme fonksiyonu
def generate_code_with_deepseek( # Fonksiyon adı eskiden kalma, sorun değil
prompt: str,
max_length: int = 500, # Çok küçük olduğu için max_length'i düşürdük
selected_model: str = "facebook-opt-350m", # Burayı da güncelledik
system_prompt: str = ""
) -> str:
"""
Facebook OPT-350M modelini kullanarak Python kodu üretir.
Bu model çok küçük olduğundan sadece çok basit kodlar üretebilir.
"""
# OPT modelleri için basit bir prompt formatı
input_text = f"Write a Python code for the following request: {prompt}\n"
if system_prompt:
input_text = f"{system_prompt}\n{input_text}"
# Prompt'u tokenlaştırıcıya uygun hale getir
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
# Kodu üret
outputs = model.generate(
inputs.input_ids,
max_new_tokens=max_length, # max_length'i direkt kullanıyoruz
do_sample=True,
temperature=0.7, # Biraz yaratıcılık için
top_p=0.9,
eos_token_id=tokenizer.eos_token_id,
pad_token_id=tokenizer.eos_token_id
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
# Modelin çıktısını temizleme
# OPT genellikle doğrudan metin çıkarır, ```python blokları beklemeyebiliriz
generated_code = generated_text.replace(input_text, "").strip() # Prompt kısmını çıkar
# Modelin kendi prompt'unu tekrarlamasını önlemeye çalışalım
if generated_code.startswith("Write a Python code for the following request:"):
generated_code = generated_code.split("Write a Python code for the following request:", 1)[-1].strip()
# Bazen model başa veya sona "..." veya anlamsız karakterler ekler
generated_code = generated_code.strip().replace("...", "").strip()
# Sadece ilk kod bloğunu veya ilk anlamlı kısmı al
if "```python" in generated_code:
start_idx = generated_code.find("```python") + len("```python")
end_idx = generated_code.find("```", start_idx)
if end_idx != -1:
generated_code = generated_code[start_idx:end_idx].strip()
else:
generated_code = generated_code[start_idx:].strip()
elif "def " in generated_code or "import " in generated_code: # Basit bir kod başlangıcı tespiti
# İlk satırdan itibaren al
pass # Zaten temizlenmiş oluyor
return generated_code
# Gradio arayüzünü oluşturuyoruz.
iface = gr.Interface(
fn=generate_code_with_deepseek,
inputs=[
gr.Textbox(lines=2, label="Kullanıcı İsteği", placeholder="Örn: 'İki sayıyı toplayan bir Python fonksiyonu yaz.'"),
gr.Slider(minimum=50, maximum=500, value=250, label="Kod Uzunluğu (Karakter)", step=50), # Max length'i düşürdük
gr.Dropdown(["facebook-opt-350m"], label="Model", value="facebook-opt-350m", interactive=False), # Burayı da güncelledik
gr.Textbox(lines=2, label="Sistem Promptu (Ek Talimatlar)", placeholder="Örn: 'Sadece temel Python kullan.'")
],
outputs=gr.Code(label="Üretilen Kod", language="python"),
title="Adel AI - OPT-350M Destekli Kod Asistanı", # Başlığı da güncelledik
description="Facebook OPT-350M modelini kullanarak Python kodu üretin. Çok hafif ve hızlıdır, ancak sadece çok basit kodlar üretebilir.", # Açıklamayı da güncelledik
live=False
)
# Gradio arayüzünü başlatıyoruz.
iface.launch()