Update app.py
Browse files
app.py
CHANGED
|
@@ -1,132 +1,75 @@
|
|
| 1 |
-
import gradio as gr
|
| 2 |
import torch
|
| 3 |
-
import torch.nn as nn
|
| 4 |
import os
|
|
|
|
| 5 |
|
| 6 |
-
# ====================================================================
|
| 7 |
-
# DİKKAT: MODEL MİMARİSİ VE YER TUTUCU PARAMETRELER
|
| 8 |
-
# ====================================================================
|
| 9 |
-
|
| 10 |
-
# Bu parametreler (VOCAB_SIZE, EMBED_DIM vb.) modelinizin eğitiminde kullandığınız
|
| 11 |
-
# GERÇEK değerler OLMALIDIR. Aksi takdirde model yüklenirken "size mismatch" hatası alırsınız.
|
| 12 |
-
# Tahmine dayalı YER TUTUCU değerleri kullanıyoruz:
|
| 13 |
-
VOCAB_SIZE = 10000 # Kelime dağarcığınızın tam boyutu. MUTLAKA DOĞRU OLMALI.
|
| 14 |
-
EMBED_DIM = 256 # Kelime vektörlerinin boyutu (embedding size)
|
| 15 |
-
HIDDEN_DIM = 512 # LSTM gizli katman boyutu
|
| 16 |
-
OUTPUT_DIM = VOCAB_SIZE # Çıktı boyutu (Genellikle VOCAB_SIZE)
|
| 17 |
-
NUM_LAYERS = 2 # .pth anahtarlarından varsayılan katman sayısı
|
| 18 |
-
BIDIRECTIONAL = True # .pth anahtarlarından varsayılan Çift Yönlü (Bidirectional)
|
| 19 |
-
|
| 20 |
-
# Model ağırlık dosyasının adı
|
| 21 |
MODEL_PATH = "advanced_chatbot_model.pth"
|
| 22 |
-
DEVICE = torch.device('cpu')
|
| 23 |
-
|
| 24 |
-
# --- 1. MODEL MİMARİSİ (Vücut Tanımı) ---
|
| 25 |
-
|
| 26 |
-
class ChatbotModel(nn.Module):
|
| 27 |
-
def __init__(self, vocab_size, embed_dim, hidden_dim, output_dim, num_layers, bidirectional):
|
| 28 |
-
super().__init__()
|
| 29 |
-
|
| 30 |
-
# Kelime vektörlerini oluşturur
|
| 31 |
-
self.embedding = nn.Embedding(vocab_size, embed_dim)
|
| 32 |
-
|
| 33 |
-
# Temel öğrenme katmanı (LSTM)
|
| 34 |
-
self.lstm = nn.LSTM(embed_dim,
|
| 35 |
-
hidden_dim,
|
| 36 |
-
num_layers=num_layers,
|
| 37 |
-
bidirectional=bidirectional,
|
| 38 |
-
batch_first=True)
|
| 39 |
-
|
| 40 |
-
# Son tahmin katmanı
|
| 41 |
-
lstm_output_dim = hidden_dim * (2 if bidirectional else 1)
|
| 42 |
-
self.fc = nn.Linear(lstm_output_dim, output_dim)
|
| 43 |
-
|
| 44 |
-
def forward(self, text):
|
| 45 |
-
embedded = self.embedding(text)
|
| 46 |
-
output, (hidden, cell) = self.lstm(embedded)
|
| 47 |
-
|
| 48 |
-
# Sequence to Sequence (diziden diziye) modeli varsayarak son zaman adımını kullanıyoruz.
|
| 49 |
-
final_output = self.fc(output[:, -1, :])
|
| 50 |
-
|
| 51 |
-
return final_output
|
| 52 |
|
| 53 |
-
|
|
|
|
|
|
|
|
|
|
| 54 |
|
| 55 |
-
|
| 56 |
-
|
| 57 |
-
|
| 58 |
-
print(f"UYARI: Tokenizasyon atlandı. Gerçek tahmin için tokenizer/vocab gereklidir.")
|
| 59 |
-
|
| 60 |
-
# Modelin girdisi: [batch_size, sequence_length]. Yer tutucu girdi oluşturuyoruz.
|
| 61 |
-
sequence_length = 10
|
| 62 |
-
dummy_input = torch.randint(0, VOCAB_SIZE, (1, sequence_length))
|
| 63 |
-
return dummy_input
|
| 64 |
-
|
| 65 |
-
|
| 66 |
-
# --- 3. MODEL YÜKLEME VE BAŞLATMA ---
|
| 67 |
-
|
| 68 |
-
model = None
|
| 69 |
-
try:
|
| 70 |
-
# Model yapısını YER TUTUCU parametrelerle oluştur
|
| 71 |
-
model_instance = ChatbotModel(VOCAB_SIZE, EMBED_DIM, HIDDEN_DIM, OUTPUT_DIM, NUM_LAYERS, BIDIRECTIONAL)
|
| 72 |
-
|
| 73 |
-
# Ağırlıkları yükle
|
| 74 |
-
model_instance.load_state_dict(torch.load(MODEL_PATH, map_location=DEVICE))
|
| 75 |
-
model_instance.to(DEVICE)
|
| 76 |
-
model_instance.eval()
|
| 77 |
-
|
| 78 |
-
print(f"Başarılı: Model {MODEL_PATH} yüklendi.")
|
| 79 |
-
model = model_instance
|
| 80 |
-
model_loaded = True
|
| 81 |
-
|
| 82 |
-
except Exception as e:
|
| 83 |
-
print(f"HATA: Model yüklenirken bir sorun oluştu. Detay: {e}")
|
| 84 |
-
print("Mimarideki (VOCAB_SIZE, EMBED_DIM vb.) değerlerin .pth dosyanızdaki ağırlıklarla eşleştiğinden emin olun.")
|
| 85 |
-
model_loaded = False
|
| 86 |
-
|
| 87 |
-
|
| 88 |
-
# --- 4. CHATBOT CEVAPLAMA FONKSİYONU ---
|
| 89 |
-
|
| 90 |
-
def chatbot_cevapla(girdi_metni, history):
|
| 91 |
-
if not model_loaded or model is None:
|
| 92 |
-
return f"🚨 HATA: Model Yüklenemedi! Logları kontrol edin ve mimari parametrelerini (VOCAB_SIZE, EMBED_DIM vb.) modelinizin gerçek değerleriyle güncelleyin."
|
| 93 |
|
| 94 |
try:
|
| 95 |
-
#
|
| 96 |
-
|
| 97 |
|
| 98 |
-
#
|
| 99 |
-
|
| 100 |
-
|
| 101 |
-
|
| 102 |
-
|
| 103 |
-
|
| 104 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 105 |
|
| 106 |
-
#
|
| 107 |
-
#
|
|
|
|
|
|
|
| 108 |
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
f"⚠️ BİLGİ: Gerçek metin cevabı almanız için **modelinize ait tokenizer/vocabulary** dosyalarını da yükleyip koddaki `tokenize_and_vectorize` fonksiyonunu güncellemeniz gerekir.")
|
| 113 |
|
|
|
|
|
|
|
|
|
|
| 114 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 115 |
except Exception as e:
|
| 116 |
-
print(
|
| 117 |
-
|
| 118 |
-
|
| 119 |
-
|
| 120 |
-
|
| 121 |
-
#
|
|
|
|
| 122 |
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
fn=chatbot_cevapla,
|
| 126 |
-
title=f'{os.environ.get("SPACE_TITLE", "Okyanusun")} Chatbot Modeli (Çalışıyor!)',
|
| 127 |
-
description="PyTorch modeli mimarisi entegre edildi. Şimdi test edin.",
|
| 128 |
-
examples=[
|
| 129 |
-
["Merhaba, nasılsın?"],
|
| 130 |
-
["Ekonomi nedir?"],
|
| 131 |
-
]
|
| 132 |
-
).launch()
|
|
|
|
|
|
|
| 1 |
import torch
|
|
|
|
| 2 |
import os
|
| 3 |
+
import sys
|
| 4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
MODEL_PATH = "advanced_chatbot_model.pth"
|
| 6 |
+
DEVICE = torch.device('cpu')
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
|
| 8 |
+
def get_model_params():
|
| 9 |
+
print("==========================================================")
|
| 10 |
+
print("### MODEL PARAMETRE ANALİZİ BAŞLADI ###")
|
| 11 |
+
print("==========================================================")
|
| 12 |
|
| 13 |
+
if not os.path.exists(MODEL_PATH):
|
| 14 |
+
print(f"HATA: Model dosyası ({MODEL_PATH}) bulunamadı. Lütfen dosya adını kontrol edin.")
|
| 15 |
+
return
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 16 |
|
| 17 |
try:
|
| 18 |
+
# Ağırlıkları yükle
|
| 19 |
+
loaded_object = torch.load(MODEL_PATH, map_location=DEVICE)
|
| 20 |
|
| 21 |
+
# State Dictionary'yi bul (model kaydetme şeklinize göre değişebilir)
|
| 22 |
+
if isinstance(loaded_object, dict) and 'model_state_dict' in loaded_object:
|
| 23 |
+
state_dict = loaded_object['model_state_dict']
|
| 24 |
+
print("Bilgi: 'model_state_dict' anahtarı kullanılarak ağırlıklar yüklendi.")
|
| 25 |
+
elif isinstance(loaded_object, dict):
|
| 26 |
+
state_dict = loaded_object
|
| 27 |
+
print("Bilgi: Yüklenen dosya doğrudan state_dict olarak algılandı.")
|
| 28 |
+
else:
|
| 29 |
+
print("HATA: Yüklenen dosya bir sözlük (dictionary) veya state_dict içermiyor.")
|
| 30 |
+
return
|
| 31 |
+
|
| 32 |
+
# 1. VOCAB_SIZE ve EMBED_DIM (embedding.weight: [VOCAB_SIZE, EMBED_DIM])
|
| 33 |
+
embed_shape = state_dict['embedding.weight'].shape
|
| 34 |
+
VOCAB_SIZE = embed_shape[0]
|
| 35 |
+
EMBED_DIM = embed_shape[1]
|
| 36 |
|
| 37 |
+
# 2. HIDDEN_DIM (lstm.weight_hh_l0: [4*H, H] olmalı, H gizli boyut)
|
| 38 |
+
# Bidirectional olduğu için ilk katmanın gizli ağırlığının 2. boyutu (index 1) Hidden Dim'i verir.
|
| 39 |
+
lstm_hh_shape = state_dict['lstm.weight_hh_l0'].shape
|
| 40 |
+
HIDDEN_DIM = lstm_hh_shape[1]
|
| 41 |
|
| 42 |
+
# 3. INTERMEDIATE_DIM (fc1.bias: [INTERMEDIATE_DIM])
|
| 43 |
+
fc1_bias_shape = state_dict['fc1.bias'].shape
|
| 44 |
+
INTERMEDIATE_DIM = fc1_bias_shape[0]
|
|
|
|
| 45 |
|
| 46 |
+
# 4. OUTPUT_DIM (fc2.weight: [OUTPUT_DIM, INTERMEDIATE_DIM] olmalı)
|
| 47 |
+
fc2_shape = state_dict['fc2.weight'].shape
|
| 48 |
+
OUTPUT_DIM = fc2_shape[0]
|
| 49 |
|
| 50 |
+
print("==========================================================")
|
| 51 |
+
print("TESPİT EDİLEN GERÇEK MODEL PARAMETRELERİ:")
|
| 52 |
+
print(f"1. VOCAB_SIZE (Kelime Dağarcığı Boyutu): {VOCAB_SIZE}")
|
| 53 |
+
print(f"2. EMBED_DIM (Gömülü Vektör Boyutu): {EMBED_DIM}")
|
| 54 |
+
print(f"3. HIDDEN_DIM (LSTM Gizli Boyutu): {HIDDEN_DIM}")
|
| 55 |
+
print(f"4. INTERMEDIATE_DIM (Ara Katman Boyutu): {INTERMEDIATE_DIM}")
|
| 56 |
+
print("==========================================================")
|
| 57 |
+
print("Modelin başarılı bir şekilde yüklenmesi için bu dört değeri kullanacağız.")
|
| 58 |
+
|
| 59 |
+
|
| 60 |
+
except KeyError as e:
|
| 61 |
+
print("==========================================================")
|
| 62 |
+
print(f"ANAHTAR HATASI: '{e}' anahtarı bulunamadı.")
|
| 63 |
+
print("Bu, modelinizdeki katman adlarının (embedding, lstm, fc1, fc2) kodla uyuşmadığı anlamına gelir.")
|
| 64 |
+
print("==========================================================")
|
| 65 |
except Exception as e:
|
| 66 |
+
print("==========================================================")
|
| 67 |
+
print("ÇÖZÜMLEME BAŞARISIZ OLDU. DİĞER HATA MESAJI:")
|
| 68 |
+
print(e)
|
| 69 |
+
print("==========================================================")
|
| 70 |
+
|
| 71 |
+
# Bu kod Gradio arayüzünü başlatmayı denemeyecektir.
|
| 72 |
+
sys.exit(0)
|
| 73 |
|
| 74 |
+
if __name__ == '__main__':
|
| 75 |
+
get_model_params()
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|