Update app.py

app.py

@@ -15,10 +15,13 @@ PDF_PATH = "mevzuat.pdf"
 CHUNK_SIZE = 1000
 CHUNK_OVERLAP = 150
 EMBEDDING_MODEL_NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
+
+# Daha stabil model kullanımı (dilersen eski modeli geri koyabilirsin)
 LLM_MODEL_NAME = "mrm8488/bert2bert_shared-turkish-summarization"
 
 MAX_NEW_TOKENS = 700
 DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+MAX_CONTEXT_LENGTH = 4000
 
 
 # --- 1. PDF'ten Vektör Veritabanı Oluştur ---
@@ -35,17 +38,21 @@ def create_vector_db_from_pdf(pdf_path):
     except Exception as e:
         print(f"⚠️ PDF okunurken hata oluştu: {e}")
         return None
+
     if not text:
         print("⚠️ PDF'ten metin çıkarılamadı.")
         return None
+
     print(f"📏 Toplam {len(text)} karakter okundu.")
     text_splitter = RecursiveCharacterTextSplitter(
         chunk_size=CHUNK_SIZE, chunk_overlap=CHUNK_OVERLAP, length_function=len
     )
     chunks = text_splitter.split_text(text)
     print(f"📚 Metin {len(chunks)} parçaya ayrıldı.")
+
     print(f"🔢 Embedding modeli yükleniyor: {EMBEDDING_MODEL_NAME}")
     embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL_NAME, model_kwargs={'device': DEVICE})
+
     print("🧠 FAISS vektör veritabanı oluşturuluyor...")
     db = FAISS.from_texts(chunks, embeddings)
     print("✅ Vektör veritabanı başarıyla oluşturuldu.")
@@ -64,18 +71,16 @@ text_generation_pipeline = None
 try:
     print(f"🤖 Model yükleniyor: {LLM_MODEL_NAME} -> Cihaz: {DEVICE}")
     tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL_NAME)
-    model = AutoModelForSeq2SeqLM.from_pretrained(LLM_MODEL_NAME, torch_dtype=torch.float32)
-    if DEVICE == "cuda":
-        model.to("cuda")
-        device_id = 0
-    else:
-        device_id = -1
+    model = AutoModelForSeq2SeqLM.from_pretrained(
+        LLM_MODEL_NAME,
+        torch_dtype=torch.float32,
+        device_map="auto"  # 🔥 model meta değil, gerçek cihaza yüklenir
+    )
 
     text_generation_pipeline = pipeline(
         "text2text-generation",
         model=model,
         tokenizer=tokenizer,
-        device=device_id,
         max_new_tokens=MAX_NEW_TOKENS
     )
     print("✅ LLM pipeline başarıyla oluşturuldu.")
@@ -88,16 +93,22 @@ except Exception as e:
 def get_answer_from_llm(question):
     if vector_db is None or text_generation_pipeline is None:
         return "⚠️ Model veya PDF yüklenemedi. Lütfen logları kontrol edin."
+
     print(f"💬 Gelen soru: {question}")
     try:
         retrieved_docs = vector_db.similarity_search(question, k=3)
     except Exception as e:
         return f"🔎 Vektör arama hatası: {e}"
+
     if not retrieved_docs:
         return "⚠️ Bu soruyla ilgili belgede bilgi bulunamadı."
+
     context = "\n\n".join([doc.page_content for doc in retrieved_docs])
+    context = context[:MAX_CONTEXT_LENGTH]  # 🔥 uzun metinleri kısalt
     prompt = f"Answer the question based on the following context:\n{context}\n\nQuestion: {question}\nAnswer:"
+
     print("📤 LLM'e gönderilen prompt'un başlangıcı:\n", prompt[:400])
+
     try:
         outputs = text_generation_pipeline(prompt)
         final_answer = outputs[0]["generated_text"].strip()
@@ -107,9 +118,10 @@ def get_answer_from_llm(question):
         return f"Cevap üretilemedi: {e}"
 
 
-# --- 4. Gradio Arayüzü (Yeni mesaj formatıyla uyumlu) ---
+# --- 4. Gradio Arayüzü ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("# 📘 Fırat Üniversitesi Mevzuat Asistanı")
+
     chatbot = gr.Chatbot(label="Sohbet Geçmişi", height=500, type="messages")
     msg = gr.Textbox(label="Sorunuzu yazın:", placeholder="Örn: MADDE 1’i özetle")