Update app.py

app.py

@@ -7,22 +7,18 @@ from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 import os
 import torch
 
-# --- 0. Global Değişkenler ve Ayarlar ---
+# --- 0. Global Ayarlar ---
 PDF_PATH = "mevzuat.pdf"
 CHUNK_SIZE = 1000
 CHUNK_OVERLAP = 150
 EMBEDDING_MODEL_NAME = "intfloat/multilingual-e5-base"
-
-# Önerilen model (senin isteğin üzerine)
 LLM_MODEL_NAME = "cerebras/btlm-3b-8k-base"
 
-# Token limitler (modelin desteklediği maksimum input token'a göre ayarla)
-# Bu model 4096 token destekliyorsa; yoksa modeli 2048/4096 gibi değerlere göre güncelle.
 MODEL_MAX_INPUT_TOKENS = 4096
-MAX_NEW_TOKENS = 256  # Üretilecek maksimum token
+MAX_NEW_TOKENS = 256
 DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
 
-# --- 1. PDF'i İşle ve Vektör Veritabanı Oluştur ---
+# --- 1. PDF'ten Vektör Veritabanı Oluştur ---
 def create_vector_db_from_pdf(pdf_path):
     print(f"PDF okunuyor: {pdf_path}")
     text = ""
@@ -32,7 +28,7 @@ def create_vector_db_from_pdf(pdf_path):
             for page_num, page in enumerate(reader.pages):
                 page_text = page.extract_text()
                 if page_text:
-                    text += f"Sayfa {page_num + 1}:\n" + page_text + "\n\n"
+                    text += f"Sayfa {page_num + 1}:\n{page_text}\n\n"
     except Exception as e:
         print(f"PDF okunurken hata oluştu: {e}")
         return None, None
@@ -42,145 +38,111 @@ def create_vector_db_from_pdf(pdf_path):
         return None, None
 
     print(f"Metin toplam {len(text)} karakter.")
-
     text_splitter = RecursiveCharacterTextSplitter(
-        chunk_size=CHUNK_SIZE,
-        chunk_overlap=CHUNK_OVERLAP,
-        length_function=len,
+        chunk_size=CHUNK_SIZE, chunk_overlap=CHUNK_OVERLAP, length_function=len
     )
     chunks = text_splitter.split_text(text)
     print(f"Metin {len(chunks)} parçaya ayrıldı.")
 
     print(f"Embedding modeli yükleniyor: {EMBEDDING_MODEL_NAME}")
     embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL_NAME)
-
     print("FAISS vektör veritabanı oluşturuluyor...")
     db = FAISS.from_texts(chunks, embeddings)
     print("Vektör veritabanı başarıyla oluşturuldu.")
     return db, embeddings
 
+
 vector_db, embeddings_model = None, None
 if os.path.exists(PDF_PATH):
     vector_db, embeddings_model = create_vector_db_from_pdf(PDF_PATH)
 else:
-    print(f"Hata: {PDF_PATH} bulunamadı. Lütfen PDF dosyasını projenizin kök dizinine yükleyin.")
+    print(f"Hata: {PDF_PATH} bulunamadı. Lütfen PDF dosyasını yükleyin.")
 
-# --- 2. LLM Modelini ve Pipeline'ı Yükle ---
-tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL_NAME, trust_remote_code=True)
+# --- 2. LLM Yükleme ---
 text_generation_pipeline = None
 try:
-    print(f"Tokenizer ve model yükleniyor: {LLM_MODEL_NAME} -> Cihaz: {DEVICE}")
-    tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL_NAME, use_fast=True)
-   
+    print(f"Model yükleniyor: {LLM_MODEL_NAME} -> Cihaz: {DEVICE}")
+    tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL_NAME)
     model = AutoModelForCausalLM.from_pretrained(
-    LLM_MODEL_NAME,
-    torch_dtype=torch.float16 if DEVICE=="cuda" else torch.float32,
-    trust_remote_code=True
-)
+        LLM_MODEL_NAME,
+        torch_dtype=torch.float32,  # CPU uyumlu
+        low_cpu_mem_usage=True
+    )
+
+    model.to(DEVICE)
 
-    # pipeline
-    device_arg = 0 if DEVICE == "cuda" else -1
     text_generation_pipeline = pipeline(
         "text-generation",
         model=model,
         tokenizer=tokenizer,
-        device=device_arg,
+        device=-1,  # CPU'da bu değer -1 olmalı
         max_new_tokens=MAX_NEW_TOKENS,
-        do_sample=False,  # mevzuat gibi resmi kaynaklarda daha deterministik sonuç için False önerilir
+        do_sample=False,
         temperature=0.0,
         top_k=50,
         pad_token_id=tokenizer.eos_token_id
     )
     print("LLM pipeline başarıyla oluşturuldu.")
 
-    
 except Exception as e:
     print(f"LLM yüklenirken hata oluştu: {e}")
     text_generation_pipeline = None
 
 # --- 3. Soru-Cevap Fonksiyonu ---
 def answer_question(question, chat_history):
-    if vector_db is None or text_generation_pipeline is None or tokenizer is None:
-        err_msg = "Üzgünüm, PDF veya model yüklenemedi (logları kontrol edin)."
-        return "", chat_history + [[question, err_msg]]
+    if vector_db is None or text_generation_pipeline is None:
+        err = "Model veya PDF yüklenemedi. Lütfen logları kontrol edin."
+        return "", chat_history + [{"role": "assistant", "content": err}]
 
     print(f"Gelen soru: {question}")
-
-    # Retrieval: en benzer k parça
     k = 2
     retrieved_docs = vector_db.similarity_search(question, k=k)
+
     if not retrieved_docs:
-        return "", chat_history + [[question, "İlgili bağlam bulunamadı."]]
+        return "", chat_history + [{"role": "assistant", "content": "İlgili bilgi bulunamadı."}]
 
-    # Bağlamı birleştir
-    docs_texts = [doc.page_content for doc in retrieved_docs]
-    context = "\n\n".join(docs_texts)
+    context = "\n\n".join([doc.page_content for doc in retrieved_docs])
 
-    # Token bazlı güvenli kırpma:
-    # Maksimum izin verilen input token sayısı = MODEL_MAX_INPUT_TOKENS - MAX_NEW_TOKENS - bir güvenlik payı
-    safety_margin = 32
-    max_context_tokens = MODEL_MAX_INPUT_TOKENS - MAX_NEW_TOKENS - safety_margin
-    # tokenize et ve gerekirse kısalt (son kısımları tutmak genelde daha iyi)
+    # Token güvenliği
+    max_context_tokens = MODEL_MAX_INPUT_TOKENS - MAX_NEW_TOKENS - 32
     context_tokens = tokenizer.encode(context, truncation=False)
     if len(context_tokens) > max_context_tokens:
-        print(f"Bağlam token sayısı ({len(context_tokens)}) limit aşıyor ({max_context_tokens}). Kısaltılıyor.")
-        # son max_context_tokens token'ı al
-        truncated_tokens = context_tokens[-max_context_tokens:]
-        context = tokenizer.decode(truncated_tokens, skip_special_tokens=True)
+        context = tokenizer.decode(context_tokens[-max_context_tokens:], skip_special_tokens=True)
 
-    # Prompt oluştur
     prompt = (
-        "Aşağıdaki bağlamı kullanarak soruyu cevaplayın. Bağlamda yoksa uydurma yapmayın.\n"
-        "Cevabı madde madde yazın ve en sonda kaynakları 'Sayfa X' biçiminde belirtin.\n\n"
+        "Aşağıdaki bağlamı kullanarak soruyu yanıtlayın. "
+        "Bağlamda olmayan bilgileri uydurmayın.\n"
+        "Cevabı madde madde ve 'Sayfa X' şeklinde kaynak vererek yazın.\n\n"
         f"Bağlam:\n{context}\n\n"
-        f"Soru: {question}\n\n"
-        "Cevap:\n"
+        f"Soru: {question}\n\nCevap:\n"
     )
 
-    print("Prompt oluşturuldu. Token sayısı:", len(tokenizer.encode(prompt)))
-    try:
-        gen = text_generation_pipeline(prompt)
-        # pipeline returns a list of dicts with 'generated_text'
-        if isinstance(gen, list) and len(gen) > 0 and "generated_text" in gen[0]:
-            raw = gen[0]["generated_text"]
-            # pipeline çıktı olarak prompt'ı tekrar edebilir, onu ayıklayalım
-            if prompt in raw:
-                final_answer = raw.split(prompt, 1)[-1].strip()
-            else:
-                final_answer = raw.strip()
-        else:
-            # fallback
-            final_answer = str(gen)
-
-        if not final_answer:
-            final_answer = "Sorunuzla ilgili bağlamda yeterli bilgi bulunamadı."
+    print(f"Prompt token sayısı: {len(tokenizer.encode(prompt))}")
 
+    try:
+        outputs = text_generation_pipeline(prompt)
+        generated_text = outputs[0]["generated_text"]
+        final_answer = generated_text.replace(prompt, "").strip()
     except Exception as e:
         print("Cevap üretilirken hata:", e)
-        final_answer = f"Cevap üretilirken bir hata oluştu: {e}"
+        final_answer = f"Cevap üretilemedi: {e}"
 
-    chat_history.append((question, final_answer))
+    chat_history.append({"role": "assistant", "content": final_answer})
     return "", chat_history
 
 # --- 4. Gradio Arayüzü ---
 with gr.Blocks() as demo:
-    gr.Markdown(
-        """
-        # Fırat Üniversitesi Mini RAG Botu (Optimizasyonlu)
-        PDF'teki mevzuat üzerinde Türkçe soru-cevap. Bağlamda bilgi yoksa uydurma yapılmayacaktır.
-        """
-    )
-
-    chatbot = gr.Chatbot(height=400, label="Sohbet")
-    msg = gr.Textbox(label="Sorunuzu buraya yazın:", placeholder="Örn: 'Belgede tez jürisi kuralı ne?'")
+    gr.Markdown("# 📘 Fırat Üniversitesi Mevzuat Asistanı")
+    chatbot = gr.Chatbot(height=400, label="Sohbet", type="messages")
+    msg = gr.Textbox(label="Sorunuzu yazın:", placeholder="Örn: MADDE 1’i özetle")
 
     with gr.Row():
         submit_btn = gr.Button("Gönder")
-        clear_btn = gr.Button("Sohbeti Temizle")
+        clear_btn = gr.Button("Temizle")
 
     msg.submit(answer_question, [msg, chatbot], [msg, chatbot])
     submit_btn.click(answer_question, [msg, chatbot], [msg, chatbot])
     clear_btn.click(lambda: (None, []), outputs=[msg, chatbot])
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()