Create app.py

app.py

@@ -0,0 +1,182 @@
+import gradio as gr
+import PyPDF2
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.embeddings import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+import os
+import torch
+
+# --- 0. Global Değişkenler ve Ayarlar ---
+PDF_PATH = "mevzuat.pdf"
+CHUNK_SIZE = 1000
+CHUNK_OVERLAP = 150
+EMBEDDING_MODEL_NAME = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
+
+# Önerilen model (senin isteğin üzerine)
+LLM_MODEL_NAME = "akdenizuniversity/turkish-small-llama-1b-instruct"
+
+# Token limitler (modelin desteklediği maksimum input token'a göre ayarla)
+# Bu model 4096 token destekliyorsa; yoksa modeli 2048/4096 gibi değerlere göre güncelle.
+MODEL_MAX_INPUT_TOKENS = 4096
+MAX_NEW_TOKENS = 256  # Üretilecek maksimum token
+DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+
+# --- 1. PDF'i İşle ve Vektör Veritabanı Oluştur ---
+def create_vector_db_from_pdf(pdf_path):
+    print(f"PDF okunuyor: {pdf_path}")
+    text = ""
+    try:
+        with open(pdf_path, "rb") as file:
+            reader = PyPDF2.PdfReader(file)
+            for page_num, page in enumerate(reader.pages):
+                page_text = page.extract_text()
+                if page_text:
+                    text += f"Sayfa {page_num + 1}:\n" + page_text + "\n\n"
+    except Exception as e:
+        print(f"PDF okunurken hata oluştu: {e}")
+        return None, None
+
+    if not text:
+        print("PDF'ten metin çıkarılamadı.")
+        return None, None
+
+    print(f"Metin toplam {len(text)} karakter.")
+
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=CHUNK_SIZE,
+        chunk_overlap=CHUNK_OVERLAP,
+        length_function=len,
+    )
+    chunks = text_splitter.split_text(text)
+    print(f"Metin {len(chunks)} parçaya ayrıldı.")
+
+    print(f"Embedding modeli yükleniyor: {EMBEDDING_MODEL_NAME}")
+    embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL_NAME)
+
+    print("FAISS vektör veritabanı oluşturuluyor...")
+    db = FAISS.from_texts(chunks, embeddings)
+    print("Vektör veritabanı başarıyla oluşturuldu.")
+    return db, embeddings
+
+vector_db, embeddings_model = None, None
+if os.path.exists(PDF_PATH):
+    vector_db, embeddings_model = create_vector_db_from_pdf(PDF_PATH)
+else:
+    print(f"Hata: {PDF_PATH} bulunamadı. Lütfen PDF dosyasını projenizin kök dizinine yükleyin.")
+
+# --- 2. LLM Modelini ve Pipeline'ı Yükle ---
+tokenizer = None
+text_generation_pipeline = None
+try:
+    print(f"Tokenizer ve model yükleniyor: {LLM_MODEL_NAME} -> Cihaz: {DEVICE}")
+    tokenizer = AutoTokenizer.from_pretrained(LLM_MODEL_NAME, use_fast=True)
+    model = AutoModelForCausalLM.from_pretrained(
+        LLM_MODEL_NAME,
+        torch_dtype=torch.float16 if DEVICE == "cuda" else torch.float32,
+        low_cpu_mem_usage=True
+    )
+    # pipeline
+    device_arg = 0 if DEVICE == "cuda" else -1
+    text_generation_pipeline = pipeline(
+        "text-generation",
+        model=model,
+        tokenizer=tokenizer,
+        device=device_arg,
+        max_new_tokens=MAX_NEW_TOKENS,
+        do_sample=False,  # mevzuat gibi resmi kaynaklarda daha deterministik sonuç için False önerilir
+        temperature=0.0,
+        top_k=50,
+        pad_token_id=tokenizer.eos_token_id
+    )
+    print("LLM pipeline başarıyla oluşturuldu.")
+except Exception as e:
+    print(f"LLM yüklenirken hata oluştu: {e}")
+    text_generation_pipeline = None
+
+# --- 3. Soru-Cevap Fonksiyonu ---
+def answer_question(question, chat_history):
+    if vector_db is None or text_generation_pipeline is None or tokenizer is None:
+        err_msg = "Üzgünüm, PDF veya model yüklenemedi (logları kontrol edin)."
+        return "", chat_history + [[question, err_msg]]
+
+    print(f"Gelen soru: {question}")
+
+    # Retrieval: en benzer k parça
+    k = 2
+    retrieved_docs = vector_db.similarity_search(question, k=k)
+    if not retrieved_docs:
+        return "", chat_history + [[question, "İlgili bağlam bulunamadı."]]
+
+    # Bağlamı birleştir
+    docs_texts = [doc.page_content for doc in retrieved_docs]
+    context = "\n\n".join(docs_texts)
+
+    # Token bazlı güvenli kırpma:
+    # Maksimum izin verilen input token sayısı = MODEL_MAX_INPUT_TOKENS - MAX_NEW_TOKENS - bir güvenlik payı
+    safety_margin = 32
+    max_context_tokens = MODEL_MAX_INPUT_TOKENS - MAX_NEW_TOKENS - safety_margin
+    # tokenize et ve gerekirse kısalt (son kısımları tutmak genelde daha iyi)
+    context_tokens = tokenizer.encode(context, truncation=False)
+    if len(context_tokens) > max_context_tokens:
+        print(f"Bağlam token sayısı ({len(context_tokens)}) limit aşıyor ({max_context_tokens}). Kısaltılıyor.")
+        # son max_context_tokens token'ı al
+        truncated_tokens = context_tokens[-max_context_tokens:]
+        context = tokenizer.decode(truncated_tokens, skip_special_tokens=True)
+
+    # Prompt oluştur
+    prompt = (
+        "Aşağıdaki bağlamı kullanarak soruyu cevaplayın. Bağlamda yoksa uydurma yapmayın.\n"
+        "Cevabı madde madde yazın ve en sonda kaynakları 'Sayfa X' biçiminde belirtin.\n\n"
+        f"Bağlam:\n{context}\n\n"
+        f"Soru: {question}\n\n"
+        "Cevap:\n"
+    )
+
+    print("Prompt oluşturuldu. Token sayısı:", len(tokenizer.encode(prompt)))
+    try:
+        gen = text_generation_pipeline(prompt)
+        # pipeline returns a list of dicts with 'generated_text'
+        if isinstance(gen, list) and len(gen) > 0 and "generated_text" in gen[0]:
+            raw = gen[0]["generated_text"]
+            # pipeline çıktı olarak prompt'ı tekrar edebilir, onu ayıklayalım
+            if prompt in raw:
+                final_answer = raw.split(prompt, 1)[-1].strip()
+            else:
+                final_answer = raw.strip()
+        else:
+            # fallback
+            final_answer = str(gen)
+
+        if not final_answer:
+            final_answer = "Sorunuzla ilgili bağlamda yeterli bilgi bulunamadı."
+
+    except Exception as e:
+        print("Cevap üretilirken hata:", e)
+        final_answer = f"Cevap üretilirken bir hata oluştu: {e}"
+
+    chat_history.append((question, final_answer))
+    return "", chat_history
+
+# --- 4. Gradio Arayüzü ---
+with gr.Blocks() as demo:
+    gr.Markdown(
+        """
+        # Fırat Üniversitesi Mini RAG Botu (Optimizasyonlu)
+        PDF'teki mevzuat üzerinde Türkçe soru-cevap. Bağlamda bilgi yoksa uydurma yapılmayacaktır.
+        """
+    )
+
+    chatbot = gr.Chatbot(height=400, label="Sohbet")
+    msg = gr.Textbox(label="Sorunuzu buraya yazın:", placeholder="Örn: 'Belgede tez jürisi kuralı ne?'")
+
+    with gr.Row():
+        submit_btn = gr.Button("Gönder")
+        clear_btn = gr.Button("Sohbeti Temizle")
+
+    msg.submit(answer_question, [msg, chatbot], [msg, chatbot])
+    submit_btn.click(answer_question, [msg, chatbot], [msg, chatbot])
+    clear_btn.click(lambda: (None, []), outputs=[msg, chatbot])
+
+if __name__ == "__main__":
+    demo.launch()