Update app.py

app.py

@@ -1,40 +1,87 @@
 import gradio as gr
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
+import pandas as pd
 import os
 
-# [1] إعدادات البيئة وتحميل ملف GGUF
+# [1] إعدادات البيئة والمستودعات
 HF_TOKEN = os.environ.get("HF_TOKEN")
-REPO_ID = "aab20abdullah/Akin-Yurt-Llama3-8B"
-FILENAME = "AkinYurt-Llama3-Q4_K_M.gguf"
+MODEL_REPO = "aab20abdullah/Akin-Yurt-Llama3-8B"
+MODEL_FILENAME = "AkinYurt-Llama3-Q4_K_M.gguf"
+DATASET_REPO = "aab20abdullah/turkmen-martyrs-dataset"
 
+# [2] إنشاء مجلد data وتنزيل ملفات الشهداء (Parquet)
+os.makedirs("data", exist_ok=True)
+parquet_files = [
+    "train-00000-of-00001.parquet",
+    "validation-00000-of-00001.parquet",
+    "test-00000-of-00001.parquet"
+]
+
+print("📥 Şehitler Veritabanı (Parquet) İndiriliyor...")
+df_list = []
+for file in parquet_files:
+    try:
+        # بعض المستودعات تضع الملفات داخل مجلد data/ في السيرفر، إذا فشل التنزيل سنحاول مع المسار
+        file_path = hf_hub_download(
+            repo_id=DATASET_REPO,
+            filename=f"data/{file}" if "data/" not in file else file, # محاولة التكيف مع هيكلة HF
+            repo_type="dataset",
+            local_dir="data",  # حفظها في المجلد المحلي data/
+            token=HF_TOKEN
+        )
+        df_list.append(pd.read_parquet(file_path))
+        print(f"✅ İndirildi: {file}")
+    except Exception as e:
+        print(f"⚠️ Dosya bulunamadı veya hata ({file}): {e}")
+
+# دمج جميع البيانات في قاعدة واحدة
+if df_list:
+    martyrs_df = pd.concat(df_list, ignore_index=True)
+    print(f"✅ Toplam {len(martyrs_df)} şehit kaydı sisteme yüklendi.")
+else:
+    martyrs_df = pd.DataFrame()
+    print("⚠️ Veritabanı boş. Lütfen HF_TOKEN ve dosya adlarını kontrol edin.")
+
+def search_martyrs(query):
+    if martyrs_df.empty: return ""
+    query_words = query.lower().split()
+    results = []
+    for _, row in martyrs_df.iterrows():
+        row_text = " | ".join([str(val) for val in row.values])
+        if any(word in row_text.lower() for word in query_words if len(word) > 3):
+            results.append(row_text)
+            if len(results) >= 3: break
+    if results:
+        return "\n\n[RESMİ VERİTABANI BİLGİSİ - BU BİLGİYİ KULLANARAK CEVAP VER]:\n" + "\n".join(results)
+    return ""
+
+# [3] تنزيل وتهيئة محرك Llama C++ (GGUF لـ 4GB RAM)
 print("📥 GGUF Motoru İndiriliyor / Yükleniyor...")
 try:
-    # سيقوم النظام بتحميل الملف (حوالي 4.5 جيجا) والاحتفاظ به في الكاش
     model_path = hf_hub_download(
-        repo_id=REPO_ID, 
-        filename=FILENAME, 
+        repo_id=MODEL_REPO, 
+        filename=MODEL_FILENAME, 
         token=HF_TOKEN
     )
     print(f"✅ Model başarıyla yüklendi: {model_path}")
 except Exception as e:
-    print(f"⚠️ İndirme Hatası: {e}. Lütfen HF_TOKEN'ı kontrol edin.")
+    print(f"⚠️ Model İndirme Hatası: {e}")
     model_path = ""
 
-# [2] تهيئة محرك Llama C++ ليعمل على 4GB RAM
 if model_path:
     print("🐺 Akın Yurt C++ Motoru Başlatılıyor...")
     llm = Llama(
         model_path=model_path,
-        n_ctx=1024,          # تقليل السياق إلى 1024 لضمان عدم تجاوز 4GB RAM
-        n_threads=2,         # استخدام نواتين فقط للحفاظ على استقرار المعالج
-        n_gpu_layers=0,      # 0 يعني الاعتماد بالكامل على الـ CPU والـ RAM (للأجهزة الضعيفة)
+        n_ctx=1024,          # استهلاك ذاكرة منخفض
+        n_threads=2,         # ثبات المعالج
+        n_gpu_layers=0,      # الاعتماد على CPU
         verbose=False
     )
 else:
     llm = None
 
-# [3] ميثاق القسم والهوية
+# [4] ميثاق القسم والهوية
 UKÜCÜ_YEMINI = """ALLAHA, KURANA, YEMİN OLSUN.
 ŞEHİTLERİM, GAZİLERİM, EMİN OLSUN.
 ÜLKÜCÜ TÜRK GENÇLİĞİ OLARAK:
@@ -46,23 +93,25 @@ YILANLARDAN OLMAYACAĞIZ! SATANLARDAN OLMAYACAĞIZ! KAÇANLARDAN OLMAYACAĞIZ!
 YIKILMAYACAĞIZ. BAŞARACAĞIZ, BAŞARACAĞIZ, BAŞARACAĞIZ.
 TANRI TÜRKÜ KORUSUN VE YÜCELTSİN. (AMİN)"""
 
-SYSTEM_PROMPT = """Senin adın Akın Yurt. Kerkük'te görev yapan, Türkmeneli davasına adanmış, zeki bir asistansın.
+BASE_SYSTEM_PROMPT = """Senin adın Akın Yurt. Kerkük'te görev yapan, Türkmeneli davasına adanmış, zeki bir asistansın.
 Geliştiricilerin: Abdullah Ali Bahaaldeen, Ali El-Hürmüzlü ve Usame Alaaddin. TÖGB birimi tarafından geliştirildin."""
 
-# [4] نظام المعالجة والرد (Llama-CPP Engine)
+# [5] نظام المعالجة والرد
 def respond(message, history):
     if not llm:
-        yield "⚠️ HATA: Model yüklenemedi. HF_TOKEN ve dosya adını kontrol edin."
+        yield "⚠️ HATA: Model yüklenemedi. Lütfen sistemi kontrol edin."
         return
 
-    # الاستجابة للقسم
     yemin_triggers = ["yemin", "yemin et", "andı oku", "yemini oku"]
     if any(trigger in message.lower() for trigger in yemin_triggers):
         yield UKÜCÜ_YEMINI
         return
 
-    # بناء سياق المحادثة لمعمارية Llama-3
-    messages = [{"role": "system", "content": SYSTEM_PROMPT}]
+    # دمج معلومات الشهداء
+    db_context = search_martyrs(message)
+    dynamic_system_prompt = BASE_SYSTEM_PROMPT + db_context
+
+    messages = [{"role": "system", "content": dynamic_system_prompt}]
     for user_msg, assistant_msg in history:
         if user_msg: messages.append({"role": "user", "content": user_msg})
         if assistant_msg: messages.append({"role": "assistant", "content": assistant_msg})
@@ -70,7 +119,6 @@ def respond(message, history):
 
     response = ""
     try:
-        # التوليد المباشر من الموديل المحلي بنظام البث (Streaming)
         stream = llm.create_chat_completion(
             messages=messages,
             max_tokens=512,
@@ -80,7 +128,6 @@ def respond(message, history):
         )
         
         for chunk in stream:
-            # التقاط الكلمات المولدّة
             delta = chunk['choices'][0]['delta']
             if 'content' in delta:
                 token = delta['content']
@@ -89,7 +136,7 @@ def respond(message, history):
     except Exception as e:
         yield f"⚠️ Motor Hatası: {str(e)}"
 
-# [5] الواجهة الرسومية
+# [6] الواجهة الرسومية
 custom_theme = gr.themes.Soft(primary_hue="blue", secondary_hue="cyan").set(
     button_primary_background_fill="#007bff",
     button_primary_text_color="white",
@@ -97,12 +144,12 @@ custom_theme = gr.themes.Soft(primary_hue="blue", secondary_hue="cyan").set(
 
 with gr.Blocks(theme=custom_theme, title="Akın Yurt - TÖGB") as demo:
     gr.Markdown("# 🐺 Akın Yurt")
-    gr.Markdown("### Türkmeneli Dijital Asistanı (GGUF Offline Motoru - 4GB Optimize)")
+    gr.Markdown("### Türkmeneli Dijital Asistanı (Veritabanı Entegreli Çevrimdışı Motor)")
     gr.Markdown("---")
     
     gr.ChatInterface(
         respond,
-        examples=["Seni kim yaptı?", "Andı oku", "Kerkük neresidir?"],
+        examples=["Seni kim yaptı?", "Andı oku", "Bize Kerkük şehitlerinden bahset"],
         cache_examples=False,
     )