Create data_downloader.py

src/data_downloader.py

@@ -0,0 +1,65 @@
+"""Dataset'ten veri indiren modül."""
+
+from huggingface_hub import hf_hub_download
+import os
+import shutil
+
+
+class DataDownloader:
+    """HF Dataset'ten TDK dosyalarını indirir."""
+    
+    def __init__(self):
+        self.repo_id = "esrakoc/tdk-vector-store"
+        self.data_dir = "./data"
+        os.makedirs(self.data_dir, exist_ok=True)
+    
+    def download_and_setup(self):
+        """Tüm dosyaları indir ve hazırla."""
+        
+        files = [
+            "processed_tdk.json",
+            "embeddings.pkl", 
+            "vector_store.index",
+            "vector_store.pkl"
+        ]
+        
+        print("=" * 70)
+        print("DATASET DOSYALARI İNDİRİLİYOR")
+        print("=" * 70)
+        
+        for filename in files:
+            local_path = os.path.join(self.data_dir, filename)
+            
+            # Zaten varsa atla
+            if os.path.exists(local_path):
+                print(f"Mevcut: {filename}")
+                continue
+            
+            try:
+                print(f"İndiriliyor: {filename}...")
+                
+                # HF'den indir
+                downloaded = hf_hub_download(
+                    repo_id=self.repo_id,
+                    filename=f"data/{filename}",
+                    repo_type="dataset",
+                    cache_dir="./.cache"
+                )
+                
+                # data/ klasörüne kopyala
+                shutil.copy2(downloaded, local_path)
+                print(f"Hazır: {filename}")
+                
+            except Exception as e:
+                print(f"Hata ({filename}): {e}")
+                return False
+        
+        print("=" * 70)
+        print("TÜM DOSYALAR HAZIR!")
+        print("=" * 70)
+        return True
+    
+    def check_files(self):
+        """Dosyaların varlığını kontrol et."""
+        required = ["vector_store.index", "vector_store.pkl"]
+        return all(os.path.exists(f"./data/{f}") for f in required)