#!/usr/bin/env python3 """ FitTürkAI RAG System - Google Colab Setup and Demo Script CPU Optimized for Linux Environment Bu script Google Colab ortamında FitTürkAI RAG sistemini kurar ve çalıştırır. """ import os import sys import subprocess import shutil from pathlib import Path def install_requirements(): """Gerekli kütüphaneleri yükle""" print("🔧 Gerekli kütüphaneler yükleniyor...") # Önce pip'i güncelle subprocess.run([sys.executable, "-m", "pip", "install", "--upgrade", "pip"], check=True) # Ana kütüphaneleri yükle requirements = [ "torch>=2.0.0,<2.2.0", "transformers>=4.36.0,<4.40.0", "sentence-transformers>=2.2.2,<3.0.0", "accelerate>=0.24.0,<0.26.0", "peft>=0.7.0,<0.8.0", "nltk>=3.8", "regex>=2022.10.31", "faiss-cpu>=1.7.4", "numpy>=1.24.0,<2.0.0", "scipy>=1.9.0", "PyPDF2>=3.0.0", "PyMuPDF>=1.23.0", "tqdm>=4.64.0", "requests>=2.28.0", "gdown>=4.7.0", "datasets>=2.14.0", "tokenizers>=0.15.0", "safetensors>=0.3.0", "psutil>=5.9.0" ] for requirement in requirements: try: print(f"📦 Yükleniyor: {requirement}") subprocess.run([sys.executable, "-m", "pip", "install", requirement], check=True, capture_output=True) except subprocess.CalledProcessError as e: print(f"❌ Hata: {requirement} yüklenemedi: {e}") continue print("✅ Kütüphane kurulumu tamamlandı!") def download_nltk_data(): """NLTK verilerini indir""" print("📚 NLTK verileri indiriliyor...") import nltk try: nltk.download('punkt', quiet=True) nltk.download('punkt_tab', quiet=True) nltk.download('stopwords', quiet=True) print("✅ NLTK verileri başarıyla indirildi!") except Exception as e: print(f"⚠️ NLTK veri indirme uyarısı: {e}") def setup_directories(): """Gerekli klasörleri oluştur""" print("📁 Klasör yapısı oluşturuluyor...") directories = [ "./indirilen_pdfler", "./DATA", "./fitness_rag_store_merged", "./fine_tuned_FitTurkAI_QLoRA" ] for directory in directories: Path(directory).mkdir(parents=True, exist_ok=True) print(f"✅ Klasör oluşturuldu: {directory}") def create_demo_data(): """Demo için örnek veri oluştur""" print("📝 Demo verileri oluşturuluyor...") # Örnek JSON veri oluştur demo_data = [ { "soru": "Sağlıklı kahvaltı için ne önerirsiniz?", "cevap": "Sağlıklı bir kahvaltı protein, kompleks karbonhidrat ve healthy yağlar içermelidir. Yumurta, tam tahıllı ekmek, avokado, meyveler iyi seçeneklerdir." }, { "soru": "Günde kaç bardak su içmeliyim?", "cevap": "Genel olarak günde 8-10 bardak (2-2.5 litre) su içmek önerilir. Aktivite düzeyinize ve hava durumuna göre bu miktar artabilir." }, { "soru": "Egzersiz sonrası ne yemeli?", "cevap": "Egzersiz sonrası 30-60 dakika içinde protein ve karbonhidrat içeren besinler tüketin. Örneğin protein smoothie veya yoğurt ile meyve." } ] import json with open("./DATA/demo_fitness_data.json", "w", encoding="utf-8") as f: json.dump(demo_data, f, ensure_ascii=False, indent=2) print("✅ Demo JSON verileri oluşturuldu!") def check_system_resources(): """Sistem kaynaklarını kontrol et""" print("💻 Sistem kaynakları kontrol ediliyor...") try: import psutil cpu_count = psutil.cpu_count() memory = psutil.virtual_memory() print(f"🔍 CPU Çekirdek Sayısı: {cpu_count}") print(f"🔍 Toplam RAM: {memory.total / (1024**3):.1f} GB") print(f"🔍 Kullanılabilir RAM: {memory.available / (1024**3):.1f} GB") if memory.available < 2 * (1024**3): # 2GB'dan az print("⚠️ Uyarı: RAM düşük. Model yükleme sırasında sorun yaşayabilirsiniz.") else: print("✅ Sistem kaynakları yeterli görünüyor!") except ImportError: print("⚠️ psutil yüklü değil, sistem kontrolü atlanıyor...") def main(): """Ana kurulum ve demo fonksiyonu""" print("🚀 FitTürkAI RAG Sistemi - Google Colab Kurulumu Başlıyor...") print("="*60) try: # 1. Sistem kontrolü check_system_resources() # 2. Kütüphane kurulumu install_requirements() # 3. NLTK verileri download_nltk_data() # 4. Klasör yapısı setup_directories() # 5. Demo verileri create_demo_data() print("\n" + "="*60) print("✅ Kurulum tamamlandı!") print("="*60) print("\n📋 Sonraki adımlar:") print("1. test.py dosyasını çalıştırın:") print(" python test.py") print("\n2. Veya interaktif modda başlatın:") print(" from test import FitnessRAG, RAGConfig") print(" config = RAGConfig()") print(" rag = FitnessRAG(config)") print(" rag.interactive_chat()") print("\n💡 İpuçları:") print("- İlk çalıştırmada model indirileceği için biraz zaman alabilir") print("- PDF dosyalarınızı './indirilen_pdfler' klasörüne koyun") print("- JSON verilerinizi './DATA' klasörüne koyun") print("- LoRA adapter'ınız varsa './fine_tuned_FitTurkAI_QLoRA' klasörüne koyun") except Exception as e: print(f"\n❌ Kurulum hatası: {e}") print("Lütfen hataları kontrol edin ve tekrar deneyin.") return False return True # Demo fonksiyonu def run_quick_demo(): """Hızlı demo çalıştır""" print("\n🎯 Hızlı Demo Başlatılıyor...") try: # test.py modülünü import et from test import FitnessRAG, RAGConfig # Konfigürasyon oluştur (PEFT olmadan) config = RAGConfig(peft_model_path=None) print("🤖 Model yükleniyor... (Bu işlem biraz zaman alabilir)") rag_system = FitnessRAG(config) # Bilgi tabanı oluştur print("📚 Demo bilgi tabanı oluşturuluyor...") rag_system.build_knowledge_base(json_dir="./DATA") # Örnek soru sor demo_question = "Sağlıklı kahvaltı için ne önerirsiniz?" print(f"\n🤔 Demo Sorusu: {demo_question}") answer = rag_system.ask(demo_question) print(f"\n🤖 FitTürkAI Cevabı:\n{answer}") print("\n✅ Demo tamamlandı! Artık interactive_chat() ile tam sürümü kullanabilirsiniz.") except Exception as e: print(f"❌ Demo hatası: {e}") print("Manuel olarak test.py'yi çalıştırmayı deneyin.") if __name__ == "__main__": # Kurulumu çalıştır success = main() # Başarılıysa demo sor if success: print("\n" + "="*60) demo_choice = input("Hızlı demo çalıştırmak ister misiniz? (y/N): ").strip().lower() if demo_choice == 'y': run_quick_demo() else: print("Demo atlandı. Manuel olarak test.py'yi çalıştırabilirsiniz.")