Upload folder using huggingface_hub

.gitignore

@@ -0,0 +1,95 @@
+# Large model files and folders
+fine_tuned_FitTurkAI_QLoRA/
+fitness_rag_store_merged/
+
+# Downloaded zip files
+*.zip
+fine_tuned_model.zip
+vector_store.zip
+
+# Python cache and virtual environments
+__pycache__/
+*.py[cod]
+*$py.class
+*.so
+.Python
+venv/
+env/
+fitturkrai_env/
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+.hypothesis/
+.pytest_cache/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# Environment variables
+.env
+.venv
+
+# IDE files
+.vscode/
+.idea/
+*.swp
+*.swo
+
+# OS files
+.DS_Store
+Thumbs.db
+
+# Log files
+*.log
+
+# Temporary files
+*.tmp
+*.temp
+
+# Large data files
+*.bin
+*.pkl
+*.safetensors
+*.h5
+*.model
+
+# NLTK data (will be downloaded automatically)
+nltk_data/

README.md

@@ -1,3 +1,243 @@
----
-license: apache-2.0
----
+# FitTürkAI RAG Sistemi - CPU Optimize Linux Versiyonu
+
+🏋️ **FitTürkAI**, Türkçe fitness ve sağlık danışmanlığı için geliştirilmiş Retrieval-Augmented Generation (RAG) sistemidir. Bu versiyon **CPU kullanımı için optimize edilmiştir** ve **Google Colab** gibi Linux ortamlarında sorunsuz çalışır.
+
+## 🚀 Özellikler
+
+- **CPU Optimize Edilmiş**: GPU gerektirmez, CPU'da verimli çalışır
+- **Türkçe Dil Desteği**: Türkçe dokümanları işler ve yanıtlar
+- **RAG Sistemi**: PDF ve JSON belgelerinden bilgi çıkarır ve kullanır
+- **Interactive Chat**: Gerçek zamanlı soru-cevap sistemi
+- **LoRA Adapter Desteği**: Fine-tune edilmiş modelleri destekler
+- **Linux Uyumlu**: Google Colab, Ubuntu, ve diğer Linux dağıtımlarında çalışır
+
+## 📋 Sistem Gereksinimleri
+
+### Minimum Gereksinimler
+- **RAM**: En az 4 GB (8 GB önerilir)
+- **Disk**: 5 GB boş alan
+- **İşletim Sistemi**: Linux (Ubuntu, Google Colab vb.)
+- **Python**: 3.8 veya üzeri
+
+### Google Colab İçin
+- Ücretsiz Google Colab hesabı yeterlidir
+- GPU gerekmez (CPU modunda çalışır)
+
+## 🛠️ Kurulum
+
+### 1. Google Colab'da Hızlı Kurulum
+
+```python
+# Google Colab'da yeni bir notebook oluşturun ve şunu çalıştırın:
+
+# 1. Repository'yi klonlayın
+!git clone https://github.com/YOUR_USERNAME/FitTurkAI-RAG.git
+%cd FitTurkAI-RAG
+
+# 2. Otomatik kurulum scriptini çalıştırın
+!python colab_setup_and_run.py
+```
+
+### 2. Manuel Kurulum
+
+```bash
+# 1. Repository'yi klonlayın
+git clone https://github.com/YOUR_USERNAME/FitTurkAI-RAG.git
+cd FitTurkAI-RAG
+
+# 2. Python sanal ortamı oluşturun (opsiyonel)
+python -m venv venv
+source venv/bin/activate  # Linux/Mac
+
+# 3. Gerekli paketleri yükleyin
+pip install -r requirements.txt
+
+# 4. NLTK verilerini indirin
+python -c "import nltk; nltk.download('punkt'); nltk.download('stopwords')"
+```
+
+## 📁 Klasör Yapısı
+
+```
+FitTurkAI-RAG/
+├── test.py                    # Ana RAG sistemi (CPU optimize)
+├── colab_setup_and_run.py     # Google Colab kurulum scripti
+├── requirements.txt           # CPU için paket listesi
+├── README.md                  # Bu dosya
+├── indirilen_pdfler/          # PDF dosyalarınız (oluşturulacak)
+├── DATA/                      # JSON veri dosyalarınız (oluşturulacak)
+├── fitness_rag_store_merged/  # Vector store (oluşturulacak)
+└── fine_tuned_FitTurkAI_QLoRA/ # LoRA adapter (opsiyonel)
+```
+
+## 🚴‍♀️ Kullanım
+
+### 1. Temel Kullanım
+
+```python
+# Ana scripti çalıştırın
+python test.py
+```
+
+### 2. Google Colab'da Programmatik Kullanım
+
+```python
+from test import FitnessRAG, RAGConfig
+
+# Konfigürasyon oluşturun
+config = RAGConfig(
+    peft_model_path=None  # Base model kullanmak için None yapın
+)
+
+# RAG sistemini başlatın
+rag_system = FitnessRAG(config)
+
+# Bilgi tabanını oluşturun (ilk çalıştırmada)
+rag_system.build_knowledge_base(
+    pdf_dir="./indirilen_pdfler",
+    json_dir="./DATA"
+)
+
+# Soru sorun
+answer = rag_system.ask("Sağlıklı kahvaltı için ne önerirsiniz?")
+print(answer)
+
+# Interactive mode başlatın
+rag_system.interactive_chat()
+```
+
+### 3. Veri Ekleme
+
+#### PDF Dosyaları
+```bash
+# PDF'lerinizi bu klasöre koyun
+cp your_fitness_pdfs/*.pdf ./indirilen_pdfler/
+```
+
+#### JSON Verileri
+```python
+# Örnek JSON formatı
+{
+  "soru": "Egzersiz öncesi ne yemeli?",
+  "cevap": "Egzersiz öncesi hafif, karbonhidrat ağırlıklı besinler tercih edin..."
+}
+```
+
+## ⚙️ Konfigürasyon
+
+`RAGConfig` sınıfında özelleştirilebilir parametreler:
+
+```python
+config = RAGConfig(
+    # Veri parametreleri
+    chunk_size=300,                    # Kelime başına chunk boyutu
+    chunk_overlap_sentences=2,         # Overlap cümle sayısı
+    retrieval_k=5,                     # Kaç belge getirilecek
+    
+    # Model parametreleri
+    generator_model_name="ytu-ce-cosmos/Turkish-Llama-8b-v0.1",
+    peft_model_path=None,              # LoRA adapter yolu
+    
+    # Performans parametreleri
+    max_context_length=3000            # Maksimum context uzunluğu
+)
+```
+
+## 🔧 Sorun Giderme
+
+### Yaygın Sorunlar
+
+#### 1. Bellek Hatası (OOM)
+```python
+# Chunk boyutunu küçültün
+config = RAGConfig(chunk_size=200, max_context_length=2000)
+```
+
+#### 2. Model Yükleme Hatası
+```python
+# Base model kullanın (LoRA olmadan)
+config = RAGConfig(peft_model_path=None)
+```
+
+#### 3. NLTK Veri Hatası
+```python
+import nltk
+nltk.download('punkt_tab')  # Yeni NLTK sürümü için
+nltk.download('punkt')      # Eski NLTK sürümü için
+nltk.download('stopwords')
+```
+
+### Google Colab Özel Çözümler
+
+#### GPU'yu Kapatın
+```python
+import os
+os.environ['CUDA_VISIBLE_DEVICES'] = ''  # GPU'yu devre dışı bırak
+```
+
+#### Bellek Optimizasyonu
+```python
+# Büyük modeller için
+import torch
+torch.set_num_threads(2)  # CPU thread sayısını sınırla
+```
+
+## 📊 Performans Optimizasyonları
+
+### CPU İçin İpuçları
+
+1. **Model Boyutu**: Daha küçük embedding modelleri kullanın
+2. **Chunk Size**: Daha küçük chunk'lar daha hızlıdır
+3. **Thread Sayısı**: CPU çekirdek sayınıza göre ayarlayın
+4. **Batch Size**: Tek seferde işlenecek belge sayısını sınırlayın
+
+```python
+# Hızlı konfigürasyon
+fast_config = RAGConfig(
+    embedding_model_name="paraphrase-multilingual-MiniLM-L6-v2",  # Daha küçük
+    chunk_size=200,
+    retrieval_k=3,
+    max_context_length=2000
+)
+```
+
+## 🤝 Katkıda Bulunma
+
+1. Fork edin
+2. Feature branch oluşturun (`git checkout -b feature/AmazingFeature`)
+3. Commit yapın (`git commit -m 'Add some AmazingFeature'`)
+4. Push edin (`git push origin feature/AmazingFeature`)
+5. Pull Request açın
+
+## 📝 Değişiklik Notları
+
+### v2.0 - CPU Optimized
+- ✅ GPU bağımlılığı kaldırıldı
+- ✅ CPU için optimize edildi
+- ✅ Google Colab desteği eklendi
+- ✅ Otomatik kurulum scripti eklendi
+- ✅ Bellek optimizasyonları
+
+### v1.0 - GPU Version
+- ⚠️ Bu versiyon GPU gerektiriyordu (deprecated)
+
+## 📞 Destek
+
+- **Issues**: GitHub Issues bölümünü kullanın
+- **Discussions**: Genel sorular için GitHub Discussions
+- **Email**: [your-email@domain.com]
+
+## 📄 Lisans
+
+Bu proje MIT lisansı altında lisanslanmıştır - detaylar için [LICENSE](LICENSE) dosyasına bakın.
+
+## 🙏 Teşekkürler
+
+- Hugging Face Transformers ekibine
+- Turkish LLaMA projesine
+- Sentence Transformers ekibine
+- FAISS ekibine
+
+---
+
+⭐ **Bu projeyi beğendiyseniz, lütfen yıldızlamayı unutmayın!** 

colab_setup_and_run.py

@@ -0,0 +1,218 @@
+#!/usr/bin/env python3
+"""
+FitTürkAI RAG System - Google Colab Setup and Demo Script
+CPU Optimized for Linux Environment
+
+Bu script Google Colab ortamında FitTürkAI RAG sistemini kurar ve çalıştırır.
+"""
+
+import os
+import sys
+import subprocess
+import shutil
+from pathlib import Path
+
+def install_requirements():
+    """Gerekli kütüphaneleri yükle"""
+    print("🔧 Gerekli kütüphaneler yükleniyor...")
+    
+    # Önce pip'i güncelle
+    subprocess.run([sys.executable, "-m", "pip", "install", "--upgrade", "pip"], check=True)
+    
+    # Ana kütüphaneleri yükle
+    requirements = [
+        "torch>=2.0.0,<2.2.0",
+        "transformers>=4.36.0,<4.40.0", 
+        "sentence-transformers>=2.2.2,<3.0.0",
+        "accelerate>=0.24.0,<0.26.0",
+        "peft>=0.7.0,<0.8.0",
+        "nltk>=3.8",
+        "regex>=2022.10.31",
+        "faiss-cpu>=1.7.4",
+        "numpy>=1.24.0,<2.0.0",
+        "scipy>=1.9.0",
+        "PyPDF2>=3.0.0",
+        "PyMuPDF>=1.23.0",
+        "tqdm>=4.64.0",
+        "requests>=2.28.0",
+        "gdown>=4.7.0",
+        "datasets>=2.14.0",
+        "tokenizers>=0.15.0",
+        "safetensors>=0.3.0",
+        "psutil>=5.9.0"
+    ]
+    
+    for requirement in requirements:
+        try:
+            print(f"📦 Yükleniyor: {requirement}")
+            subprocess.run([sys.executable, "-m", "pip", "install", requirement], 
+                         check=True, capture_output=True)
+        except subprocess.CalledProcessError as e:
+            print(f"❌ Hata: {requirement} yüklenemedi: {e}")
+            continue
+    
+    print("✅ Kütüphane kurulumu tamamlandı!")
+
+def download_nltk_data():
+    """NLTK verilerini indir"""
+    print("📚 NLTK verileri indiriliyor...")
+    import nltk
+    try:
+        nltk.download('punkt', quiet=True)
+        nltk.download('punkt_tab', quiet=True) 
+        nltk.download('stopwords', quiet=True)
+        print("✅ NLTK verileri başarıyla indirildi!")
+    except Exception as e:
+        print(f"⚠️ NLTK veri indirme uyarısı: {e}")
+
+def setup_directories():
+    """Gerekli klasörleri oluştur"""
+    print("📁 Klasör yapısı oluşturuluyor...")
+    
+    directories = [
+        "./indirilen_pdfler",
+        "./DATA", 
+        "./fitness_rag_store_merged",
+        "./fine_tuned_FitTurkAI_QLoRA"
+    ]
+    
+    for directory in directories:
+        Path(directory).mkdir(parents=True, exist_ok=True)
+        print(f"✅ Klasör oluşturuldu: {directory}")
+
+def create_demo_data():
+    """Demo için örnek veri oluştur"""
+    print("📝 Demo verileri oluşturuluyor...")
+    
+    # Örnek JSON veri oluştur
+    demo_data = [
+        {
+            "soru": "Sağlıklı kahvaltı için ne önerirsiniz?", 
+            "cevap": "Sağlıklı bir kahvaltı protein, kompleks karbonhidrat ve healthy yağlar içermelidir. Yumurta, tam tahıllı ekmek, avokado, meyveler iyi seçeneklerdir."
+        },
+        {
+            "soru": "Günde kaç bardak su içmeliyim?",
+            "cevap": "Genel olarak günde 8-10 bardak (2-2.5 litre) su içmek önerilir. Aktivite düzeyinize ve hava durumuna göre bu miktar artabilir."
+        },
+        {
+            "soru": "Egzersiz sonrası ne yemeli?",
+            "cevap": "Egzersiz sonrası 30-60 dakika içinde protein ve karbonhidrat içeren besinler tüketin. Örneğin protein smoothie veya yoğurt ile meyve."
+        }
+    ]
+    
+    import json
+    with open("./DATA/demo_fitness_data.json", "w", encoding="utf-8") as f:
+        json.dump(demo_data, f, ensure_ascii=False, indent=2)
+    
+    print("✅ Demo JSON verileri oluşturuldu!")
+
+def check_system_resources():
+    """Sistem kaynaklarını kontrol et"""
+    print("💻 Sistem kaynakları kontrol ediliyor...")
+    try:
+        import psutil
+        cpu_count = psutil.cpu_count()
+        memory = psutil.virtual_memory()
+        
+        print(f"🔍 CPU Çekirdek Sayısı: {cpu_count}")
+        print(f"🔍 Toplam RAM: {memory.total / (1024**3):.1f} GB")
+        print(f"🔍 Kullanılabilir RAM: {memory.available / (1024**3):.1f} GB") 
+        
+        if memory.available < 2 * (1024**3):  # 2GB'dan az
+            print("⚠️ Uyarı: RAM düşük. Model yükleme sırasında sorun yaşayabilirsiniz.")
+        else:
+            print("✅ Sistem kaynakları yeterli görünüyor!")
+            
+    except ImportError:
+        print("⚠️ psutil yüklü değil, sistem kontrolü atlanıyor...")
+
+def main():
+    """Ana kurulum ve demo fonksiyonu"""
+    print("🚀 FitTürkAI RAG Sistemi - Google Colab Kurulumu Başlıyor...")
+    print("="*60)
+    
+    try:
+        # 1. Sistem kontrolü
+        check_system_resources()
+        
+        # 2. Kütüphane kurulumu
+        install_requirements()
+        
+        # 3. NLTK verileri
+        download_nltk_data()
+        
+        # 4. Klasör yapıs��
+        setup_directories()
+        
+        # 5. Demo verileri
+        create_demo_data()
+        
+        print("\n" + "="*60)
+        print("✅ Kurulum tamamlandı!")
+        print("="*60)
+        print("\n📋 Sonraki adımlar:")
+        print("1. test.py dosyasını çalıştırın:")
+        print("   python test.py")
+        print("\n2. Veya interaktif modda başlatın:")
+        print("   from test import FitnessRAG, RAGConfig")
+        print("   config = RAGConfig()")
+        print("   rag = FitnessRAG(config)")
+        print("   rag.interactive_chat()")
+        
+        print("\n💡 İpuçları:")
+        print("- İlk çalıştırmada model indirileceği için biraz zaman alabilir")
+        print("- PDF dosyalarınızı './indirilen_pdfler' klasörüne koyun")
+        print("- JSON verilerinizi './DATA' klasörüne koyun")
+        print("- LoRA adapter'ınız varsa './fine_tuned_FitTurkAI_QLoRA' klasörüne koyun")
+        
+    except Exception as e:
+        print(f"\n❌ Kurulum hatası: {e}")
+        print("Lütfen hataları kontrol edin ve tekrar deneyin.")
+        return False
+    
+    return True
+
+# Demo fonksiyonu
+def run_quick_demo():
+    """Hızlı demo çalıştır"""
+    print("\n🎯 Hızlı Demo Başlatılıyor...")
+    
+    try:
+        # test.py modülünü import et
+        from test import FitnessRAG, RAGConfig
+        
+        # Konfigürasyon oluştur (PEFT olmadan)
+        config = RAGConfig(peft_model_path=None)
+        
+        print("🤖 Model yükleniyor... (Bu işlem biraz zaman alabilir)")
+        rag_system = FitnessRAG(config)
+        
+        # Bilgi tabanı oluştur
+        print("📚 Demo bilgi tabanı oluşturuluyor...")
+        rag_system.build_knowledge_base(json_dir="./DATA")
+        
+        # Örnek soru sor
+        demo_question = "Sağlıklı kahvaltı için ne önerirsiniz?"
+        print(f"\n🤔 Demo Sorusu: {demo_question}")
+        
+        answer = rag_system.ask(demo_question)
+        print(f"\n🤖 FitTürkAI Cevabı:\n{answer}")
+        
+        print("\n✅ Demo tamamlandı! Artık interactive_chat() ile tam sürümü kullanabilirsiniz.")
+        
+    except Exception as e:
+        print(f"❌ Demo hatası: {e}")
+        print("Manuel olarak test.py'yi çalıştırmayı deneyin.")
+
+if __name__ == "__main__":
+    # Kurulumu çalıştır
+    success = main()
+    
+    # Başarılıysa demo sor
+    if success:
+        print("\n" + "="*60)
+        demo_choice = input("Hızlı demo çalıştırmak ister misiniz? (y/N): ").strip().lower()
+        if demo_choice == 'y':
+            run_quick_demo()
+        else:
+            print("Demo atlandı. Manuel olarak test.py'yi çalıştırabilirsiniz.") 

create_high_ram_vm.sh

@@ -0,0 +1,188 @@
+#!/bin/bash
+
+# FitTürkAI RAG System - High RAM Google Cloud VM Creator
+# CPU Optimized for Maximum Performance
+
+echo "🚀 FitTürkAI için Yüksek RAM'li Google Cloud VM Oluşturucu"
+echo "============================================================"
+
+# Colors for output
+RED='\033[0;31m'
+GREEN='\033[0;32m'
+YELLOW='\033[1;33m'
+BLUE='\033[0;34m'
+NC='\033[0m' # No Color
+
+# Configuration variables
+PROJECT_ID=""
+VM_NAME="fitturkrai-high-ram"
+ZONE="us-central1-a"
+REGION="us-central1"
+
+# RAM Seçenekleri (CPU optimize)
+echo -e "${BLUE}📊 Mevcut RAM Seçenekleri:${NC}"
+echo "1. n2-highmem-2:  2 vCPU,  16 GB RAM  (~$100/ay)  [Temel]"
+echo "2. n2-highmem-4:  4 vCPU,  32 GB RAM  (~$200/ay)  [Önerilen]"
+echo "3. n2-highmem-8:  8 vCPU,  64 GB RAM  (~$400/ay)  [Yüksek Performans]"
+echo "4. n2-highmem-16: 16 vCPU, 128 GB RAM (~$800/ay)  [Maksimum]"
+echo "5. n2-highmem-32: 32 vCPU, 256 GB RAM (~$1600/ay) [Ultra]"
+echo "6. m2-ultramem-416: 416 vCPU, 5.9 TB RAM (~$30000/ay) [Extreme - Sadece özel durumlar]"
+
+echo ""
+read -p "🔢 Seçiminizi yapın (1-6): " choice
+
+case $choice in
+    1)
+        MACHINE_TYPE="n2-highmem-2"
+        RAM_GB="16"
+        ;;
+    2)
+        MACHINE_TYPE="n2-highmem-4"
+        RAM_GB="32"
+        ;;
+    3)
+        MACHINE_TYPE="n2-highmem-8"
+        RAM_GB="64"
+        ;;
+    4)
+        MACHINE_TYPE="n2-highmem-16"
+        RAM_GB="128"
+        ;;
+    5)
+        MACHINE_TYPE="n2-highmem-32"
+        RAM_GB="256"
+        ;;
+    6)
+        MACHINE_TYPE="m2-ultramem-416"
+        RAM_GB="5888"
+        echo -e "${RED}⚠️  UYARI: Bu çok pahalı bir seçenek! Sadece özel durumlar için.${NC}"
+        read -p "Devam etmek istediğinizden emin misiniz? (y/N): " confirm
+        if [[ $confirm != "y" ]]; then
+            echo "İşlem iptal edildi."
+            exit 1
+        fi
+        ;;
+    *)
+        echo -e "${RED}❌ Geçersiz seçim! Varsayılan olarak n2-highmem-4 kullanılacak.${NC}"
+        MACHINE_TYPE="n2-highmem-4"
+        RAM_GB="32"
+        ;;
+esac
+
+echo -e "${GREEN}✅ Seçilen: ${MACHINE_TYPE} (${RAM_GB} GB RAM)${NC}"
+
+# Project ID kontrolü
+if [ -z "$PROJECT_ID" ]; then
+    echo ""
+    echo -e "${YELLOW}🏗️  Google Cloud Project ID gerekli${NC}"
+    read -p "Project ID'nizi girin: " PROJECT_ID
+fi
+
+# Disk boyutu seçimi
+echo ""
+echo -e "${BLUE}💽 Disk Boyutu Seçimi:${NC}"
+echo "1. 50 GB   [Temel - Sadece sistem]"
+echo "2. 100 GB  [Önerilen - Modeller + veri]"
+echo "3. 200 GB  [Yüksek - Büyük veri setleri]"
+echo "4. 500 GB  [Maksimum - Çok büyük modeller]"
+
+read -p "Disk boyutunu seçin (1-4): " disk_choice
+
+case $disk_choice in
+    1) DISK_SIZE="50" ;;
+    2) DISK_SIZE="100" ;;
+    3) DISK_SIZE="200" ;;
+    4) DISK_SIZE="500" ;;
+    *) 
+        echo -e "${YELLOW}⚠️  Varsayılan 100GB kullanılacak${NC}"
+        DISK_SIZE="100"
+        ;;
+esac
+
+# VM oluşturma komutu
+echo ""
+echo -e "${BLUE}🚀 VM oluşturuluyor...${NC}"
+
+# Startup script içeriği
+STARTUP_SCRIPT="#!/bin/bash
+# FitTürkAI Setup Script
+apt-get update && apt-get upgrade -y
+apt-get install -y python3 python3-pip python3-venv git htop tree curl wget
+
+# Python environment setup
+python3 -m pip install --upgrade pip
+pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
+
+# Clone repository (replace with your repo)
+# git clone https://github.com/YOUR_USERNAME/FitTurkAI-RAG.git /home/ubuntu/FitTurkAI-RAG
+# chown -R ubuntu:ubuntu /home/ubuntu/FitTurkAI-RAG
+
+# System optimizations for high RAM
+echo 'vm.swappiness=10' >> /etc/sysctl.conf
+echo 'vm.vfs_cache_pressure=50' >> /etc/sysctl.conf
+sysctl -p
+
+# Install monitoring tools
+apt-get install -y iotop nethogs
+
+echo 'FitTürkAI VM setup completed!' >> /var/log/startup-script.log
+"
+
+# VM oluştur
+gcloud compute instances create $VM_NAME \
+    --project=$PROJECT_ID \
+    --zone=$ZONE \
+    --machine-type=$MACHINE_TYPE \
+    --network-interface=network-tier=PREMIUM,stack-type=IPV4_ONLY,subnet=default \
+    --metadata="startup-script=$STARTUP_SCRIPT" \
+    --maintenance-policy=MIGRATE \
+    --provisioning-model=STANDARD \
+    --service-account=default \
+    --scopes=https://www.googleapis.com/auth/cloud-platform \
+    --tags=fitturkrai,http-server,https-server \
+    --create-disk=auto-delete=yes,boot=yes,device-name=$VM_NAME,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20240319,mode=rw,size=$DISK_SIZE,type=projects/$PROJECT_ID/zones/$ZONE/diskTypes/pd-balanced \
+    --no-shielded-secure-boot \
+    --shielded-vtpm \
+    --shielded-integrity-monitoring \
+    --labels=purpose=ml,project=fitturkrai \
+    --reservation-affinity=any
+
+if [ $? -eq 0 ]; then
+    echo -e "${GREEN}✅ VM başarıyla oluşturuldu!${NC}"
+    echo ""
+    echo -e "${BLUE}📋 VM Bilgileri:${NC}"
+    echo "  Ad: $VM_NAME"
+    echo "  Tip: $MACHINE_TYPE"
+    echo "  RAM: ${RAM_GB} GB"
+    echo "  Disk: ${DISK_SIZE} GB"
+    echo "  Zone: $ZONE"
+    echo ""
+    
+    # IP adresini al
+    EXTERNAL_IP=$(gcloud compute instances describe $VM_NAME --zone=$ZONE --format='get(networkInterfaces[0].accessConfigs[0].natIP)')
+    echo -e "${GREEN}🌐 External IP: $EXTERNAL_IP${NC}"
+    echo ""
+    
+    echo -e "${BLUE}🔗 Bağlantı Komutları:${NC}"
+    echo "  SSH: gcloud compute ssh $VM_NAME --zone=$ZONE"
+    echo "  SSH Direct: ssh ubuntu@$EXTERNAL_IP"
+    echo ""
+    
+    echo -e "${YELLOW}⏳ VM'nin hazır olması için ~2-3 dakika bekleyin${NC}"
+    echo -e "${BLUE}📦 Sonraki adımlar:${NC}"
+    echo "1. SSH ile bağlanın"
+    echo "2. Repository'yi klonlayın"
+    echo "3. FitTürkAI sistemini kurun"
+    
+    # SSH bağlantısı sor
+    echo ""
+    read -p "🔌 Şimdi SSH ile bağlanmak ister misiniz? (y/N): " connect_now
+    if [[ $connect_now == "y" ]]; then
+        echo "SSH bağlantısı kuruluyor..."
+        gcloud compute ssh $VM_NAME --zone=$ZONE
+    fi
+    
+else
+    echo -e "${RED}❌ VM oluşturma başarısız!${NC}"
+    exit 1
+fi 

cudatest.py

@@ -0,0 +1,7 @@
+import torch
+print(f"CUDA available: {torch.cuda.is_available()}")
+print(f"CUDA version: {torch.version.cuda}")
+print(f"Device count: {torch.cuda.device_count()}")
+if torch.cuda.is_available():
+    print(f"Current device: {torch.cuda.current_device()}")
+    print(f"Device name: {torch.cuda.get_device_name(0)}")

download_models_gdown.py

@@ -0,0 +1,85 @@
+#!/usr/bin/env python3
+"""
+Alternative download script using gdown for Google Drive files.
+Install: pip install gdown
+"""
+
+import os
+import zipfile
+from pathlib import Path
+import logging
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+def download_with_gdown(file_id, destination):
+    """Download using gdown library (install with: pip install gdown)."""
+    try:
+        import gdown
+    except ImportError:
+        raise ImportError("gdown library not found. Install with: pip install gdown")
+    
+    url = f"https://drive.google.com/uc?id={file_id}"
+    gdown.download(url, destination, quiet=False)
+    logger.info(f"Downloaded with gdown: {destination}")
+
+def extract_zip(zip_path, extract_to):
+    """Extract zip file to destination."""
+    with zipfile.ZipFile(zip_path, 'r') as zip_ref:
+        zip_ref.extractall(extract_to)
+    logger.info(f"Extracted: {zip_path} -> {extract_to}")
+    
+    # Remove zip file after extraction
+    os.remove(zip_path)
+    logger.info(f"Cleaned up: {zip_path}")
+
+def main():
+    """Download using gdown method."""
+    current_dir = Path(__file__).parent
+    
+    downloads = {
+        "fine_tuned_model.zip": {
+            "file_id": "1op6uXSfuXKEleLhZNQGcPWmsfbV9ocQL",
+            "extract_to": current_dir,
+            "folder_name": "fine_tuned_FitTurkAI_QLoRA"
+        },
+        "vector_store.zip": {
+            "file_id": "16m5c9tOUVw_vwkUzxxt7HYL6mdKS2taV",
+            "extract_to": current_dir,
+            "folder_name": "fitness_rag_store_merged"
+        }
+    }
+    
+    # First try to install gdown
+    try:
+        import gdown
+    except ImportError:
+        print("📦 Installing gdown library...")
+        import subprocess
+        import sys
+        subprocess.check_call([sys.executable, "-m", "pip", "install", "gdown"])
+        import gdown
+    
+    for filename, config in downloads.items():
+        folder_path = current_dir / config["folder_name"]
+        
+        # Skip if folder already exists
+        if folder_path.exists():
+            logger.info(f"✅ {config['folder_name']} already exists, skipping download")
+            continue
+        
+        logger.info(f"📥 Downloading {filename} with gdown...")
+        zip_path = current_dir / filename
+        
+        try:
+            download_with_gdown(config["file_id"], str(zip_path))
+            extract_zip(str(zip_path), str(config["extract_to"]))
+            logger.info(f"✅ {config['folder_name']} ready!")
+        except Exception as e:
+            logger.error(f"❌ Failed to download {filename}: {e}")
+            # Clean up failed download
+            if zip_path.exists():
+                os.remove(str(zip_path))
+
+if __name__ == "__main__":
+    main() 

quick_vm_commands.md

@@ -0,0 +1,180 @@
+# 🚀 FitTürkAI - Yüksek RAM'li Google Cloud VM Hızlı Komutları
+
+## 💰 RAM ve Maliyet Tablosu
+
+| VM Tipi | vCPU | RAM | Aylık Maliyet* | Kullanım Durumu |
+|---------|------|-----|----------------|-----------------|
+| **n2-highmem-2** | 2 | 16 GB | ~$100 | Küçük modeller, test |
+| **n2-highmem-4** | 4 | 32 GB | ~$200 | **Önerilen** - Orta boyut |
+| **n2-highmem-8** | 8 | 64 GB | ~$400 | Büyük modeller |
+| **n2-highmem-16** | 16 | 128 GB | ~$800 | **Maksimum** pratik |
+| **n2-highmem-32** | 32 | 256 GB | ~$1600 | Çok büyük modeller |
+| **m1-ultramem-40** | 40 | 961 GB | ~$6000 | Extreme durum |
+
+*Yaklaşık maliyetler, gerçek fiyatlar değişebilir
+
+## 🎯 Önerilen Konfigürasyonlar
+
+### 1. **En Çok Önerilen**: n2-highmem-8 (64 GB RAM)
+```bash
+# Maksimum performans için ideal
+gcloud compute instances create fitturkrai-vm \
+    --machine-type=n2-highmem-8 \
+    --zone=us-central1-a \
+    --image-family=ubuntu-2204-lts \
+    --image-project=ubuntu-os-cloud \
+    --boot-disk-size=100GB \
+    --boot-disk-type=pd-balanced \
+    --tags=fitturkrai \
+    --metadata-from-file startup-script=startup-script.sh
+```
+
+### 2. **Maksimum CPU RAM**: n2-highmem-16 (128 GB RAM)
+```bash
+# En yüksek pratik RAM
+gcloud compute instances create fitturkrai-max-vm \
+    --machine-type=n2-highmem-16 \
+    --zone=us-central1-a \
+    --image-family=ubuntu-2204-lts \
+    --image-project=ubuntu-os-cloud \
+    --boot-disk-size=200GB \
+    --boot-disk-type=pd-balanced \
+    --tags=fitturkrai \
+    --metadata-from-file startup-script=startup-script.sh
+```
+
+### 3. **Ultra RAM**: n2-highmem-32 (256 GB RAM)
+```bash
+# En yüksek RAM (pahalı!)
+gcloud compute instances create fitturkrai-ultra-vm \
+    --machine-type=n2-highmem-32 \
+    --zone=us-central1-a \
+    --image-family=ubuntu-2204-lts \
+    --image-project=ubuntu-os-cloud \
+    --boot-disk-size=500GB \
+    --boot-disk-type=pd-balanced \
+    --tags=fitturkrai \
+    --metadata-from-file startup-script=startup-script.sh
+```
+
+## 💡 CPU Optimize Ayarları
+
+### test.py için RAM optimizasyonu:
+```python
+# Yüksek RAM'li VM'ler için config
+config = RAGConfig(
+    chunk_size=500,           # Daha büyük chunk'lar
+    retrieval_k=10,           # Daha fazla belge
+    max_context_length=8000   # Daha uzun context
+)
+```
+
+### Sistem ayarları (VM'de çalıştırın):
+```bash
+# Yüksek RAM için optimizasyon
+sudo sysctl -w vm.swappiness=1
+sudo sysctl -w vm.vfs_cache_pressure=50
+echo 'vm.overcommit_memory=1' | sudo tee -a /etc/sysctl.conf
+```
+
+## 🚀 Hızlı Kurulum
+
+### 1. VM oluştur (interactive script)
+```bash
+chmod +x create_high_ram_vm.sh
+./create_high_ram_vm.sh
+```
+
+### 2. Manuel hızlı komut (64GB RAM)
+```bash
+export PROJECT_ID="your-project-id"
+export VM_NAME="fitturkrai-vm"
+
+gcloud compute instances create $VM_NAME \
+    --project=$PROJECT_ID \
+    --zone=us-central1-a \
+    --machine-type=n2-highmem-8 \
+    --network-interface=network-tier=PREMIUM,subnet=default \
+    --maintenance-policy=MIGRATE \
+    --provisioning-model=STANDARD \
+    --service-account=default \
+    --scopes=https://www.googleapis.com/auth/cloud-platform \
+    --tags=fitturkrai \
+    --create-disk=auto-delete=yes,boot=yes,device-name=$VM_NAME,image=projects/ubuntu-os-cloud/global/images/ubuntu-2204-jammy-v20240319,mode=rw,size=100,type=projects/$PROJECT_ID/zones/us-central1-a/diskTypes/pd-balanced \
+    --reservation-affinity=any
+```
+
+### 3. SSH bağlantı
+```bash
+gcloud compute ssh fitturkrai-vm --zone=us-central1-a
+```
+
+## 📊 RAM Kullanım İzleme
+
+### VM'de RAM durumunu kontrol:
+```bash
+# Genel sistem durumu
+htop
+
+# RAM kullanımı
+free -h
+
+# Detaylı RAM istatistikleri  
+cat /proc/meminfo
+
+# Python process RAM kullanımı
+ps aux | grep python | awk '{print $4, $11}'
+```
+
+## 🔧 Troubleshooting
+
+### RAM yetersizse:
+1. **Chunk size küçült**: `chunk_size=200`
+2. **Context length azalt**: `max_context_length=2000`
+3. **Retrieval sayısı azalt**: `retrieval_k=3`
+
+### VM boyutunu artır:
+```bash
+# VM'yi durdur
+gcloud compute instances stop fitturkrai-vm --zone=us-central1-a
+
+# Makine tipini değiştir
+gcloud compute instances set-machine-type fitturkrai-vm \
+    --machine-type=n2-highmem-16 \
+    --zone=us-central1-a
+
+# VM'yi başlat
+gcloud compute instances start fitturkrai-vm --zone=us-central1-a
+```
+
+## 💰 Maliyet Optimizasyonu
+
+### 1. Preemptible Instance (75% indirim):
+```bash
+--preemptible \
+--maintenance-policy=TERMINATE
+```
+
+### 2. Spot Instance (80% indirim):
+```bash
+--provisioning-model=SPOT \
+--instance-termination-action=STOP
+```
+
+### 3. Committed Use Discounts:
+- 1 yıl: %20 indirim
+- 3 yıl: %30 indirim
+
+## 🎯 En İyi Performans için Öneriler
+
+### RAM için:
+- **n2-highmem-8** (64GB) - En optimal
+- **n2-highmem-16** (128GB) - Maksimum pratik
+
+### Disk için:
+- **pd-balanced** - Performans/fiyat dengesi
+- **pd-ssd** - Maksimum hız (pahalı)
+
+### Zone için:
+- **us-central1-a** - En stabil
+- **europe-west1-b** - Avrupa için 

requirements.txt

@@ -0,0 +1,45 @@
+# CPU-optimized dependencies for FitTürkAI RAG system (Linux Compatible)
+# Core ML libraries - CPU versions with compatible versions
+torch>=2.0.0,<2.2.0  # Stable version for CPU
+transformers>=4.36.0,<4.40.0  # Compatible with PEFT 0.7.x
+sentence-transformers>=2.2.2,<3.0.0  # Lightweight embeddings
+accelerate>=0.24.0,<0.26.0  # For model loading optimization
+
+# PEFT with compatible version
+peft>=0.7.0,<0.8.0  # For LoRA adapters - compatible with transformers 4.36-4.39
+
+# Text processing
+nltk>=3.8
+regex>=2022.10.31
+
+# Vector storage and search
+faiss-cpu>=1.7.4  # CPU-only FAISS
+numpy>=1.24.0,<2.0.0
+scipy>=1.9.0
+
+# PDF processing
+PyPDF2>=3.0.0
+PyMuPDF>=1.23.0  # fitz library for robust PDF text extraction
+pymupdf>=1.23.0  # Alternative name for PyMuPDF
+
+# Essential utilities
+tqdm>=4.64.0
+requests>=2.28.0
+gdown>=4.7.0  # For Google Drive downloads
+pathlib2>=2.3.0  # Enhanced pathlib for better compatibility
+pickle5>=0.0.11  # Better pickle support
+
+# Data handling
+pandas>=1.5.0  # For data manipulation if needed
+datasets>=2.14.0  # For dataset handling
+
+# Optional but recommended for better performance
+tokenizers>=0.15.0  # Fast tokenization
+safetensors>=0.3.0  # For safer model loading
+
+# Google Colab specific utilities (uncomment if running on Colab)
+# google-colab
+# ipywidgets
+
+# System utilities for Linux
+psutil>=5.9.0  # System monitoring

startup-script.sh

@@ -0,0 +1,339 @@
+#!/bin/bash
+
+# FitTürkAI RAG System - VM Startup Script
+# CPU Optimized with High RAM Configuration
+
+set -e  # Exit on any error
+
+LOG_FILE="/var/log/fitturkrai-setup.log"
+exec > >(tee -a $LOG_FILE)
+exec 2>&1
+
+echo "=================================================="
+echo "🚀 FitTürkAI RAG System Setup Starting..."
+echo "Timestamp: $(date)"
+echo "=================================================="
+
+# Update system
+echo "📦 Updating system packages..."
+apt-get update && apt-get upgrade -y
+
+# Install essential packages
+echo "🔧 Installing essential packages..."
+apt-get install -y \
+    python3 \
+    python3-pip \
+    python3-venv \
+    python3-dev \
+    git \
+    curl \
+    wget \
+    htop \
+    tree \
+    unzip \
+    vim \
+    build-essential \
+    software-properties-common \
+    apt-transport-https \
+    ca-certificates \
+    gnupg \
+    lsb-release
+
+# Install monitoring tools
+echo "📊 Installing monitoring tools..."
+apt-get install -y \
+    iotop \
+    nethogs \
+    nload \
+    glances \
+    ncdu
+
+# Upgrade pip
+echo "🐍 Setting up Python environment..."
+python3 -m pip install --upgrade pip
+
+# Install CPU-optimized PyTorch
+echo "🔥 Installing PyTorch (CPU version)..."
+pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
+
+# Install core ML packages for CPU
+echo "🤖 Installing ML packages..."
+pip3 install \
+    transformers>=4.36.0,\<4.40.0 \
+    sentence-transformers>=2.2.2,\<3.0.0 \
+    accelerate>=0.24.0,\<0.26.0 \
+    peft>=0.7.0,\<0.8.0 \
+    nltk>=3.8 \
+    faiss-cpu>=1.7.4 \
+    numpy>=1.24.0,\<2.0.0 \
+    scipy>=1.9.0 \
+    PyPDF2>=3.0.0 \
+    PyMuPDF>=1.23.0 \
+    tqdm>=4.64.0 \
+    requests>=2.28.0 \
+    datasets>=2.14.0
+
+# System optimizations for high RAM
+echo "⚡ Configuring system for high RAM usage..."
+
+# Swap settings (minimize swap usage)
+echo 'vm.swappiness=1' >> /etc/sysctl.conf
+echo 'vm.vfs_cache_pressure=50' >> /etc/sysctl.conf
+echo 'vm.dirty_ratio=15' >> /etc/sysctl.conf
+echo 'vm.dirty_background_ratio=5' >> /etc/sysctl.conf
+
+# Memory overcommit (allow more memory allocation)
+echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
+echo 'vm.overcommit_ratio=80' >> /etc/sysctl.conf
+
+# Network optimizations
+echo 'net.core.rmem_max=16777216' >> /etc/sysctl.conf
+echo 'net.core.wmem_max=16777216' >> /etc/sysctl.conf
+
+# Apply system settings
+sysctl -p
+
+# Configure user limits for high memory usage
+echo "🔒 Configuring user limits..."
+cat >> /etc/security/limits.conf << EOF
+ubuntu soft memlock unlimited
+ubuntu hard memlock unlimited
+ubuntu soft stack unlimited
+ubuntu hard stack unlimited
+EOF
+
+# Create FitTürkAI directory structure
+echo "📁 Creating directory structure..."
+sudo -u ubuntu mkdir -p /home/ubuntu/FitTurkAI-RAG
+sudo -u ubuntu mkdir -p /home/ubuntu/FitTurkAI-RAG/indirilen_pdfler
+sudo -u ubuntu mkdir -p /home/ubuntu/FitTurkAI-RAG/DATA
+sudo -u ubuntu mkdir -p /home/ubuntu/FitTurkAI-RAG/fitness_rag_store_merged
+sudo -u ubuntu mkdir -p /home/ubuntu/FitTurkAI-RAG/fine_tuned_FitTurkAI_QLoRA
+
+# Set ownership
+chown -R ubuntu:ubuntu /home/ubuntu/FitTurkAI-RAG
+
+# Create demo data
+echo "📝 Creating demo data..."
+sudo -u ubuntu cat > /home/ubuntu/FitTurkAI-RAG/DATA/demo_fitness_data.json << 'EOF'
+[
+  {
+    "soru": "Sağlıklı kahvaltı için ne önerirsiniz?",
+    "cevap": "Sağlıklı bir kahvaltı protein, kompleks karbonhidrat ve sağlıklı yağlar içermelidir. Yumurta, tam tahıllı ekmek, avokado, meyveler ve kuruyemişler iyi seçeneklerdir. Ayrıca bol su içmeyi unutmayın."
+  },
+  {
+    "soru": "Günde kaç bardak su içmeliyim?",
+    "cevap": "Genel olarak günde 8-10 bardak (2-2.5 litre) su içmek önerilir. Aktivite düzeyinize, hava durumuna ve vücut ağırlığınıza göre bu miktar artabilir. Egzersiz yaptığınız günlerde daha fazla su tüketmelisiniz."
+  },
+  {
+    "soru": "Egzersiz sonrası ne yemeli?",
+    "cevap": "Egzersiz sonrası 30-60 dakika içinde protein ve karbonhidrat içeren besinler tüketin. Protein kas onarımı için, karbonhidrat ise enerji depolarını yenilemek için gereklidir. Örneğin protein smoothie, yoğurt ile meyve veya tavuk göğsü ile pirinç iyi seçeneklerdir."
+  },
+  {
+    "soru": "Kilo vermek için hangi egzersizleri yapmalıyım?",
+    "cevap": "Kilo vermek için kardiyovasküler egzersizler (yürüyüş, koşu, bisiklet) ve direnç antrenmanlarını (ağırlık kaldırma) birleştirin. Haftada en az 150 dakika orta yoğunlukta kardiyovasküler aktivite yapın. Ayrıca kas kütlesini korumak için haftada 2-3 gün kuvvet antrenmanı ekleyin."
+  }
+]
+EOF
+
+# Create system info script
+echo "ℹ️ Creating system info script..."
+sudo -u ubuntu cat > /home/ubuntu/system_info.sh << 'EOF'
+#!/bin/bash
+echo "=== FitTürkAI VM System Information ==="
+echo "Date: $(date)"
+echo "Uptime: $(uptime)"
+echo ""
+echo "=== CPU Information ==="
+lscpu | grep -E 'Model name|CPU\(s\)|Thread'
+echo ""
+echo "=== Memory Information ==="
+free -h
+echo ""
+echo "=== Disk Usage ==="
+df -h
+echo ""
+echo "=== GPU Information ==="
+if command -v nvidia-smi &> /dev/null; then
+    nvidia-smi
+else
+    echo "No GPU detected (CPU-only configuration)"
+fi
+echo ""
+echo "=== Python Packages ==="
+pip3 list | grep -E 'torch|transformers|sentence|faiss|peft'
+echo ""
+echo "=== System Load ==="
+top -n 1 -b | head -20
+EOF
+
+chmod +x /home/ubuntu/system_info.sh
+chown ubuntu:ubuntu /home/ubuntu/system_info.sh
+
+# Create RAM monitoring script
+echo "📊 Creating RAM monitoring script..."
+sudo -u ubuntu cat > /home/ubuntu/monitor_ram.sh << 'EOF'
+#!/bin/bash
+echo "=== Real-time RAM Monitoring ==="
+while true; do
+    clear
+    echo "FitTürkAI RAM Monitor - $(date)"
+    echo "================================"
+    free -h
+    echo ""
+    echo "Top 10 Memory Consuming Processes:"
+    ps aux --sort=-%mem | head -11
+    echo ""
+    echo "Press Ctrl+C to exit"
+    sleep 5
+done
+EOF
+
+chmod +x /home/ubuntu/monitor_ram.sh
+chown ubuntu:ubuntu /home/ubuntu/monitor_ram.sh
+
+# Install performance monitoring alias
+echo "📈 Setting up monitoring aliases..."
+sudo -u ubuntu cat >> /home/ubuntu/.bashrc << 'EOF'
+
+# FitTürkAI Monitoring Aliases
+alias sysinfo='/home/ubuntu/system_info.sh'
+alias rammon='/home/ubuntu/monitor_ram.sh'
+alias fitturkrai='cd /home/ubuntu/FitTurkAI-RAG'
+alias pyfree='python3 -c "import psutil; print(f\"Available RAM: {psutil.virtual_memory().available/1024**3:.1f} GB\")"'
+
+# Python environment
+export PYTHONPATH=/home/ubuntu/FitTurkAI-RAG:$PYTHONPATH
+
+echo "🏋️ Welcome to FitTürkAI High-RAM VM!"
+echo "Available commands:"
+echo "  sysinfo  - System information"
+echo "  rammon   - RAM monitoring"
+echo "  fitturkrai - Go to project directory"
+echo "  pyfree   - Check available Python memory"
+EOF
+
+# Download NLTK data
+echo "📚 Downloading NLTK data..."
+sudo -u ubuntu python3 -c "
+import nltk
+import ssl
+try:
+    _create_unverified_https_context = ssl._create_unverified_context
+except AttributeError:
+    pass
+else:
+    ssl._create_default_https_context = _create_unverified_https_context
+
+try:
+    nltk.download('punkt', quiet=True)
+    nltk.download('punkt_tab', quiet=True)
+    nltk.download('stopwords', quiet=True)
+    print('NLTK data downloaded successfully!')
+except Exception as e:
+    print(f'NLTK download warning: {e}')
+"
+
+# Create performance test script
+echo "🧪 Creating performance test script..."
+sudo -u ubuntu cat > /home/ubuntu/performance_test.py << 'EOF'
+#!/usr/bin/env python3
+"""
+FitTürkAI Performance Test Script
+Tests system capabilities for CPU-based RAG operations
+"""
+
+import time
+import psutil
+import numpy as np
+from sentence_transformers import SentenceTransformer
+
+def test_memory():
+    """Test available memory"""
+    memory = psutil.virtual_memory()
+    print(f"💾 Total RAM: {memory.total / 1024**3:.1f} GB")
+    print(f"💾 Available RAM: {memory.available / 1024**3:.1f} GB")
+    print(f"💾 Used RAM: {memory.percent}%")
+    return memory.available > 2 * 1024**3  # At least 2GB free
+
+def test_cpu():
+    """Test CPU performance"""
+    print(f"🔧 CPU Cores: {psutil.cpu_count()}")
+    print(f"🔧 CPU Usage: {psutil.cpu_percent(interval=1)}%")
+    return True
+
+def test_sentence_transformer():
+    """Test sentence transformer loading"""
+    try:
+        print("🤖 Testing Sentence Transformer...")
+        model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
+        
+        # Test encoding
+        texts = ["Bu bir test cümlesidir.", "FitTürkAI sistemi çalışıyor."]
+        start_time = time.time()
+        embeddings = model.encode(texts)
+        encoding_time = time.time() - start_time
+        
+        print(f"✅ Sentence Transformer loaded successfully!")
+        print(f"⏱️ Encoding time: {encoding_time:.2f}s")
+        print(f"📏 Embedding shape: {embeddings.shape}")
+        return True
+    except Exception as e:
+        print(f"❌ Sentence Transformer test failed: {e}")
+        return False
+
+def main():
+    print("🚀 FitTürkAI Performance Test")
+    print("=" * 40)
+    
+    # Test system components
+    memory_ok = test_memory()
+    cpu_ok = test_cpu()
+    transformer_ok = test_sentence_transformer()
+    
+    print("\n" + "=" * 40)
+    print("📊 Test Results:")
+    print(f"💾 Memory: {'✅ OK' if memory_ok else '❌ INSUFFICIENT'}")
+    print(f"🔧 CPU: {'✅ OK' if cpu_ok else '❌ PROBLEM'}")
+    print(f"🤖 Transformers: {'✅ OK' if transformer_ok else '❌ FAILED'}")
+    
+    if all([memory_ok, cpu_ok, transformer_ok]):
+        print("\n🎉 System ready for FitTürkAI!")
+    else:
+        print("\n⚠️ System needs optimization!")
+
+if __name__ == "__main__":
+    main()
+EOF
+
+chmod +x /home/ubuntu/performance_test.py
+chown ubuntu:ubuntu /home/ubuntu/performance_test.py
+
+# Configure automatic updates
+echo "🔄 Configuring automatic security updates..."
+echo 'Unattended-Upgrade::Automatic-Reboot "false";' >> /etc/apt/apt.conf.d/50unattended-upgrades
+
+# Final system status
+echo ""
+echo "=================================================="
+echo "✅ FitTürkAI VM Setup Completed!"
+echo "=================================================="
+echo "📊 System Status:"
+echo "  - OS: $(lsb_release -d | cut -f2)"
+echo "  - Memory: $(free -h | awk 'NR==2{printf \"%.1f GB total, %.1f GB available\", $2/1024/1024, $7/1024/1024}')"
+echo "  - CPU: $(nproc) cores"
+echo "  - Python: $(python3 --version)"
+echo ""
+echo "🎯 Next Steps:"
+echo "1. SSH to the VM: gcloud compute ssh [VM_NAME] --zone=[ZONE]"
+echo "2. Run performance test: python3 /home/ubuntu/performance_test.py"
+echo "3. Clone your FitTürkAI repository"
+echo "4. Start the RAG system: python3 test.py"
+echo ""
+echo "📚 Useful Commands:"
+echo "  - sysinfo: System information"
+echo "  - rammon: RAM monitoring"
+echo "  - fitturkrai: Go to project directory"
+echo ""
+echo "Setup completed at: $(date)"
+echo "==================================================" 

test.py

@@ -0,0 +1,561 @@
+# --- MERGED RAG & INTERACTION MODULE (CPU OPTIMIZED FOR LINUX) ---
+
+import os
+import json
+import torch
+import pickle
+import logging
+import re
+import time
+from typing import List, Dict, Optional, Tuple
+from pathlib import Path
+from dataclasses import dataclass, field
+
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+import torch
+
+# PDF Processing
+import PyPDF2
+import fitz  # PyMuPDF
+
+# Sentence Transformers & Vector Store
+from sentence_transformers import SentenceTransformer
+import faiss
+
+# NLTK for text processing
+import nltk
+from nltk.corpus import stopwords
+from nltk.tokenize import sent_tokenize
+
+# Transformers for Language Model Interaction
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+
+# --- Setup Logging ---
+logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+logger = logging.getLogger(__name__)
+
+# --- Configuration ---
+@dataclass
+class RAGConfig:
+    """Central configuration for the RAG system."""
+    # RAG parameters
+    vector_store_path: str = "./fitness_rag_store_merged"
+    chunk_size: int = 300  # Words per chunk
+    chunk_overlap_sentences: int = 2  # Number of sentences to overlap
+    retrieval_k: int = 5
+    retrieval_score_threshold: float = 0.2
+    max_context_length: int = 3000
+
+    # Model parameters
+    embedding_model_name: str = "paraphrase-multilingual-MiniLM-L12-v2"
+    generator_model_name: str = "ytu-ce-cosmos/Turkish-Llama-8b-v0.1"
+    peft_model_path: Optional[str] = None # Path to LoRA adapter, e.g., "./fine_tuned_FitTurkAI_LoRA"
+
+DEFAULT_SYSTEM_PROMPT = SISTEM_TALIMATI = """
+[ROL]
+Sen "FitTürkAI" adında, bütünsel yaklaşıma sahip, empatik ve proaktif bir kişisel sağlıklı yaşam koçusun. Görevin yalnızca beslenme önerileri vermek değil, aynı zamanda kullanıcının fiziksel, zihinsel ve yaşam tarzına dair tüm faktörleri dikkate alarak uyarlanabilir rehberler sunmaktır. Sağlık profesyoneli değilsin, tıbbi teşhis veya tedavi öneremezsin. Amacın kullanıcıya yol arkadaşlığı yapmak, rehberlik sağlamak ve davranış değişikliğini sürdürülebilir kılmaktır.
+
+[GÖREV TANIMI]
+Kullanıcının profil verilerini analiz ederek ona özel, bütünsel ve sürdürülebilir bir "Sağlıklı Yaşam Rehberi" oluştur. Bu rehber:
+- Beslenme planı
+- Egzersiz planı
+- Uyku düzeni
+- Stres yönetimi stratejileri
+- Su tüketim hedefleri
+bileşenlerini içermelidir. Rehberin sonunda kullanıcıyı küçük bir mikro hedef belirlemeye teşvik et.
+
+[İLETİŞİM ADIMLARI – ZORUNLU AKIŞ]
+1. *Tanıtım ve Uyarı:* Kendini "FitTürkAI" olarak tanıt, sağlık uzmanı olmadığını ve verdiğin bilgilerin sadece rehberlik amacı taşıdığını vurgula. Devam izni al.
+2. *Profil Toplama:* Kullanıcıdan şu verileri iste:
+   - Yaş, Cinsiyet, Kilo, Boy
+   - Sağlık durumu (diyabet, obezite, hipertansiyon, vb.)
+   - Beslenme tercihi/alerji (vejetaryen, glutensiz, vb.)
+   - Hedef (kilo vermek, enerji kazanmak, vb.)
+   - Fiziksel aktivite düzeyi
+   - Uyku süresi, stres düzeyi
+3. *Prensip Tanıtımı:* Kullanıcının durumuna özel 3–4 temel prensibi (örneğin: dengeli tabak, kan şekeri dengesi, stres ve uykunun etkisi) açıklayarak rehbere zemin hazırla.
+4. *Kişiselleştirilmiş Sağlıklı Yaşam Rehberi Sun:*
+   - *Beslenme*: Haftalık tablo veya örnek öğünler (tahmini kalori ve porsiyon bilgisiyle)
+   - *Egzersiz*: Haftalık FITT prensibine dayalı plan
+   - *Uyku & Stres*: Pratik iyileştirme önerileri
+   - *Su*: Hedef ve içme taktikleri
+5. *Mikro Hedef Belirleme:* Kullanıcıya küçük, uygulanabilir bir hedef seçtir ("Bu hafta neye odaklanalım?").
+6. *Kapanış:* Rehberin sonunda doktor desteğinin önemini tekrar vurgula. Net ve cesaret verici bir mesajla bitir.
+
+[KURALLAR VE KISITLAR]
+- ❌ *Yasaklı Terimler:* "Tedavi", "reçete", "kesin sonuç", "garanti", "zayıflama diyeti"
+- ✅ *İzinli Terimler:* "Öneri", "yaklaşık plan", "rehber", "eğitim amaçlı"
+- 🔎 *Kalori ve Porsiyonlar:* Daima "tahmini" ya da "yaklaşık" gibi ifadelerle sun. Öğünler sade, dengeli ve kültürel olarak uygun olmalı.
+- 🚫 *Teşhis/Tedavi:* Teşhis koyamazsın, ilaç öneremezsin.
+- ✅ *Üslup:* Nazik, empatik, motive edici. Net ve profesyonel. Markdown ile netlik sağla (*kalın, *italik, tablolar).
+
+[DİNAMİK ADAPTASYON VE PROAKTİFLİK]
+- Alerji/tercih bildirildiğinde otomatik alternatif öner.
+- Plandan sapıldığında kullanıcıyı motive et, çözüme odaklan, ardından planı revize et (örneğin: "gofret yedim" diyorsa → daha hafif akşam öner).
+- Her zaman kriz anlarını büyütmeden yönet.
+
+[EGZERSİZ PLANI – KURALLAR]
+1. *Uyarı:* Egzersiz önerilerinin öncesinde doktor onayı gerektiğini açıkla.
+2. *FITT Analizi:* Egzersizleri profile göre planla (Sıklık, Yoğunluk, Süre, Tür).
+3. *Plan Formatı:* Haftalık tablo, güvenli hareketler, tekrar sayısı (örneğin: "formun bozulana kadar", ağırl��ksız öneri).
+4. *Gelişim Prensibi:* Kolaylaştıkça artırılabilecek yollar sun.
+
+[EK YETENEKLER]
+- Haftalık değerlendirme ("Geçen hafta nasıldı?")
+- Tarif oluşturma
+- Alışveriş listesi çıkarma
+- "Neden bu yemek?" sorularını bilimsel ama sade cevaplama
+
+[FEW-SHOT PROMPT – ÖRNEK]
+*Kullanıcı:* Merhaba, kilo vermek istiyorum.
+*FitTürkAI:* Merhaba! Ben FitTürkAI, yol arkadaşınız... [güvenlik uyarısı + devam onayı]
+*Kullanıcı:* 35 yaş, erkek, obezite + hipertansiyon, memur, stresli, 5 saat uyuyor.
+*FitTürkAI:* (Teşekkür + prensipler + beslenme tablosu + egzersiz planı + su + uyku + stres + mikro hedef + kapanış)
+
+"""
+
+# --- Data Structures ---
+@dataclass
+class Document:
+    """Represents a document chunk with metadata."""
+    content: str
+    source: str
+    doc_type: str  # 'pdf' or 'json'
+    chunk_id: str
+    metadata: Dict = field(default_factory=dict)
+
+# --- Core RAG Components ---
+
+class TurkishTextProcessor:
+    """Handles advanced Turkish text preprocessing, cleaning, and chunking."""
+    def __init__(self):
+        self.turk_to_ascii_map = str.maketrans('ğüşıöçĞÜŞİÖÇ', 'gusiocGUSIOC')
+        self.turkish_stopwords = {'ve', 'ile', 'bir', 'bu', 'da', 'de', 'için'}
+        self._download_nltk_data() # Call the corrected downloader
+        try:
+            self.turkish_stopwords = set(stopwords.words('turkish'))
+        except Exception:
+            logger.warning("Could not load Turkish stopwords, using a basic set.")
+
+    def _download_nltk_data(self):
+      """
+      Robustly downloads required NLTK data with proper error handling.
+      Handles both old (punkt) and new (punkt_tab) NLTK versions.
+      """
+      logger.info("Checking/downloading NLTK data...")
+
+      # List of packages to download with their alternatives
+      packages_to_try = [
+          ['punkt_tab', 'punkt'],  # Try new version first, then old
+          ['stopwords']
+      ]
+
+      for package_group in packages_to_try:
+          success = False
+
+          if isinstance(package_group, list):
+              # Try each package in the group until one succeeds
+              for package in package_group:
+                  try:
+                      nltk.download(package, quiet=True)
+                      logger.info(f"Successfully downloaded NLTK package: {package}")
+                      success = True
+                      break
+                  except Exception as e:
+                      logger.debug(f"Failed to download {package}: {e}")
+                      continue
+          else:
+              # Single package
+              try:
+                  nltk.download(package_group, quiet=True)
+                  logger.info(f"Successfully downloaded NLTK package: {package_group}")
+                  success = True
+              except Exception as e:
+                  logger.debug(f"Failed to download {package_group}: {e}")
+
+          if not success:
+              package_name = package_group[0] if isinstance(package_group, list) else package_group
+              logger.warning(f"Failed to download any variant of {package_name}")
+
+      # Test if sentence tokenization works
+      try:
+          test_sentences = sent_tokenize("Bu bir test cümlesidir. Bu ikinci cümledir.", language='turkish')
+          if len(test_sentences) >= 2:
+              logger.info("NLTK sentence tokenization is working correctly.")
+          else:
+              logger.warning("NLTK sentence tokenization may not be working optimally.")
+      except Exception as e:
+          logger.warning(f"NLTK sentence tokenization test failed: {e}")
+          logger.info("System will fall back to regex-based sentence splitting.")
+
+
+    def turkish_lower(self, text: str) -> str:
+        """Correctly lowercases Turkish text."""
+        return text.replace('I', 'ı').replace('İ', 'i').lower()
+
+    def clean_text(self, text: str) -> str:
+        """Clean and normalize text."""
+        text = text.strip()
+        text = text.replace('fi', 'fi').replace('fl', 'fl')
+        text = re.sub(r'\s+', ' ', text)
+        text = re.sub(r'[^\w\sğüşıöçĞÜŞİÖÇ.,!?-]', '', text)
+        return text
+
+    def preprocess_for_embedding(self, text: str) -> str:
+        """Prepares text for embedding."""
+        text = self.clean_text(text)
+        text = self.turkish_lower(text)
+        return text
+
+    def chunk_text(self, text: str, chunk_size: int, overlap_sentences: int) -> List[str]:
+        """Split text into overlapping chunks based on sentences."""
+        try:
+            sentences = sent_tokenize(text, language='turkish')
+        except Exception as e:
+            logger.warning(f"NLTK sentence tokenization failed ({e}), falling back to basic splitting.")
+            sentences = re.split(r'[.!?]+', text)
+            sentences = [s.strip() for s in sentences if s.strip()]
+
+        if not sentences: return []
+
+        chunks, current_chunk_words = [], []
+        for i, sentence in enumerate(sentences):
+            sentence_words = sentence.split()
+            if len(current_chunk_words) + len(sentence_words) > chunk_size and current_chunk_words:
+                chunks.append(" ".join(current_chunk_words))
+                overlap_start_index = max(0, i - overlap_sentences)
+                overlapped_sentences = sentences[overlap_start_index:i]
+                current_chunk_words = " ".join(overlapped_sentences).split()
+            current_chunk_words.extend(sentence_words)
+        if current_chunk_words: chunks.append(" ".join(current_chunk_words))
+        return chunks
+
+class PDFProcessor:
+    """Handles PDF document processing."""
+    def __init__(self, text_processor: TurkishTextProcessor, config: RAGConfig):
+        self.text_processor = text_processor
+        self.config = config
+
+    def extract_text_from_pdf(self, pdf_path: str) -> str:
+        """Extract text from a PDF using PyMuPDF with a fallback."""
+        text = ""
+        try:
+            with fitz.open(pdf_path) as doc:
+                text = "".join(page.get_text() for page in doc)
+            if text.strip(): return self.text_processor.clean_text(text)
+        except Exception as e:
+            logger.warning(f"PyMuPDF failed for {pdf_path}: {e}. Falling back.")
+        try:
+            with open(pdf_path, 'rb') as file:
+                reader = PyPDF2.PdfReader(file)
+                text = "".join(page.extract_text() for page in reader.pages if page.extract_text())
+            return self.text_processor.clean_text(text)
+        except Exception as e:
+            logger.error(f"Failed to extract text from {pdf_path}: {e}")
+            return ""
+
+    def process_directory(self, pdf_directory: str) -> List[Document]:
+        """Process all PDFs in a directory."""
+        documents = []
+        pdf_files = list(Path(pdf_directory).rglob("*.pdf"))
+        logger.info(f"Found {len(pdf_files)} PDF files in '{pdf_directory}'.")
+        for pdf_path in pdf_files:
+            text = self.extract_text_from_pdf(str(pdf_path))
+            if not text: continue
+            chunks = self.text_processor.chunk_text(text, self.config.chunk_size, self.config.chunk_overlap_sentences)
+            for i, chunk in enumerate(chunks):
+                if len(chunk.strip()) > 50:
+                    documents.append(Document(
+                        content=chunk, source=str(pdf_path), doc_type='pdf',
+                        chunk_id=f"pdf_{pdf_path.stem}_{i}", metadata={'file_name': pdf_path.name}
+                    ))
+        return documents
+
+class JSONProcessor:
+    """Handles JSON/JSONL data processing."""
+    def __init__(self, text_processor: TurkishTextProcessor, config: RAGConfig):
+        self.text_processor = text_processor
+        self.config = config
+
+    def process_directory(self, json_directory: str) -> List[Document]:
+        """Process all JSON/JSONL files in a directory."""
+        all_docs = []
+        json_files = list(Path(json_directory).rglob("*.json")) + list(Path(json_directory).rglob("*.jsonl"))
+        logger.info(f"Found {len(json_files)} JSON files in '{json_directory}'.")
+        for json_path in json_files:
+            try:
+                with open(json_path, 'r', encoding='utf-8') as f:
+                    data = [json.loads(line) for line in f] if str(json_path).endswith('.jsonl') else json.load(f)
+                if not isinstance(data, list): data = [data]
+                for i, item in enumerate(data):
+                    content = f"Soru: {item.get('soru', '')}\nCevap: {item.get('cevap', '')}" if 'soru' in item else item.get('text', '') or item.get('content', '') or ' '.join(str(v) for v in item.values() if isinstance(v, str))
+                    if content and len(content.strip()) > 20:
+                        all_docs.append(Document(
+                            content=self.text_processor.clean_text(content), source=str(json_path),
+                            doc_type='json', chunk_id=f"json_{Path(json_path).stem}_{i}",
+                            metadata={'original_index': i}
+                        ))
+            except Exception as e:
+                logger.error(f"Failed to process JSON file {json_path}: {e}")
+        return all_docs
+
+class VectorStore:
+    """Manages document embeddings and FAISS-based similarity search."""
+    def __init__(self, config: RAGConfig, text_processor: TurkishTextProcessor):
+        self.config = config
+        self.text_processor = text_processor
+        self.model = SentenceTransformer(config.embedding_model_name)
+        self.documents: List[Document] = []
+        self.index: Optional[faiss.Index] = None
+
+    def build(self, documents: List[Document]):
+        """Build the vector store from documents."""
+        if not documents:
+            logger.warning("No documents provided to build vector store.")
+            return
+        self.documents = documents
+        logger.info(f"Encoding {len(self.documents)} documents...")
+        texts = [self.text_processor.preprocess_for_embedding(doc.content) for doc in self.documents]
+        embeddings = self.model.encode(texts, show_progress_bar=True, normalize_embeddings=True)
+        self.index = faiss.IndexFlatIP(embeddings.shape[1])
+        self.index.add(embeddings.astype('float32'))
+        logger.info(f"Built FAISS index with {self.index.ntotal} vectors.")
+
+    def search(self, query: str) -> List[Tuple[Document, float]]:
+        """Search for similar documents."""
+        if not self.index or not self.documents: return []
+        processed_query = self.text_processor.preprocess_for_embedding(query)
+        query_embedding = self.model.encode([processed_query], normalize_embeddings=True)
+        scores, indices = self.index.search(query_embedding.astype('float32'), self.config.retrieval_k)
+        results = [(self.documents[idx], float(score)) for score, idx in zip(scores[0], indices[0]) if idx != -1 and score >= self.config.retrieval_score_threshold]
+        return results
+
+    def save(self):
+        """Save the vector store to disk."""
+        path = Path(self.config.vector_store_path)
+        path.mkdir(parents=True, exist_ok=True)
+        if self.index: faiss.write_index(self.index, str(path / 'faiss_index.bin'))
+        with open(path / 'documents.pkl', 'wb') as f: pickle.dump(self.documents, f)
+        logger.info(f"Vector store saved to {path}")
+
+    def load(self) -> bool:
+        """Load the vector store from disk."""
+        path = Path(self.config.vector_store_path)
+        if not (path / 'faiss_index.bin').exists() or not (path / 'documents.pkl').exists():
+            return False
+        self.index = faiss.read_index(str(path / 'faiss_index.bin'))
+        with open(path / 'documents.pkl', 'rb') as f: self.documents = pickle.load(f)
+        logger.info(f"Loaded vector store with {len(self.documents)} documents from {path}")
+        return True
+
+# --- Main Application Class ---
+
+class FitnessRAG:
+    """Orchestrates the entire RAG and generation process."""
+    def __init__(self, config: RAGConfig):
+        self.config = config
+        self.text_processor = TurkishTextProcessor()
+        self.pdf_processor = PDFProcessor(self.text_processor, self.config)
+        self.json_processor = JSONProcessor(self.text_processor, self.config)
+        self.vector_store = VectorStore(self.config, self.text_processor)
+
+        self.model, self.tokenizer = self._load_generator_model()
+
+        if not self.vector_store.load():
+            logger.info("No existing knowledge base found. Please build it.")
+
+    def _load_generator_model(self):
+        """Loads the causal language model and tokenizer optimized for CPU."""
+        logger.info(f"Loading base model for CPU: {self.config.generator_model_name}")
+
+        # Force CPU usage and use float32 for better CPU compatibility
+        device = torch.device("cpu")
+        
+        # Load the base model with CPU-optimized settings
+        model = AutoModelForCausalLM.from_pretrained(
+            self.config.generator_model_name,
+            torch_dtype=torch.float32,  # Use float32 for CPU
+            device_map="cpu",           # Force CPU usage
+            trust_remote_code=True,
+            low_cpu_mem_usage=True,     # Enable memory optimization for CPU
+        )
+
+        tokenizer = AutoTokenizer.from_pretrained(self.config.generator_model_name)
+        
+        # Set padding token if not present
+        if tokenizer.pad_token is None:
+            tokenizer.pad_token = tokenizer.eos_token
+
+        # Check for the PEFT adapter path and load the adapter
+        if self.config.peft_model_path and Path(self.config.peft_model_path).exists():
+            logger.info(f"Loading PEFT adapter from: {self.config.peft_model_path}")
+            try:
+                # Load the LoRA adapter onto the base model
+                model = PeftModel.from_pretrained(
+                    model,
+                    self.config.peft_model_path,
+                    is_trainable=False  # Important for inference
+                )
+
+                # Merge adapter for faster inference on CPU
+                logger.info("Merging adapter weights into the base model for CPU optimization...")
+                model = model.merge_and_unload()
+            except Exception as e:
+                logger.warning(f"Failed to load PEFT adapter: {e}. Using base model.")
+        else:
+            logger.warning("PEFT adapter path not found. Using the base model without fine-tuning.")
+
+        # Ensure model is on CPU and in eval mode
+        model = model.to(device)
+        model.eval()
+        
+        # Optional: Enable CPU optimizations
+        try:
+            model = torch.jit.script(model)  # JIT compilation for CPU speedup
+            logger.info("Model JIT compiled for CPU optimization.")
+        except Exception as e:
+            logger.info(f"JIT compilation not available or failed: {e}")
+        
+        return model, tokenizer
+
+    def build_knowledge_base(self, pdf_dir: str = None, json_dir: str = None):
+        """Builds the knowledge base from source files."""
+        all_docs = []
+        if pdf_dir and Path(pdf_dir).exists():
+            all_docs.extend(self.pdf_processor.process_directory(pdf_dir))
+        if json_dir and Path(json_dir).exists():
+            all_docs.extend(self.json_processor.process_directory(json_dir))
+
+        if not all_docs:
+            logger.warning("No new documents found. Knowledge base not built.")
+            return
+
+        self.vector_store.build(all_docs)
+        self.vector_store.save()
+
+    def retrieve_context(self, query: str) -> str:
+        """Retrieve and format context for a given query."""
+        results = self.vector_store.search(query)
+        if not results: return ""
+
+        context_parts = []
+        current_len = 0
+        for doc, score in results:
+            content = f"[Kaynak: {Path(doc.source).name}, Skor: {score:.2f}] {doc.content}"
+            if current_len + len(content) > self.config.max_context_length: break
+            context_parts.append(content)
+            current_len += len(content)
+
+        return "\n\n---\n\n".join(context_parts)
+
+    def ask(self, user_query: str, system_prompt: str = DEFAULT_SYSTEM_PROMPT) -> str:
+        """Main method to ask a question and get a generated answer."""
+        start_time = time.time()
+        context = self.retrieve_context(user_query)
+        retrieval_time = time.time() - start_time
+        logger.info(f"Context retrieval took {retrieval_time:.2f}s.")
+
+        if context:
+            prompt = f"{system_prompt}\n\n### BAĞLAMSAL BİLGİ KAYNAKLARI\n{context}\n\n### KULLANICI SORUSU\n\"{user_query}\"\n\n### CEVAP"
+        else:
+            prompt = f"{system_prompt}\n\n### KULLANICI SORUSU\n\"{user_query}\"\n\n### CEVAP"
+
+        inputs = self.tokenizer(prompt, return_tensors="pt", padding=True, truncation=True, max_length=2048)
+
+        with torch.no_grad():
+            outputs = self.model.generate(
+                **inputs,
+                max_new_tokens=512,
+                do_sample=True,
+                temperature=0.7,
+                top_k=50,
+                top_p=0.95,
+                pad_token_id=self.tokenizer.eos_token_id,
+                num_return_sequences=1,
+            )
+
+        response = self.tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
+        return response.strip()
+
+    def interactive_chat(self):
+        """Starts an interactive chat session."""
+        print("\n" + "="*60)
+        print("🏋️  FitTürkAI RAG Sistemi - İnteraktif Sohbet Modu (CPU)")
+        print("="*60)
+        if not self.vector_store.documents:
+            print("❌ Bilgi tabanı boş. Lütfen önce `build_knowledge_base` çalıştırın.")
+            return
+
+        print("💡 Sorularınızı yazın (çıkmak için 'quit' veya 'q' yazın)")
+        print("-" * 60)
+
+        while True:
+            try:
+                user_query = input("\n🤔 Sorunuz: ").strip()
+                if user_query.lower() in ['quit', 'exit', 'çık', 'q']:
+                    print("👋 Görüşmek üzere!")
+                    break
+                if not user_query: continue
+
+                print("\n⏳ Düşünüyorum ve kaynakları tarıyorum...")
+                start_time = time.time()
+
+                final_answer = self.ask(user_query)
+
+                total_time = time.time() - start_time
+
+                print("\n" + "-"*15 + f" FitTürkAI'nin Cevabı ({total_time:.2f}s) " + "-"*15)
+                print(final_answer)
+                print("-" * 60)
+
+            except KeyboardInterrupt:
+                print("\n\n👋 Program sonlandırıldı!")
+                break
+            except Exception as e:
+                print(f"❌ Bir hata oluştu: {e}")
+                logger.error(f"Error in interactive chat: {e}", exc_info=True)
+
+# --- Main Execution ---
+def main():
+    """Main function to run the RAG system."""
+    # ---! IMPORTANT !---
+    # Set the correct paths for your data and models here.
+    PDF_DATA_DIRECTORY = "./indirilen_pdfler"  # Folder with your PDF files
+    JSON_DATA_DIRECTORY = "./DATA"           # Folder with your JSON/JSONL files
+    # Set this to the path of your fine-tuned LoRA if you have one.
+    # Otherwise, set it to None to use the base model.
+    PEFT_ADAPTER_PATH = "./fine_tuned_FitTurkAI_QLoRA"
+
+    config = RAGConfig(peft_model_path=PEFT_ADAPTER_PATH)
+
+    # Initialize the entire system (including loading the LLM)
+    print("🚀 FitTürkAI RAG Sistemi Başlatılıyor... (CPU Mode)")
+    rag_system = FitnessRAG(config)
+
+    # Check if the knowledge base needs to be built
+    vector_store_path = Path(config.vector_store_path)
+    if not vector_store_path.exists():
+        print(f"\n🔨 Bilgi tabanı '{vector_store_path}' bulunamadı, yeniden oluşturuluyor...")
+        rag_system.build_knowledge_base(
+            pdf_dir=PDF_DATA_DIRECTORY,
+            json_dir=JSON_DATA_DIRECTORY
+        )
+    else:
+        print(f"\n✅ Mevcut bilgi tabanı '{vector_store_path}' yüklendi.")
+        rebuild = input("Bilgi tabanını yeniden oluşturmak ister misiniz? (y/N): ").strip().lower()
+        if rebuild == 'y':
+            import shutil
+            shutil.rmtree(vector_store_path)
+            print("🔄 Bilgi tabanı yeniden oluşturuluyor...")
+            rag_system.build_knowledge_base(
+                pdf_dir=PDF_DATA_DIRECTORY,
+                json_dir=JSON_DATA_DIRECTORY
+            )
+
+    # Start interactive mode
+    rag_system.interactive_chat()
+
+if __name__ == "__main__":
+    main()

vm_setup_guide.md

@@ -0,0 +1,326 @@
+# 🚀 FitTürkAI VM Kurulum Rehberi - SSH Bağlantısı Sonrası
+
+Tebrikler! VM'nize başarıyla bağlandınız. Şimdi FitTürkAI sistemini kuralım.
+
+## 🔍 **Adım 1: Sistem Durumunu Kontrol Et**
+
+```bash
+# Sistem bilgilerini kontrol et
+sysinfo
+
+# RAM durumunu kontrol et
+free -h
+
+# Disk alanını kontrol et
+df -h
+
+# Startup script'in çalışıp çalışmadığını kontrol et
+cat /var/log/fitturkrai-setup.log | tail -20
+```
+
+## 📦 **Adım 2: Repository'yi Klonla ve Dosyaları Kopyala**
+
+### Seçenek A: GitHub'dan klonla (eğer repository'niz varsa)
+```bash
+cd /home/ubuntu
+git clone https://github.com/YOUR_USERNAME/FitTurkAI-RAG.git
+cd FitTurkAI-RAG
+```
+
+### Seçenek B: Dosyaları manuel olarak oluştur
+```bash
+cd /home/ubuntu/FitTurkAI-RAG
+
+# Ana dosyaları oluştur
+nano test.py
+```
+
+**test.py içeriğini kopyalayın** (mevcut CPU optimize edilmiş kodu)
+
+```bash
+# Requirements dosyasını oluştur
+nano requirements.txt
+```
+
+**requirements.txt içeriğini kopyalayın**
+
+```bash
+# Colab setup scriptini oluştur (opsiyonel)
+nano colab_setup_and_run.py
+```
+
+## 🐍 **Adım 3: Python Environment ve Paketleri Kontrol Et**
+
+```bash
+# Python versiyonunu kontrol et
+python3 --version
+
+# Pip'i güncelle
+python3 -m pip install --upgrade pip
+
+# PyTorch'un kurulduğunu kontrol et
+python3 -c "import torch; print(f'PyTorch: {torch.__version__}'); print(f'CPU Available: {torch.cuda.is_available() == False}')"
+
+# Gerekli paketleri kur (eksik varsa)
+pip3 install -r requirements.txt
+```
+
+## 📚 **Adım 4: NLTK Verilerini Kontrol Et**
+
+```bash
+# NLTK verilerinin kurulduğunu kontrol et
+python3 -c "
+import nltk
+try:
+    from nltk.tokenize import sent_tokenize
+    test = sent_tokenize('Bu bir test. Bu ikinci cümle.', language='turkish')
+    print(f'✅ NLTK Turkish tokenization working: {len(test)} sentences')
+except:
+    print('❌ NLTK needs setup')
+    nltk.download('punkt')
+    nltk.download('punkt_tab')
+    nltk.download('stopwords')
+"
+```
+
+## 📁 **Adım 5: Veri Klasörlerini Hazırla**
+
+```bash
+# Klasör yapısını kontrol et
+ls -la
+
+# Gerekli klasörlerin varlığını kontrol et
+mkdir -p indirilen_pdfler DATA fitness_rag_store_merged fine_tuned_FitTurkAI_QLoRA
+
+# Demo verinin oluşturulduğunu kontrol et
+cat DATA/demo_fitness_data.json
+```
+
+## 🧪 **Adım 6: Performance Test Çalıştır**
+
+```bash
+# Sistem performansını test et
+python3 /home/ubuntu/performance_test.py
+```
+
+Bu test şunları kontrol eder:
+- ✅ RAM yeterliliği (>2GB)
+- ✅ CPU durumu
+- ✅ Sentence Transformer yüklenmesi
+
+## 🎯 **Adım 7: FitTürkAI Sistemini İlk Kez Çalıştır**
+
+```bash
+# Ana dizine git
+cd /home/ubuntu/FitTurkAI-RAG
+
+# İlk çalıştırma (modelleri indirecek)
+python3 test.py
+```
+
+**İlk çalıştırmada**:
+- Turkish LLaMA model indirilecek (~15-20 dakika)
+- Sentence transformer model indirilecek (~2-5 dakika)
+- Demo bilgi tabanı oluşturulacak
+
+## 🔧 **Adım 8: Sorun Giderme (Gerekirse)**
+
+### Model indirme sorunu varsa:
+```bash
+# Hugging Face cache temizle
+rm -rf ~/.cache/huggingface/
+
+# Manuel model indirme
+python3 -c "
+from transformers import AutoTokenizer, AutoModelForCausalLM
+model_name = 'ytu-ce-cosmos/Turkish-Llama-8b-v0.1'
+print('Downloading tokenizer...')
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+print('Downloading model...')
+model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype='float32')
+print('Models downloaded successfully!')
+"
+```
+
+### RAM sorunu varsa:
+```bash
+# Swap'i kontrol et
+free -h
+
+# RAM kullanımını izle
+watch -n 2 free -h
+```
+
+### Konfigürasyonu değiştir (test.py'de):
+```python
+# Düşük RAM için
+config = RAGConfig(
+    chunk_size=200,
+    retrieval_k=3,
+    max_context_length=2000
+)
+
+# Yüksek RAM için (64GB+)
+config = RAGConfig(
+    chunk_size=500,
+    retrieval_k=10,
+    max_context_length=8000
+)
+```
+
+## 📊 **Adım 9: Sistem İzleme ve Optimizasyon**
+
+```bash
+# RAM kullanımını izle
+rammon
+
+# CPU kullanımını izle
+htop
+
+# GPU kullanımının olmadığını kontrol et (CPU mode)
+python3 -c "import torch; print(f'CUDA Available: {torch.cuda.is_available()}')"
+```
+
+## 🎮 **Adım 10: İnteraktif Kullanım**
+
+Sistem çalıştığında:
+
+```bash
+# İnteraktif chat başlat
+python3 test.py
+```
+
+**Örnek sorular**:
+```
+🤔 Sorunuz: Sağlıklı kahvaltı için ne önerirsiniz?
+🤔 Sorunuz: Günde kaç bardak su içmeliyim?
+🤔 Sorunuz: Egzersiz sonrası ne yemeli?
+```
+
+## 📥 **Adım 11: Kendi Verilerinizi Ekleyin**
+
+### PDF dosyaları için:
+```bash
+# PDF'lerinizi yükleyin (scp veya başka yöntemle)
+# Örnek:
+# scp your_fitness_pdfs/*.pdf username@VM_IP:/home/ubuntu/FitTurkAI-RAG/indirilen_pdfler/
+
+# Veya wget ile indirin
+cd indirilen_pdfler
+wget https://example.com/your_fitness_pdf.pdf
+```
+
+### JSON verileri için:
+```bash
+# JSON verilerinizi DATA klasörüne koyun
+cd DATA
+nano your_fitness_data.json
+
+# Örnek format:
+# [
+#   {
+#     "soru": "Protein kaynakları nelerdir?",
+#     "cevap": "Protein kaynakları arasında et, balık, yumurta, baklagiller, kuruyemişler bulunur..."
+#   }
+# ]
+```
+
+### Bilgi tabanını yeniden oluştur:
+```bash
+# Yeni verilerle bilgi tabanını güncelle
+python3 -c "
+from test import FitnessRAG, RAGConfig
+config = RAGConfig()
+rag = FitnessRAG(config)
+rag.build_knowledge_base(pdf_dir='./indirilen_pdfler', json_dir='./DATA')
+print('Knowledge base updated!')
+"
+```
+
+## 🔥 **Adım 12: Gelişmiş Kullanım**
+
+### Script olarak çalıştır:
+```bash
+# Otomatik sorular
+python3 -c "
+from test import FitnessRAG, RAGConfig
+config = RAGConfig()
+rag = FitnessRAG(config)
+
+questions = [
+    'Sağlıklı kahvaltı önerileri',
+    'Egzersiz programı nasıl olmalı',
+    'Su tüketimi ne kadar olmalı'
+]
+
+for q in questions:
+    print(f'Soru: {q}')
+    answer = rag.ask(q)
+    print(f'Cevap: {answer}\n')
+"
+```
+
+### API olarak kullan:
+```bash
+# Basit Flask API
+nano fitness_api.py
+```
+
+```python
+from flask import Flask, request, jsonify
+from test import FitnessRAG, RAGConfig
+
+app = Flask(__name__)
+config = RAGConfig()
+rag = FitnessRAG(config)
+
+@app.route('/ask', methods=['POST'])
+def ask_question():
+    data = request.json
+    question = data.get('question', '')
+    answer = rag.ask(question)
+    return jsonify({'answer': answer})
+
+if __name__ == '__main__':
+    app.run(host='0.0.0.0', port=8080)
+```
+
+```bash
+# API'yi çalıştır
+pip3 install flask
+python3 fitness_api.py
+```
+
+## 🎯 **Başarı Kontrol Listesi**
+
+- [ ] ✅ SSH bağlantısı kuruldu
+- [ ] ✅ Sistem durumu kontrol edildi
+- [ ] ✅ Python paketleri kuruldu
+- [ ] ✅ NLTK verileri hazır
+- [ ] ✅ Performance test geçti
+- [ ] ✅ İlk model indirmesi tamamlandı
+- [ ] ✅ Demo sorular çalışıyor
+- [ ] ✅ Kendi veriler eklendi (opsiyonel)
+- [ ] ✅ Sistem izleme kuruldu
+
+## 🆘 **Acil Durum Komutları**
+
+```bash
+# Sistem restart (gerekirse)
+sudo reboot
+
+# Python process'leri öldür
+pkill -f python3
+
+# Disk alanı temizle
+sudo apt autoremove
+docker system prune -a  # Eğer Docker varsa
+
+# Log'ları kontrol et
+tail -f /var/log/syslog
+tail -f /var/log/fitturkrai-setup.log
+```
+
+---
+
+**🎉 Kurulum tamamlandığında FitTürkAI sisteminiz maksimum RAM ile CPU'da çalışıyor olacak!**