CRANE AI Model - Fine-tuning ready hybrid system

README.md

@@ -1,90 +1,115 @@
 ---
-title: CRANE AI - Hibrit Yapay Zeka Sistemi
-emoji: 🏗️
-colorFrom: blue
-colorTo: purple
-sdk: gradio
-sdk_version: 4.29.0
-app_file: demo.py
-pinned: false
 license: mit
+library_name: crane-ai
 tags:
-- ai
+- pytorch
 - multi-model
-- routing
-- crane
-- turkish
+- hybrid-ai
 - code-generation
 - chat
 - reasoning
+- turkish
 language:
 - tr
 - en
+pipeline_tag: text-generation
 ---
 
-# CRANE AI - Hibrit Yapay Zeka Sistemi 🏗️
+# CRANE AI Model
+
+CRANE (Compressed Routing and Neural Embedding) hibrit yapay zeka sistemi.
 
-## Özet
-CRANE (Compressed Routing and Neural Embedding) benzeri hibrit yapay zeka sistemi. Küçük ama güçlü modellerin verimli çalıştığı, laptop'ta çalışabilecek kadar hızlı sistem.
+## Model Description
 
-## 🌟 Özellikler
-- 🚀 **Hızlı**: Laptop'ta sorunsuz çalışır
-- 🧠 **Zeki**: GPT-4o seviyesinde performans
-- 🔧 **Modüler**: Özelleşmiş micro-modüller
-- 💾 **Hafif**: Küçük ama başarılı modeller
-- 📝 **MIT Lisanslı**: Açık kaynak modeller
+CRANE AI, 4 farklı özelleşmiş modülü birleştiren hibrit bir AI sistemidir:
 
-## 🏗️ Sistem Mimarisi
+- **CodeModule**: Kod yazma (DeepSeek-Coder 1.3B)
+- **ChatModule**: Genel sohbet (Qwen2.5 1.5B) 
+- **ReasonModule**: Mantık yürütme (Phi-3 Mini)
+- **FastModule**: Hızlı yanıtlar (TinyLlama 1.1B)
 
-### Router Layer
-- Gelen sorguları analiz eder
-- Uygun modellere yönlendirir
-- Yük dengelemesi yapar
+## Quick Start
 
-### MicroModule System
-- **CodeModule**: DeepSeek-Coder (kod yazma)
-- **ChatModule**: Qwen2.5 (sohbet)
-- **ReasonModule**: Phi-3 (mantık yürütme)
-- **FastModule**: TinyLlama (hızlı yanıt)
+```python
+from crane_ai import CRANEAISystem
+import asyncio
 
-### Token Capsule Layer
-- Token optimizasyonu
-- Bellek yönetimi
-- Paralel işlem
+# Sistemi başlat
+system = CRANEAISystem()
+await system.initialize()
 
-## 🚀 Kullanım
+# Kullanım
+response = await system.process_query("Python'da bir hesap makinesi yaz", {})
+print(response["response"])
+```
+
+## Installation
 
-### Gradio Demo
 ```bash
-python demo.py
+pip install -r requirements.txt
+python setup.py install
 ```
 
+## Usage
+
 ### API Sunucusu
 ```bash
 python main.py
 ```
 
-### Kurulum
+### Programmatic Usage
+```python
+from crane_ai import CRANEAISystem
+
+system = CRANEAISystem()
+await system.initialize()
+
+result = await system.process_query("Your query here", {})
+```
+
+## Fine-tuning
+
+CRANE AI LoRA/QLoRA ile fine-tune edilebilir:
+
 ```bash
-pip install -r requirements.txt
-python setup.py
+python training/fine_tune.py --module code_module --data your_data.jsonl
 ```
 
-## 📊 Performans
-- **Hız**: ~100ms ortalama yanıt süresi
-- **Bellek**: ~2GB RAM kullanımı
-- **Doğruluk**: GPT-4o seviyesinde performans
-- **Dil**: Türkçe ve İngilizce desteği
+## Model Architecture
 
-## 🔧 Yapılandırma
-Model yapılandırmaları `config/settings.py` dosyasında yer alır.
+```
+Input Query → Router → Best Module → Response
+     ↓
+[CodeModule, ChatModule, ReasonModule, FastModule]
+     ↓
+Token Capsule Layer → Memory Management
+```
 
-## 📄 Lisans
-MIT Lisansı ile açık kaynak.
+## Training Data
 
-## 👨‍💻 Geliştirici
-[@veteroner](https://huggingface.co/veteroner)
+Base modeller açık kaynak dataseti ile eğitilmiş:
+- Code: GitHub repositories
+- Chat: Conversation datasets
+- Reasoning: Logic puzzles
+- Fast: Q&A pairs
 
----
+## Limitations
 
-*Bu sistem tamamen açık kaynak modeller kullanır ve laptop'ta çalışacak şekilde optimize edilmiştir.*
+- GPU memory: ~4GB gerekli
+- Response time: 1-5 saniye
+- Context length: 4096 tokens max
+
+## License
+
+MIT License - Commercial use allowed.
+
+## Citation
+
+```bibtex
+@misc{crane-ai-2024,
+  title={CRANE AI: Hybrid Multi-Model System},
+  author={Veteroner},
+  year={2024},
+  url={https://huggingface.co/veteroner/Novaai}
+}
+```

__init__.py

@@ -0,0 +1,17 @@
+"""
+CRANE AI - Hibrit Yapay Zeka Sistemi
+"""
+
+from .main import CRANEAISystem
+from .modules import CodeModule, ChatModule, ReasonModule, FastModule
+from .router import IntelligentRouter
+
+__version__ = "1.0.0"
+__all__ = [
+    "CRANEAISystem",
+    "CodeModule", 
+    "ChatModule",
+    "ReasonModule",
+    "FastModule",
+    "IntelligentRouter"
+]

config.json

@@ -1,46 +1,44 @@
 {
+  "model_type": "crane-ai",
   "architectures": [
-    "CRANE-AI"
+    "CRANEAIModel"
   ],
-  "model_type": "crane-ai",
-  "crane_config": {
-    "models": {
-      "code_module": {
-        "model_id": "deepseek-ai/deepseek-coder-1.3b-instruct",
-        "task": "code_generation",
-        "max_tokens": 2048,
-        "temperature": 0.1,
-        "priority": 1
-      },
-      "chat_module": {
-        "model_id": "Qwen/Qwen2.5-1.5B-Instruct",
-        "task": "chat",
-        "max_tokens": 1024,
-        "temperature": 0.7,
-        "priority": 2
-      },
-      "reason_module": {
-        "model_id": "microsoft/Phi-3-mini-4k-instruct",
-        "task": "reasoning",
-        "max_tokens": 1024,
-        "temperature": 0.3,
-        "priority": 3
-      },
-      "fast_module": {
-        "model_id": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
-        "task": "quick_response",
-        "max_tokens": 512,
-        "temperature": 0.8,
-        "priority": 4
-      }
+  "crane_version": "1.0.0",
+  "modules": {
+    "code_module": {
+      "base_model": "deepseek-ai/deepseek-coder-1.3b-instruct",
+      "task": "code_generation",
+      "max_tokens": 2048,
+      "temperature": 0.1
+    },
+    "chat_module": {
+      "base_model": "Qwen/Qwen2.5-1.5B-Instruct",
+      "task": "chat",
+      "max_tokens": 1024,
+      "temperature": 0.7
     },
-    "router_config": {
-      "confidence_threshold": 0.6,
-      "max_concurrent_requests": 4,
-      "timeout": 30,
-      "fallback_model": "fast_module"
+    "reason_module": {
+      "base_model": "microsoft/Phi-3-mini-4k-instruct",
+      "task": "reasoning",
+      "max_tokens": 1024,
+      "temperature": 0.3
+    },
+    "fast_module": {
+      "base_model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",
+      "task": "quick_response",
+      "max_tokens": 512,
+      "temperature": 0.8
     }
   },
-  "torch_dtype": "float16",
-  "transformers_version": "4.41.0"
+  "router_config": {
+    "confidence_threshold": 0.6,
+    "max_concurrent_requests": 4,
+    "timeout": 30,
+    "fallback_model": "fast_module"
+  },
+  "training": {
+    "supports_fine_tuning": true,
+    "fine_tuning_method": "LoRA",
+    "training_script": "training/fine_tune.py"
+  }
 }

run.py

@@ -0,0 +1,90 @@
+"""
+CRANE AI - Basit Çalıştırma Scripti
+"""
+
+import asyncio
+import sys
+import logging
+from pathlib import Path
+
+# Proje kök dizinini Python path'ine ekle
+project_root = Path(__file__).parent
+sys.path.insert(0, str(project_root))
+
+# Logging ayarları
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+async def run_crane_ai():
+    """CRANE AI sistemini çalıştırır"""
+    try:
+        logger.info("🚀 CRANE AI Başlatılıyor...")
+        
+        # Ana sistemi import et
+        from main import crane_system
+        
+        # Sistemi başlat
+        await crane_system.initialize()
+        
+        # Interaktif mod
+        logger.info("💬 Interaktif mod başlatıldı. 'quit' yazarak çıkabilirsiniz.")
+        
+        while True:
+            try:
+                # Kullanıcı girdisini al
+                user_input = input("\n🤖 Siz: ")
+                
+                # Çıkış kontrolü
+                if user_input.lower() in ['quit', 'exit', 'çıkış', 'q']:
+                    break
+                
+                # Boş girdi kontrolü
+                if not user_input.strip():
+                    continue
+                
+                # Sorguyu işle
+                result = await crane_system.process_query(user_input)
+                
+                # Sonucu göster
+                if "error" in result:
+                    print(f"❌ Hata: {result['error']}")
+                else:
+                    print(f"🤖 CRANE AI: {result['response']}")
+                    
+                    # Sistem bilgilerini göster
+                    module_used = result.get('module_used', 'unknown')
+                    confidence = result.get('confidence', 0.0)
+                    exec_time = result.get('execution_time', 0.0)
+                    
+                    print(f"   📊 Modül: {module_used} | Güven: {confidence:.2f} | Süre: {exec_time:.2f}s")
+                
+            except KeyboardInterrupt:
+                break
+            except Exception as e:
+                logger.error(f"İşlem hatası: {str(e)}")
+                print(f"❌ Bir hata oluştu: {str(e)}")
+        
+        # Sistemi kapat
+        await crane_system.shutdown()
+        logger.info("👋 CRANE AI Kapatıldı")
+        
+    except Exception as e:
+        logger.error(f"Sistem hatası: {str(e)}")
+        print(f"❌ Sistem başlatma hatası: {str(e)}")
+        sys.exit(1)
+
+def main():
+    """Ana fonksiyon"""
+    try:
+        asyncio.run(run_crane_ai())
+    except KeyboardInterrupt:
+        logger.info("👋 Program kullanıcı tarafından sonlandırıldı")
+    except Exception as e:
+        logger.error(f"Beklenmeyen hata: {str(e)}")
+        sys.exit(1)
+
+if __name__ == "__main__":
+    main() 

setup.py

@@ -1,186 +1,45 @@
+#!/usr/bin/env python3
 """
-CRANE AI - Kurulum Scripti
+CRANE AI Setup
 """
 
-import asyncio
-import logging
-import os
-import sys
-from pathlib import Path
+from setuptools import setup, find_packages
 
-# Logging ayarları
-logging.basicConfig(
-    level=logging.INFO,
-    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+setup(
+    name="crane-ai",
+    version="1.0.0",
+    description="CRANE AI Hibrit Yapay Zeka Sistemi",
+    long_description=open("README.md", encoding="utf-8").read(),
+    long_description_content_type="text/markdown",
+    author="Veteroner",
+    author_email="veteroner@example.com",
+    url="https://huggingface.co/veteroner/Novaai",
+    packages=find_packages(),
+    install_requires=[
+        "torch>=2.0.0",
+        "transformers==4.41.0", 
+        "accelerate>=0.28.0",
+        "fastapi==0.111.0",
+        "uvicorn==0.29.0",
+        "gradio==4.29.0",
+        "huggingface_hub>=0.20.0",
+        "peft==0.10.0",
+        "numpy>=1.24.0",
+    ],
+    python_requires=">=3.8",
+    classifiers=[
+        "Development Status :: 4 - Beta",
+        "Intended Audience :: Developers",
+        "License :: OSI Approved :: MIT License",
+        "Programming Language :: Python :: 3",
+        "Programming Language :: Python :: 3.8",
+        "Programming Language :: Python :: 3.9",
+        "Programming Language :: Python :: 3.10",
+        "Topic :: Scientific/Engineering :: Artificial Intelligence",
+    ],
+    entry_points={
+        "console_scripts": [
+            "crane-ai=main:main",
+        ],
+    },
 )
-logger = logging.getLogger(__name__)
-
-class CRANESetup:
-    """CRANE AI kurulum sınıfı"""
-    
-    def __init__(self):
-        self.project_root = Path(__file__).parent
-        self.required_dirs = [
-            "logs",
-            "models",
-            "cache",
-            "data",
-            "exports"
-        ]
-        
-    async def setup_system(self):
-        """Sistemi kurar"""
-        try:
-            logger.info("🏗️  CRANE AI Kurulumu Başlatılıyor...")
-            
-            # Dizinleri oluştur
-            await self._create_directories()
-            
-            # Paketleri kontrol et
-            await self._check_packages()
-            
-            # Hugging Face token'ını kontrol et
-            await self._check_hf_token()
-            
-            # Modelleri hazırla
-            await self._prepare_models()
-            
-            # Test çalıştır
-            await self._run_tests()
-            
-            logger.info("✅ CRANE AI Kurulumu Başarıyla Tamamlandı!")
-            logger.info("🚀 Sistemi başlatmak için: python main.py")
-            
-        except Exception as e:
-            logger.error(f"❌ Kurulum hatası: {str(e)}")
-            sys.exit(1)
-    
-    async def _create_directories(self):
-        """Gerekli dizinleri oluşturur"""
-        logger.info("📁 Dizinler oluşturuluyor...")
-        
-        for dir_name in self.required_dirs:
-            dir_path = self.project_root / dir_name
-            dir_path.mkdir(exist_ok=True)
-            logger.info(f"  ✅ {dir_name}/ oluşturuldu")
-        
-        # __init__.py dosyalarını oluştur
-        init_files = [
-            "core/__init__.py",
-            "router/__init__.py",
-            "memory/__init__.py",
-            "config/__init__.py"
-        ]
-        
-        for init_file in init_files:
-            init_path = self.project_root / init_file
-            init_path.parent.mkdir(exist_ok=True)
-            if not init_path.exists():
-                init_path.write_text('"""Package initialization"""')
-                logger.info(f"  ✅ {init_file} oluşturuldu")
-    
-    async def _check_packages(self):
-        """Gerekli paketleri kontrol eder"""
-        logger.info("📦 Paketler kontrol ediliyor...")
-        
-        required_packages = [
-            "torch",
-            "transformers",
-            "fastapi",
-            "uvicorn",
-            "gradio",
-            "numpy",
-            "requests",
-            "psutil"
-        ]
-        
-        missing_packages = []
-        
-        for package in required_packages:
-            try:
-                __import__(package)
-                logger.info(f"  ✅ {package} mevcut")
-            except ImportError:
-                missing_packages.append(package)
-                logger.warning(f"  ❌ {package} eksik")
-        
-        if missing_packages:
-            logger.error(f"❌ Eksik paketler: {', '.join(missing_packages)}")
-            logger.info("💡 Çözüm: pip install -r requirements.txt")
-            raise Exception("Eksik paketler var")
-    
-    async def _check_hf_token(self):
-        """Hugging Face token'ını kontrol eder"""
-        logger.info("🔑 Hugging Face token kontrol ediliyor...")
-        
-        from config.settings import HF_TOKEN
-        
-        if not HF_TOKEN or HF_TOKEN == "YOUR_TOKEN_HERE":
-            logger.error("❌ Hugging Face token bulunamadı")
-            logger.info("💡 config/settings.py dosyasında HF_TOKEN'ı ayarlayın")
-            raise Exception("Hugging Face token gerekli")
-        
-        # Token'ın geçerli olup olmadığını kontrol et
-        try:
-            from huggingface_hub import HfApi
-            api = HfApi()
-            user_info = api.whoami(token=HF_TOKEN)
-            logger.info(f"  ✅ Token geçerli: {user_info.get('name', 'Unknown')}")
-        except Exception as e:
-            logger.error(f"❌ Token geçersiz: {str(e)}")
-            raise Exception("Hugging Face token geçersiz")
-    
-    async def _prepare_models(self):
-        """Modelleri hazırlar"""
-        logger.info("🤖 Modeller hazırlanıyor...")
-        
-        from config.settings import MODELS, DEVICE
-        
-        # Cihaz bilgisini göster
-        logger.info(f"  🖥️  Cihaz: {DEVICE}")
-        
-        # Model bilgilerini göster
-        for model_name, model_config in MODELS.items():
-            model_id = model_config["model_id"]
-            logger.info(f"  📋 {model_name}: {model_id}")
-            
-            # Model cache'ini kontrol et
-            cache_dir = self.project_root / "cache" / model_name
-            cache_dir.mkdir(exist_ok=True)
-        
-        logger.info("  ✅ Modeller hazırlandı")
-    
-    async def _run_tests(self):
-        """Basit testler çalıştırır"""
-        logger.info("🧪 Testler çalıştırılıyor...")
-        
-        try:
-            # Router testi
-            from router.intelligent_router import IntelligentRouter
-            logger.info("  ✅ Router importu başarılı")
-            
-            # Modül testleri
-            from modules import CodeModule, ChatModule, ReasonModule, FastModule
-            logger.info("  ✅ Modül importları başarılı")
-            
-            # Memory testi
-            from memory.local_memory import LocalMemoryManager
-            logger.info("  ✅ Memory Manager importu başarılı")
-            
-            # Token layer testi
-            from core.token_capsule import TokenCapsuleLayer
-            logger.info("  ✅ Token Capsule Layer importu başarılı")
-            
-            logger.info("  ✅ Tüm testler başarılı")
-            
-        except Exception as e:
-            logger.error(f"❌ Test hatası: {str(e)}")
-            raise Exception("Sistem testleri başarısız")
-
-def main():
-    """Ana kurulum fonksiyonu"""
-    setup = CRANESetup()
-    asyncio.run(setup.setup_system())
-
-if __name__ == "__main__":
-    main()