Update ml_engine/sniper_engine.py

ml_engine/sniper_engine.py

@@ -1,5 +1,6 @@
 # ============================================================
-# 🎯 ml_engine/sniper_engine.py (V1.2 - Sniper + Order Book Logic)
+# 🎯 ml_engine/sniper_engine.py (V1.3 - GEM-Architect Edition)
+# Full Logic Restored + Order Book Integration
 # ============================================================
 
 import os
@@ -13,56 +14,152 @@ import asyncio
 import traceback
 from typing import List, Dict, Any
 
-# --- الإعدادات الافتراضية ---
-DEFAULT_SNIPER_THRESHOLD = 0.60
-ORDER_BOOK_DEPTH = 20  # عدد المستويات التي سنحللها في الدفتر
-IMBALANCE_THRESHOLD = 0.55  # يجب أن تكون كفة الشراء > 55%
+# --- [ 💡 إعدادات القناص ] ---
+DEFAULT_SNIPER_THRESHOLD = 0.60 
+
+# إعدادات دفتر الطلبات (Order Book Config)
+ORDER_BOOK_DEPTH = 20       # عمق المستويات المحللة
+IMBALANCE_THRESHOLD = 0.55  # عتبة سيطرة المشترين المطلوبة
+
+N_SPLITS = 5
+LOOKBACK_WINDOW = 500 # الحد الأدنى للشموع المطلوبة لحساب الميزات
 
 # ============================================================
-# 🔧 دوال الميزات (كما هي سابقاً - مختصرة هنا)
+# 🔧 1. دوال هندسة الميزات (Feature Engineering - FULL)
 # ============================================================
+
 def _z_score_rolling(x, w=500): 
+    """حساب Z-Score المتدحرج (آمن من القسمة على صفر)"""
     r = x.rolling(w).mean()
     s = x.rolling(w).std().replace(0, np.nan)
-    return ((x - r) / s).fillna(0)
+    z = (x - r) / s
+    return z.fillna(0)
 
 def _add_liquidity_proxies(df):
-    # (نفس دالة حساب الميزات السابقة تماماً)
+    """
+    إضافة بدائل السيولة وتدفق الطلب المتقدمة (استعادة كاملة).
+    """
     df_proxy = df.copy()
-    # ... (بقية الكود الخاص بالميزات يبقى كما هو لضمان عمل النموذج)
-    # سأختصر هنا لعدم التكرار، لكن افترض أن الكود الكامل للميزات موجود
+    if 'datetime' not in df_proxy.index:
+        if 'timestamp' in df_proxy.columns:
+            df_proxy['datetime'] = pd.to_datetime(df_proxy['timestamp'], unit='ms')
+            df_proxy = df_proxy.set_index('datetime')
+        else:
+            # في حال عدم وجود توقيت، نستخدم الفهرس الافتراضي
+            pass
+            
     df_proxy['ret'] = df_proxy['close'].pct_change().fillna(0)
     df_proxy['dollar_vol'] = df_proxy['close'] * df_proxy['volume']
+    
+    # Amihud Illiquidity Ratio
     df_proxy['amihud'] = (df_proxy['ret'].abs() / df_proxy['dollar_vol'].replace(0, np.nan)).fillna(np.inf)
+    
+    # Roll Spread (Roll's Measure)
+    dp = df_proxy['close'].diff()
+    roll_cov = dp.rolling(64).cov(dp.shift(1))
+    df_proxy['roll_spread'] = (2 * np.sqrt(np.maximum(0, -roll_cov))).bfill()
+
+    # Order Flow Imbalance (OFI) Proxy
+    sign = np.sign(df_proxy['close'].diff()).fillna(0)
+    df_proxy['signed_vol'] = sign * df_proxy['volume']
+    df_proxy['ofi'] = df_proxy['signed_vol'].rolling(30).sum().fillna(0)
+
+    # VPIN (Volume-Synchronized Probability of Informed Trading) Proxy
+    buy_vol = (sign > 0) * df_proxy['volume']
+    sell_vol = (sign < 0) * df_proxy['volume']
+    imb = (buy_vol.rolling(60).sum() - sell_vol.rolling(60).sum()).abs()
+    tot = df_proxy['volume'].rolling(60).sum()
+    df_proxy['vpin'] = (imb / tot.replace(0, np.nan)).fillna(0)
+
+    # Garman-Klass Volatility
+    df_proxy['rv_gk'] = (np.log(df_proxy['high'] / df_proxy['low'])**2) / 2 - \
+                        (2 * np.log(2) - 1) * (np.log(df_proxy['close'] / df_proxy['open'])**2)
+    
+    # VWAP Deviation
+    vwap_window = 20
+    df_proxy['vwap'] = (df_proxy['close'] * df_proxy['volume']).rolling(vwap_window).sum() / \
+                       df_proxy['volume'].rolling(vwap_window).sum()
+    df_proxy['vwap_dev'] = (df_proxy['close'] - df_proxy['vwap']).fillna(0)
+
+    # Composite Liquidity Score (L-Score)
+    df_proxy['L_score'] = (
+        _z_score_rolling(df_proxy['volume']) +
+        _z_score_rolling(1 / df_proxy['amihud'].replace(np.inf, np.nan)) + 
+        _z_score_rolling(-df_proxy['roll_spread']) + 
+        _z_score_rolling(-df_proxy['rv_gk'].abs()) + 
+        _z_score_rolling(-df_proxy['vwap_dev'].abs()) + 
+        _z_score_rolling(df_proxy['ofi']) 
+    )
+    
     return df_proxy
 
 def _add_standard_features(df):
-    # (نفس الدالة السابقة)
+    """إضافة الميزات القياسية (عوائد، زخم، حجم)"""
     df_feat = df.copy()
+    
     df_feat['return_1m'] = df_feat['close'].pct_change(1)
     df_feat['return_3m'] = df_feat['close'].pct_change(3)
     df_feat['return_5m'] = df_feat['close'].pct_change(5)
     df_feat['return_15m'] = df_feat['close'].pct_change(15)
+
     df_feat['rsi_14'] = ta.rsi(df_feat['close'], length=14)
-    # ... بقية الميزات
+    
+    ema_9 = ta.ema(df_feat['close'], length=9)
+    ema_21 = ta.ema(df_feat['close'], length=21)
+    
+    # حماية من القيم الفارغة في البداية
+    if ema_9 is not None:
+        df_feat['ema_9_slope'] = (ema_9 - ema_9.shift(1)) / ema_9.shift(1)
+    else:
+        df_feat['ema_9_slope'] = 0
+        
+    if ema_21 is not None:
+        df_feat['ema_21_dist'] = (df_feat['close'] - ema_21) / ema_21 
+    else:
+        df_feat['ema_21_dist'] = 0
+    
+    df_feat['atr'] = ta.atr(df_feat['high'], df_feat['low'], df_feat['close'], length=100)
+    df_feat['vol_zscore_50'] = _z_score_rolling(df_feat['volume'], w=50) 
+    
+    df_feat['candle_range'] = df_feat['high'] - df_feat['low']
+    df_feat['close_pos_in_range'] = (df_feat['close'] - df_feat['low']) / (df_feat['candle_range'].replace(0, np.nan))
+    
     return df_feat
 
+# ============================================================
+# 🎯 2. كلاس المحرك الرئيسي (SniperEngine V1.3)
+# ============================================================
+
 class SniperEngine:
+    
     def __init__(self, models_dir: str):
+        """
+        تهيئة محرك قناص الدخول (L4 Sniper) مع منطق دفتر الطلبات.
+        Args:
+            models_dir: المسار المباشر للمجلد (e.g., "ml_models/guard_v2")
+        """
         self.models_dir = models_dir 
         self.models: List[lgb.Booster] = []
         self.feature_names: List[str] = []
+        
         self.threshold = DEFAULT_SNIPER_THRESHOLD
         self.initialized = False
-        self.LOOKBACK_WINDOW = 500 
-        print("🎯 [SniperEngine V1.2] Created with Order Book Logic.")
+        
+        self.LOOKBACK_WINDOW = LOOKBACK_WINDOW
+        
+        print("🎯 [SniperEngine V1.3] Created (Full Math + Order Book Logic).")
 
     async def initialize(self):
+        """
+        تحميل النماذج الخمسة (Ensemble) وقائمة الميزات.
+        """
         print(f"🎯 [SniperEngine] Loading models from {self.models_dir}...")
         try:
+            # البحث عن ملفات النماذج
             model_files = [f for f in os.listdir(self.models_dir) if f.startswith('lgbm_guard_v3_fold_')]
-            if len(model_files) < 5:
-                print(f"❌ [SniperEngine] Error: Models missing in {self.models_dir}")
+            
+            if len(model_files) < N_SPLITS:
+                print(f"❌ [SniperEngine] Error: Found {len(model_files)} models, need {N_SPLITS}.")
                 return
 
             for f in sorted(model_files):
@@ -71,16 +168,36 @@ class SniperEngine:
             
             self.feature_names = self.models[0].feature_name()
             self.initialized = True
-            print(f"✅ [SniperEngine] Ready. Threshold: {self.threshold}")
+            print(f"✅ [SniperEngine] Loaded {len(self.models)} models. Threshold: {self.threshold * 100:.1f}%")
+
         except Exception as e:
             print(f"❌ [SniperEngine] Init failed: {e}")
+            traceback.print_exc()
             self.initialized = False
 
     def set_entry_threshold(self, new_threshold: float):
-        self.threshold = new_threshold
+        """تحديث العتبة أثناء التشغيل"""
+        if 0.30 <= new_threshold <= 0.90:
+            print(f"🎯 [SniperEngine] Threshold updated: {self.threshold} -> {new_threshold}")
+            self.threshold = new_threshold
+        else:
+            print(f"⚠️ [SniperEngine] Invalid threshold: {new_threshold}")
+
+    def _calculate_features_live(self, df_1m: pd.DataFrame) -> pd.DataFrame:
+        """
+        تطبيق خط أنابيب الميزات الكامل (القياسي + المتقدم).
+        """
+        try:
+            df_with_std_feats = _add_standard_features(df_1m)
+            df_with_all_feats = _add_liquidity_proxies(df_with_std_feats)
+            df_final = df_with_all_feats.replace([np.inf, -np.inf], np.nan)
+            return df_final
+        except Exception as e:
+            print(f"❌ [SniperEngine] Feature calc error: {e}")
+            return pd.DataFrame() 
 
     # ==============================================================================
-    # 📊 1. منطق تحليل دفتر الطلبات (The New Logic)
+    # 📊 3. منطق تحليل دفتر الطلبات (Order Book Logic)
     # ==============================================================================
     def _analyze_order_book(self, order_book: Dict[str, Any]) -> Dict[str, Any]:
         """
@@ -91,32 +208,33 @@ class SniperEngine:
             asks = order_book.get('asks', []) # طلبات البيع [price, size]
             
             if not bids or not asks:
-                return {'approved': False, 'reason': 'Empty Order Book'}
+                return {'approved': False, 'reason': 'Empty OB', 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
 
-            # نأخذ فقط أقرب 20 مستوى (العمق المؤثر لحظياً)
+            # نأخذ فقط العمق المؤثر لحظي��ً
             depth = ORDER_BOOK_DEPTH
             top_bids = bids[:depth]
             top_asks = asks[:depth]
 
-            # 1. حساب إجمالي السيولة (Total Liquidity)
+            # 1. حساب إجمالي السيولة
             total_bid_vol = sum([float(x[1]) for x in top_bids])
             total_ask_vol = sum([float(x[1]) for x in top_asks])
             total_vol = total_bid_vol + total_ask_vol
             
-            if total_vol == 0: return {'approved': False, 'reason': 'Zero Liquidity'}
+            if total_vol == 0: 
+                return {'approved': False, 'reason': 'Zero Liquidity', 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
 
             # 2. نسبة ضغط الشراء (Bid Imbalance)
-            # إذا كانت > 0.5 تعني المشترين أقوى
+            # النسبة المئوية للسيولة التي تمثل طلبات شراء
             bid_imbalance = total_bid_vol / total_vol 
 
             # 3. فحص جدران الحيتان (Whale Walls)
-            # هل هناك طلب بيع واحد يمثل أكثر من 30% من مجموع العرض؟ هذا جدار مخيف.
-            max_ask_wall = max([float(x[1]) for x in top_asks])
-            ask_wall_ratio = max_ask_wall / total_ask_vol
+            # هل هناك طلب بيع واحد يمثل أكثر من 40% من مجموع العرض القريب؟
+            max_ask_wall = max([float(x[1]) for x in top_asks]) if top_asks else 0
+            ask_wall_ratio = max_ask_wall / total_ask_vol if total_ask_vol > 0 else 0
             
             # القرار المنطقي:
-            # - يجب أن يكون ضغط الشراء > 0.55 (أو حسب الإعداد)
-            # - يجب ألا يوجد جدار بيع ضخم يسد الطريق (> 0.40 مثلاً)
+            # - يجب أن يكون ضغط الشراء جيداً (>= IMBALANCE_THRESHOLD)
+            # - يجب ألا يوجد جدار بيع ضخم يسد الطريق (< 0.40)
             
             is_bullish_book = (bid_imbalance >= IMBALANCE_THRESHOLD)
             no_huge_wall = (ask_wall_ratio < 0.40)
@@ -125,72 +243,95 @@ class SniperEngine:
             reason = f"Imbal: {bid_imbalance:.2f}, Wall: {ask_wall_ratio:.2f}"
             
             if not is_bullish_book: reason += " (Weak Bids)"
-            if not no_huge_wall: reason += " (Ask Wall Detected)"
+            if not no_huge_wall: reason += " (Ask Wall)"
 
             return {
                 'approved': (is_bullish_book and no_huge_wall),
-                'bid_imbalance': bid_imbalance,
-                'ask_wall_ratio': ask_wall_ratio,
+                'bid_imbalance': float(bid_imbalance),
+                'ask_wall_ratio': float(ask_wall_ratio),
                 'reason': reason
             }
 
         except Exception as e:
-            return {'approved': False, 'reason': f"OB Error: {e}"}
+            return {'approved': False, 'reason': f"OB Error: {e}", 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
 
     # ==============================================================================
-    # 🎯 2. دالة الفحص الرئيسية (Updated)
+    # 🎯 4. دالة الفحص الرئيسية (Fusion: ML + Order Book)
     # ==============================================================================
-    async def check_entry_signal_async(self, ohlcv_1m_data: List[List], order_book_data: Dict[str, Any]) -> Dict[str, Any]:
+    async def check_entry_signal_async(self, ohlcv_1m_data: List[List], order_book_data: Dict[str, Any] = None) -> Dict[str, Any]:
         """
-        التحقق من الدخول بدمج: ML Model Score + Order Book Reality
+        الدالة الرئيسية: التحقق من إشارة الدخول (ML + OB).
+        Args:
+            ohlcv_1m_data: قائمة الشموع (لتحليل ML).
+            order_book_data: بيانات الدفتر (لتحليل السيولة). إذا كانت None سيتم الاعتماد على ML فقط.
         """
         if not self.initialized:
-            return {'signal': 'WAIT', 'reason': 'Not initialized'}
+            return {'signal': 'WAIT', 'reason': 'Sniper Engine not initialized'}
         
-        # 1. تحليل النموذج (ML Score)
-        # ---------------------------------------------------
+        if len(ohlcv_1m_data) < self.LOOKBACK_WINDOW:
+            return {'signal': 'WAIT', 'reason': f'Insufficient 1m data ({len(ohlcv_1m_data)} < {self.LOOKBACK_WINDOW})'}
+
+        # --- أ. تحليل النموذج (ML Prediction) ---
         try:
             df = pd.DataFrame(ohlcv_1m_data, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume'])
             df[['open', 'high', 'low', 'close', 'volume']] = df[['open', 'high', 'low', 'close', 'volume']].astype(float)
             
-            # (نستخدم دوال الميزات الداخلية هنا)
-            df_feat = _add_standard_features(df)
-            df_feat = _add_liquidity_proxies(df_feat)
-            df_final = df_feat.replace([np.inf, -np.inf], np.nan)
+            df_features = self._calculate_features_live(df)
             
-            if df_final.empty: return {'signal': 'WAIT', 'reason': 'Feat Calc Failed'}
+            if df_features.empty:
+                return {'signal': 'WAIT', 'reason': 'Feature calculation failed'}
 
-            X_live = df_final.iloc[-1:][self.feature_names].fillna(0)
+            latest_features_row = df_features.iloc[-1:]
+            X_live = latest_features_row[self.feature_names].fillna(0)
+            
+            # تجميع التوقعات من النماذج الخمسة
+            all_probs = []
+            for model in self.models:
+                all_probs.append(model.predict(X_live))
             
-            # التنبؤ المجمع (Ensemble)
-            preds = [m.predict(X_live)[0][1] for m in self.models] # بافتراض Binary Class 1
-            ml_confidence = float(np.mean(preds))
+            stacked_probs = np.stack(all_probs)    
+            mean_probs = np.mean(stacked_probs, axis=0) 
             
+            ml_confidence = float(mean_probs[0][1]) # احتمالية الصنف 1 (Buy)
+
         except Exception as e:
-            print(f"❌ [Sniper] ML Error: {e}")
-            return {'signal': 'WAIT', 'reason': f"ML Error: {e}"}
+            print(f"❌ [Sniper] ML Predict Error: {e}")
+            traceback.print_exc()
+            return {'signal': 'WAIT', 'reason': f'ML Exception: {e}'}
 
-        # 2. تحليل دفتر الطلبات (Order Book Reality)
-        # ---------------------------------------------------
-        ob_analysis = self._analyze_order_book(order_book_data)
-        
-        # 3. القرار المدمج (The Fusion Logic)
-        # ---------------------------------------------------
+        # --- ب. تحليل دفتر الطلبات (Order Book Reality) ---
+        ob_analysis = {'approved': True, 'reason': 'No OB Data', 'bid_imbalance': 0.0} # افتراضي في حال عدم توفر البيانات
+        if order_book_data:
+            ob_analysis = self._analyze_order_book(order_book_data)
+
+        # --- ج. منطق الدمج (The Fusion Logic) ---
         
-        # الحالة أ: النموذج قوي جداً (Super Strong) -> نتساهل قليلاً مع الدفتر
+        final_signal = 'WAIT'
+        fusion_reason = ""
+
+        # 1. حالة الثقة القصوى (Override): إذا كان النموذج واثقاً جداً (> 0.85)، نتساهل مع الدفتر
         if ml_confidence >= 0.85:
-            final_signal = 'BUY' if ob_analysis['bid_imbalance'] >= 0.45 else 'WAIT' # فقط نضمن عدم وجود انهيار
-            fusion_reason = f"Strong ML ({ml_confidence:.2f}) override"
+            # فقط نتحقق من عدم وجود انهيار كارثي في الطلبات (< 0.35)
+            if ob_analysis.get('bid_imbalance', 1.0) >= 0.35:
+                final_signal = 'BUY'
+                fusion_reason = f"Strong ML ({ml_confidence:.2f}) override"
+            else:
+                final_signal = 'WAIT'
+                fusion_reason = f"Strong ML blocked by Severe Sell Pressure ({ob_analysis.get('bid_imbalance'):.2f})"
 
-        # الحالة ب: النموذج جيد (Good) -> نطلب تأكيد الدفتر القياسي
+        # 2. حالة الثقة العادية (Standard): نحتاج موافقة الدفتر
         elif ml_confidence >= self.threshold:
-            final_signal = 'BUY' if ob_analysis['approved'] else 'WAIT'
-            fusion_reason = f"ML Pass ({ml_confidence:.2f}) + OB {ob_analysis['reason']}"
-            
-        # الحالة ج: النموذج ضعيف
+            if ob_analysis['approved']:
+                final_signal = 'BUY'
+                fusion_reason = f"ML ({ml_confidence:.2f}) + OB Approved"
+            else:
+                final_signal = 'WAIT'
+                fusion_reason = f"ML Pass but OB Rejected: {ob_analysis['reason']}"
+        
+        # 3. فشل النموذج
         else:
             final_signal = 'WAIT'
-            fusion_reason = f"Low ML ({ml_confidence:.2f})"
+            fusion_reason = f"Low ML Confidence ({ml_confidence:.2f})"
 
         return {
             'signal': final_signal,