Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V60.2 - GEM-Architect: Robust Data Fix & Tuned Shield)
+# (V60.3 - GEM-Architect: Critical Data Fix & Full Integration)
 # ============================================================
 
 import asyncio
@@ -12,7 +12,7 @@ import pandas as pd
 import numpy as np
 from typing import List, Dict, Any
 
-# محاولة استيراد حدود النظام (اختياري)
+# محاولة استيراد حدود النظام (اختياري للربط مع باقي النظام)
 try:
     from ml_engine.processor import SystemLimits
 except ImportError:
@@ -29,6 +29,7 @@ class DataManager:
         self.r2_service = r2_service
         self.adaptive_hub_ref = None  # مرجع لملف التعلم
         
+        # إعداد منصة KuCoin
         self.exchange = ccxt.kucoin({
             'enableRateLimit': True,
             'timeout': 60000, 
@@ -38,13 +39,13 @@ class DataManager:
         self.http_client = None
         self.market_cache = {}
         
-        # قائمة العملات المحظورة
+        # قائمة العملات المحظورة (Stablecoins + Leveraged Tokens)
         self.BLACKLIST_TOKENS = [
             'USDT', 'USDC', 'DAI', 'TUSD', 'BUSD', 'FDUSD', 'EUR', 'PAX',
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V60.2] Robust Data Fix + Tuned Shield Active.")
+        print(f"📦 [DataManager V60.3] Critical Data Fix + Tuned Shield Active.")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -73,17 +74,17 @@ class DataManager:
         return self.contracts_db
 
     # ==================================================================
-    # 🧠 Layer 1: Screening + Diagnosis + Injection
+    # 🧠 Layer 1: Screening + Diagnosis + Injection (The Pipeline)
     # ==================================================================
     async def layer1_rapid_screening(self, adaptive_hub_ref=None) -> List[Dict[str, Any]]:
         self.adaptive_hub_ref = adaptive_hub_ref
         print(f"🔍 [Layer 1] Initiating Robust Screening...")
         
-        # 1. فلتر السيولة الأساسي (المصحح)
+        # 1. فلتر السيولة الأساسي (المصحح جذرياً)
         initial_candidates = await self._stage0_universe_filter()
         
         if not initial_candidates:
-            print("⚠️ [Layer 1] CRITICAL: Stage 0 returned 0 candidates.")
+            print("⚠️ [Layer 1] CRITICAL: Stage 0 returned 0 candidates. Check Connection.")
             return []
 
         # 2. جلب البيانات الفنية (لأفضل 120 عملة لضمان التنوع)
@@ -93,16 +94,16 @@ class DataManager:
         final_list = []
 
         for item in enriched_data:
-            # 3. تطبيق الفلتر الفني (Tuned Anti-FOMO)
+            # 3. تطبيق الفلتر الفني الصارم (Tuned Anti-FOMO)
             classification = self._apply_strict_logic_tree(item)
             
             if classification['type'] != 'NONE':
-                # 4. التشخيص والحقن
+                # 4. التشخيص والحقن (Context Injection)
                 regime_info = self._diagnose_asset_regime(item)
                 item['asset_regime'] = regime_info['regime']
                 item['asset_regime_conf'] = regime_info['conf']
                 
-                # حقن العتبات الديناميكية
+                # حقن العتبات الديناميكية من ملف التعلم
                 if self.adaptive_hub_ref:
                     dynamic_config = self.adaptive_hub_ref.get_regime_config(regime_info['regime'])
                     item['dynamic_limits'] = dynamic_config
@@ -119,7 +120,7 @@ class DataManager:
         return selection
 
     # ==================================================================
-    # 🔍 Stage 0: Universe Filter (Debugged & Robust)
+    # 🔍 Stage 0: Universe Filter (FIXED: Force USD Calculation)
     # ==================================================================
     async def _stage0_universe_filter(self) -> List[Dict[str, Any]]:
         try:
@@ -127,8 +128,8 @@ class DataManager:
             tickers = await self.exchange.fetch_tickers()
             candidates = []
             
-            # عداد لمعرفة سبب الرفض (للتشخيص)
-            reject_stats = {"volume": 0, "change": 0, "blacklist": 0, "bad_data": 0}
+            # إحصائيات الرفض للتشخيص
+            reject_stats = {"volume": 0, "change": 0, "blacklist": 0}
             debug_printed = False
 
             for symbol, ticker in tickers.items():
@@ -140,31 +141,25 @@ class DataManager:
                     reject_stats["blacklist"] += 1
                     continue
                 
-                # 2. Robust Volume Calculation (الإصلاح الجذري)
-                quote_vol = ticker.get('quoteVolume')
+                # 2. 🔥 FORCE CALCULATED VOLUME (USD) - الإصلاح الجذري
+                # نتجاهل quoteVolume القادم من المنصة إذا كان مشكوكاً فيه
+                base_vol = float(ticker.get('baseVolume') or 0.0)
+                last_price = float(ticker.get('last') or 0.0)
                 
-                # إذا كان غير موجود أو صفر، نحسبه يدوياً
-                if quote_vol is None or float(quote_vol) == 0:
-                    base_vol = ticker.get('baseVolume')
-                    last_price = ticker.get('last')
-                    if base_vol is not None and last_price is not None:
-                        quote_vol = float(base_vol) * float(last_price)
-                    else:
-                        quote_vol = 0.0
+                # الحساب اليدوي: الحجم * السعر = السيولة بالدولار
+                calc_quote_vol = base_vol * last_price
                 
-                quote_vol = float(quote_vol)
-
-                # طباعة فحص لعملة معروفة (BTC) للتأكد من صحة البيانات في السجل
+                # طباعة فحص BTC للتأكد من الإصلاح (مرة واحدة)
                 if "BTC/USDT" in symbol and not debug_printed:
-                    print(f"   🐛 [DEBUG] BTC Data Check: Vol=${quote_vol:,.2f} | Change={ticker.get('percentage')}%")
+                    print(f"   🐛 [DEBUG] BTC Fixed Vol: ${calc_quote_vol:,.0f} (Verified USD)")
                     debug_printed = True
 
                 # فلتر السيولة (500k)
-                if quote_vol < 500_000: 
+                if calc_quote_vol < 500_000: 
                     reject_stats["volume"] += 1
                     continue
                 
-                # فلتر التغير (20%)
+                # فلتر التغير (20%) - مسموح للحركة القوية
                 change_pct = ticker.get('percentage')
                 if change_pct is None: change_pct = 0.0
                 
@@ -174,13 +169,12 @@ class DataManager:
                 
                 candidates.append({
                     'symbol': symbol,
-                    'quote_volume': quote_vol,
-                    'current_price': ticker.get('last'),
+                    'quote_volume': calc_quote_vol, # نستخدم القيمة المحسوبة
+                    'current_price': last_price,
                     'change_24h': change_pct
                 })
             
-            # طباعة تقرير الرفض
-            print(f"   📊 [Filter Stats] Total Tickers: {len(tickers)} | Passed: {len(candidates)}")
+            print(f"   📊 [Filter Stats] Total: {len(tickers)} | Passed: {len(candidates)}")
             print(f"      ❌ Rejected: Vol < 500k ({reject_stats['volume']}) | Change > 20% ({reject_stats['change']})")
 
             candidates.sort(key=lambda x: x['quote_volume'], reverse=True)
@@ -192,7 +186,7 @@ class DataManager:
             return []
 
     # ------------------------------------------------------------------
-    # 🧭 The Diagnoser
+    # 🧭 The Diagnoser (يحدد حالة العملة لحقن العتبات)
     # ------------------------------------------------------------------
     def _diagnose_asset_regime(self, item: Dict[str, Any]) -> Dict[str, Any]:
         try:
@@ -210,6 +204,7 @@ class DataManager:
             conf = 0.5
             
             if atr_pct < 0.5: return {'regime': 'DEAD', 'conf': 0.9}
+            
             if price > ema20 and ema20 > ema50 and rsi > 50:
                 regime = "BULL"
                 conf = 0.8 if rsi > 55 else 0.6
@@ -221,7 +216,7 @@ class DataManager:
         except Exception: return {'regime': 'RANGE', 'conf': 0.0}
 
     # ------------------------------------------------------------------
-    # 🛡️ The Logic Tree (TUNED)
+    # 🛡️ The Logic Tree (TUNED Anti-FOMO)
     # ------------------------------------------------------------------
     def _apply_strict_logic_tree(self, data: Dict[str, Any]) -> Dict[str, Any]:
         try:
@@ -238,11 +233,11 @@ class DataManager:
             change_4h = ((curr_1h['close'] - close_4h_ago) / close_4h_ago) * 100
         except: change_4h = 0.0
 
-        # 🔧 TUNED GATES (فتحات التنفس)
+        # 🔧 TUNED GATES (بوابات الأمان المخففة)
         # 1. السماح بحركة 12% في 4 ساعات
         if change_4h > 12.0: return {'type': 'NONE', 'score': 0}
         
-        # 2. السماح بـ RSI حتى 75
+        # 2. السماح بـ RSI حتى 75 (منطقة الزخم القوي)
         if curr_1h['rsi'] > 75: return {'type': 'NONE', 'score': 0} 
         
         # 3. السماح بانحراف 2.2 ATR
@@ -253,10 +248,12 @@ class DataManager:
         
         # A. Breakout (اختراق آمن)
         is_bullish = (curr_1h['ema20'] > curr_1h['ema50']) or (curr_1h['close'] > curr_1h['ema20'])
+        
+        # وسعنا النطاق قليلاً ليقبل الزخم القوي
         if is_bullish and (45 <= curr_1h['rsi'] <= 75): 
             vol_ma = df_15m['volume'].rolling(20).mean().iloc[-1]
             
-            # 🔧 TUNED: 1.2x Volume
+            # خفضنا شرط الفوليوم لـ 1.2 لالتقاط البدايات
             if curr_15m['volume'] >= 1.2 * vol_ma: 
                 score = curr_15m['volume'] / vol_ma if vol_ma > 0 else 1.0
                 return {'type': 'BREAKOUT', 'score': score}