Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V61.0 - GEM-Architect: Dual-Opportunity Classification)
+# (V61.1 - GEM-Architect: Relaxed Filtering & Dual Classification)
 # ============================================================
 
 import asyncio
@@ -38,13 +38,13 @@ class DataManager:
         self.http_client = None
         self.market_cache = {}
         
-        # القائمة السوداء
+        # القائمة السوداء (نحتفظ بها كما هي لتجنب العملات القمامة فعلياً)
         self.BLACKLIST_TOKENS = [
             'USDT', 'USDC', 'DAI', 'TUSD', 'BUSD', 'FDUSD', 'EUR', 'PAX',
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V61.0] Dual Classification (Safe Bottoms & Momentum) Active.")
+        print(f"📦 [DataManager V61.1] Relaxed Filtering Active.")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -79,14 +79,15 @@ class DataManager:
         self.adaptive_hub_ref = adaptive_hub_ref
         print(f"🔍 [Layer 1] Screening for SAFE BOTTOMS & MOMENTUM LAUNCHES...")
         
-        # 1. فلتر السيولة الأساسي
+        # 1. فلتر السيولة الأساسي (تم تخفيفه في الدالة أدناه)
         initial_candidates = await self._stage0_universe_filter()
         if not initial_candidates:
             print("⚠️ [Layer 1] Stage 0 returned 0 candidates.")
             return []
 
         # 2. جلب البيانات الفنية
-        top_candidates = initial_candidates[:500] 
+        # نأخذ أكبر عدد ممكن بعد التخفيف لزيادة الفرص
+        top_candidates = initial_candidates[:600] 
         enriched_data = await self._fetch_technical_data_batch(top_candidates)
         
         final_list = []
@@ -96,13 +97,12 @@ class DataManager:
             classification = self._classify_opportunity_type(item)
             
             if classification['type'] != 'NONE':
-                # تشخيص حالة السوق العامة (Regime) يبقى كما هو للأمان العام
+                # تشخيص حالة السوق العامة (Regime)
                 regime_info = self._diagnose_asset_regime(item)
                 current_regime = regime_info['regime']
                 
                 # 🔥 Regime Gating: الحماية من المصائد
                 # إذا السوق عرضي (RANGE) أو ميت (DEAD)، نمنع صفقات الزخم (MOMENTUM) لأنها غالباً مصائد
-                # لكن نسمح بصفقات القيعان (SAFE_BOTTOM) لأنها آمنة في التذبذب
                 if current_regime in ['RANGE', 'DEAD'] and classification['type'] == 'MOMENTUM_LAUNCH':
                     continue 
 
@@ -127,23 +127,20 @@ class DataManager:
         # 4. الترتيب النهائي
         final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
         
-        selection = final_list[:50]
+        # نمرر عدد أكبر للمعالجات اللاحقة
+        selection = final_list[:60]
         print(f"✅ [Layer 1] Passed {len(selection)} candidates (Types: Bottom/Launch).")
         return selection
 
     # ==================================================================
-    # ⚖️ The Dual-Classifier Logic
+    # ⚖️ The Dual-Classifier Logic (RELAXED CONDITIONS)
     # ==================================================================
     def _classify_opportunity_type(self, data: Dict[str, Any]) -> Dict[str, Any]:
         """
-        تقسيم العملات إلى نوعين:
-        1. SAFE_BOTTOM: عملات في القاع (آمنة من الهبوط الحاد).
-        2. MOMENTUM_LAUNCH: عملات تجهز للانفجار (نسبة 90%).
+        تم تخفيف الشروط لزيادة الحساسية (Sensitivity) وتقليل الرفض الخاطئ (False Negatives).
         """
         try:
             df_1h = self._calc_indicators(data['ohlcv_1h_raw'])
-            # يمكن استخدام فريم 15 دقيقة للتأكيد الإضافي مستقبلاً
-            # df_15m = self._calc_indicators(data['ohlcv_15m_raw']) 
             curr = df_1h.iloc[-1]
         except: return {'type': 'NONE', 'score': 0}
 
@@ -157,44 +154,41 @@ class DataManager:
         lower_bb = curr['lower_bb'] if 'lower_bb' in curr else (curr['ema20'] - (2*curr['atr']))
         upper_bb = curr['upper_bb'] if 'upper_bb' in curr else (curr['ema20'] + (2*curr['atr']))
         
-        # 🛡️ TYPE 1: SAFE_BOTTOM (The Safety Net)
-        # الشروط: RSI منخفض جداً، السعر عند أو تحت الحد السفلي، بعيد عن المتوسطات
-        # هذا النوع آمن لأن الهبوط الإضافي صعب إحصائياً (Mean Reversion)
-        if rsi < 35:
-            # التأكد من الابتعاد عن المتوسط (Oversold Extension)
+        # ���️ TYPE 1: SAFE_BOTTOM (Relaxed)
+        # القديم: RSI < 35. الجديد: RSI < 42 (القيعان في الترند الصاعد لا تصل لـ 30 غالباً)
+        if rsi < 42:
+            # التأكد من الابتعاد عن المتوسط
             dist_from_ema = (ema50 - close) / ema50
             
-            # السعر عند الدعم السفلي أو تحته بقليل
-            if close <= lower_bb * 1.015 and dist_from_ema > 0.03:
-                # Score: كلما كان RSI أقل، كلما كان الارتداد أقوى
+            # السماح بمسافة أكبر قليلاً عن الخط السفلي (3% بدلاً من 1.5%)
+            if close <= lower_bb * 1.03 and dist_from_ema > 0.02:
+                # Score adjustment
                 score = (50 - rsi) / 20.0 
                 return {'type': 'SAFE_BOTTOM', 'score': min(score, 1.0)}
 
-        # 🚀 TYPE 2: MOMENTUM_LAUNCH (The Rocket)
-        # الشروط: RSI صحي وقوي (فوق 55 وتحت 75)، السعر فوق المتوسطات، ضغط سعري (Squeeze)
-        # هذا النوع يجهز للانفجار للأعلى
-        elif 55 < rsi < 75:
+        # 🚀 TYPE 2: MOMENTUM_LAUNCH (Relaxed)
+        # القديم: 55-75. الجديد: 50-80 (للسماح بدخول مبكر أو متأخر قليلاً)
+        elif 50 < rsi < 80:
             if close > ema50 and close > ema200:
-                # السعر يضغط قرب الحد العلوي (Squeeze before breakout)
+                # السعر يضغط قرب الحد العلوي
                 dist_to_upper = (upper_bb - close) / close
                 
-                # قريب جداً من الانفجار (أقل من 3% للحد العلوي)
-                if dist_to_upper < 0.03: 
+                # توسيع مجال الـ Squeeze المسموح به إلى 6% بدلاً من 3%
+                if dist_to_upper < 0.06: 
                     score = rsi / 100.0
                     return {'type': 'MOMENTUM_LAUNCH', 'score': score}
 
         return {'type': 'NONE', 'score': 0}
 
     # ==================================================================
-    # 🔍 Stage 0: Universe Filter (Robust USD Calc)
+    # 🔍 Stage 0: Universe Filter (RELAXED USD CALC)
     # ==================================================================
     async def _stage0_universe_filter(self) -> List[Dict[str, Any]]:
         try:
-            print("   🛡️ [Stage 0] Fetching Tickers...")
+            print("   🛡️ [Stage 0] Fetching Tickers (Relaxed Mode)...")
             tickers = await self.exchange.fetch_tickers()
             candidates = []
             
-            # القائمة السيادية (تمر دائماً)
             SOVEREIGN_COINS = ['BTC/USDT', 'ETH/USDT', 'SOL/USDT', 'BNB/USDT', 'XRP/USDT']
             
             reject_stats = {"volume": 0, "change": 0, "blacklist": 0}
@@ -207,25 +201,25 @@ class DataManager:
                     reject_stats["blacklist"] += 1
                     continue
                 
-                # حساب الحجم يدوياً لضمان الدقة
+                # حساب الحجم
                 base_vol = float(ticker.get('baseVolume') or 0.0)
                 last_price = float(ticker.get('last') or 0.0)
                 calc_quote_vol = base_vol * last_price
                 
                 is_sovereign = symbol in SOVEREIGN_COINS
                 
-                # فلتر السيولة (500k) - نتجاوزه للعملات السيادية
+                # ⬇️ تخفيف فلتر السيولة: من 500k إلى 150k
+                # هذا يسمح باكتشاف الجواهر قبل ارتفاعها الكبير
                 if not is_sovereign:
-                    if calc_quote_vol < 500000: 
+                    if calc_quote_vol < 150000: 
                         reject_stats["volume"] += 1
                         continue
                 
-                # فلتر التغير (20%) - نتجاوزه إذا كنا نبحث عن قيعان (قد تكون هابطة) لكن بحذر
-                # هنا نبقي الفلتر العام للحماية من الانهيارات التامة
+                # ⬇️ تخفيف فلتر التذبذب: من 25% إلى 35%
                 change_pct = ticker.get('percentage')
                 if change_pct is None: change_pct = 0.0
                 
-                if abs(change_pct) > 25.0: 
+                if abs(change_pct) > 35.0: 
                     reject_stats["change"] += 1
                     continue
                 
@@ -275,7 +269,7 @@ class DataManager:
         except Exception: return {'regime': 'RANGE', 'conf': 0.0}
 
     # ------------------------------------------------------------------
-    # Helpers & Indicators (Updated for BB & EMA200)
+    # Helpers & Indicators
     # ------------------------------------------------------------------
     async def _fetch_technical_data_batch(self, candidates):
         chunk_size = 10; results = []
@@ -289,7 +283,7 @@ class DataManager:
 
     async def _fetch_single(self, c):
         try:
-            h1 = await self.exchange.fetch_ohlcv(c['symbol'], '1h', limit=210) # زاد العدد لحساب EMA200 بدقة
+            h1 = await self.exchange.fetch_ohlcv(c['symbol'], '1h', limit=210) 
             m15 = await self.exchange.fetch_ohlcv(c['symbol'], '15m', limit=60)
             if not h1 or not m15: return None
             c['ohlcv'] = {'1h': h1, '15m': m15} 
@@ -309,7 +303,7 @@ class DataManager:
         # EMAs
         df['ema20'] = df['c'].ewm(span=20).mean()
         df['ema50'] = df['c'].ewm(span=50).mean()
-        df['ema200'] = df['c'].ewm(span=200).mean() # مهم لنوع الزخم
+        df['ema200'] = df['c'].ewm(span=200).mean() 
         
         # ATR
         tr = np.maximum(df['h']-df['l'], np.maximum(abs(df['h']-df['c'].shift()), abs(df['l']-df['c'].shift())))