Update parser/extract_tables_by_article.py

parser/extract_tables_by_article.py

@@ -9,7 +9,7 @@ from parser.table_extractorgo import tables_from_soup, table_to_struct
 async def extract_tables_from_url(url: str, timeout: int = 10) -> Dict[str, Any]:
     """
     جلب صفحة HTML من URL، استخراج الجداول المرتبطة بالمواد،
-    وإرجاعها كـ JSON بعد تجاهل الجداول الفارغة أو غير الصالحة.
+    وإرجاعها كـ JSON بعد تجاهل الجداول الفارغة أو غير القانونية.
     """
     result: List[Dict[str, Any]] = []
 
@@ -20,20 +20,26 @@ async def extract_tables_from_url(url: str, timeout: int = 10) -> Dict[str, Any]
 
     # تحليل HTML
     soup = BeautifulSoup(html_content, "html.parser")
-
-    # استخراج جميع الجداول
     tables = tables_from_soup(soup)
 
     for table in tables:
         struct = table_to_struct(table)
 
-        # تجاهل الجداول الفارغة أو الأعمدة/الصفوف الخالية
-        if not struct["headers"]:
+        # ===== فلترة الجداول الفارغة أو غير المهمة =====
+        if not struct["headers"] or all(h.strip() == "" for h in struct["headers"]):
             continue
+
         if not struct["rows"]:
             continue
-        if all(all(cell is None or cell.strip() == "" for cell in row) for row in struct["rows"]):
+
+        all_rows_empty = True
+        for row in struct["rows"]:
+            if any(cell and len(cell.strip()) > 5 for cell in row):
+                all_rows_empty = False
+                break
+        if all_rows_empty:
             continue
+        # ==============================================
 
         # البحث عن المادة الأقرب قبل الجدول
         prev = table.find_previous(string=True)