Update scraper.py

scraper.py

@@ -1,17 +1,18 @@
 from selenium import webdriver
-from selenium.webdriver.chrome.service import Service
-from webdriver_manager.chrome import ChromeDriverManager
-from selenium.webdriver.chrome.options import Options
+from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 import zipfile
 import os
 
 def scrape_pages(base_url, start_page, end_page):
-    chrome_options = Options()
-    chrome_options.add_argument("--headless")
-    chrome_options.add_argument("--no-sandbox")
-    chrome_options.add_argument("--disable-dev-shm-usage")
+    options = webdriver.ChromeOptions()
+    options.add_argument('--headless')
+    options.add_argument('--no-sandbox')
+    options.add_argument('--disable-dev-shm-usage')
 
-    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)
+    driver = webdriver.Remote(
+        command_executor='http://localhost:4444/wd/hub',
+        options=options
+    )
 
     if not os.path.exists('pages'):
         os.makedirs('pages')
@@ -38,9 +39,6 @@ def scrape_pages(base_url, start_page, end_page):
 if __name__ == "__main__":
     base_url = "https://shahvani.com/dastans"
     start_page = 1
-    end_page = 10  # این عدد را می‌توانید به تابع بدهید یا از کاربر بگیرید
-
-    # مثال: اگر می‌خواهید تعداد صفحات را به صورت پویا مشخص کنید
-    # end_page = get_last_page_number()  # تابعی که تعداد صفحات را برمی‌گرداند
+    end_page = 10  # برای تست، عدد کمتری انتخاب کنید
 
     scrape_pages(base_url, start_page, end_page)