maj main scrapeffef

scraper/main.py

@@ -120,15 +120,24 @@ class ScrapDjiScraper:
         if not self.buffer: return
         logger.info(f"💾 Flush buffer: sauvegarde de {len(self.buffer)} documents...")
         
-        # Exécuter la sauvegarde lourde dans un thread pour ne pas bloquer
+        # 1. Sauvegarde JSON (Bloquant -> Thread)
         loop = asyncio.get_event_loop()
         await loop.run_in_executor(None, self._save_buffer_sync, self.buffer.copy())
         
+        # 2. Sauvegarde MongoDB (Async -> Direct)
+        # On lance les sauvegardes en parallèle sans bloquer
+        try:
+            mongo_tasks = [save_to_mongo("documents", doc) for doc in self.buffer]
+            # On utilise gather avec return_exceptions=True pour que si un échoue, les autres continuent
+            await asyncio.gather(*mongo_tasks, return_exceptions=True)
+            logger.info("✅ Sauvegarde MongoDB terminées")
+        except Exception as e:
+            logger.error(f"Erreur sauvegarde MongoDB: {e}")
+
         self.buffer = []
 
     def _save_buffer_sync(self, documents: List[Dict]):
-        """Sauvegarde synchrone (disque/DB)"""
-        # 1. Sauvegarde JSON Local (Critique)
+        """Sauvegarde synchrone (disque uniquement)"""
         try:
             os.makedirs("data", exist_ok=True)
             local_file = "data/search_index.json"
@@ -148,11 +157,6 @@ class ScrapDjiScraper:
         except Exception as e:
             logger.error(f"Erreur sauvegarde JSON: {e}")
 
-        # 2. Sauvegarde DB (Best effort)
-        # Note: Pour MongoDB et autres clients async, il faudrait rester dans l'async
-        # Mais ici on simplifie pour le file system qui est le bottleneck principal
-        pass
-
     async def process_source(self, client: httpx.AsyncClient, source: Dict):
         """Traite une source avec découverte de liens"""
         count = 0