File size: 860 Bytes
dfdddb1
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# === Config Optimisée pour Faible Machine ===

# PostgreSQL (Requis pour la structure)
POSTGRES_URI=postgresql://user:password@localhost:5432/scrapdji

# MongoDB (Optionnel si vous n'avez pas assez de RAM)
MONGO_URI=mongodb://localhost:27017
MONGO_DB=scrapdji

# Stockage (Optimisation : local suffisant)
STORAGE_PATH=./storage_data

# Recherche (Typesense est TRÈS léger par rapport à ElasticSearch)
TYPESENSE_HOST=localhost
TYPESENSE_PORT=8108
TYPESENSE_API_KEY=xyz

# Qdrant (Désactivez si vous n'avez pas de GPU ou de RAM)
QDRANT_HOST=localhost
QDRANT_PORT=6333

# --- PARAMÈTRES DE PERFORMANCE ---
# Délai entre requêtes (1s pour ne pas saturer le CPU)
SCRAPER_DELAY=1
# Nombre de requêtes simultanées (Réduisez à 4-8 si la RAM est < 2GB)
SCRAPER_CONCURRENT_REQUESTS=8
# Niveau de log (WARNING réduit les écritures disque)
LOG_LEVEL=WARNING