documentations/oml_db_tools_improvement_roadmap.md

OML_DB - Roadmap d'amelioration des tools

Date: 2026-02-23

Contexte

Cette proposition est basee sur une analyse du codebase (et non seulement du menu UI), notamment:

• app.py
• apps/database_page.py
• utils/utils_vars.py
• queries/process_all_db.py
• apps/ciq_2g_generator.py
• apps/ciq_3g_generator.py
• apps/ciq_4g_generator.py
• apps/clustering.py
• apps/dump_compare.py

Propositions cibles (specifiques au repo)

1. Health Summary (nouveau tool)

• Ajouter une page unique qui agrege:
  • qualite DB
  • KPI
  • checks existants
• Points de connexion:
  • navigation: app.py
  • donnees: utils/utils_vars.py, utils/kpi_analysis_utils.py

2. Shared Dump Cache

• Parser le dump une seule fois par session et reutiliser les donnees entre pages/tools.
• Cible:
  • apps/database_page.py
  • harmonisation avec les autres pages qui relisent le meme dump.

3. Export Job Runner + Progress

• Encapsuler les exports lourds avec:
  • statut
  • progression
  • log utilisateur
• Cible:
  • orchestration: apps/database_page.py
  • execution: queries/process_all_db.py

4. Validation Engine (fichiers en entree)

• Validation schema avant calcul:
  • colonnes obligatoires
  • types minimaux
  • messages d'erreur explicites
• Priorite:
  • apps/clustering.py
  • apps/dump_compare.py

5. CIQ Unified Generator

• Factoriser le flux commun 2G/3G/4G:
  • upload
  • spinner
  • session state
  • download
• Cible:
  • apps/ciq_2g_generator.py
  • apps/ciq_3g_generator.py
  • apps/ciq_4g_generator.py

6. Settings Persistence

• Persister les toggles metier (ex: exclusion BSC 2G decom) entre refresh/restart.
• Cible:
  • apps/database_page.py
  • utils/utils_vars.py

Priorisation impact / effort

1. Validation Engine

• Effort: S
• Impact: Fort immediat (moins de plantages opaques)

2. Export Job Runner + Progress

• Effort: M
• Impact: Fort UX (visibilite sur traitements longs)

3. CIQ Unified Generator

• Effort: M
• Impact: Fort maintenance (moins de duplication)

4. Shared Dump Cache

• Effort: M/L
• Impact: Fort perf (moins de re-parse)

5. Health Summary

• Effort: M/L
• Impact: Fort operationnel (vision unique)

6. Settings Persistence

• Effort: M
• Impact: Moyen/fort UX (moins de reconfiguration)

Plan de mise en oeuvre recommande

Phase 1 (quick wins)

• Validation Engine sur clustering + dump compare
• Progress/log minimal sur exports database

Phase 2

• Factorisation CIQ generators
• Persistence des settings critiques

Phase 3

• Shared Dump Cache transverse
• Nouvelle page Health Summary

Notes techniques

• Attention a l'usage de globals dans UtilsVars: definir clairement les regles d'invalidation quand un nouveau dump est charge.
• Ajouter une convention de cles st.session_state pour eviter collisions entre pages.
• Preferer des fonctions utilitaires partagees pour les patterns repetes (upload/validate/process/download).