Déploiement automatique depuis GitLab CI

README.md

@@ -23,63 +23,7 @@ Ce projet implémente un assistant virtuel basé sur le modèle Mistral, utilisa
 - 📊 **Évaluation des performances** du RAG ou du RAG+SQL avec Ragas (Context Precision, Context Recall, Answer Relevancy, Faithfulness)
 - 🧑‍💻 **Interface utilisateur** avec Streamlit pour une interaction facile
 
-## Déploiement sur HuggingFace Spaces
-
-Cette application est déployable en un seul **Docker Space** qui embarque à la fois le serveur PostgreSQL et le dashboard Streamlit.
-
-### Architecture du conteneur HF Spaces
-
-```
-┌─────────────────────────────────────────┐
-│           HF Docker Space               │
-│                                         │
-│  ┌─────────────┐    ┌─────────────────┐ │
-│  │ PostgreSQL  │    │   Streamlit     │ │
-│  │  port 5432  │◄───│   port 7860     │ │
-│  │  (interne)  │    │  (HF exposé)    │ │
-│  └─────────────┘    └─────────────────┘ │
-│                                         │
-│  start.sh : init PG → démarre PG → exec │
-│             streamlit                   │
-└─────────────────────────────────────────┘
-```
-
-### Fichiers ajoutés pour HF Spaces
-
-| Fichier | Rôle |
-|---------|------|
-| `Dockerfile` | Image combinée PostgreSQL + Streamlit (port 7860) |
-| `start.sh` | Init cluster PG, création schéma/utilisateurs, démarrage des services |
-
-### Procédure de déploiement
-
-1. **Créer un nouveau Space** sur [huggingface.co/spaces](https://huggingface.co/spaces) :
-   - SDK : **Docker**
-   - Visibilité : Public ou Private
-
-2. **Pousser le dépôt** vers le Space HF :
-   ```bash
-   # Ajouter le remote HF
-   git remote add hf https://huggingface.co/spaces/<VOTRE_USERNAME>/<NOM_DU_SPACE>
-   git push hf main
-   ```
-
-3. **Configurer les Secrets** dans *Settings → Repository secrets* :
-
-   | Secret | Description |
-   |--------|-------------|
-   | `MISTRAL_API_KEY` | Clé API Mistral (obligatoire) |
-   | `POSTGRES_PASSWORD` | Mot de passe du superutilisateur PostgreSQL `admin` |
-   | `PG_USER_1_PASSWORD` | Mot de passe de l'utilisateur read-only `user_1` |
-   | `LOGFIRE_TOKEN` | Token Logfire (optionnel) |
-
-4. **Attendre le build** (~3-5 min) : HF Spaces construit l'image et démarre les services automatiquement.
-
-> ⚠️ **Persistance des données** : HF Spaces (tier gratuit) ne garantit pas la persistance des volumes. Les données PostgreSQL sont recréées à chaque redémarrage du Space via `start.sh`. Pour la persistance, utilisez le [stockage persistant HF](https://huggingface.co/docs/hub/spaces-storage) ou un service PostgreSQL externe (ex. [Supabase](https://supabase.com), [Neon](https://neon.tech)).
-
----
-
-## Prérequis
+## Installation en local - Prérequis
 
 - Ubuntu 22.04+ ou n'importe quel système d'exploitation compatible
 - Python 3.11+
@@ -87,7 +31,7 @@ Cette application est déployable en un seul **Docker Space** qui embarque à la
 - Clé API Mistral (obtenue sur [console.mistral.ai](https://console.mistral.ai/))
 - Clé API Logfire (obtenue sur [logfire.com](https://logfire.com/))
 
-## Installation
+### Installation
 
 1. **Cloner le dépôt**
 
@@ -170,24 +114,30 @@ Ce script va :
 
 ```
 .
-├── .gitignore                  # Fichier pour ignorer les fichiers et dossiers non pertinents dans le dépôt Git
-├── .env                        # Fichier pour stocker les variables d'environnement (clés API, mots de passe, etc.)
-├── evaluate_ragas.py           # Script pour évaluer les performances du RAG ou du RAG+SQL avec Ragas
-├── indexer.py                  # Script pour indexer les documents
-├── load_excel_to_db.py         # Script pour charger les données Excel dans la base de données PostgreSQL
-├── MistralChat.py              # Application Streamlit principale
-├── Notebook_Eval_Ragas.ipynb   # Jupyter Notebook pour l'évaluation des performances du RAG ou du RAG+SQL avec Ragas
-├── requirements.txt            # Fichier listant les dépendances Python du projet
-├── Docs/                       # Dossier du Diagramme fonctionnel de l'application et du schema relationnel de la base de données
-├── inputs/                     # Dossier pour les documents sources
-├── Ragas_results/              # Dossier pour les résultats d'évaluation du RAG ou du RAG+SQL avec Ragas
-├── vector_db/                  # Dossier pour l'index FAISS et les chunks vectorisés
-└── utils/                      # Modules utilitaires
-    ├── config.py               # Configuration de l'application
-    ├── data_loader.py          # Extraction et prétraitement des documents pour l'indexation
-    ├── langgraph_app.py        # Routeur d'aiguillage vers Rag ou agent SQL selon la requête utilisateur
-    ├── sql_tool.py             # Construction de l'outil de traduction de requêtes en SQL
-    └── vector_store.py         # Gestion de l'index vectoriel
+├── .gitignore                    # Fichier pour ignorer les fichiers et dossiers non pertinents dans le dépôt Git
+├── .env                          # Fichier pour stocker les variables d'environnement (clés API, mots de passe, etc.)
+├── Dockerfile                    # Image Docker combinée PostgreSQL + Streamlit (port 7860)
+├── evaluate_ragas.py             # Script pour évaluer les performances du RAG ou du RAG+SQL avec Ragas
+├── indexer.py                    # Script pour indexer les documents
+├── load_excel_to_db.py           # Script pour charger les données Excel dans la base de données PostgreSQL
+├── MistralChat.py                # Application Streamlit principale
+├── Notebook_Eval_Ragas.ipynb     # Jupyter Notebook pour l'évaluation des performances du RAG ou du RAG+SQL avec Ragas
+├── README.md                     # Documentation du projet
+├── requirements_docker.txt       # Dépendances Python pour le déploiement Docker (HF Spaces)
+├── requirements_local.txt        # Dépendances Python pour l'installation locale
+├── start.sh                      # Script d'initialisation PostgreSQL et de démarrage des services
+├── Docs/                         # Diagrammes fonctionnels et schéma relationnel de la base de données
+├── inputs/                       # Dossier pour les documents sources (PDF, XLSX, etc.)
+├── Ragas_results/                # Dossier pour les résultats d'évaluation du RAG ou du RAG+SQL avec Ragas
+├── SQL_db/                       # Scripts SQL de création du schéma relationnel
+├── vector_db/                    # Dossier pour l'index FAISS et les chunks vectorisés
+├── wheels/                       # Packages Python pré-compilés (ex. mistralai)
+└── utils/                        # Modules utilitaires
+    ├── config.py                 # Configuration de l'application
+    ├── data_loader.py            # Extraction et prétraitement des documents pour l'indexation
+    ├── langgraph_app.py          # Routeur d'aiguillage vers Rag ou agent SQL selon la requête utilisateur
+    ├── sql_tool.py               # Construction de l'outil de traduction de requêtes en SQL
+    └── vector_store.py           # Gestion de l'index vectoriel
 
 ```
 
@@ -224,6 +174,8 @@ Ce script va :
 Exécutez le script pour charger les données Excel dans la base de données PostgreSQL :
 
 ```bash
+sudo systemctl start postgresql
+
 python load_excel_to_db.py
 ```
 
@@ -240,8 +192,8 @@ et **lancez le script 'utils/indexer.py' pour indexer tous les documents**. Puis
 
 ```bash
 sudo systemctl start postgresql
+
 python evaluate_ragas.py
-sudo systemctl stop postgresql
 ```
 
 Ce script va :
@@ -263,6 +215,8 @@ et **lancez le script 'utils/indexer.py' pour indexer sans les documents Excel**
 Puis lancez le script d'évaluation :
 
 ```bash
+sudo systemctl start postgresql
+
 python evaluate_ragas.py
 ```
 
@@ -283,6 +237,8 @@ Ce script va :
 ### 5. Lancer l'application
 
 ```bash
+sudo systemctl start postgresql
+
 streamlit run MistralChat.py
 ```
 
@@ -334,3 +290,58 @@ Vous pouvez personnaliser l'application en modifiant les paramètres dans `utils
 - les prompts utilisés pour le RAG et l'agent SQL
 - etc.
 
+## Déploiement sur HuggingFace Spaces
+
+Cette application est déployable en un seul **Docker Space** qui embarque à la fois le serveur PostgreSQL et le dashboard Streamlit.
+
+### Architecture du conteneur HF Spaces
+
+```
+┌─────────────────────────────────────────┐
+│           HF Docker Space               │
+│                                         │
+│  ┌─────────────┐    ┌─────────────────┐ │
+│  │ PostgreSQL  │    │   Streamlit     │ │
+│  │  port 5432  │◄───│   port 7860     │ │
+│  │  (interne)  │    │  (HF exposé)    │ │
+│  └─────────────┘    └─────────────────┘ │
+│                                         │
+│  start.sh : init PG → démarre PG → exec │
+│             streamlit                   │
+└─────────────────────────────────────────┘
+```
+
+### Fichiers ajoutés pour HF Spaces
+
+| Fichier | Rôle |
+|---------|------|
+| `Dockerfile` | Image combinée PostgreSQL + Streamlit (port 7860) |
+| `start.sh` | Init cluster PG, création schéma/utilisateurs, démarrage des services |
+
+### Procédure de déploiement
+
+1. **Créer un nouveau Space** sur [huggingface.co/spaces](https://huggingface.co/spaces) :
+   - SDK : **Docker**
+   - Visibilité : Public ou Private
+
+2. **Pousser le dépôt** vers le Space HF :
+   ```bash
+   # Ajouter le remote HF
+   git remote add hf https://huggingface.co/spaces/<VOTRE_USERNAME>/<NOM_DU_SPACE>
+   git push hf main
+   ```
+
+3. **Configurer les Secrets** dans *Settings → Repository secrets* :
+
+   | Secret | Description |
+   |--------|-------------|
+   | `MISTRAL_API_KEY` | Clé API Mistral (obligatoire) |
+   | `POSTGRES_PASSWORD` | Mot de passe du superutilisateur PostgreSQL `admin` |
+   | `PG_USER_1_PASSWORD` | Mot de passe de l'utilisateur read-only `user_1` |
+   | `LOGFIRE_TOKEN` | Token Logfire (optionnel) |
+
+4. **Attendre le build** (~3-5 min) : HF Spaces construit l'image et démarre les services automatiquement.
+
+> ⚠️ **Persistance des données** : HF Spaces (tier gratuit) ne garantit pas la persistance des volumes. Les données PostgreSQL sont recréées à chaque redémarrage du Space via `start.sh`. Pour la persistance, utilisez le [stockage persistant HF](https://huggingface.co/docs/hub/spaces-storage) ou un service PostgreSQL externe (ex. [Supabase](https://supabase.com), [Neon](https://neon.tech)).
+
+---

vector_db/document_chunks.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4d446a3046b825f93d5776bf2a809f00f18cebcb4cc1131e39a8ef201b800c6f
-size 153990
+oid sha256:0e1d5abc6d26ac0be98a02a25c272e862bb401c8a289e363f765d3c882415ae3
+size 154018

vector_db/faiss_index.idx

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9c69557ec9e7cb7a6a8613dcb9713d8d8603f972178fefb1d9a8884df5825cd5
+oid sha256:fcb54fbcb69ef5b7ba6fb69b6026a316bdbff38b483c665035a63824733220fe
 size 409645