fats

app.py

@@ -2,7 +2,7 @@
 # -*- coding: utf-8 -*-
 """
 Extraction BRVM via Hugging Face Hub sur Space
-Avec téléchargement et extraction de PDF depuis Google Drive ZIP
+Avec téléchargement et extraction de PDF depuis un Hugging Face Dataset
 Auteur : Gemini
 """
 
@@ -13,16 +13,16 @@ from tqdm import tqdm
 from transformers import pipeline
 import requests
 import zipfile
-import io # Pour gérer le contenu du fichier ZIP en mémoire
-       
+import io
+import os
+from huggingface_hub import hf_hub_download # Importation pour télécharger depuis HF Hub
 
 # ---------- CONFIG ----------
-MODEL = "mistralai/Mistral-7B-Instruct-v0.2" # Exemple de modèle open source
-# URL DIRECTE du fichier ZIP sur Google Drive
-# Assurez-vous que ce lien est PUBLIC et qu'il est au format de téléchargement direct.
-# Exemple: si votre lien partagé est https://drive.google.com/file/d/VOTRE_FILE_ID/view?usp=sharing
-# Le lien direct sera: https://drive.google.com/uc?export=download&id=1eTg1YGGYeoMxwo3sorhYFpZGdNVmrsnX
-GOOGLE_DRIVE_ZIP_URL = "https://drive.usercontent.google.com/download?id=1eTg1YGGYeoMxwo3sorhYFpZGdNVmrsnX&export=download&authuser=0&confirm=t&uuid=158a5f62-9495-4f6f-904d-7f9a1ae35d53&at=AN8xHoof0ooMa_xauqBwiH0JNDPC%3A1754958945113"
+MODEL = "mistralai/Mistral-7B-Instruct-v0.2" # Modèle Hugging Face à utiliser
+
+# Hugging Face Dataset d'où télécharger le fichier ZIP
+HF_DATASET_REPO_ID = "lamekemal/brvm-reports-pdfs" # L'ID de votre dépôt de dataset
+ZIP_FILENAME_IN_DATASET = "brvm_reports.zip" # Le nom du fichier ZIP à l'intérieur de ce dataset
 
 PDF_FOLDER = "brvm_reports"    # Dossier où les PDF seront extraits et traités
 OUT_FOLDER = "out_brvm_hf"     # Dossier où les fichiers de sortie JSON seront sauvegardés
@@ -33,31 +33,31 @@ Tu es un expert en finance spécialisé dans la BRVM.
 À partir du texte ci-dessous issu d’un bulletin officiel de la cote BRVM,
 extrait uniquement les données suivantes et retourne un JSON valide au format strict :
 
-{
-  "indicateurs": {
-    "brvm_10": { "niveau": float, "var_jour_pct": float, "var_annuelle_pct": float },
-    "brvm_composite": { "niveau": float, "var_jour_pct": float, "var_annuelle_pct": float },
+{{
+  "indicateurs": {{
+    "brvm_10": {{ "niveau": float, "var_jour_pct": float, "var_annuelle_pct": float }},
+    "brvm_composite": {{ "niveau": float, "var_jour_pct": float, "var_annuelle_pct": float }},
     "capitalisation_actions_fcfa": float,
     "capitalisation_obligations_fcfa": float,
     "volume_echange": float,
     "valeur_transigee_fcfa": float
-  },
+  }},
   "plus_fortes_hausses": [
-    { "symbol": string, "nom": string, "cours": float, "var_jour_pct": float, "var_annuelle_pct": float }
+    {{ "symbol": string, "nom": string, "cours": float, "var_jour_pct": float, "var_annuelle_pct": float }}
   ],
   "plus_fortes_baisses": [
-    { "symbol": string, "nom": string, "cours": float, "var_jour_pct": float, "var_annuelle_pct": float }
+    {{ "symbol": string, "nom": string, "cours": float, "var_jour_pct": float, "var_annuelle_pct": float }}
   ],
   "actions": [
-    { "symbol": string, "nom": string, "cours_jour": float, "var_jour_pct": float, "volume": float, "valeur_fcfa": float, "dernier_dividende": float|null, "date_dividende": string|null }
+    {{ "symbol": string, "nom": string, "cours_jour": float, "var_jour_pct": float, "volume": float, "valeur_fcfa": float, "dernier_dividende": float|null, "date_dividende": string|null }}
   ],
   "dividendes": [
-    { "symbol": string, "nom": string, "montant_fcfa": float, "date_paiement": string }
+    {{ "symbol": string, "nom": string, "montant_fcfa": float, "date_paiement": string }}
   ],
   "obligations": [
-    { "code": string, "emetteur": string, "coupon_pct": float, "echeance": string, "nominal": float, "cours": float }
+    {{ "code": string, "emetteur": string, "coupon_pct": float, "echeance": string, "nominal": float, "cours": float }}
   ]
-}
+}}
 
 Contraintes :
 - Ne mets aucun texte hors du JSON
@@ -67,14 +67,15 @@ Contraintes :
 Texte du bulletin :
 {texte_pdf}
 """
+
 # --- Initialisation du pipeline Hugging Face ---
 try:
     print("Chargement du modèle Hugging Face...")
-    # On spécifie le device=0 pour utiliser le premier GPU disponible
+    # Le pipeline utilisera automatiquement le jeton HF_TOKEN si disponible en tant que secret/variable d'environnement
     extractor = pipeline(
         "text-generation",
         model=MODEL,
-        device=0 # Utilise le GPU si disponible
+        device=0 # Utilise le GPU si disponible (0 pour le premier GPU, -1 pour CPU)
     )
     print("Modèle chargé avec succès.")
 except Exception as e:
@@ -117,69 +118,79 @@ def call_huggingface_model(text):
             return {"error": "JSON non trouvé dans la réponse", "raw": output_text}
             
     except json.JSONDecodeError:
+        print(f"Erreur JSONDecodeError: {output_text}") # Afficher le texte brut qui a causé l'erreur JSON
         return {"error": "JSON invalide", "raw": output_text}
     except Exception as e:
         return {"error": str(e)}
 
-def download_and_extract_zip(zip_url, target_folder):
+def download_and_extract_zip_from_hf_dataset(dataset_repo_id, zip_filename, target_folder):
     """
-    Télécharge un fichier ZIP depuis une URL et extrait les PDF dans un dossier cible.
-    Crée le dossier cible s'il n'existe pas.
+    Télécharge un fichier ZIP depuis un Hugging Face Dataset et extrait les PDF
+    dans un dossier cible. Crée le dossier cible s'il n'existe pas.
     """
-    print(f"Tentative de téléchargement du fichier ZIP depuis : {zip_url}")
+    print(f"Tentative de téléchargement du fichier '{zip_filename}' "
+          f"depuis le dataset Hugging Face : {dataset_repo_id}")
     try:
-        response = requests.get(zip_url, stream=True)
-        response.raise_for_status() # Lève une exception pour les codes d'état HTTP d'erreur
-
+        # Télécharger le fichier ZIP depuis le dataset Hugging Face Hub
+        local_zip_path = hf_hub_download(
+            repo_id=dataset_repo_id,
+            filename=zip_filename,
+            repo_type="dataset",
+            cache_dir="./hf_cache" # Vous pouvez spécifier un répertoire de cache
+        )
+        print(f"Fichier ZIP téléchargé localement : {local_zip_path}")
+        
         # Créer le dossier cible s'il n'existe pas
         Path(target_folder).mkdir(parents=True, exist_ok=True)
         
-        # Lire le contenu du ZIP en mémoire
-        z = zipfile.ZipFile(io.BytesIO(response.content))
-        
         extracted_files = []
-        for file_info in z.infolist():
-            # Construire le chemin complet du fichier extrait
-            # Éviter les chemins absolus ou les traversées de répertoire pour la sécurité
-            if file_info.filename.startswith('/') or '..' in file_info.filename:
-                print(f"Skipping potentially unsafe path: {file_info.filename}")
-                continue
-
-            extracted_path = Path(target_folder) / file_info.filename
-            
-            # Créer les sous-dossiers si nécessaire
-            if file_info.is_dir():
-                extracted_path.mkdir(parents=True, exist_ok=True)
-            elif file_info.filename.lower().endswith('.pdf'):
-                # Extraire uniquement les fichiers PDF
-                print(f"Extraction de : {file_info.filename} vers {extracted_path}")
-                try:
-                    with extracted_path.open("wb") as outfile:
-                        outfile.write(z.read(file_info.filename))
-                    extracted_files.append(extracted_path)
-                except Exception as e:
-                    print(f"Erreur lors de l'extraction de {file_info.filename}: {e}")
-            else:
-                print(f"Ignoré (non PDF) : {file_info.filename}")
+        with zipfile.ZipFile(local_zip_path, 'r') as z:
+            for file_info in z.infolist():
+                # Construire le chemin complet du fichier extrait
+                # Éviter les chemins absolus ou les traversées de répertoire pour la sécurité
+                if file_info.filename.startswith('/') or '..' in file_info.filename:
+                    print(f"Skipping potentially unsafe path: {file_info.filename}")
+                    continue
+
+                extracted_path = Path(target_folder) / file_info.filename
+                
+                # Créer les sous-dossiers si nécessaire
+                if file_info.is_dir():
+                    extracted_path.mkdir(parents=True, exist_ok=True)
+                elif file_info.filename.lower().endswith('.pdf'):
+                    # Extraire uniquement les fichiers PDF
+                    print(f"Extraction de : {file_info.filename} vers {extracted_path}")
+                    try:
+                        with extracted_path.open("wb") as outfile:
+                            outfile.write(z.read(file_info.filename))
+                        extracted_files.append(extracted_path)
+                    except Exception as e:
+                        print(f"Erreur lors de l'extraction de {file_info.filename}: {e}")
+                else:
+                    print(f"Ignoré (non PDF) : {file_info.filename}")
 
         print(f"Extraction terminée. {len(extracted_files)} fichiers PDF extraits.")
         return extracted_files
 
-    except requests.exceptions.RequestException as e:
-        print(f"Erreur lors du téléchargement du ZIP : {e}")
-        return []
-    except zipfile.BadZipFile:
-        print("Erreur : Le fichier téléchargé n'est pas un fichier ZIP valide.")
-        return []
     except Exception as e:
-        print(f"Une erreur inattendue est survenue lors de l'extraction : {e}")
+        print(f"Une erreur est survenue lors du téléchargement ou de l'extraction depuis Hugging Face Dataset : {e}")
         return []
+    finally:
+        # Optionnel: supprimer le fichier ZIP téléchargé après l'extraction pour économiser de l'espace
+        # Attention: cela peut être utile si le Space a des limitations de stockage éphémère strictes.
+        # Si le fichier est grand, il pourrait être mis en cache et réutilisé par Hugging Face Hub.
+        # if Path(local_zip_path).exists():
+        #    print(f"Suppression du fichier ZIP temporaire : {local_zip_path}")
+        #    os.remove(local_zip_path)
+        pass # Ne rien faire ici, car hf_hub_download gère son propre cache
 
 # --- Fonction principale ---
 def main():
     """Fonction principale pour exécuter l'ensemble du processus d'extraction."""
-    # 1. Télécharger et extraire les PDF
-    downloaded_pdfs = download_and_extract_zip(GOOGLE_DRIVE_ZIP_URL, PDF_FOLDER)
+    # 1. Télécharger et extraire les PDF depuis le Hugging Face Dataset
+    downloaded_pdfs = download_and_extract_zip_from_hf_dataset(
+        HF_DATASET_REPO_ID, ZIP_FILENAME_IN_DATASET, PDF_FOLDER
+    )
     
     if not downloaded_pdfs:
         print("Aucun fichier PDF n'a pu être téléchargé ou extrait. Arrêt du processus.")

requirements.txt

@@ -3,4 +3,4 @@ torch
 Pillow
 PyMuPDF
 tqdm
-requests
+huggingface_hub