Create cleaning.py

cleaning.py

@@ -0,0 +1,123 @@
+#!/usr/bin/env python
+import argparse
+import re
+import pdfplumber
+import os
+
+def clean_text_for_rag(text: str) -> str:
+    """
+    Nettoie le texte pour RAG : normalise les caractères spéciaux,
+    puis garde uniquement lettres (accents), chiffres, espaces et ponctuation simple.
+    """
+    # Normalisation des caractères spéciaux
+    text = re.sub(
+        r"[’‘“”«»–—\u00A0\u202F…œŒæÆ©®™§°±×÷]",
+        lambda m: {
+            "’": "'", "‘": "'", "“": '"', "”": '"', "«": '"', "»": '"',
+            "–": "-", "—": "-", "…": "...", "œ": "oe", "Œ": "OE", "æ": "ae", "Æ": "AE",
+            "©": "(c)", "®": "(R)", "™": "TM", "§": "§", "°": "°", "±": "+/-", "×": "x", "÷": "/"
+        }.get(m.group(0), m.group(0)),
+        text
+    )
+    
+    # Nettoyage strict : garder lettres, chiffres, espaces, ponctuation simple
+    text = re.sub(r'[^a-zA-ZÀ-ÿæ-œ0-9\s\.\,\:\;\!\?\-\_\'\"\\(\)\–\…]', '', text)
+    text = re.sub(r'\s+', ' ', text).strip()
+    
+    return text
+
+def extract_and_clean_pdf(pdf_path, output_path, two_columns=False):
+    """
+    Extrait le texte du PDF et le nettoie pour RAG.
+    """
+    print(f"[+] Extraction du texte depuis : {pdf_path}")
+    
+    with pdfplumber.open(pdf_path) as pdf:
+        all_text = []
+        for page in pdf.pages:
+            if two_columns:
+                left = page.crop((0, 0, page.width / 2, page.height))
+                right = page.crop((page.width / 2, 0, page.width, page.height))
+                text_left = left.extract_text() or ""
+                text_right = right.extract_text() or ""
+                text = f"{text_left}\n\n{text_right}"
+            else:
+                text = page.extract_text()
+
+            if text:
+                all_text.append(text)
+    
+    # Concaténer tout le texte
+    full_text = ' '.join(all_text)
+    # Nettoyer pour RAG
+    cleaned_text = clean_text_for_rag(full_text)
+    
+    # Sauvegarder
+    with open(output_path, 'w', encoding='utf-8') as f:
+        f.write(cleaned_text)
+    
+    print(f"[+] Texte nettoyé sauvegardé dans : {output_path}")
+
+def extract_text(file_path, output_path):
+    """
+    Extrait le texte des autres formats de fichier et le nettoie.
+    """
+    print(f"[+] Extraction du texte depuis : {file_path}")
+    try:
+        # Essayer d'abord avec UTF-8
+        try:
+            with open(file_path, 'r', encoding='utf-8') as f:
+                lines = f.readlines()
+        except UnicodeDecodeError:
+            # Si UTF-8 échoue, essayer avec Latin-1 (ISO-8859-1)
+            print("[!] Le fichier n'est pas en UTF-8, tentative avec Latin-1")
+            with open(file_path, 'r', encoding='latin-1') as f:
+                lines = f.readlines()
+        
+        # Nettoyer chaque ligne
+        cleaned_lines = [clean_text_for_rag(line.strip()) for line in lines if line.strip()]
+        
+        # Joindre avec sauts de ligne pour un bon format .md
+        cleaned_text = '\n'.join(cleaned_lines)
+        
+        # Sauvegarder dans le fichier .md
+        with open(output_path, 'w', encoding='utf-8') as f:
+            f.write(cleaned_text)
+        
+        print(f"[+] Texte nettoyé sauvegardé dans : {output_path}")
+    except Exception as e:
+        print(f"Erreur lors de l'ouverture du fichier {file_path} : {e}")
+        raise
+
+def main():
+    parser = argparse.ArgumentParser(description='Extraire et nettoyer un fichier pour le RAG. Sortie toujours en .md.')
+    parser.add_argument('input_file', type=str, help='Chemin vers le fichier à traiter (PDF, TXT, MD, etc.).')
+    parser.add_argument('output_md', type=str, help='Chemin du fichier Markdown (.md) de sortie.')
+    parser.add_argument('--two-columns', action='store_true', help='Forcer la lecture en deux colonnes (PDF OCR).')  
+    
+    args = parser.parse_args()
+    
+    input_path = args.input_file
+    output_path = args.output_md  # On garde le nom original
+
+    # Vérifier que le fichier existe
+    if not os.path.exists(input_path):
+        print(f"Erreur : Le fichier {input_path} n'existe pas.")
+        return
+
+    # Détecter l'extension du fichier d'entrée
+    _, ext = os.path.splitext(input_path.lower())
+
+    # Vérifier et corriger l'extension de sortie si nécessaire
+    if not output_path.lower().endswith('.md'):
+        print("[!] Avertissement : Le fichier de sortie n'a pas l'extension .md. Il sera renommé en .md.")
+        output_path = os.path.splitext(output_path)[0] + '.md'
+
+    # Appeler la bonne fonction selon le format
+    if ext == '.pdf':
+        extract_and_clean_pdf(input_path, output_path, two_columns=args.two_columns) 
+    else:
+        extract_text(input_path, output_path)
+
+if __name__ == '__main__':
+    main()