Update Dockerfile

Dockerfile

@@ -1,39 +1,177 @@
-# Utiliser une image Python 3.11 moderne
 FROM python:3.11-slim
 
 # Définir le répertoire de travail
 WORKDIR /app
 
-# Créer un utilisateur non-root pour des raisons de sécurité et de permissions
+# Installer les dépendances système nécessaires
+RUN apt-get update && apt-get install -y \
+    build-essential \
+    curl \
+    wget \
+    && rm -rf /var/lib/apt/lists/*
+
+# Créer un utilisateur non-root
 RUN groupadd -r appuser && useradd --no-log-init -r -g appuser -d /app appuser
 
-# Créer les dossiers de cache nécessaires avec les bonnes permissions
-RUN mkdir -p /app/cache/hub && \
-    mkdir -p /app/cache/models && \
-    mkdir -p /tmp/huggingface_cache && \
-    chown -R appuser:appuser /app/cache && \
+# Créer les dossiers de cache et de travail avec les bonnes permissions
+RUN mkdir -p /tmp/huggingface_cache && \
+    mkdir -p /tmp/vector_store && \
+    mkdir -p /app/knowledge_base && \
+    mkdir -p /app/cache && \
     chown -R appuser:appuser /tmp/huggingface_cache && \
-    chmod -R 755 /app/cache && \
-    chmod -R 755 /tmp/huggingface_cache
+    chown -R appuser:appuser /tmp/vector_store && \
+    chown -R appuser:appuser /app && \
+    chmod -R 755 /tmp/huggingface_cache && \
+    chmod -R 755 /tmp/vector_store && \
+    chmod -R 755 /app
 
-# Variables d'environnement pour Hugging Face
-ENV HF_HOME=/app/cache
-ENV TRANSFORMERS_CACHE=/app/cache/models
-ENV HF_DATASETS_CACHE=/app/cache/datasets
-ENV SENTENCE_TRANSFORMERS_HOME=/app/cache/sentence_transformers
+# Variables d'environnement pour Hugging Face et l'application
+ENV HF_HOME=/tmp/huggingface_cache
+ENV TRANSFORMERS_CACHE=/tmp/huggingface_cache
+ENV SENTENCE_TRANSFORMERS_HOME=/tmp/huggingface_cache
+ENV HF_DATASETS_CACHE=/tmp/huggingface_cache
+ENV VECTOR_STORE_PATH=/tmp/vector_store
+ENV PYTHONPATH=/app
+ENV PYTHONUNBUFFERED=1
 
-# Copier les dépendances et les installer
+# Copier et installer les dépendances
 COPY requirements.txt .
-RUN pip install --no-cache-dir -r requirements.txt
+RUN pip install --no-cache-dir --upgrade pip && \
+    pip install --no-cache-dir -r requirements.txt
+
+# Script de pré-téléchargement du modèle
+RUN echo '#!/usr/bin/env python3\n\
+import os\n\
+import sys\n\
+import logging\n\
+\n\
+# Configuration du logging\n\
+logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")\n\
+logger = logging.getLogger(__name__)\n\
+\n\
+def download_model():\n\
+    """Télécharge le modèle sentence-transformers avec gestion d'\''erreurs."""\n\
+    try:\n\
+        # Configuration des variables d'\''environnement\n\
+        cache_dir = "/tmp/huggingface_cache"\n\
+        os.makedirs(cache_dir, exist_ok=True)\n\
+        \n\
+        os.environ["HF_HOME"] = cache_dir\n\
+        os.environ["TRANSFORMERS_CACHE"] = cache_dir\n\
+        os.environ["SENTENCE_TRANSFORMERS_HOME"] = cache_dir\n\
+        \n\
+        logger.info("Début du téléchargement du modèle sentence-transformers/all-MiniLM-L6-v2...")\n\
+        \n\
+        # Import et téléchargement\n\
+        from sentence_transformers import SentenceTransformer\n\
+        model = SentenceTransformer(\n\
+            "sentence-transformers/all-MiniLM-L6-v2",\n\
+            cache_folder=cache_dir\n\
+        )\n\
+        \n\
+        logger.info("Modèle téléchargé avec succès!")\n\
+        \n\
+        # Test du modèle\n\
+        logger.info("Test du modèle...")\n\
+        test_embedding = model.encode(["test sentence"])\n\
+        logger.info(f"Test réussi - dimension des embeddings: {len(test_embedding[0])}")\n\
+        \n\
+        # Vérification de la sauvegarde\n\
+        model_path = os.path.join(cache_dir, "sentence_transformers_sentence-transformers_all-MiniLM-L6-v2")\n\
+        if os.path.exists(model_path):\n\
+            logger.info(f"Modèle sauvegardé dans: {model_path}")\n\
+        else:\n\
+            logger.warning("Le modèle ne semble pas avoir été sauvegardé correctement")\n\
+        \n\
+        return True\n\
+        \n\
+    except ImportError as e:\n\
+        logger.error(f"Erreur d'\''import: {e}")\n\
+        return False\n\
+    except Exception as e:\n\
+        logger.error(f"Erreur lors du téléchargement: {e}")\n\
+        return False\n\
+\n\
+if __name__ == "__main__":\n\
+    success = download_model()\n\
+    if success:\n\
+        logger.info("Pré-téléchargement terminé avec succès")\n\
+        sys.exit(0)\n\
+    else:\n\
+        logger.error("Échec du pré-téléchargement")\n\
+        sys.exit(1)\n\
+' > /tmp/download_model.py && \
+python /tmp/download_model.py
+
+# Alternative: Téléchargement via HuggingFace CLI (backup)
+RUN python -c "
+try:
+    from huggingface_hub import snapshot_download
+    print('Téléchargement via huggingface_hub en backup...')
+    snapshot_download(
+        repo_id='sentence-transformers/all-MiniLM-L6-v2',
+        cache_dir='/tmp/huggingface_cache',
+        local_dir='/tmp/huggingface_cache/models--sentence-transformers--all-MiniLM-L6-v2'
+    )
+    print('Backup téléchargé avec succès!')
+except Exception as e:
+    print(f'Backup échoué: {e}')
+" || echo "Backup download failed, will rely on main download"
 
-# Copier le reste du code et donner les permissions
+# Vérification que le modèle est bien téléchargé
+RUN python -c "
+import os
+cache_dir = '/tmp/huggingface_cache'
+model_files = []
+for root, dirs, files in os.walk(cache_dir):
+    for file in files:
+        if 'all-MiniLM-L6-v2' in root:
+            model_files.append(os.path.join(root, file))
+
+print(f'Fichiers du modèle trouvés: {len(model_files)}')
+if model_files:
+    print('Modèle correctement téléchargé!')
+    for f in model_files[:5]:  # Afficher les 5 premiers fichiers
+        print(f'  - {f}')
+    if len(model_files) > 5:
+        print(f'  ... et {len(model_files)-5} autres fichiers')
+else:
+    print('ATTENTION: Aucun fichier de modèle trouvé!')
+"
+
+# Copier le code source
 COPY --chown=appuser:appuser . .
 
-# Changer pour l'utilisateur non-root
+# Changer vers l'utilisateur non-root
 USER appuser
 
-# Exposer le port de l'API
+# Exposer le port
 EXPOSE 8000
 
+# Test final que tout fonctionne
+RUN python -c "
+import sys
+try:
+    print('Test final de l\'application...')
+    # Test import du RAG Handler
+    from src.rag_handler import RAGHandler
+    print('✓ RAG Handler importé avec succès')
+    
+    # Test du modèle d'embeddings
+    print('Test du modèle d\'embeddings...')
+    import os
+    os.environ['HF_HOME'] = '/tmp/huggingface_cache'
+    
+    from sentence_transformers import SentenceTransformer
+    model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2', cache_folder='/tmp/huggingface_cache')
+    test_result = model.encode(['test'])
+    print(f'✓ Modèle fonctionne - dimension: {len(test_result[0])}')
+    
+    print('✓ Tous les tests passés!')
+except Exception as e:
+    print(f'✗ Erreur lors des tests: {e}')
+    sys.exit(1)
+"
+
 # Commande de lancement
 CMD ["python", "-m", "uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]