add all files

app.py

@@ -0,0 +1,247 @@
+import asyncio
+from minio import Minio
+from minio.error import S3Error
+from datetime import timedelta
+from agno.agent import Agent
+from agno.knowledge.pdf import PDFKnowledgeBase, PDFReader  
+from agno.vectordb.qdrant import Qdrant
+from agno.storage.redis import RedisStorage
+from agno.memory.v2.db.redis import RedisMemoryDb
+from agno.memory.v2.memory import Memory
+from agno.document.chunking.agentic import AgenticChunking
+from agno.models.openai import OpenAIChat
+from agno.tools.reasoning import ReasoningTools
+import gradio as gr
+import json
+import pandas as pd
+from docx import Document
+import tempfile
+from weasyprint import HTML
+import tempfile
+import markdown as md
+import os
+import tempfile 
+from PIL import Image
+import io
+
+from dotenv import load_dotenv
+load_dotenv()
+
+
+""" 
+# Configuration MinIO
+client = Minio(
+    os.getenv("ENDPOINT"),
+    access_key=os.getenv("ACCESS_KEY"),
+    secret_key=os.getenv("SECRET_KEY"),
+    secure=False
+)
+
+bucket_name = "iachatbotbocs"
+"""  
+# Initialisation Qdrant
+vector_db = Qdrant(
+    collection="directives_16J",
+    url=os.getenv("QDRANT_URL"),
+    api_key=os.getenv("QDRANT_API_KEY")
+)
+
+# Initialize Redis storage with default local connection
+storage = RedisStorage(
+    prefix="agno_test_directive",    # Prefix for Redis keys to namespace the sessions
+    host="localhost",      # Redis host address
+    port=6379,             # Redis port number
+)
+# Create memory storage
+memory_db = RedisMemoryDb(
+        prefix="agno_test_directive",
+        host="localhost",
+        port=6379,
+        )
+memory = Memory(db=memory_db)
+
+           
+# Charger tous les PDF du dossier dans la base de connaissance
+knowledge_base = PDFKnowledgeBase(
+    #path="/home/fallou/PROJECT/Repo-IA/AGNO/directive", 
+    reader=PDFReader(chunk=True),
+    vector_db=vector_db,
+    chunking_strategy=AgenticChunking(),
+)
+
+agent = Agent(
+    model=OpenAIChat(id="gpt-4o"),
+    knowledge=knowledge_base,
+    search_knowledge=True,
+    debug_mode=False,
+    description=(
+        "Agent polyvalent spécialisé dans l'analyse, la génération et la vérification des directives de suivi des projets et programmes de l'État du Sénégal. "
+        "Il combine les rôles suivants : analyse des requêtes, recherche contextuelle, extraction des rôles, rédaction structurée et contrôle de conformité."
+    ),
+instructions=[
+    # === CONTEXTE GLOBAL ===
+    "### Contexte Global\n"
+    "- Les directives proviennent de toutes les sources officielles : Conseils Présidentiels, Conseils des Ministres, Conseils Interministériels et réunions gouvernementales.\n"
+    "- Extraire **toutes les directives** présentes, même implicites ou partiellement mentionnées.\n"
+    "- L’objectif est de fournir une base exhaustive et directement exploitable pour le suivi des projets et programmes de l’État.\n",
+
+    # === TÂCHE 1 : RECHERCHE ET EXTRACTION ===
+    "### Tâche : Extraction exhaustive des directives\n"
+    "- Identifier toutes les directives liées à `{query}` ou aux projets/programmes mentionnés dans les documents.\n"
+    "- Ne pas omettre les directives secondaires ou implicites (ex : relances, rappels, suivis techniques).\n"
+    "- Lister chaque directive de manière indépendante.\n",
+
+
+    # === FORMAT DE SORTIE OBLIGATOIRE ===
+    "### Format de sortie obligatoire\n"
+    "- La sortie doit être **en Markdown structuré** avec deux sections principales :\n"
+    "1. **Résumé Global** : courte synthèse expliquant le contexte et nombre de directives trouvées.\n"
+    "2. **Détails des Directives** sous forme de tableau Markdown avec colonnes suivantes :\n"
+    "| Autorité émettrice | Source | Date de publication | Description détaillée de la directive | Action(s) à entreprendre | Structures responsables | Parties prenantes | Statut | Priorité | Date limite | Actions spécifiques du BOCS |\n"
+    "- Chaque ligne représente une directive.\n"
+    "- Les dates doivent être formatées `JJ Mois AAAA` .\n"
+    "- Ne pas inclure de JSON ou code brut, uniquement résumé + tableau Markdown.\n",
+
+    # === TÂCHE 2 : MÉTADONNÉES ET STRUCTURATION ===
+    "### Tâche : Structuration des directives\n"
+    "- Pour chaque directive, fournir :\n"
+    "  1. **Autorité émettrice** : Auteur de la directive (PR, PM, SGG, Ministère, etc.)\n"
+    "  2. **Source** (type de conseil ou réunion)\n"
+    "  3. **Date de publication du document** (ou 'Date du conseil')\n"
+    "  4. **Description détaillée** de la directive\n"
+    "  5. **Actions à entreprendre** (liste détaillée)\n"
+    "  6. **Structures responsables** (entités principales)\n"
+    "  7. **Parties prenantes** (internes/externes)\n"
+    "  8. **Statut** (En cours, Démarré, Non démarré)\n"
+    "  9. **Priorité** (Très Haute, Haute, Moyenne, Basse)\n"
+    "  10. **Date limite** (ou 'Meilleurs delais')\n"
+    "  11. **Actions spécifiques du BOCS** (toujours présentes, détaillées)\n",
+
+
+
+    # === TÂCHE 4 : VÉRIFICATION ===
+    "### Vérification\n"
+    "- Vérifier que chaque directive contient **tous les champs**.\n"
+    "- Si une information manque au niveau de la date limite, préciser 'Meilleurs delais'.\n"
+    "- Garantir que la structure est prête à être utilisée sans retravail manuel."
+   ],
+    tools=[ReasoningTools(add_instructions=True)],
+    storage=storage,
+    add_history_to_messages=False,
+    
+)
+
+
+# Vérifier si la collection Qdrant contient déjà des points
+def is_collection_indexed(vector_db):
+    try:
+        info = vector_db.client.count(collection_name=vector_db.collection)
+        return info.count > 0
+    except Exception:
+        return False
+
+# Charger la base de connaissance seulement si elle n'est pas déjà indexée
+if not is_collection_indexed(vector_db):
+    agent.knowledge.load(recreate=False)
+ 
+ 
+# -------------------------------
+#  Fonction principale : appel agent avec agent.run()
+# -------------------------------
+def generate_directives(query: str):
+    try:
+        prompt = f"Analyse toutes les directives en details en occurence avec la question du user : {query}"
+
+        result = agent.run(prompt)
+        content = getattr(result, "content", None)
+
+        if hasattr(content, "dict") and callable(content.dict):
+            data = content.dict()
+        elif isinstance(content, dict):
+            data = content
+        elif isinstance(content, str):
+            return f"Réponse brute :\n\n{content}"
+        else:
+            return f"Type inattendu pour content : {type(content)}\nValeur : {content}"
+
+        resume = data.get("resume")
+        directives = data.get("directives")
+        if not resume or not directives:
+            return "Le JSON ne contient pas 'resume' ou 'directives'."
+
+        # Générer seulement du Markdown
+        markdown_output = f"## Résumé\n- **Nombre de directives** : {resume.get('nombre_directives', 'Inconnu')}\n\n"
+        markdown_output += f"> {resume.get('contexte', '')}\n\n"
+        markdown_output += "## Directives détaillées\n"
+        for idx, directive in enumerate(directives, start=1):
+            markdown_output += f"### Directive {idx}\n"
+            for key, value in directive.items():
+                if isinstance(value, list):
+                    value = ", ".join(value)
+                markdown_output += f"- **{key}** : {value}\n"
+            markdown_output += "\n"
+
+        return markdown_output
+
+    except Exception as e:
+        return f"Erreur inattendue : {str(e)}"
+
+
+ # --- Convertir Markdown en PDF ---
+def export_to_pdf(markdown_text):
+    if not markdown_text:
+        return None
+    # Convertir Markdown en HTML
+    html_content = md.markdown(markdown_text)
+    tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".pdf")
+    HTML(string=html_content).write_pdf(tmp.name)
+    return tmp.name
+
+
+def export_to_html(markdown_text):
+    if not markdown_text:
+        return None
+    html_content = md.markdown(markdown_text)
+    tmp = tempfile.NamedTemporaryFile(delete=False, suffix=".html")
+    with open(tmp.name, "w", encoding="utf-8") as f:
+        f.write(f"<html><body>{html_content}</body></html>")
+    return tmp.name
+
+# -------------------------------
+# Interface Gradio avec deux onglets
+# -------------------------------
+with gr.Blocks() as demo:
+    gr.Markdown("# 🏛️ Assistant Suivi des Directives")
+
+    # Onglet Chat
+    with gr.Tab("Chat"):
+        with gr.Row():
+            query_input = gr.Textbox(
+                label="Votre requête",
+                placeholder="Ex: Détails spécifiques sur des directives individuelles. ",
+                lines=3
+            )
+            submit_btn = gr.Button("Générer Directives")
+
+        output_md = gr.Markdown(label="Résultat")
+
+        # Ici on relie directement la fonction
+        submit_btn.click(
+            fn=generate_directives,
+            inputs=query_input,
+            outputs=output_md
+        ) 
+
+    # Onglet Export (toujours à l’intérieur du même Blocks)
+    with gr.Tab("Export"):
+        gr.Markdown("### Exportez les directives générées")
+        export_pdf_btn = gr.Button("Télécharger PDF (.pdf)")
+        export_html_btn = gr.Button("Télécharger HTML (.html)")
+
+        pdf_file = gr.File(label="Fichier PDF", interactive=False)
+        html_file = gr.File(label="Fichier HTML", interactive=False)
+
+        export_pdf_btn.click(fn=export_to_pdf, inputs=output_md, outputs=pdf_file)
+        export_html_btn.click(fn=export_to_html, inputs=output_md, outputs=html_file)
+
+demo.launch(server_name="0.0.0.0", server_port=7860)

requirements.txt

@@ -0,0 +1,116 @@
+agno==1.7.5
+aiofiles==24.1.0
+annotated-types==0.7.0
+anyio==4.9.0
+argon2-cffi==25.1.0
+argon2-cffi-bindings==21.2.0
+beautifulsoup4==4.13.4
+bidict==0.23.1
+Brotli==1.1.0
+bs4==0.0.2
+certifi==2025.7.14
+cffi==1.17.1
+charset-normalizer==3.4.2
+click==8.2.1
+cssselect2==0.8.0
+defusedxml==0.7.1
+deprecation==2.1.0
+distro==1.9.0
+docstring_parser==0.17.0
+fastapi==0.116.1
+ffmpy==0.6.1
+filelock==3.18.0
+fonttools==4.59.0
+fsspec==2025.7.0
+gitdb==4.0.12
+GitPython==3.1.44
+gradio==5.38.2
+gradio_client==1.11.0
+groovy==0.1.2
+grpcio==1.73.1
+h11==0.16.0
+h2==4.2.0
+hf-xet==1.1.5
+hpack==4.1.0
+httpcore==1.0.9
+httptools==0.6.4
+httpx==0.28.1
+huggingface-hub==0.34.1
+hyperframe==6.1.0
+idna==3.10
+Jinja2==3.1.6
+jiter==0.10.0
+lancedb==0.24.1
+lxml==6.0.0
+Markdown==3.8.2
+markdown-it-py==3.0.0
+MarkupSafe==3.0.2
+mdurl==0.1.2
+minio==7.2.16
+numpy==2.3.1
+openai==1.97.1
+orjson==3.11.1
+overrides==7.7.0
+packaging==25.0
+panda==0.3.1
+pandas==2.3.1
+pillow==11.3.0
+portalocker==3.2.0
+protobuf==6.31.1
+pyarrow==21.0.0
+pycparser==2.22
+pycryptodome==3.23.0
+pydantic==2.11.7
+pydantic-settings==2.10.1
+pydantic_core==2.33.2
+pydub==0.25.1
+pydyf==0.11.0
+Pygments==2.19.2
+pylance==0.31.1
+pypdf==5.8.0
+pyphen==0.17.2
+python-dateutil==2.9.0.post0
+python-docx==1.2.0
+python-dotenv==1.1.1
+python-engineio==4.12.2
+python-multipart==0.0.20
+python-socketio==5.13.0
+pytz==2025.2
+PyYAML==6.0.2
+qdrant-client==1.15.0
+redis==6.2.0
+requests==2.32.4
+rich==14.0.0
+ruff==0.12.5
+safehttpx==0.1.6
+semantic-version==2.10.0
+setuptools==80.9.0
+shellingham==1.5.4
+simple-websocket==1.1.0
+six==1.17.0
+smmap==5.0.2
+sniffio==1.3.1
+soupsieve==2.7
+starlette==0.47.2
+tantivy==0.24.0
+tinycss2==1.4.0
+tinyhtml5==2.0.0
+tomli==2.2.1
+tomlkit==0.13.3
+tqdm==4.67.1
+typer==0.16.0
+typing-inspection==0.4.1
+typing_extensions==4.14.1
+tzdata==2025.2
+unicorn==2.1.3
+urllib3==2.5.0
+uvicorn==0.35.0
+uvloop==0.21.0
+watchfiles==1.1.0
+weasyprint==66.0
+webencodings==0.5.1
+websockets==15.0.1
+wsproto==1.2.0
+youtube-search-python==1.6.6
+youtube-transcript-api==0.6.2
+zopfli==0.2.3.post1