Initial RAG

.gitignore

@@ -0,0 +1,49 @@
+# ==========================
+# Python
+# ==========================
+
+__pycache__/
+*.py[cod]
+
+# ==========================
+# Jupyter
+# ==========================
+
+.ipynb_checkpoints/
+
+# ==========================
+# Environnements virtuels
+# ==========================
+
+venv/
+.venv/
+env/
+
+# ==========================
+# Variables d'environnement
+# ==========================
+
+.env
+
+# ==========================
+# Système
+# ==========================
+
+.DS_Store
+Thumbs.db
+
+# ==========================
+# Notes personnelles
+# ==========================
+config.png
+help.txt
+requirements_full.txt
+
+# ==========================
+# Code a ne pas push
+# ==========================
+data/raw
+src/main.py
+src/chat.py
+src/llm/prompt2.py
+src/loaders

README.md

@@ -0,0 +1,69 @@
+# RAG Assistant
+
+Assistant conversationnel basé sur une architecture **Retrieval Augmented Generation (RAG)**.
+
+Cette application permet d'interroger une base documentaire pré-indexée en combinant une recherche vectorielle, un reranking des documents et un modèle de langage.
+
+---
+
+# Modèles utilisés
+
+| Composant | Modèle |
+|-----------|---------|
+| **LLM** | TinyLlama/TinyLlama-1.1B-Chat-v1.0 |
+| **Embeddings** | sentence-transformers/all-MiniLM-L6-v2 |
+| **Reranker** | cross-encoder/ms-marco-MiniLM-L-6-v2 |
+| **Recherche vectorielle** | FAISS |
+| **Interface** | Gradio |
+
+---
+
+# Fonctionnement
+
+Le pipeline RAG suit les étapes suivantes :
+
+1. La question de l'utilisateur est convertie en embedding grâce au modèle **sentence-transformers/all-MiniLM-L6-v2**.
+2. Une recherche de similarité est effectuée dans la base vectorielle **FAISS** afin de récupérer les passages les plus proches.
+3. Les documents retrouvés sont ensuite réordonnés (**reranking**) grâce au modèle **cross-encoder/ms-marco-MiniLM-L-6-v2** afin de conserver les passages les plus pertinents.
+4. Les passages sélectionnés sont injectés dans le prompt du modèle **TinyLlama/TinyLlama-1.1B-Chat-v1.0**.
+5. Le modèle génère une réponse contextualisée.
+
+Architecture :
+
+```text
+                Question utilisateur
+                         │
+                         ▼
+      Embedding (all-MiniLM-L6-v2)
+                         │
+                         ▼
+          Recherche vectorielle
+                  (FAISS)
+                         │
+                         ▼
+             Top-k documents
+                         │
+                         ▼
+      Reranking (CrossEncoder)
+ cross-encoder/ms-marco-MiniLM-L-6-v2
+                         │
+                         ▼
+           Contexte optimisé
+                         │
+                         ▼
+          TinyLlama-1.1B-Chat-v1.0
+                         │
+                         ▼
+                  Réponse
+```
+
+## Objectif du projet
+
+Ce projet a été développé afin d'explorer les différentes étapes de la construction d'un système RAG complet :
+
+- chargement et préparation des documents ;
+- création d'une base vectorielle avec FAISS ;
+- recherche sémantique par embeddings ;
+- amélioration de la pertinence grâce à un CrossEncoder (reranking) ;
+- génération de réponses avec un modèle de langage Hugging Face ;
+- interface utilisateur développée avec Gradio.

app.py

@@ -0,0 +1,80 @@
+import gradio as gr
+
+from src.vectorstore.faiss_index import load_index
+from src.vectorstore.metadata_store import load_metadata
+
+from src.retrieval.retriever import retrieve
+from src.retrieval.reranker import rerank
+
+from src.llm.generator import generate_answer
+from src.llm.postprocessing import clean_answer
+
+from src.data_processing.txt_embeddings import compute_embeddings
+
+# Load once
+from pathlib import Path
+
+BASE_DIR = Path(__file__).parent
+
+INDEX_PATH = BASE_DIR / "data/vectorstore/faiss.index"
+METADATA_PATH = BASE_DIR / "data/metadata/metadata.json"
+
+index = load_index(INDEX_PATH)
+metadata = load_metadata(METADATA_PATH)
+
+
+def chat_fn(message, history):
+
+    # 1. Embedding de la question
+    query_emb = compute_embeddings([message])
+
+    # 2. Retrieval FAISS
+    docs = retrieve(query_emb, index, metadata, top_k=10)
+
+    # 3. Reranking (IMPORTANT: retourne (doc, score))
+    docs = rerank(message, docs, top_k=10)
+
+    # 4. Construction du contexte LLM
+    context = "\n\n".join([doc["text"] for doc, score in docs])
+
+    # 5. Prompt
+    prompt = f"""
+Context:
+{context}
+
+Question:
+{message}
+
+Answer:
+"""
+
+    # 6. Génération réponse LLM
+    answer = generate_answer(prompt)
+
+    # 6.1. Postprocessing
+    answer = clean_answer(answer)
+
+    # 7. Debug chunks avec scores
+    debug = "\n\n".join(
+        [
+            f"📄 Chunk {i+1} (Score : {score:.3f})\n{doc['text']}"
+            for i, (doc, score) in enumerate(docs)
+        ]
+    )
+
+    # 8. Output final
+    final_output = f"{answer}\n\n---\n\n🔍 Retrieved chunks:\n{debug}"
+
+    return final_output
+
+###########################################################################
+# Interface Gradio type ChatGPT
+
+demo = gr.ChatInterface(
+    fn=chat_fn,
+    title="💬 RAG Assistant",
+    description="Chat avec ton système RAG local"
+)
+
+if __name__ == "__main__":
+    demo.launch()

data/metadata/metadata.json

@@ -0,0 +1,142 @@
+[
+    {
+        "text": "Le contrat de M. A se termine le 12 août 2025. Le contrat de M. B se termine le 12 août 2025. Le contrat de M. C se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 0,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. C se termine le 12 août 2025. Le contrat de M. D se termine le 12 août 2025. Le contrat de M. E se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 1,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. E se termine le 12 août 2025. Le contrat de M. F se termine le 12 août 2025. Le contrat de M. G se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 2,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. G se termine le 12 août 2025. Le contrat de M. H se termine le 12 août 2025. Le contrat de M. I se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 3,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. I se termine le 12 août 2025. Le contrat de M. J se termine le 12 août 2025. Le contrat de M. K se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 4,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. K se termine le 12 août 2025. Le contrat de M. L se termine le 12 août 2025. Le contrat de M. M se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 5,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. M se termine le 12 août 2025. Le contrat de M. N se termine le 12 août 2025. Le contrat de M. O se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 6,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. O se termine le 12 août 2025. Le contrat de M. P se termine le 12 août 2025. Le contrat de M. Q se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 7,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. Q se termine le 12 août 2025. Le contrat de M. R se termine le 12 août 2025. Le contrat de M. S se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 8,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. S se termine le 12 août 2025. Le contrat de M. T se termine le 12 août 2025. Le contrat de M. U se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 9,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. U se termine le 12 août 2025. Le contrat de M. V se termine le 12 août 2025. Le contrat de M. W se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 10,
+        "length": 140,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. W se termine le 12 août 2025. Le contrat de M. X se termine le 28 janvier 2024. Le contrat de M. Y se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 11,
+        "length": 143,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Le contrat de M. Y se termine le 12 août 2025. Le contrat de M. Z se termine le 12 août 2025.",
+        "filename": "doc1.txt",
+        "chunk_id": 12,
+        "length": 93,
+        "source": "doc1.txt"
+    },
+    {
+        "text": "Les CDD doivent être renouvelés par écrit. Les CDI doivent être renouvelés par écrit. Les CDD doivent être renouvelés par écrit pour X nombre de jours.",
+        "filename": "doc2.txt",
+        "chunk_id": 0,
+        "length": 151,
+        "source": "doc2.txt"
+    },
+    {
+        "text": "Les CDD doivent être renouvelés par écrit pour X nombre de jours. Les CDI et CDI doivent être renouvelés par écrit pour 100 jours de travaille supplémentaires. La captiale de la France est Paris, c'est un très beau pays.",
+        "filename": "doc2.txt",
+        "chunk_id": 1,
+        "length": 220,
+        "source": "doc2.txt"
+    },
+    {
+        "text": "La captiale de la France est Paris, c'est un très beau pays. Situé au centre de l'Europe, ses voisins sont l'Espagne, la Belgique, le Portugal.",
+        "filename": "doc2.txt",
+        "chunk_id": 2,
+        "length": 143,
+        "source": "doc2.txt"
+    },
+    {
+        "text": "La période d'essai est de 10 mois maximum. correctif janvier 2026 : La période d'essai est de 3 mois maximum. correctif février 2026 : La période d'essai est de 2 mois maximum.",
+        "filename": "doc3.txt",
+        "chunk_id": 0,
+        "length": 176,
+        "source": "doc3.txt"
+    },
+    {
+        "text": "correctif février 2026 : La période d'essai est de 2 mois maximum.",
+        "filename": "doc3.txt",
+        "chunk_id": 1,
+        "length": 66,
+        "source": "doc3.txt"
+    },
+    {
+        "text": "Le contrat de MMe. Y se termine le 12 août 2025. Le contrat de MMe.",
+        "filename": "doc4.txt",
+        "chunk_id": 0,
+        "length": 67,
+        "source": "doc4.txt"
+    },
+    {
+        "text": "Le contrat de MMe. Xtra se termine le 10 mai 1996.",
+        "filename": "doc4.txt",
+        "chunk_id": 1,
+        "length": 50,
+        "source": "doc4.txt"
+    }
+]

requirements.txt

@@ -0,0 +1,12 @@
+torch==2.12.1
+transformers==5.12.1
+sentence-transformers==5.6.0
+numpy==2.4.6
+nltk==3.9.4
+python-docx==1.2.0
+PyMuPDF==1.28.0
+pandas==2.3.3
+faiss-cpu==1.14.3
+accelerate==1.14.0
+safetensors==0.8.0
+gradio==6.19.0

src/data_processing/txt_chunker.py

@@ -0,0 +1,72 @@
+# -*- coding: utf-8 -*-
+"""
+Created on Fri Jul  3 15:41:48 2026
+
+@author: ALBERT
+"""
+
+from nltk.tokenize import sent_tokenize
+import re
+
+
+def clean_text(text: str) -> str:
+    """Nettoyage basique du texte"""
+
+    text = text.strip()
+
+    # supprime répétitions type "aaaaaa"
+    if re.search(r"(.)\1{8,}", text):
+        return ""
+
+    # supprime bruit évident
+    if len(text) < 30:
+        return ""
+
+    return text
+
+
+def chunk_text(text, max_sentences=3, overlap=1):
+
+    sentences = sent_tokenize(text)
+
+    # nettoyage sentences
+    sentences = [s.strip() for s in sentences if len(s.strip()) > 0]
+
+    chunks = []
+
+    step = max_sentences - overlap
+
+    for i in range(0, len(sentences), step):
+
+        chunk_sentences = sentences[i:i + max_sentences]
+        chunk = " ".join(chunk_sentences)
+
+        chunk = clean_text(chunk)
+
+        if chunk:  # garde uniquement chunks valides
+            chunks.append(chunk)
+
+    return chunks
+
+def create_chunks_metadata(documents):
+
+    all_chunks = []
+    metadata = []
+
+    for doc in documents:
+
+        chunks = chunk_text(doc["text"])
+
+        for i, chunk in enumerate(chunks):
+
+            all_chunks.append(chunk)
+
+            metadata.append({
+                "text": chunk,
+                "filename": doc.get("filename", "unknown"),
+                "chunk_id": i,
+                "length": len(chunk),
+                "source": doc.get("filename", "unknown")
+            })
+
+    return all_chunks, metadata

src/data_processing/txt_embeddings.py

@@ -0,0 +1,15 @@
+# -*- coding: utf-8 -*-
+"""
+Created on Fri Jul  3 15:48:54 2026
+
+@author: ALBERT
+"""
+
+from sentence_transformers import SentenceTransformer
+import numpy as np
+
+model = SentenceTransformer("all-MiniLM-L6-v2")
+
+def compute_embeddings(chunks):
+    embeddings = model.encode(chunks)
+    return np.array(embeddings).astype("float32")

src/llm/generator.py

@@ -0,0 +1,26 @@
+# src/llm/generator.py
+
+import torch
+from .model import model, tokenizer
+
+
+def generate_answer(prompt, max_new_tokens=50, temperature=0.2):
+
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+
+    with torch.no_grad():
+        output = model.generate(
+            **inputs,
+            max_new_tokens=max_new_tokens,
+            temperature=temperature,
+            do_sample=False,
+            top_p=0.9,
+            repetition_penalty=1.2,
+            eos_token_id=tokenizer.eos_token_id,
+            pad_token_id=tokenizer.eos_token_id
+        )
+
+    response = tokenizer.decode(output[0], skip_special_tokens=True)
+
+    # On enlève le prompt pour ne garder que la réponse
+    return response[len(prompt):].strip()

src/llm/model.py

@@ -0,0 +1,15 @@
+
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+
+MODEL_NAME = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
+
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+    device_map="auto"
+)
+
+model.eval()

src/llm/postprocessing.py

@@ -0,0 +1,33 @@
+import re
+
+STOP_SEQUENCES = [
+    "Question:",
+    "Context:",
+    "Answer:",
+    "User:",
+    "Assistant:"
+]
+
+def clean_answer(text: str) -> str:
+    """
+    Nettoyage de base de la réponse LLM
+    """
+
+    if not text:
+        return ""
+
+    # 1. strip global
+    text = text.strip()
+
+    # 2. couper si le modèle recommence un dialogue
+    for stop in STOP_SEQUENCES:
+        if stop in text:
+            text = text.split(stop)[0]
+
+    # 3. enlever répétitions de whitespace
+    text = re.sub(r"\s+", " ", text)
+
+    # 4. enlever phrases incomplètes finales (très simple)
+    text = re.sub(r"\b\w{1,2}$", "", text).strip()
+
+    return text

src/retrieval/query.py

@@ -0,0 +1,9 @@
+from data_processing.txt_embeddings import compute_embeddings
+
+
+def create_query_embedding(question):
+    """
+    Transforme une question utilisateur en embedding.
+    """
+
+    return compute_embeddings([question])

src/retrieval/reranker.py

@@ -0,0 +1,18 @@
+from sentence_transformers import CrossEncoder
+
+model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
+
+
+def rerank(query, documents, top_k=3):
+
+    pairs = [(query, doc["text"]) for doc in documents]
+
+    scores = model.predict(pairs)
+
+    ranked = sorted(
+        zip(documents, scores),
+        key=lambda x: x[1],
+        reverse=True
+    )
+
+    return ranked[:top_k]

src/retrieval/retriever.py

@@ -0,0 +1,15 @@
+def retrieve(query_embedding, index, metadata, top_k=3):
+
+    distances, indices = index.search(query_embedding, top_k)
+
+    results = []
+
+    for distance, idx in zip(distances[0], indices[0]):
+
+        results.append({
+            "text": metadata[idx]["text"],
+            "source": metadata[idx]["filename"],
+            "distance": float(distance)
+        })
+
+    return results

src/vectorstore/faiss_index.py

@@ -0,0 +1,23 @@
+# -*- coding: utf-8 -*-
+"""
+Created on Fri Jul  3 15:59:06 2026
+
+@author: ALBERT
+"""
+
+import faiss
+
+def build_index(embeddings, index_path):
+    dimension = embeddings.shape[1]
+
+    index = faiss.IndexFlatL2(dimension)
+    index.add(embeddings)
+
+    faiss.write_index(index, index_path)
+
+    print("Index FAISS sauvegardé.")
+
+
+def load_index(index_path):
+    print("Chargement de l'index FAISS...")
+    return faiss.read_index(index_path)

src/vectorstore/metadata_store.py

@@ -0,0 +1,16 @@
+import json
+
+def save_metadata(metadata, metadata_path):
+    with open(metadata_path, "w", encoding="utf-8") as f:
+        json.dump(metadata, f, ensure_ascii=False, indent=4)
+
+    print("Métadonnées sauvegardées.")
+
+
+def load_metadata(metadata_path):
+    with open(metadata_path, "r", encoding="utf-8") as f:
+        metadata = json.load(f)
+
+    print("Métadonnées chargées.")
+
+    return metadata