added requirements, rag setup and prebaked prompts

app.py

@@ -2,6 +2,23 @@ import os
 import gradio as gr
 from llama_index.llms.mistralai import MistralAI
 from llama_index.core.llms import ChatMessage
+from mistralai.client import MistralClient, ChatMessage
+import requests
+import numpy as np
+import faiss
+import os
+from haystack import Pipeline
+from haystack.document_stores.in_memory import InMemoryDocumentStore
+from haystack.dataclasses import ChatMessage
+from haystack.utils.auth import Secret
+from haystack.components.builders import DynamicChatPromptBuilder
+from haystack.components.converters import TextFileToDocument
+from haystack.components.preprocessors import DocumentSplitter
+from haystack.components.retrievers.in_memory import InMemoryEmbeddingRetriever
+from haystack.components.writers import DocumentWriter
+from haystack_integrations.components.embedders.mistral import MistralDocumentEmbedder, MistralTextEmbedder
+from haystack_integrations.components.generators.mistral import MistralChatGenerator
+import pandas as pd
 
 title = "Gaia Mistral Chat RAG PDF Demo"
 description = "Example of an assistant with Gradio, RAG from PDF documents and Mistral AI via its API"
@@ -31,3 +48,193 @@ def predict(message, history):
         yield chunk.delta
 
 chat = gr.ChatInterface(predict).launch()
+
+prompts = [
+    """
+    #Facts : 
+
+reseau: Charentes
+
+culture: Vigne
+
+date: 26/02/2024
+Partie 1 : Phénologie :
+Rédige un analyse détaillée de la phénologie décrivant les différentes situations observées pour la culture sur le réseau.""",
+    """#Facts : 
+
+reseau: Charents
+
+culture: Vigne
+
+date: 26/02/2024
+Partie 2 : Climatologie :
+- Rédige une courte analyse de la climatologie sur les 7 jours précédant la date de rédaction du BSV, en la comparant à la semaine précédente. Cette analyse devra être divisée en 2 parties : Températures et Pluies.
+- Rédige une courte synthèse sur la prévision météorologique, la plus probable et la plus optimiste, dans les 7 prochains jours suivant la date de rédaction du BSV. Cette analyse devra inclure, entre autres, les cumuls de précipitations ainsi que les températures minimales et maximales attendus."""
+,
+    """#Facts :
+    reseau: Charentes
+    culture: Vigne
+    date: 26/02/2024
+    Partie 3 : Maladies
+    - Lister toutes les méthodes alternatives aux produits phytosanitaires existantes et opérationnelles qui permettent de lutter contre le mildiou et qui sont applicables à cette période de l’année.
+    - Lister toutes les fiches d’identification existantes sur les tordeuses de la grappe avec leur lien url.
+Propose une synthèse de la situation épidémiologique du "Black rot" sur le territoire et des risques associés pour la vigne. Cette synthèse commencera par un rapide rappel des éléments de biologie du pathogène et des facteurs climatiques favorisants et défavorables à la dissémination et la contamination du pathogène en du stade phénologique de la vigne.
+Cette synthèse doit ensuite inclure un résumé des observations réalisées sur le territoire durant les 7 derniers jours, et proposer une analyse quantitative et qualitative sur. Pour finir la synthèse devra évaluer, sur une échelle de 0 à 10, le risque de pression épidémiologique attendu pour les 7 prochains jours en fonction des conditions météorologiques à venir et du stade phénologique théorique de la vigne sur cette période
+- Lister toutes les méthodes alternatives aux produits phytosanitaires existantes et opérationnelles qui permettent de lutter contre le mildiou et qui sont applicables à cette période de l’année.
+- Lister toutes les fiches d’identification existantes sur les tordeuses de la grappe avec leur lien url.
+- Propose une synthèse de la situation épidémiologique du "Black rot" sur le territoire et des risques associés pour la vigne. Cette synthèse commencera par un rapide rappel des éléments de biologie du pathogène et des facteurs climatiques favorisants et défavorables à la dissémination et la contamination du pathogène en du stade phénologique de la vigne.
+Cette synthèse doit ensuite inclure un résumé des observations réalisées sur le territoire durant les 7 derniers jours, et proposer une analyse quantitative et qualitative sur. Pour finir la synthèse devra évaluer, sur une échelle de 0 à 10, le risque de pression épidémiologique attendu pour les 7 prochains jours en fonction des conditions météorologiques à venir et du stade phénologique théorique de la vigne sur cette période.
+""",
+    """#Facts :
+reseau: Charentes
+culture: Vigne
+date: 26/02/2024
+Partie 4 : Ravageurs
+
+- Rédige un encart biodiversité sur les auxiliaires de culture de la vigne présent sur la période en cours (bénéfices, ravageurs ciblés et conseils pratiques).
+à partir de ce que tu sais sur les bulletins de santé du végétal liste les auxiliaires de culture de la vigne présent sur la période de avril à juin (bénéfices, ravageurs ciblés, conseils pratiques et liens de redirection vers des ressources utiles trouvées sur le site ecophytopic.fr)
+""",
+    """#Facts :
+reseau: Charentes
+culture: Vigne
+date: 26/02/2024
+5. Partie 5 : Mémo de l’observateur
+Rédige un encart “mémo de l’Observateur” qui liste les bonnes pratiques, suggère la recherche de premiers symptômes de bioagresseurs à forte pression épidémiologique spécifique à la culture sur la période de un mois avant et un moins après la date
+""",
+"""Partie 6 : Ce qu’il faut retenir 
+A partir du bulletin de santé végétal proposé, rédige une rubrique de synthèse intitulé “Ce qu’il faut retenir”. Cette rubrique sera divisée en sous sections correspondant à chacun des encarts qui compose le BSV, hormis celle de la météorologie, et proposera un récapitulatif de deux lignes maximum sur les éléments essentiels à retenir. Par exemple : 
+sur les informations sur la situation épidémiologique et les risques associés pour la semaine passée, afin que le lecteur du BSV puisse facilement les retenir, en les classant par bioagresseur et en les mettant sous forme de bullet point."""
+]
+
+
+def embed_model():
+
+    llm = MistralChatGenerator(api_key=Secret.from_token(env_api_key),
+                           model='mistral-large-latest')
+    
+    prompt_maladies = """
+    Je vais te donner une extraction d\'un fichier CSV, la première ligne est composée des entêtes :\
+    NOM_PARCELLE;TYPE_SUIVI;COMMUNE_PARCELLE;CEPAGE;DATE_OBSERVATION;STADE_PHENOLOGIQUE;COMMENTAIRE;MCF;MFF;MFI;MGF;MGI;OCF;OFF;OFI;OGF;OGI;BCF;BFF;BFI;BGF;BGI;PCF;PFF;PFI;PGF;PGI\
+    Toutes les colonnes en 3 lettres ont une signification :\
+    M pour le mildiou\
+    O pour l\'oidium\
+    F pour la feuille si en deuxième position\
+    F frequence si en 3ème position\
+    G pour la grappe\
+    C pour le cep\
+    P pour pourriture grise\
+    Par Exemple MCF veux dire Mildiou sur Cep Frequence et MFF veut dire Mildiou sur Feuille Fréquence.\
+    # Facts\
+    MCI < 30 : Début d\'invasion\
+    30 < MCI < 50 : Invasion moyenne\
+    50 < MCI <= 100 : Invasion généralisée
+    et pareil pour les autres triplets.
+    Les valeurs sont des pourcentages.
+    # fichier CSV"""
+
+    df = pd.read_csv('maladies.csv', delimiter=';')
+    #keep the 50 lines where DATE_OBSERVATION is the most recent. date format is %d/%m/%Y
+    df['DATE_OBSERVATION'] = pd.to_datetime(df['DATE_OBSERVATION'], format='%d/%m/%Y')
+    df = df.sort_values(by='DATE_OBSERVATION', ascending=False).head(200)
+    csv_text = df.to_csv(index=False, sep=';')
+        
+    prompt_maladies = prompt_maladies + csv_text
+        
+    prompt_maladies = prompt_maladies + "```# Steps\
+    step 1 : dans cette étape, écris un rapport permettant d\'évaluer la progression de l\'invasion pour chaque triplet en fonction de la date\
+    step 2 : liste les triplets pour lesquels l\'invasion est la plus avancée\
+    step 3 : écrit un résumé de la situation pour le black rot, l\'oidium et le mildiou sur la période.\
+    step 4 : indique les actions à mettre en place pour lutter contre les maladies.\
+    applique les étapes\
+    ```"
+
+    message = ChatMessage.from_user(prompt_maladies)
+    print("asking for maladies")
+    response = llm.run(messages=[message])
+    maladies  = (response["replies"][0].content)
+    print(maladies)
+
+    #turn the string maladies into a document for haystack
+    f = open('maladies.txt', 'w')
+    f.write(maladies)
+    f.close()
+
+    print("asking for stades")
+    prompt_stades = """je vais te donner une extraction d\'un fichier CSV, avec des dates d'observation et des stades phénologiques.
+    DATE_OBSERVATION;STADE_PHENOLOGIQUE;
+    évaluer la progression de la vigne sur les derniers jours. Citer le stade phénologique le plus commun et le stade phénologique le plus avancé.
+    # fichier CSV"""
+    df = pd.read_csv('maladies.csv', delimiter=';')
+    df = df[ ['DATE_OBSERVATION', 'STADE_PHENOLOGIQUE'] ]
+    #convert date to dmy
+    df['DATE_OBSERVATION'] = pd.to_datetime(df['DATE_OBSERVATION'], format='%d/%m/%Y')
+    df = df.sort_values(by='DATE_OBSERVATION', ascending=False)
+    #get the observations for the 10 days before the most recent observation
+    most_recent_date = df['DATE_OBSERVATION'].iloc[0]
+    df = df[df['DATE_OBSERVATION'] > most_recent_date - pd.Timedelta(days=10)]
+    df = df.head(200)
+    csv_text = df.to_csv(index=False, sep=';')
+    prompt_stades = prompt_stades + csv_text
+
+    message = ChatMessage.from_user(prompt_stades)
+    response = llm.run(messages=[message])
+    stades  = (response["replies"][0].content)
+    print(stades)
+
+    #turn the string stades into a document for haystack
+    f = open('stades.txt', 'w')
+    f.write(stades)
+    f.close()
+
+
+
+    print("embedding documents")
+    document_store = InMemoryDocumentStore()
+
+    docs_maladies = TextFileToDocument().run(sources=["maladies.txt"])
+    docs_stades = TextFileToDocument().run(sources=["stades.txt"])
+    docs = {"documents": docs_maladies["documents"] + docs_stades["documents"]}
+    split_docs = DocumentSplitter(split_by="passage", split_length=2).run(documents=docs["documents"])
+    embeddings = MistralDocumentEmbedder(api_key=Secret.from_token(env_api_key)).run(documents=split_docs["documents"])
+    DocumentWriter(document_store=document_store).run(documents=embeddings["documents"])
+
+
+    text_embedder = MistralTextEmbedder(api_key=Secret.from_token(env_api_key))
+    retriever = InMemoryEmbeddingRetriever(document_store=document_store)
+    prompt_builder = DynamicChatPromptBuilder(runtime_variables=["documents"])
+
+
+    chat_template = """Vous êtes un rédacteur de l'institut techique de la vignerédigez un bulletin de santé du végétal pour la culture "vigne" dans la région "charente" pour la date du 29/09/2023 en utilisant le contenu des documents. Sois spécifique et concis.
+    # Facts Les 5 principales catégories sont "phrénologie", "météorologie", "maladies", et un récapitulatif.
+
+
+
+                    {{query}}\n
+                    Documents:
+                    {% for document in documents %}
+                        {{document.content}}
+                    {% endfor%}
+                    """
+                        
+    messages = [ChatMessage.from_user(chat_template)]
+
+    # print(messages)
+
+    rag_pipeline = Pipeline()
+    rag_pipeline.add_component("text_embedder", text_embedder)
+    rag_pipeline.add_component("retriever", retriever)
+    rag_pipeline.add_component("prompt_builder", prompt_builder)
+    llm = MistralChatGenerator(api_key=Secret.from_token(env_api_key), model="mistral-large-latest")
+    rag_pipeline.add_component("llm", llm)
+
+
+    rag_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")
+    rag_pipeline.connect("retriever.documents", "prompt_builder.documents")
+    rag_pipeline.connect("prompt_builder.prompt", "llm.messages")
+    # steps
+    # step 1 : dans "Phrénologie", rédigez un bref rapport sur le stade phénologique de la vigne. mentionnez le stade moyen et le stade le plus avancé avec les codes.
+    # step 2 : dans "Météorologie", rédigez un rapport sur la météo. mentionnez la température moyenne, les précipitations, et leur évolution par rapport à la semaine dernière, ainsi que l'impact sur la vigne.
+    # step 3 : dans "Maladies", rédigez un rapport exhaustif sur l'évolution des maladies. mentionnez les maladies les plus avancées et les actions à entreprendre.
+    # step 4 : dans "Récapitulatif", rédigez un résumé de la situation et des actions à entreprendre.
+    
+    return rag_pipeline, messages

requirements.txt

@@ -7,4 +7,9 @@ fastapi
 uvicorn
 gradio
 gradio_client
-starlette
+starlette
+requests
+numpy
+faiss
+haystack
+pandas