chore: :fire: remove unused packages

app.py

@@ -1,6 +1,5 @@
 import os
 import gradio as gr
-from haystack import Pipeline
 from haystack.document_stores.in_memory import InMemoryDocumentStore
 from haystack.dataclasses import ChatMessage
 from haystack.utils.auth import Secret
@@ -13,7 +12,6 @@ from haystack_integrations.components.embedders.mistral import MistralDocumentEm
 from haystack_integrations.components.generators.mistral import MistralChatGenerator
 from haystack_integrations.components.embedders.mistral.document_embedder import MistralDocumentEmbedder
 from haystack.components.generators.utils import print_streaming_chunk
-import pandas as pd
 
 title = "Gaia Mistral Chat RAG PDF Demo"
 description = "Example of an assistant with Gradio, RAG from PDF documents and Mistral AI via its API"
@@ -79,7 +77,7 @@ reseau: Charentes
 culture: Vigne
 date: 26/02/2024
 5. Partie 5 : Mémo de l’observateur
-Rédige un encart “mémo de l’Observateur” qui liste les bonnes pratiques, suggère la recherche de premiers symptômes de bioagresseurs à forte pression épidémiologique spécifique à la culture sur la période de un mois avant et un moins après la date
+Rédige un encart “mémo de l’Observateur” qui liste les bonnes pratiques, suggère la recherche de premiers symptômes de bioagresseurs à forte pression épidémiologique spécifique à la culture sur la période de un mois avant et un mois après la date
 """,
 """Partie 6 : Ce qu’il faut retenir 
 A partir du bulletin de santé végétal proposé, rédige une rubrique de synthèse intitulé “Ce qu’il faut retenir”. Cette rubrique sera divisée en sous sections correspondant à chacun des encarts qui compose le BSV, hormis celle de la météorologie, et proposera un récapitulatif de deux lignes maximum sur les éléments essentiels à retenir. Par exemple : 
@@ -112,7 +110,7 @@ def predict_haystack(message, history):
     messages = []
     for human, assistant in history:
         messages.append(ChatMessage(role="system", content=assistant, name="history-assistant"))
-        messages.append(ChatMessage(role="user", content=human, name="history-user"))
+        # messages.append(ChatMessage(role="user", content=human, name="history-user"))
         
     messages.append(ChatMessage(role="user", content=message, name="query"))
     
@@ -170,144 +168,5 @@ def predict_haystack_rag(message, history):
     }   
     )
     yield response["llm"]["replies"][0].content
-    
-
-def embed_model():
-
-    llm = MistralChatGenerator(api_key=Secret.from_token(env_api_key),
-                           model='mistral-large-latest')
-    
-    #if maladies.txt is absent, we ask for the maladies
-    if not os.path.exists('maladies.txt'):
-        prompt_maladies = """
-        Je vais te donner une extraction d'un fichier CSV, la première ligne est composée des entêtes :
-        NOM_PARCELLE;TYPE_SUIVI;COMMUNE_PARCELLE;CEPAGE;DATE_OBSERVATION;STADE_PHENOLOGIQUE;COMMENTAIRE;MCF;MFF;MFI;MGF;MGI;OCF;OFF;OFI;OGF;OGI;BCF;BFF;BFI;BGF;BGI;PCF;PFF;PFI;PGF;PGI\
-        Toutes les colonnes en 3 lettres ont une signification :
-        M pour le mildiou
-        O pour l'oidium
-        F pour la feuille si en deuxième position
-        F frequence si en 3ème position
-        G pour la grappe
-        C pour le cep
-        P pour pourriture grise
-        Par Exemple MCF veux dire Mildiou sur Cep Frequence et MFF veut dire Mildiou sur Feuille Fréquence.
-        # Facts
-        MCI < 30 : Début d'invasion
-        30 < MCI < 50 : Invasion moyenne
-        50 < MCI <= 100 : Invasion généralisée
-        et pareil pour les autres triplets.
-        Les valeurs sont des pourcentages.
-        # fichier CSV"""
-
-        df = pd.read_csv('maladies.csv', delimiter=';')
-        #keep the 50 lines where DATE_OBSERVATION is the most recent. date format is %d/%m/%Y
-        df['DATE_OBSERVATION'] = pd.to_datetime(df['DATE_OBSERVATION'], format='%d/%m/%Y')
-        df = df.sort_values(by='DATE_OBSERVATION', ascending=False).head(200)
-        csv_text = df.to_csv(index=False, sep=';')
-            
-        prompt_maladies = prompt_maladies + csv_text
-            
-        prompt_maladies = prompt_maladies + "```# Steps\
-        step 1 : dans cette étape, écris un rapport permettant d\'évaluer la progression de l\'invasion pour chaque triplet en fonction de la date\
-        step 2 : liste les triplets pour lesquels l\'invasion est la plus avancée\
-        step 3 : écrit un résumé de la situation pour le black rot, l\'oidium et le mildiou sur la période.\
-        step 4 : indique les actions à mettre en place pour lutter contre les maladies.\
-        applique les étapes\
-        ```"
-
-        message = ChatMessage.from_user(prompt_maladies)
-        print("asking for maladies")
-        response = llm.run(messages=[message])
-        maladies  = (response["replies"][0].content)
-        print(maladies)
-
-        #turn the string maladies into a document for haystack
-        f = open('maladies.txt', 'w')
-        f.write(maladies)
-        f.close()
-        
-    #if stades.txt is absent, we ask for the stades
-    if not os.path.exists('stades.txt'):
-        print("asking for stades")
-        prompt_stades = """je vais te donner une extraction d\'un fichier CSV, avec des dates d'observation et des stades phénologiques.
-        DATE_OBSERVATION;STADE_PHENOLOGIQUE;
-        évaluer la progression de la vigne sur les derniers jours. Citer le stade phénologique le plus commun et le stade phénologique le plus avancé.
-        # fichier CSV"""
-        df = pd.read_csv('maladies.csv', delimiter=';')
-        df = df[ ['DATE_OBSERVATION', 'STADE_PHENOLOGIQUE'] ]
-        #convert date to dmy
-        df['DATE_OBSERVATION'] = pd.to_datetime(df['DATE_OBSERVATION'], format='%d/%m/%Y')
-        df = df.sort_values(by='DATE_OBSERVATION', ascending=False)
-        #get the observations for the 10 days before the most recent observation
-        most_recent_date = df['DATE_OBSERVATION'].iloc[0]
-        df = df[df['DATE_OBSERVATION'] > most_recent_date - pd.Timedelta(days=10)]
-        df = df.head(200)
-        csv_text = df.to_csv(index=False, sep=';')
-        prompt_stades = prompt_stades + csv_text
-
-        message = ChatMessage.from_user(prompt_stades)
-        response = llm.run(messages=[message])
-        stades  = (response["replies"][0].content)
-        print(stades)
-
-        #turn the string stades into a document for haystack
-        f = open('stades.txt', 'w')
-        f.write(stades)
-        f.close()
-
-
-
-    print("embedding documents")
-    document_store = InMemoryDocumentStore()
-
-    docs_maladies = TextFileToDocument().run(sources=["maladies.txt"])
-    docs_stades = TextFileToDocument().run(sources=["stades.txt"])
-    docs = {"documents": docs_maladies["documents"] + docs_stades["documents"]}
-    split_docs = DocumentSplitter(split_by="passage", split_length=2).run(documents=docs["documents"])
-    embeddings = MistralDocumentEmbedder(api_key=Secret.from_token(env_api_key)).run(documents=split_docs["documents"])
-    DocumentWriter(document_store=document_store).run(documents=embeddings["documents"])
-
-
-    text_embedder = MistralTextEmbedder(api_key=Secret.from_token(env_api_key))
-    retriever = InMemoryEmbeddingRetriever(document_store=document_store)
-    prompt_builder = DynamicChatPromptBuilder(runtime_variables=["documents"])
-
-
-    chat_template = """Vous êtes un rédacteur de l'institut techique de la vignerédigez un bulletin de santé du végétal pour la culture "vigne" dans la région "charente" pour la date du 29/09/2023 en utilisant le contenu des documents. Sois spécifique et concis.
-    # Facts Les 5 principales catégories sont "phrénologie", "météorologie", "maladies", et un récapitulatif.
-
-
-
-                    {{query}}\n
-                    Documents:
-                    {% for document in documents %}
-                        {{document.content}}
-                    {% endfor%}
-                    """
-                        
-    messages = [ChatMessage.from_user(chat_template)]
-
-    # print(messages)
-
-    rag_pipeline = Pipeline()
-    rag_pipeline.add_component("text_embedder", text_embedder)
-    rag_pipeline.add_component("retriever", retriever)
-    rag_pipeline.add_component("prompt_builder", prompt_builder)
-    llm = MistralChatGenerator(api_key=Secret.from_token(env_api_key), model="mistral-large-latest")
-    rag_pipeline.add_component("llm", llm)
-
-
-    rag_pipeline.connect("text_embedder.embedding", "retriever.query_embedding")
-    rag_pipeline.connect("retriever.documents", "prompt_builder.documents")
-    rag_pipeline.connect("prompt_builder.prompt", "llm.messages")
-    # steps
-    # step 1 : dans "Phrénologie", rédigez un bref rapport sur le stade phénologique de la vigne. mentionnez le stade moyen et le stade le plus avancé avec les codes.
-    # step 2 : dans "Météorologie", rédigez un rapport sur la météo. mentionnez la température moyenne, les précipitations, et leur évolution par rapport à la semaine dernière, ainsi que l'impact sur la vigne.
-    # step 3 : dans "Maladies", rédigez un rapport exhaustif sur l'évolution des maladies. mentionnez les maladies les plus avancées et les actions à entreprendre.
-    # step 4 : dans "Récapitulatif", rédigez un résumé de la situation et des actions à entreprendre.
-    
-    return rag_pipeline, messages
 
-# pipeline, messages = embed_model()
-# chat = gr.ChatInterface(predict_haystack_rag).launch()
 chat = gr.ChatInterface(predict_haystack).launch()

requirements.txt

@@ -1,4 +1,3 @@
 gradio
 gradio_client
-farm-haystack
-pandas
+farm-haystack