Update main.py

main.py

@@ -10,10 +10,11 @@ from langchain.schema import StrOutputParser
 
 from operator import itemgetter
 from pinecone import Pinecone
-
-from langchain.memory import ConversationBufferMemory
+from langchain_pinecone import PineconeVectorStore
+from langchain.memory import ChatMessageHistory, ConversationBufferMemory
 from langchain.schema.runnable import Runnable, RunnablePassthrough, RunnableConfig, RunnableLambda
 from langchain.callbacks.base import BaseCallbackHandler
+from langchain.chains import ConversationalRetrievalChain
 
 import chainlit as cl
 from chainlit.input_widget import TextInput, Select, Switch, Slider
@@ -38,9 +39,25 @@ os.environ['HUGGINGFACEHUB_API_TOKEN'] = os.environ['HUGGINGFACEHUB_API_TOKEN']
 repo_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
 
 model = HuggingFaceEndpoint(
-    repo_id=repo_id, max_new_tokens=8000, temperature=1.0, task="text2text-generation", streaming=True
+    repo_id=repo_id, max_new_tokens=5000, temperature=1.0, task="text2text-generation", streaming=True
 )
-
+os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
+    embeddings = HuggingFaceEmbeddings()
+    index_name = "all-venus"
+    #pc = Pinecone(
+    #    api_key=os.environ['PINECONE_API_KEY']
+    #)
+    #index = pc.Index(index_name)
+    #xq = embeddings.embed_query(message.content)
+    #xc = index.query(vector=xq, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}},top_k=150, include_metadata=True)
+    #context = ""
+    #for result in xc['matches']:
+    #    context = context + result['metadata']['text']
+    vectorstore = PineconeVectorStore(
+        index_name=index_name, embedding=embeddings
+    )
+    retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": .7, "k": 150,"filter": {'categorie': {'$eq': 'bibliographie-OPP-DGDIN'}}})
+    
 @cl.on_chat_start
 async def on_chat_start():
     await cl.Message(f"> REVIEWSTREAM").send()
@@ -68,34 +85,45 @@ async def on_chat_start():
         await cl.Message(f"Vous pouvez requêter sur la thématique : {res.get('value')}").send()
         cl.user_session.set("selectRequest", res.get("value"))
         
-    memory = ConversationBufferMemory(return_messages=True)
-    template = """<s>[INST] Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant.
-    
-    En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.
-    {context}
-    {question} [/INST] </s>
-    """
-    prompt = ChatPromptTemplate.from_messages(
-        [
-            (
-                "system",
-                f"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}.",
-            ),
-            MessagesPlaceholder(variable_name="history"),
-            ("human", "Réponds à la question suivante de la manière la plus pertinente, la plus exhaustive et la plus détaillée possible. {question}."),
-        ]
-    )
-    runnable = (
-        RunnablePassthrough.assign(
-            history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
-        )
-        | prompt
-        | model
-        | StrOutputParser()
+    ########## Chain with streaming ##########
+    message_history = ChatMessageHistory()
+    memory = ConversationBufferMemory(memory_key="chat_history",output_key="answer",chat_memory=message_history,return_messages=True)
+    qa = ConversationalRetrievalChain.from_llm(
+        model,
+        memory=memory,
+        chain_type="stuff",
+        return_source_documents=True,
+        verbose=False,
+        retriever=retriever
     )
+    cl.user_session.set("runnable", qa)
+    #template = """<s>[INST] Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant.
+    
+    #En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes.
+    #{context}
+    #{question} [/INST] </s>
+    #"""
+    #prompt = ChatPromptTemplate.from_messages(
+    #    [
+    #        (
+    #            "system",
+    #            f"Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie. En fonction des informations suivantes et du contexte suivant seulement et strictement. Contexte : {context}.",
+    #        ),
+    #        MessagesPlaceholder(variable_name="history"),
+    #        ("human", "Réponds à la question suivante de la manière la plus pertinente, la plus exhaustive et la plus détaillée possible. {question}."),
+    #    ]
+    #)
+    #runnable = (
+    #    RunnablePassthrough.assign(
+    #        history=RunnableLambda(memory.load_memory_variables) | itemgetter("history")
+    #    )
+    #    | prompt
+    #    | model
+    #    | StrOutputParser()
+    #)
 
-    cl.user_session.set("memory", memory)
-    cl.user_session.set("runnable", runnable)
+    #cl.user_session.set("memory", memory)
+    #cl.user_session.set("runnable", runnable)
 
 
 @cl.on_message
@@ -103,19 +131,7 @@ async def on_message(message: cl.Message):
     memory = cl.user_session.get("memory")
     runnable = cl.user_session.get("runnable")  # type: Runnable
     msg = cl.Message(content="")
-    os.environ['PINECONE_API_KEY'] = os.environ['PINECONE_API_KEY']
-    embeddings = HuggingFaceEmbeddings()
-    index_name = "all-venus"
-    pc = Pinecone(
-        api_key=os.environ['PINECONE_API_KEY']
-    )
-    index = pc.Index(index_name)
-    xq = embeddings.embed_query(message.content)
-    xc = index.query(vector=xq, filter={"categorie": {"$eq": "bibliographie-OPP-DGDIN"}},top_k=120, include_metadata=True)
-    context_p = ""
-    for result in xc['matches']:
-        context_p = context_p + result['metadata']['text']
-
+    
     class PostMessageHandler(BaseCallbackHandler):
         """
         Callback handler for handling the retriever and LLM processes.
@@ -140,14 +156,18 @@ async def on_message(message: cl.Message):
                 )
         
     async with cl.Step(type="run", name="Réponse de Mistral"):
-        async for chunk in runnable.astream(
-            {"question": message.content, "context":context_p},
-            config=RunnableConfig(callbacks=[
-                cl.AsyncLangchainCallbackHandler(stream_final_answer=True)
-            ]),
-        ):
-            await msg.stream_token(chunk)
+        #async for chunk in runnable.astream(
+        #    {"question": message.content},
+        #    config=RunnableConfig(callbacks=[
+        #        cl.AsyncLangchainCallbackHandler(stream_final_answer=True)
+        #    ]),
+        #):
+        #    await msg.stream_token(chunk)
+        cb = cl.AsyncLangchainCallbackHandler()
+        res = await chain.acall("Contexte : Vous êtes un chercheur de l'enseignement supérieur et vous êtes doué pour faire des analyses d'articles de recherche sur les thématiques liées à la pédagogie, en fonction des critères définis ci-avant. En fonction des informations suivantes et du contexte suivant seulement et strictement, répondez en langue française strictement à la question ci-dessous à partir du contexte ci-dessous. Si vous ne pouvez pas répondre à la question sur la base des informations, dites que vous ne trouvez pas de réponse ou que vous ne parvenez pas à trouver de réponse. Essayez donc de comprendre en profondeur le contexte et répondez uniquement en vous basant sur les informations fournies. Ne générez pas de réponses non pertinentes. Question : " + message.content, callbacks=[cb])
+        answer = res["answer"]
 
-    await msg.send()
+    await cl.Message(content=answer).send()
+    #await msg.send()
     memory.chat_memory.add_user_message(message.content)
     memory.chat_memory.add_ai_message(msg.content)