Update app.py

app.py

@@ -21,6 +21,9 @@ from chromadb.utils import embedding_functions
 import shutil
 import os
 from io import StringIO
+from llama_index.core.memory import ChatMemoryBuffer
+
+memory = ChatMemoryBuffer.from_defaults(token_limit=1500)
 #
 
 last = 0
@@ -46,6 +49,7 @@ frequency_penalty=0.0
 repetition_penalty=1.12
 presence_penalty=0.15
 cs = "s0"
+sp_flag = True
 
 system_sr = "Zoveš se U-Chat AI asistent i pomažeš odgovorima korisniku usluga kompanije United Group. Korisnik postavlja pitanje ili problem na koji očekuje rešenje. "
 # " Ako ne znaš odgovor, reci da ne znaš, ne izmišljaj ga."
@@ -97,7 +101,8 @@ Settings.embed_model = HuggingFaceEmbedding(model_name=EMBED_MODEL)
 #)
 vector_store = ChromaVectorStore(chroma_collection=collection)
 index = VectorStoreIndex.from_vector_store(vector_store, embed_model=Settings.embed_model)
-chat_engine = index.as_chat_engine(chat_mode="condense_question", verbose=True)
+chat_engine = index.as_chat_engine(chat_mode="condense_plus_context", memory=memory, verbose=True)
+# best condense_question context condense_plus_context
 #query_engine = index.as_query_engine(verbose=True)
 
 def upload_file(filepath):
@@ -114,6 +119,7 @@ def resetChat():
     return True
 
 def rag(input_text, history, jezik): # , file):
+    global sp_flag
 #    if (btn):
 #        resetChat()
 #    print(history, input_text)
@@ -179,9 +185,14 @@ def rag(input_text, history, jezik): # , file):
             system_prompt = system_sr + "Call centar telefon je 12755 za Crnu Goru, 0800 31111 za BIH, 070 700 700 u Sloveniji, 19900 u Srbiji, 095 1000 444 za hrvatske korisnike. Odgovori na jeziku istom kao i u postavljenom pitanju ili problemu korisnika."
     print("jezik: "+o_jezik)
     system_prompt = system_prompt + " Sledi pitanje ili problem korisnika, sa kojim dalje komuniciraš: "
+    if sp_flag:
+        sp_flag = False
+    else:
+        system_prompt = ""
 #        if (o_jezik!='N/A'):
 #            input_text += " - odgovori " + o_jezik + "."
 #    Settings.llm.system_prompt = system_prompt
+    
     response = chat_engine.chat(str({"role": "user", "content": system_prompt + input_text})).response
 #    response = query_engine.query(input_text)
     return response