Update utils.py

utils.py

@@ -92,7 +92,7 @@ llm_template2 = "Fasse folgenden Text als Überschrift mit maximal 3 Worten zusa
 
 rag_template = """Nutze die folgenden Kontext (Beginnend mit dem Wort 'Kontext:') aus Teilen aus den angehängten Dokumenten, um die Frage (Beginnend mit dem Wort 'Frage: ') 
                 "am Ende zu beantworten. Wenn du die Frage aus dem folgenden Kontext nicht beantworten kannst, dann versuche eine Beantwortung aus deinen eigenen trainierten Daten zu finden.
-                " Mache das kenntlich, ob du dich auf den hier angehängten Kontext beziehst oder ob du anhand deiner Daten antwortest.
+                " Mache das kenntlich, ob du dich auf den hier angehängten Kontext beziehst oder ob du anhand deiner Daten antwortest."""
                  + template + "Kontext: {context} Frage: {question}  """
 
 #################################################
@@ -113,6 +113,7 @@ PATH_WORK = "."
 CHROMA_DIR  = "/chroma/kkg"
 CHROMA_PDF = './chroma/kkg/pdf'
 CHROMA_WORD = './chroma/kkg/word'
+CHROMA_EXCEL = './chroma/kkg/excel'
 YOUTUBE_DIR = "/youtube"
 HISTORY_PFAD = "/data/history"
 
@@ -203,15 +204,17 @@ def document_loading_splitting():
     # kreiere einen DirectoryLoader für jeden file type
     pdf_loader = create_directory_loader('.pdf', CHROMA_PDF)
     word_loader = create_directory_loader('.word', CHROMA_WORD)
-    
+    excel_loader = create_directory_loader('.excel', CHROMA_EXCEL)
     
     # Load the files
     pdf_documents = pdf_loader.load()
     word_documents = word_loader.load()
+    excel_documents = excel_loader.load()
 
     #alle zusammen in docs...
     docs.extend(pdf_documents)
     docs.extend(word_documents)
+    docs.extend(excel_documents)
 
     #andere loader...
     # Load PDF
@@ -225,7 +228,7 @@ def document_loading_splitting():
     docs.extend(loader.load())
     ################################
     # Document splitting
-    text_splitter = RecursiveCharacterTextSplitter(chunk_overlap = 150, chunk_size = 1500)
+    text_splitter = RecursiveCharacterTextSplitter(chunk_overlap = 250, chunk_size = 2000)
     splits = text_splitter.split_documents(docs)
     
     return splits