Update app.py
Browse files
app.py
CHANGED
|
@@ -41,7 +41,6 @@ from beschreibungen import *
|
|
| 41 |
#Validieren des PW
|
| 42 |
ANTI_BOT_PW = os.getenv("VALIDATE_PW")
|
| 43 |
PREPROCESSED_SPLITS=None
|
| 44 |
-
SPLIT_TO_ORIGINAL_MAPPING = None
|
| 45 |
|
| 46 |
###############################
|
| 47 |
#HF Authentifizierung
|
|
@@ -69,7 +68,8 @@ vektordatenbank = load_vectorstore()
|
|
| 69 |
if vektordatenbank is None:
|
| 70 |
print("Vektorstore neu.......................")
|
| 71 |
# Initialisieren Sie den Vektorstore bei Bedarf
|
| 72 |
-
vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
|
|
|
| 73 |
else:
|
| 74 |
SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
|
| 75 |
|
|
@@ -213,6 +213,19 @@ def cancel_outputing():
|
|
| 213 |
def reset_textbox():
|
| 214 |
return gr.update(value=""),""
|
| 215 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 216 |
|
| 217 |
|
| 218 |
####################################################
|
|
@@ -295,7 +308,8 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
|
|
| 295 |
if vektordatenbank is None:
|
| 296 |
print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
|
| 297 |
#Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
| 298 |
-
vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
|
|
|
| 299 |
|
| 300 |
if vektordatenbank:
|
| 301 |
#Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
|
|
@@ -362,6 +376,7 @@ async def upload_pdf(file):
|
|
| 362 |
await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
|
| 363 |
|
| 364 |
# Asynchrones Erstellen des Vektorstores
|
|
|
|
| 365 |
await loop.run_in_executor(pool, create_vectorstore)
|
| 366 |
|
| 367 |
return f"PDF '{filename}' erfolgreich hochgeladen."
|
|
|
|
| 41 |
#Validieren des PW
|
| 42 |
ANTI_BOT_PW = os.getenv("VALIDATE_PW")
|
| 43 |
PREPROCESSED_SPLITS=None
|
|
|
|
| 44 |
|
| 45 |
###############################
|
| 46 |
#HF Authentifizierung
|
|
|
|
| 68 |
if vektordatenbank is None:
|
| 69 |
print("Vektorstore neu.......................")
|
| 70 |
# Initialisieren Sie den Vektorstore bei Bedarf
|
| 71 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
| 72 |
+
create_vectorstore()
|
| 73 |
else:
|
| 74 |
SPLIT_TO_ORIGINAL_MAPPING = load_splits_and_metadata()
|
| 75 |
|
|
|
|
| 213 |
def reset_textbox():
|
| 214 |
return gr.update(value=""),""
|
| 215 |
|
| 216 |
+
################################################
|
| 217 |
+
# Erstellen des Vektorstores
|
| 218 |
+
################################################
|
| 219 |
+
def create_vectorstore():
|
| 220 |
+
global vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING
|
| 221 |
+
# Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
| 222 |
+
PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING = document_loading_splitting()
|
| 223 |
+
if PREPROCESSED_SPLITS:
|
| 224 |
+
# Vektordatenbank zu den Splits erstellen
|
| 225 |
+
vektordatenbank = document_storage_chroma(PREPROCESSED_SPLITS)
|
| 226 |
+
# Speichern der Splits und Metadaten
|
| 227 |
+
save_splits_and_metadata((PREPROCESSED_SPLITS, SPLIT_TO_ORIGINAL_MAPPING))
|
| 228 |
+
|
| 229 |
|
| 230 |
|
| 231 |
####################################################
|
|
|
|
| 308 |
if vektordatenbank is None:
|
| 309 |
print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
|
| 310 |
#Splits zu allen Dokumenten in den Verzeichnissen erstellen
|
| 311 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
| 312 |
+
create_vectorstore()
|
| 313 |
|
| 314 |
if vektordatenbank:
|
| 315 |
#Retriever erstellen, um die relevanten Slpits zu einem Prompt zu suchen.... (retrieven)
|
|
|
|
| 376 |
await loop.run_in_executor(pool, upload_file_to_huggingface, file.name, upload_path)
|
| 377 |
|
| 378 |
# Asynchrones Erstellen des Vektorstores
|
| 379 |
+
#vektordatenbank, SPLIT_TO_ORIGINAL_MAPPING werden aktualisiert
|
| 380 |
await loop.run_in_executor(pool, create_vectorstore)
|
| 381 |
|
| 382 |
return f"PDF '{filename}' erfolgreich hochgeladen."
|