Update utils.py

utils.py

@@ -15,9 +15,10 @@ import gc
 from pygments.lexers import guess_lexer, ClassNotFound
 import time
 import json
-import operator
-from typing import Annotated, Sequence, TypedDict
-import pprint
+import base64
+from io import BytesIO 
+import urllib.parse
+import tempfile
 
 from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer, AutoModelForCausalLM, GPTNeoForCausalLM, GPT2Tokenizer
 from sentence_transformers import SentenceTransformer, util
@@ -28,9 +29,9 @@ from pypinyin import lazy_pinyin
 import tiktoken
 import mdtex2html
 from markdown import markdown
-from pygments import highlight
-from pygments.lexers import guess_lexer,get_lexer_by_name
-from pygments.formatters import HtmlFormatter
+#from pygments import highlight
+#from pygments.lexers import guess_lexer,get_lexer_by_name
+#from pygments.formatters import HtmlFormatter
 
 from langchain.chains import LLMChain, RetrievalQA
 from langchain.prompts import PromptTemplate
@@ -389,7 +390,7 @@ def llm_chain2(prompt, context):
     inputs = tokenizer_rag(full_prompt, return_tensors="pt", max_length=1024, truncation=True)
 
     #Generiere die Antwort
-    outputs = modell_rag.generate(inputs['input_ids'], max_length=1024, num_beams=2, early_stopping=True)
+    outputs = modell_rag.generate(inputs['input_ids'], max_new_tokens=1024, num_beams=2, early_stopping=True)
     answer = tokenizer_rag.decode(outputs[0], skip_special_tokens=True)
     
     return answer
@@ -538,6 +539,49 @@ def transfer_input(inputs):
     )
 
 
+########################################################
+######## Hilfsfunktionen Datei-Upload ##################
+# Hochladen von Dateien
+def upload_pdf(file):
+    if file is None:
+        return None, "Keine Datei hochgeladen."
+    
+    # Extrahieren des Dateinamens aus dem vollen Pfad
+    filename = os.path.basename(file.name)
+    
+    # Datei zum Hugging Face Space hochladen
+    upload_path = f"kkg_dokumente/{filename}"
+    api.upload_file(
+        path_or_fileobj=file.name,
+        path_in_repo=upload_path,
+        repo_id=REPO_ID,
+        repo_type=REPO_TYPE,
+        token=HF_WRITE
+    )
+    return f"PDF '{filename}' erfolgreich hochgeladen."
+
+def display_files():
+    files = os.listdir(DOCS_DIR)
+    files_table = "<table style='width:100%; border-collapse: collapse;'>"
+    files_table += "<tr style='background-color: #930BBA; color: white; font-weight: bold; font-size: larger;'><th>Dateiname</th><th>Größe (KB)</th></tr>"
+    for i, file in enumerate(files):
+        file_path = os.path.join(DOCS_DIR, file)
+        file_size = os.path.getsize(file_path) / 1024  # Größe in KB
+        row_color = "#4f4f4f" if i % 2 == 0 else "#3a3a3a"  # Wechselnde Zeilenfarben
+        files_table += f"<tr style='background-color: {row_color}; border-bottom: 1px solid #ddd;'>"
+        files_table += f"<td><b>{download_link(file)}</b></td>"
+        files_table += f"<td>{file_size:.2f}</td></tr>"
+    files_table += "</table>"
+    return files_table
+
+
+# gefundene relevante Dokumente auflisten (links)
+def list_pdfs():
+    if not os.path.exists(DOCS_DIR):
+        return []
+    return [f for f in os.listdir(SAVE_DIR) if f.endswith('.pdf')]
+
+
 #################################################
 #Klasse mit zuständen - z.B. für interrupt wenn Stop gedrückt...
 #################################################