Upload folder using huggingface_hub

app.py

@@ -3,7 +3,6 @@ import json
 
 from src.gradio_app import run_summarization_model_gradio
 from src.model_loading import load_open_ai_llm
-from src.prompts import prompts
 
 parser = argparse.ArgumentParser(description="Defines a configuration")
 

src/gradio_app.py

@@ -86,9 +86,7 @@ def load_summary_section(llm: ChatOpenAI):
                     file_types=[".pdf", ".txt"],
                     label="Upload PDF",
                 )
-                summary_parallel_button = gr.Button(
-                    "Summarize", interactive=False
-                )
+                summary_parallel_button = gr.Button("Summarize", interactive=False)
                 clear_button = gr.Button("Clear All")
             with gr.Column(scale=2):
                 sections_to_select = [
@@ -103,19 +101,19 @@ def load_summary_section(llm: ChatOpenAI):
                     info="Select the sections you want to include in the summarization.",
                 )
         with gr.Row().style(equal_height=True):
-            with gr.Column(scale=1):
-                summary_output = gr.Textbox(label="Summary", lines=9).style(
-                    show_copy_button=True
-                )
             with gr.Column(scale=1):
                 summary_show_pdf = gr.Gallery(label="Uploaded PDF").style(
                     object_fit="contain"
                 )
+            with gr.Column(scale=1):
+                summary_output = gr.Textbox(label="Summary", lines=9).style(
+                    show_copy_button=True
+                )
 
         with gr.Row().style(equal_height=True):
             with gr.Column(scale=1):
                 recipiant_email_summary = gr.Textbox(
-                    label="Recipiant Email", placeholder="Enter Email"
+                    label="Recipient Email", placeholder="Enter Email"
                 )
                 subject_email_summary = gr.Textbox(
                     label="Subject", placeholder="Enter Subject"
@@ -196,7 +194,6 @@ def load_legal_implications_section(llm: ChatOpenAI, summarization_kwargs: dict
         gr.Block: Legal Implications Section
     """
     with gr.Blocks(theme="soft") as legal_implications_section:
-
         with gr.Row().style(equal_height=True):
             with gr.Column(scale=3):
                 file_upload_legal_implications = gr.File(
@@ -211,14 +208,14 @@ def load_legal_implications_section(llm: ChatOpenAI, summarization_kwargs: dict
                 clear_legal_implications_button = gr.Button("Clear All")
 
         with gr.Row().style(equal_height=True):
-            with gr.Column(scale=1):
-                legal_implications_output = gr.Textbox(
-                    label="Legal Implications", lines=9
-                ).style(show_copy_button=True)
             with gr.Column(scale=1):
                 legal_implications_show_pdf = gr.Gallery(label="Uploaded PDF").style(
                     object_fit="contain"
                 )
+            with gr.Column(scale=1):
+                legal_implications_output = gr.Textbox(
+                    label="Legal Implications", lines=9
+                ).style(show_copy_button=True)
 
         with gr.Row().style(equal_height=True):
             with gr.Column(scale=1):

src/prompts.py

@@ -164,6 +164,7 @@ def get_template_parallel(name: str, headline: str, additional_text: str = ""):
         "Schreibe, ein/e <KEY> des Urteils, das durch dreifache Anführungszeichen begrenzt ist, in maximal einem Paragraphen.\n"
         "<ADDITIONAL_TEXT>\n"
         'Als Überschrift muss "<HEAD_LINE>" angegeben werden. \n'
+        "Es muss die korrekte Seite aus der der Kontext stammt mit angegeben werden. Z.B. (siehe Seite ?) \n"
         "Urteil:\n"
         "```{text}```\n"
         "\n"
@@ -210,7 +211,7 @@ prompts_parallel_summary = {
     "prozessgeschichte": PromptTemplate(
         input_variables=["text"],
         template=get_template_parallel(
-            name="Prozessgeschichte", headline="3. Prozessgeschichte"
+            name="Prozessgeschichte", headline="Prozessgeschichte"
         ),
     ),
     "rechtsproblem": PromptTemplate(
@@ -227,46 +228,6 @@ prompts_parallel_summary = {
             name="Lösung des Gerichts", headline="Lösung des Gerichts"
         ),
     ),
-    "loesungsansaetze_zum_problem": PromptTemplate(
-        input_variables=["text"],
-        template=get_template_parallel(
-            name="Lösungsansätze zum Problem",
-            headline="Lösungsansätze zum Problem",
-            additional_text="Knappe, aber möglichst vollständige Übersicht der vertretenen Ansichten bzw. der Lösungsvorschläge im Urteil.",
-        ),
-    ),
-    "analyse_und_einordnung_der_entscheidung": PromptTemplate(
-        input_variables=["text"],
-        template=get_template_parallel(
-            name="Analyse und Einordnung der Entscheidung",
-            headline="Analyse und Einordnung der Entscheidung",
-            additional_text="Es soll nur der Inhalt des Urteils wiedergegeben werden.",
-        ),
-    ),
-    "bewertung_und_kritik_der_entscheidung": PromptTemplate(
-        input_variables=["text"],
-        template=get_template_parallel(
-            name="Bewertung und Kritik der Entscheidung",
-            headline="Bewertung und Kritik der Entscheidung",
-            additional_text="Verwende ausschließlich den Kontext des Urteils und schreib keinen neuen Text. Wenn keine Bewertung oder Kritik vorhanden ist, antworte mit 'Keine Bewertung oder Kritik vorhanden.'",
-        ),
-    ),
-    "eigener_loesungsvorschlag": PromptTemplate(
-        input_variables=["text"],
-        template=get_template_parallel(
-            name="Eigener Lösungsvorschlag",
-            headline="Eigener Lösungsvorschlag",
-            additional_text="Es soll nur der Inhalt des Urteils wiedergegeben werden. Wenn das Urteil keinen eigenen Lösungsvorschlag hat schreib: 'Keine Informationen zum eigenen Lösungsvorschlag vorhanden'",
-        ),
-    ),
-    "ausblick": PromptTemplate(
-        input_variables=["text"],
-        template=get_template_parallel(
-            name="Ausblick",
-            headline="Ausblick",
-            additional_text="Es soll nur der Inhalt des Urteils wiedergegeben werden. Wenn das Urteil keinen Ausblick gibt schreib: 'Keine Informationen zum Auslbick vorhanden'.",
-        ),
-    ),
 }
 
 prompts_parallel_legal_implications = {
@@ -295,7 +256,7 @@ Die folgenden rechtlich relvanten Fakten als Stichpunkte sind durch dreifache An
 Rechlich relvanten Fakten:
 ```{text}```
 
-Schreibe einen rechtlich korrekten Text, der die rechlich relvanten Fakten auflistet.
+Schreibe einen rechtlich korrekten Text, der die rechtlich relvanten Fakten auflistet.
 Schreibe zu jedem rechtlich relevantem Fakt einen kurzen Paragraphen mit sehr wenig Sätzen, der erklärt warum dies rechtlich relevant ist.
 Der Text muss zu 100% korrekt sein!
 

src/summarization.py

@@ -5,7 +5,7 @@ from src.prompts import (
     prompts_parallel_summary,
 )
 from src.doc_loading import load_docs
-from src.llm_utils import async_generate_llmchain, async_generate_summary_chain
+from src.llm_utils import async_generate_llmchain
 import time
 from typing import Dict, List
 import asyncio
@@ -123,12 +123,6 @@ PARALLEL_SUMMARIZATION_ORDER = [
     "prozessgeschichte",
     "rechtsproblem",
     "loesung_des_gerichts",
-    "III.  Analyse",
-    "loesungsansaetze_zum_problem",
-    "analyse_und_einordnung_der_entscheidung",
-    "bewertung_und_kritik_der_entscheidung",
-    "eigener_loesungsvorschlag",
-    "ausblick",
 ]
 PARALLEL_SUMMARIZATION_MAPPING = {
     "I.  Einleitung": "intro",
@@ -138,11 +132,6 @@ PARALLEL_SUMMARIZATION_MAPPING = {
     "Prozessgeschichte": "prozessgeschichte",
     "Rechtsproblem": "rechtsproblem",
     "Lösung des Gerichts": "loesung_des_gerichts",
-    "Lösungsansätze zum Problem": "loesungsansaetze_zum_problem",
-    "Analyse und Einordnung der Entscheidung": "analyse_und_einordnung_der_entscheidung",
-    "Bewertung und Kritik der Entscheidung": "bewertung_und_kritik_der_entscheidung",
-    "Eigener Lösungsvorschlag": "eigener_loesungsvorschlag",
-    "Ausblick": "ausblick",
 }
 PARALLEL_SUMMARIZATION_MAPPING_INVERSE = {
     v: k for k, v in PARALLEL_SUMMARIZATION_MAPPING.items()
@@ -161,15 +150,17 @@ def parallel_summarization(file: str, sections: List[str], llm: ChatOpenAI) -> s
         str: Summarization of the file.
     """
     now = time.time()
+
     values_flattened = asyncio.run(
         generate_summary_concurrently(
             file_path=file.name, sections=sections, llm=llm[0]
         )
     )
+
     print("Time taken for complete parallel summarization: ", time.time() - now)
-    order = PARALLEL_SUMMARIZATION_ORDER
     output = ""
-    for section in order:
+
+    for section in values_flattened.keys():
         output += (
             values_flattened.get(
                 section, PARALLEL_SUMMARIZATION_MAPPING_INVERSE.get(section, section)