Update app.py

app.py

@@ -1,10 +1,7 @@
-import gradio as gr
 import os
-import pandas as pd
 import pdfplumber
 import re
-import fitz  # PyMuPDF
-import json
+from transformers import pipeline, AutoModelForQuestionAnswering, AutoTokenizer
 
 """
 Extract the text from a section of a PDF file  between 'wanted_section' and 'next_section'.
@@ -31,8 +28,6 @@ def get_section(path, wanted_section, next_section):
             start_page.append(page)
         if len(doc.pages[page].search(next_section, return_chars=False, case=False)) > 0:
             end_page.append(page)
-    print(max(start_page))
-    print(max(end_page))
 
     # Extract the text between the start and end page of the wanted section
     text = []
@@ -40,11 +35,7 @@ def get_section(path, wanted_section, next_section):
         page = doc.pages[page_num]
         text.append(page.extract_text())
     text = " ".join(text)
-    new_text = text.replace("\n", " ")
-    special_char_unicode_list = ["\u00e4", "\u00f6", "\u00fc", "\u00df"]
-    special_char_replacement_list = ["ae", "oe", "ue", "ss"]
-    for index, special_char in enumerate(special_char_unicode_list):
-        final_text = new_text.replace(special_char, special_char_replacement_list[index])
+    final_text = text.replace("\n", " ")
     return final_text
 
 
@@ -74,51 +65,45 @@ def format_section1(section1_text):
 
     return result_section1_dict
 
+def answer_questions(text,language="de"):
+    # Initialize the zero-shot classification pipeline
+    model_name = "deepset/gelectra-large-germanquad"
+    model = AutoModelForQuestionAnswering.from_pretrained(model_name)
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+    # Initialize the QA pipeline
+    qa_pipeline = pipeline("question-answering", model=model, tokenizer=tokenizer)
+    questions = [
+        "Welches ist das Titel des Moduls?",
+        "Welches ist das Sektor oder das Kernthema?",
+        "Welches ist das Land?",
+        "Zu welchem Program oder EZ-Programm gehort das Projekt?"
+        #"Welche Durchführungsorganisation aus den 4 Varianten 'giz', 'kfw', 'ptb' und 'bgr' implementiert das Projekt?"
+        # "In dem Dokument was steht bei Sektor?",
+        # "In dem Dokument was steht von 'EZ-Programm' bis 'EZ-Programmziel'?",
+        # "In dem Dokument was steht bei EZ-Programmziel?",
+        # "In dem Dokument in dem Abschnitt '1. Kurzbeschreibung' was steht bei Modul?",
+        # "In dem Dokument was steht bei Zielerreichung des Moduls?",
+        # "In dem Dokument in dem Abschnitt '1. Kurzbeschreibung' was steht bei Maßnahme im Zeitplan?",
+        # "In dem Dokument was steht bei Vorschläge zur Modulanpassung?",
+        # "In dem Dokument in dem Abschnitt 'Anlage 1: Wirkungsmatrix des Moduls' was steht unter Laufzeit als erstes Datum?",
+        # "In dem Dokument in dem Abschnitt 'Anlage 1: Wirkungsmatrix des Moduls' was steht unter Laufzeit als zweites Datum?"
+    ]
+
+    # Iterate over each question and get answers
+    for question in questions:
+        result = qa_pipeline(question=question, context=text)
+        # print(f"Question: {question}")
+        # print(f"Answer: {result['answer']}\n")
+        answers_dict[question] = result['answer']
+    return answers_dict
+
 
 def process_pdf(path):
     results_dict = {}
     results_dict["1. Kurzbeschreibung"] = \
         get_section(path, "1. Kurzbeschreibung", "2. Einordnung des Moduls")
-    """
-    results_dict["2.1 Aktualisierte Einordnung des Moduls in das EZ-Programm"] = \
-        get_section(path, "2.1 Aktualisierte Einordnung des Moduls in das EZ-Programm",
-                    "2.2 Andere Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls")
-    results_dict["2.1 Aktualisierte Einordnung des Moduls in das EZ-Programm"] = \
-        get_section(path, "2.1 Aktualisierte Einordnung des Moduls in das EZ-Programm",
-                    "2.2 Andere Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls")
-    results_dict["2.2 Andere Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls"] = \
-        get_section(path, "2.2 Andere Entwicklungsmaßnahmen im konkreten Interventionsbereich des Moduls",
-                    "3. Entwicklungen im Interventionsbereich")
-    results_dict["3. Entwicklungen im Interventionsbereich"] = \
-        get_section(path, "3. Entwicklungen im Interventionsbereich",
-                    "4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren")
-    results_dict["4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren"] = \
-        get_section(path, "4.1 Bewertungen von Zielen, Zielgruppen, Wirkungshypothesen und Indikatoren",
-                    "4.2 Umgesetzte Maßnahmen / Aktivitäten während des Berichtszeitraums")
-    results_dict["4.2 Umgesetzte Maßnahmen / Aktivitäten während des Berichtszeitraums"] = \
-        get_section(path, "4.2 Umgesetzte Maßnahmen / Aktivitäten während des Berichtszeitraums",
-                    "4.3 Umsetzung von Maßnahmen zur Sicherstellung der nachhaltigen Wirksamkeit")
-    results_dict["4.3 Umsetzung von Maßnahmen zur Sicherstellung der nachhaltigen Wirksamkeit des Vorhabens"] = \
-        get_section(path, "4.3 Umsetzung von Maßnahmen zur Sicherstellung der nachhaltigen Wirksamkeit",
-                    "4.4 Laufzeit und Zeitplan")
-    results_dict["4.4 Laufzeit und Zeitplan"] = \
-        get_section(path, "4.4 Laufzeit und Zeitplan", "4.5 Entstandene Kosten und Kostenverschiebungen")
-    results_dict["4.5 Entstandene Kosten und Kostenverschiebungen"] = \
-        get_section(path, "4.5 Entstandene Kosten und Kostenverschiebungen", "4.6 Bewertung der Wirkungen und Risiken")
-    results_dict["4.6 Bewertung der Wirkungen und Risiken"] = \
-        get_section(path, "4.6 Bewertung der Wirkungen und Risiken", "5. Übergeordnete Empfehlungen")
-    results_dict["5.1 Empfehlungen und Merkposten für den Politik- und Schwerpunktdialog"] = \
-        get_section(path, "5.1 Empfehlungen und Merkposten für den Politik- und Schwerpunktdialog",
-                    "5.2 Lernerfahrungen, die für die Länderstrategie und zukünftige EZ-Programme")
-    results_dict[
-        "5.2 Lernerfahrungen, die für die Länderstrategie und zukünftige EZ-Programme interessant sein könnten"] = \
-        get_section(path, "5.2 Lernerfahrungen", "6. Testat")
-    results_dict["6. Testat (TZ)"] = \
-        get_section(path, "6. Testat", "Anlage 1: Wirkungsmatrix des Moduls")
-    """
-    # print(results_dict)
-    result_section1_dict = format_section1(results_dict.get("1. Kurzbeschreibung"))
-    # print(result_section1_dict)
+    answers = answer_questions(results_dict["1. Kurzbeschreibung"])
     return result_section1_dict['TOPIC']
 
 def get_first_page_text(path):
@@ -127,8 +112,8 @@ def get_first_page_text(path):
         return doc.pages[0].extract_text()
 
 # Define the Gradio interface
-iface = gr.Interface(fn=get_first_page_text, 
-#iface = gr.Interface(fn=process_pdf, 
+# iface = gr.Interface(fn=get_first_page_text, 
+iface = gr.Interface(fn=process_pdf, 
                      inputs=gr.File(type="binary", label="Upload PDF"),
                      outputs=gr.Textbox(label="Extracted Text"),
                      title="PDF Text Extractor",