Update app.py

Update feature
1. File filtering
2. FIltered output zip
3. Docx analysis
4. Valid list text

app.py

@@ -9,6 +9,22 @@ import tempfile
 os.system("apt-get install poppler-utils")
 import datetime
 from docx import Document
+import time
+import random
+from google.genai.types import (
+    FunctionDeclaration,
+    GenerateContentConfig,
+    GoogleSearch,
+    HarmBlockThreshold,
+    HarmCategory,
+    MediaResolution,
+    Part,
+    Retrieval,
+    SafetySetting,
+    Tool,
+    ToolCodeExecution,
+    VertexAISearch,
+)
 
 
 def extract_zip_and_collect_files(zip_file_path):
@@ -38,24 +54,24 @@ def process_pdfs(pdf_files):
         if not os.path.isfile(pdf_file):
             raise ValueError(f"File {pdf_file} does not exist.")
 
-        images = convert_from_path(pdf_file, dpi=200)  # Convert PDF pages to images
+        images = convert_from_path(pdf_file, dpi=250)  # Convert PDF pages to images
         all_images.extend(images)
 
     return all_images
 
 
 # Function to analyze the extracted image using Google GenAI
-def gemini_analysis(images, tanggal_berangkat, tanggal_pulang):
+def gemini_analysis(images, tanggal_berangkat, tanggal_pulang, api_key):
     """
     Analyze the extracted image using Google GenAI.
     """
     # Initialize the GenAI client (make sure the API key is set properly)
     today = date.today()
-    client = genai.Client(api_key=os.getenv("GOOGLE_API_KEY"))
+    client = genai.Client(api_key=api_key)
     # Define your prompt
-    prompt = f'''Anda bertugas memvalidasi kesesuaian dan konsistensi data dari dokumen individual berdasarkan syarat Visa di bawah. Cukup fokus pada syarat yang diberikan tanpa mengambil referensi lain.
-    Gunakan tanggal hari ini ({today}) sebagai tanggal pemeriksaan visa (bukan pengajuan). Gunakan {tanggal_berangkat} sebagai tanggal berangkat, dan {tanggal_pulang} sebagai tanggal kepulangan.
-    Pastikan data seperti nama, tanggal, tujuan dan lainnya sama/konsisten antar dokumen. Di akhir, berikan kesimpulan dari pemeriksaan dokumen. Jika ada yang kurang lengkap atau tidak valid, berikan pesan pemberitahuan untuk pemilik data tersebut terkait data yang kurang atau tidak sesuai.
+    prompt = f'''Anda bertugas memvalidasi kelengkapan, kesesuaian dan konsistensi data dari dokumen individual berdasarkan syarat Visa di bawah. Cukup fokus pada syarat yang diberikan tanpa mengambil referensi lain.
+    Gunakan {tanggal_berangkat} sebagai tanggal berangkat, dan {tanggal_pulang} sebagai tanggal kepulangan.
+    Pastikan data seperti nama, tanggal, tujuan dan lainnya konsisten antar dokumen. Semua jawaban dalam format text. Jangan tambahkan formating seperti * atau #
     ---
     DAFTAR SYARAT DOKUMEN YANG WAJIB DIPERIKSA:
     1. Paspor
@@ -102,73 +118,102 @@ def gemini_analysis(images, tanggal_berangkat, tanggal_pulang):
     Jika suami lengkap → istri cukup lampirkan rekening koran suami
 
     ---
-    FORMAT JAWABAN UNTUK SETIAP DOKUMEN YANG DIUPLOAD:
+    FORMAT ANALISA PER DOKUMEN:
     - Jenis Dokumen : (jenis dokumen)
     - Status        : (Valid / Perlu cek ulang / Tidak diperlukan / Tidak ada)
     - Catatan       : (Catatan singkat terkait isi dokumen)
     ---
-    FORMAT KESIMPULAN:
+    FORMAT RANGKUMAN :
     - List dokumen yang sudah valid: ...
-    - List dokumen yang perlu pemeriksaan ulang: ...
-    - List dokumen yang tidak ada/belum lengkap: ...
+    - List dokumen yang tidak valid perlu pemeriksaan ulang: ...
     ---
-    TEMPLATE PESAN PEMBERITAHUAN:
-    Halo pak/bu (nama peserta), berikut ini rangkuman hasil pemeriksaan dokumen pengajuan visa anda: ...
     '''
 
     # Perform document analysis
     response_1 = client.models.generate_content(
-        model="gemini-1.5-flash",
-        contents=[prompt] + images  # Pass prompt and image files
-    )
+        model="gemini-2.0-flash",
+        contents=[prompt] + images,
+        config=GenerateContentConfig(
+          temperature=0.2,
+          top_p=0.2
+        )
+      )
     analysis = response_1.text
     # Perform valid list generation
-    prompt_2 = "Buatkan daftar dokumen yang valid saja dalam bentuk list dalam 1 kata di antara contoh berikut: 'PASPOR', 'PAS_FOTO', 'KARTU_KELUARGA', 'BUKTI_NIKAH', 'KTP', 'SURAT_KELAHIRAN', 'SURAT_SPONSOR', 'SURAT_KERJA', 'NIB', 'SIUP', 'SURAT_JAMINAN_STAF', 'SURAT_SEKOLAH', 'SURAT_PENDIDIKAN', 'KONTRAK_KERJA', 'SURAT_PENSIUN', 'REKENING_KORAN', 'SLIP_GAJI'"
+    prompt_2 = "Dari analisa diatas, Rangkum menjadi list/daftar dokumen yang valid saja. Misal: 'paspor', 'pasfoto', 'kartukeluarga', 'buktinikah', 'KTP', 'suratkelahiran', 'suratsponsor', 'suratkerja', 'NIB', 'SIUP', 'suratjaminanstaff', 'suratsekolah', 'kontrakkerja', 'suratpensiun', 'rekeningkoran', 'slipgaji', 'other'. Jangan tambahkan kata-kata atau kalimat lain."
     response_2 = client.models.generate_content(
-        model="gemini-1.5-flash",
-        contents=[response_1.text, prompt_2]  # Pass prompt and image files
+        model="gemini-2.0-flash",
+        contents=[analysis, prompt_2],  # Pass prompt and image files
+        config=GenerateContentConfig(
+          temperature=0.2,
+          top_p=0.2
+        )
     )
-    valid_docs_list_raw = response_2.text.strip()
+    valid_docs_list_raw = response_2.text.strip().lower()
     if '\n' in valid_docs_list_raw:
       docs_list = [line.strip("-• ").strip() for line in valid_docs_list_raw.splitlines() if line.strip()]
     elif ',' in valid_docs_list_raw:
       docs_list = [item.strip() for item in valid_docs_list_raw.split(",") if item.strip()]
+    elif '* ' in valid_docs_list_raw:
+      docs_list = [item.strip() for item in valid_docs_list_raw.split("*") if item.strip()]
     else:
       # fallback: jadikan 1 elemen list
       docs_list = [valid_docs_list_raw]
     return analysis, docs_list
 
-# function to ask gemini to rename the image based on detected 
-def image_file_naming(images):
+
+def process_and_zip_valid_images(images, docs_list, api_key, zip_name="Valid_Docs.zip"):
+
+    # Inisialisasi Gemini client
+    client = genai.Client(api_key=api_key)
+
+    # Prompt untuk klasifikasi nama file
+    prompt = '''Anda adalah asisten yang membantu menamai file gambar dokumen.
+Tugas Anda adalah mengidentifikasi jenis dokumen pada gambar ini dan memberikan nama file yang sesuai.
+Jawaban Anda *harus* berupa *salah satu* nama file dari daftar berikut:
+['paspor', 'pasfoto', 'kartukeluarga', 'buktinikah', 'KTP', 'suratkelahiran', 'suratsponsor', 'suratkerja', 'NIB', 'SIUP', 'suratjaminanstaff', 'suratsekolah', 'kontrakkerja', 'suratpensiun', 'rekeningkoran', 'slipgaji', 'other']
+Jawaban Anda *hanya* boleh berupa teks yang *persis sama* dengan salah satu item dalam daftar tersebut.
+Jangan tambahkan penjelasan, tanda kutip, titik, atau teks tambahan lainnya.
+Contoh:
+Gambar : [tampak gambar KTP]
+Output: KTP
+
+Gambar: [gambar sebenarnya]
+Output:
+'''
+
+    # Step 1: Klasifikasi & Penamaan
     renamed_images = []
-    client = genai.Client(api_key=os.getenv("GOOGLE_API_KEY"))
-    
-    for i, image in enumerate(images):
-        prompt_3 = "Analisa dokumen berikut dan beri nama dalam 1 nama dokumen pasti antara: 'PASPOR', 'PAS_FOTO', 'KARTU_KELUARGA', 'BUKTI_NIKAH', 'KTP', 'SURAT_KELAHIRAN', 'SURAT_SPONSOR', 'SURAT_KERJA', 'NIB', 'SIUP', 'SURAT_JAMINAN_STAF', 'SURAT_SEKOLAH', 'SURAT_PENDIDIKAN', 'KONTRAK_KERJA', 'SURAT_PENSIUN', 'REKENING_KORAN', 'SLIP_GAJI'"
-        response_3 = client.models.generate_content(
-          model="gemini-1.5-flash",
-          contents=[prompt_3, image]  # Pass prompt and image files
+    for image in images:
+        response = client.models.generate_content(
+            model="gemini-2.0-flash",
+            contents=[prompt, image],
+            config=GenerateContentConfig(
+              temperature=0.2,
+              top_p=0.2
+            )
         )
-        new_image_filename = response_3.text.strip().upper() + ".jpg"
-        renamed_images.append({"image": image, "filename": new_image_filename})
-    
-    return renamed_images
+        filename = response.text.strip().lower()
+        renamed_images.append({"image": image, "filename": filename})
 
-def save_images_to_zip(images_info, zip_name="filtered_images.zip"):
-    from PIL import Image
-    temp_dir = tempfile.mkdtemp()
-    zip_path = os.path.join(tempfile.gettempdir(), zip_name)
+    # Step 2: Filter sesuai valid_list
+    filtered_images = [
+        item for item in renamed_images
+        if os.path.splitext(item["filename"])[0] in [v.lower() for v in docs_list]
+    ]
 
-    # Step 1: Kelompokkan gambar berdasarkan nama dokumen
+    # Step 3: Kelompokkan berdasarkan nama file (tanpa .jpg)
     grouped = {}
-    for item in images_info:
-        name = os.path.splitext(item["filename"])[0]  # tanpa .jpg
+    for item in filtered_images:
+        name = os.path.splitext(item["filename"])[0]
         grouped.setdefault(name, []).append(item["image"])
 
-    # Step 2: Simpan tiap grup sebagai PDF
+    # Step 4: Simpan ke PDF dan masukkan ke ZIP
+    temp_dir = tempfile.mkdtemp()
+    zip_path = os.path.join(tempfile.gettempdir(), zip_name)
+
     with zipfile.ZipFile(zip_path, 'w') as zipf:
         for doc_name, images in grouped.items():
-            # pastikan semua dalam RGB
             images_rgb = [img.convert("RGB") for img in images]
             pdf_path = os.path.join(temp_dir, f"{doc_name}.pdf")
 
@@ -182,9 +227,7 @@ def save_images_to_zip(images_info, zip_name="filtered_images.zip"):
     return zip_path
 
 
-
-
-def main_process(files, tanggal_berangkat, tanggal_pulang):
+def main_process(files, tanggal_berangkat, tanggal_pulang, api_key):
     all_images = []
     image_paths_for_zip = []
 
@@ -210,7 +253,9 @@ def main_process(files, tanggal_berangkat, tanggal_pulang):
             raise ValueError(f"File {file_path} is not a valid image, PDF, or ZIP.")
 
     # Generate summary from images
-    summary, valid_list = gemini_analysis(all_images, tanggal_berangkat, tanggal_pulang)
+    summary, valid_list = gemini_analysis(all_images, tanggal_berangkat, tanggal_pulang, api_key)
+    rdf = random.randint(5, 10)
+    time.sleep(rdf)
 
     # Create DOCX for summary output
     doc = Document()
@@ -225,11 +270,7 @@ def main_process(files, tanggal_berangkat, tanggal_pulang):
     doc.save(temp_docx_path)
 
     # Filtering the file
-    renamed_images_info = image_file_naming(all_images)
-    # Filter hanya yang valid
-    images_to_zip = [img_info for img_info in renamed_images_info if os.path.splitext(img_info["filename"])[0] in valid_list]
-    zip_file_path = save_images_to_zip(images_to_zip)
-
+    zip_file_path = process_and_zip_valid_images(all_images, valid_list, api_key)
     return temp_docx_path, valid_list, zip_file_path
 
 
@@ -254,6 +295,11 @@ with gr.Blocks() as demo:
             placeholder="Masukan Tanggal Kepulangan",
             type="text"
         )
+        api_key = gr.Textbox(
+            label="Gemini API Key",
+            placeholder="Masukan Kode API",
+            type="text"
+        )
 
     run_btn = gr.Button("🏃 Run Analysis")
     output = gr.Textbox(label="📝 Valid Document List", lines=5)
@@ -264,7 +310,7 @@ with gr.Blocks() as demo:
 
     run_btn.click(
         fn=main_process,
-        inputs=[file_input, tanggal_berangkat, tanggal_pulang],
+        inputs=[file_input, tanggal_berangkat, tanggal_pulang, api_key],
         outputs=[download_output_docx, output, download_valid_zip]
     )