clean_scans.py

import os
import shutil
import ollama
from pathlib import Path

# --- KONFIGURACJA ---
ROOT_FOLDER = "scans"
REJECTED_FOLDER = "_ODRZUCONE"
HISTORY_FILE = "clean_scans_processed.txt"
MODEL_NAME = "llama3.2-vision"
IMAGE_EXTENSIONS = {'.jpg', '.jpeg', '.png', '.bmp', '.webp', '.heic'}

# Foldery, których NIE ruszać (bezpieczne)
SAFE_FOLDERS = {'documentScan', 'other'}

# --- SZCZEGÓŁOWE KRYTERIA DLA KAŻDEGO TYPU ---
# AI otrzyma instrukcję: "Szukaj [Tytuł]. Wymagane cechy: [Cechy]"
DOCUMENT_TYPES = {
    # --- PODATKI (PIT) - WYMÓG SYMBOLU W NAGŁÓWKU ---
    'pit11': ('Deklaracja PIT-11',
              'Wyraźny symbol "PIT-11" (zazwyczaj lewy górny róg), tabela z przychodami, dane płatnika i podatnika'),
    'pit37': ('Zeznanie PIT-37',
              'Wyraźny symbol "PIT-37" (duży druk w nagłówku/rogu), biało-zielony lub biały formularz, pola na PESEL'),
    'pit36': ('Zeznanie PIT-36', 'Wyraźny symbol "PIT-36" w nagłówku formularza, sekcje działalności gospodarczej'),
    'pit36L': ('Zeznanie PIT-36L', 'Wyraźny symbol "PIT-36L" (podatek liniowy) w nagłówku'),
    'pit28': ('Zeznanie PIT-28', 'Wyraźny symbol "PIT-28" (ryczałt) w nagłówku formularza'),
    'pit38': ('Zeznanie PIT-38', 'Wyraźny symbol "PIT-38" (kapitały pieniężne) w nagłówku'),
    'pit39': ('Zeznanie PIT-39', 'Wyraźny symbol "PIT-39" (nieruchomości) w nagłówku'),
    'pit5': ('Deklaracja PIT-5', 'Symbol "PIT-5" widoczny na formularzu'),
    'pit8C': ('Informacja PIT-8C', 'Symbol "PIT-8C" widoczny w nagłówku formularza'),
    'vat7': ('Deklaracja VAT-7 / JPK', 'Symbol "VAT-7" lub nagłówek JPK_V7, tabela rozliczenia podatku VAT'),
    'cit8': ('Zeznanie CIT-8', 'Symbol "CIT-8" w nagłówku, dotyczy osób prawnych'),
    'pcc3': ('Deklaracja PCC-3', 'Symbol "PCC-3" (podatek od czynności cywilnoprawnych) w nagłówku'),

    # --- FINANSE ---
    'invoice': ('Faktura VAT',
                'Słowo "Faktura" lub "Invoice", tabela z kolumnami netto/vat/brutto, dane sprzedawcy i nabywcy'),
    'proformaInvoice': ('Faktura Proforma',
                        'Wyraźny napis "Proforma" lub "Zamówienie", brak skutków księgowych (wygląda jak faktura)'),
    'receipt': ('Paragon fiskalny',
                'Wąski wydruk z drukarki fiskalnej, logo sklepu na górze, stawki PTU na dole, data i godzina'),
    'utilityBill': ('Rachunek za media',
                    'Logo dostawcy (prąd/gaz/woda/internet), wykres zużycia, kwota "do zapłaty", numer konta'),
    'bankStatement': ('Wyciąg bankowy', 'Logo banku, lista operacji z datami i kwotami, saldo początkowe i końcowe'),
    'loanAgreement': ('Umowa kredytowa',
                      'Tytuł "Umowa kredytu" lub "Umowa pożyczki", harmonogram spłat, pieczęci banku'),
    'insurancePolicy': ('Polisa ubezpieczeniowa',
                        'Tytuł "Polisa", numer polisy, okres ubezpieczenia, przedmiot ubezpieczenia (auto/dom)'),

    # --- PRAWO ---
    'notarialDeed': ('Akt notarialny',
                     'Godło państwowe (orzeł), pieczęć notariusza, charakterystyczny sznurek (repetytorium), tytuł "Akt Notarialny"'),
    'courtJudgment': ('Wyrok sądu',
                      'Godło państwowe, nagłówek "Wyrok w imieniu Rzeczypospolitej Polskiej", sygnatura akt'),
    'powerOfAttorney': ('Pełnomocnictwo',
                        'Tytuł "Pełnomocnictwo" lub "Upoważnienie", dane mocodawcy i pełnomocnika, podpis'),
    'employmentContract': ('Umowa o pracę',
                           'Tytuł "Umowa o pracę", określenie stanowiska, wynagrodzenia, wymiaru etatu'),
    'mandateContract': ('Umowa zlecenie',
                        'Tytuł "Umowa zlecenie", określenie czynności do wykonania, stawka godzinowa/miesięczna'),
    'taskContract': ('Umowa o dzieło', 'Tytuł "Umowa o dzieło", określenie konkretnego rezultatu/dzieła'),
    'b2bContract': ('Kontrakt B2B', 'Umowa współpracy biznesowej, dane dwóch firm (NIP), określenie zasad współpracy'),
    'nonCompeteAgreement': ('Zakaz konkurencji',
                            'Umowa lub aneks o zakazie konkurencji, określenie kar umownych i okresu obowiązywania'),
    'lawsuit': ('Pozew sądowy', 'Pismo procesowe, nagłówek "Pozew", oznaczenie sądu i stron, uzasadnienie'),

    # --- OSOBISTE ---
    'idCard': ('Dowód osobisty', 'Plastikowa karta, zdjęcie twarzy, godło, napis "Rzeczpospolita Polska"'),
    'passport': ('Paszport', 'Strona z danymi, zdjęcie, hologramy, dolny pasek maszynowy (<<<)'),
    'birthCertificate': ('Akt urodzenia', 'Odpis aktu stanu cywilnego, godło, pieczęć urzędu stanu cywilnego (USC)'),
    'marriageCertificate': ('Akt małżeństwa', 'Odpis aktu małżeństwa, dane małżonków, pieczęć USC'),
    'deathCertificate': ('Akt zgonu', 'Odpis aktu zgonu, czarna ramka lub standardowy druk USC, pieczęć'),
    'peselConfirmation': ('Zaświadczenie PESEL',
                          'Biały druk urzędowy, potwierdzenie nadania numeru PESEL, pieczęć gminy/urzędu'),
    'drivingLicense': ('Prawo jazdy', 'Różowa plastikowa karta, zdjęcie, ikony pojazdów na rewersie'),
    'schoolCertificate': ('Świadectwo szkolne',
                          'Gilosz (ozdobne tło), godło, nazwa szkoły, oceny, czerwony pasek (opcjonalnie)'),
    'universityDiploma': ('Dyplom studiów',
                          'Ozdobny papier, godło uczelni, tytuł zawodowy (licencjat/magister/inżynier), pieczęć sucha lub tuszowa'),
    'professionalCertificate': ('Certyfikat zawodowy',
                                'Nazwa kursu/szkolenia, imię i nazwisko uczestnika, podpis organizatora'),
    'cv': ('CV / Życiorys', 'Układ sekcyjny: Doświadczenie, Edukacja, Umiejętności, często zdjęcie, dane kontaktowe'),

    # --- ZDROWIE ---
    'sickLeave': ('Zwolnienie L4', 'Formularz ZUS ZLA (zielony/biały) lub wydruk e-ZLA, dane pacjenta i lekarza'),
    'prescription': ('Recepta', 'Kod kreskowy (góra/dół), "Recepta", lista leków, dane świadczeniodawcy'),
    'medicalResults': ('Wyniki badań',
                       'Wydruk laboratoryjny, nazwy parametrów (morfologia, glukoza itp.), normy i wyniki'),
    'referral': ('Skierowanie', 'Tytuł "Skierowanie", rozpoznanie (kod ICD-10), pieczęć lekarza kierującego'),
    'medicalHistory': ('Historia choroby/Wypis', 'Karta informacyjna leczenia szpitalnego, epikryza, zalecenia'),
    'vaccinationCard': ('Karta szczepień', 'Książeczka lub karta, tabela z datami szczepień i nazwami preparatów'),
    'sanitaryBooklet': ('Książeczka sanepidowska',
                        'Mała książeczka, wpisy badań na nosicielstwo, pieczątki stacji sanitarno-epidemiologicznej'),

    # --- NIERUCHOMOŚCI / AUTO ---
    'propertyDeed': ('Akt własności', 'Akt notarialny dotyczący przeniesienia własności nieruchomości'),
    'landRegistry': ('Księga wieczysta', 'Wydruk z EKW (Elektroniczne Księgi Wieczyste), działy I-IV'),
    'rentalAgreement': ('Umowa najmu', 'Tytuł "Umowa najmu lokalu", określenie czynszu, kaucji, adres lokalu'),
    'registrationCertificate': ('Dowód rejestracyjny',
                                'Składany dokument (błękitno-żółty), hologram, pola z kodami A, B, C'),
    'vehicleHistory': ('Karta pojazdu', 'Czerwona książeczka (stary typ) lub wydruk historii z CEPiK'),
    'landMap': ('Mapa geodezyjna', 'Rysunek techniczny terenu, granice działek, numery działek, pieczęć starostwa'),
    'technicalInspection': ('Przegląd techniczny',
                            'Zaświadczenie ze stacji kontroli pojazdów lub pieczątka w dowodzie rejestracyjnym'),

    # --- INNE ---
    'application': ('Wniosek/Podanie', 'Nagłówek "Wniosek" lub "Podanie", adresat (urząd/firma), prośba, podpis'),
    'certificate': ('Zaświadczenie', 'Tytuł "Zaświadczenie", potwierdzenie faktu przez instytucję, pieczęć'),
    'authorization': ('Upoważnienie', 'Tytuł "Upoważnienie", dane osoby upoważnianej do czynności, podpis')
}

DEFAULT_CRITERIA = "Oficjalny dokument z czytelnym tekstem i pieczęciami."


# --- LOGIKA ---

def load_history():
    if not os.path.exists(HISTORY_FILE):
        return set()
    with open(HISTORY_FILE, 'r', encoding='utf-8') as f:
        return set(line.strip() for line in f if line.strip())


def mark_as_done(rel_path):
    with open(HISTORY_FILE, 'a', encoding='utf-8') as f:
        f.write(f"{rel_path}\n")


def check_document_strict(file_path, doc_name, criteria):
    """
    Wysyła zapytanie do Llama Vision z BARDZO rygorystycznymi wymogami.
    """
    print(f" (Weryfikacja: {doc_name} -> {criteria[:30]}...)", end="", flush=True)

    prompt = f"""
    Działaj jako rygorystyczny audytor dokumentów. Twoim zadaniem jest potwierdzenie autentyczności typu dokumentu.

    OBRAZ: {file_path}
    OCZEKIWANY TYP: {doc_name}

    KRYTYCZNE WYMAGANIA WIZUALNE (MUST HAVE):
    - {criteria}

    NATYCHMIASTOWE ODRZUCENIE (REJECT IF):
    1. To jest zrzut ekranu (widać paski przeglądarki, kursor, interfejs telefonu).
    2. To jest zdjęcie ekranu monitora (widać piksele/morę).
    3. Dokument jest nieczytelny, rozmazany lub ucięty w sposób uniemożliwiający identyfikację.
    4. Brakuje kluczowych elementów wymienionych w wymaganiach (np. brak napisu "PIT-11" na rzekomym PIT-11).
    5. To jest zdjęcie przedmiotu, zwierzęcia lub osoby (selfie), a nie skan dokumentu.

    DECYZJA:
    Czy obraz spełnia wszystkie kryteria dla {doc_name}?
    Odpowiedz TYLKO jednym słowem: TAK lub NIE.
    """

    try:
        response = ollama.chat(
            model=MODEL_NAME,
            messages=[{
                'role': 'user',
                'content': prompt,
                'images': [str(file_path)]
            }]
        )
        # Czyszczenie odpowiedzi (np. "TAK." -> "TAK")
        answer = response['message']['content'].strip().upper().replace('.', '')

        if "TAK" in answer or "YES" in answer:
            return True
        return False

    except Exception as e:
        print(f" ❌ Błąd API: {e}")
        return None


def main():
    base_path = Path(ROOT_FOLDER)
    rejected_path = base_path / REJECTED_FOLDER

    if not base_path.exists():
        print(f"❌ Folder '{ROOT_FOLDER}' nie istnieje!")
        return

    if not rejected_path.exists():
        rejected_path.mkdir()

    processed_files = load_history()
    print(f"📂 Historia: {len(processed_files)} plików pominiętych.")
    print(f"🚀 Start audytu wizualnego (Model: {MODEL_NAME})...")

    # Pobieramy listę folderów w katalogu scans
    subdirs = [d for d in base_path.iterdir() if d.is_dir()]

    for folder in subdirs:
        folder_name = folder.name

        # 1. Pomijanie folderów specjalnych
        if folder_name == REJECTED_FOLDER:
            continue

        # 2. Pomijanie folderów "bezpiecznych" (np. documentScan - szybki zrzut)
        if folder_name in SAFE_FOLDERS:
            # print(f"⏩ Pomijam bezpieczny folder: {folder_name}")
            continue

        # Pobieranie kryteriów z mapy
        if folder_name in DOCUMENT_TYPES:
            doc_name, doc_criteria = DOCUMENT_TYPES[folder_name]
        else:
            # Jeśli folderu nie ma w słowniku, można go pominąć lub użyć domyślnych
            # print(f"⏩ Folder nieznany w systemie: {folder_name} (pomijam)")
            continue

        files = [f for f in folder.iterdir() if f.suffix.lower() in IMAGE_EXTENSIONS]
        if not files:
            continue

        print(f"\n📂 Audyt folderu: [{folder_name}]")

        for file_path in files:
            rel_path_str = str(file_path.relative_to(base_path))

            # Sprawdzenie historii
            if rel_path_str in processed_files:
                continue

            print(f"  👁️  Plik: {file_path.name}...", end="", flush=True)

            is_valid = check_document_strict(file_path, doc_name, doc_criteria)

            if is_valid is True:
                print(" ✅ OK")
                mark_as_done(rel_path_str)

            elif is_valid is False:
                print(" 🗑️  ODRZUCONY")

                # Przenoszenie
                target_dir = rejected_path / folder_name
                if not target_dir.exists():
                    target_dir.mkdir(parents=True)

                try:
                    shutil.move(str(file_path), str(target_dir / file_path.name))
                    mark_as_done(rel_path_str)  # Oznaczamy jako przetworzony (usunięty)
                except Exception as e:
                    print(f"     [!] Błąd przenoszenia: {e}")
            else:
                print(" ⚠️ Błąd modelu (spróbujemy ponownie).")

    print("\n✨ Zakończono.")


if __name__ == "__main__":
    try:
        main()
    except KeyboardInterrupt:
        print("\n🛑 Zatrzymano.")