Download src/document_loader.py from AdryanAzul/DocuMindAI_RAG_Application: direct link, hf CLI and curl.
- Browser
- Download file 3.46 kB
-
https://huggingface.co/spaces/AdryanAzul/DocuMindAI_RAG_Application/resolve/main/src/document_loader.py
- Command line
-
hf download hf://spaces/AdryanAzul/DocuMindAI_RAG_Application/src/document_loader.py
-
curl -L -o document_loader.py https://huggingface.co/spaces/AdryanAzul/DocuMindAI_RAG_Application/resolve/main/src/document_loader.py
3.46 kB
| """Carregamento e extração de texto de arquivos PDF com tratamento de erros.""" | |
| from dataclasses import dataclass | |
| from io import BytesIO | |
| from pathlib import Path | |
| from typing import BinaryIO | |
| from pypdf import PdfReader | |
| from pypdf.errors import PdfReadError | |
| class DocumentPage: | |
| """Representa o conteúdo extraído de uma única página de PDF.""" | |
| text: str | |
| source: str | |
| page: int | |
| class DocumentLoadError(Exception): | |
| """Erro levantado quando um arquivo PDF não pode ser lido ou está vazio.""" | |
| def load_pdf( | |
| file_source: str | Path | BinaryIO, | |
| filename: str | None = None, | |
| max_size_mb: int = 20, | |
| ) -> list[DocumentPage]: | |
| """Extrai o texto de cada página de um PDF, preservando nome do arquivo e página. | |
| Args: | |
| file_source: Caminho do arquivo no disco ou objeto binário em memória (ex.: UploadedFile). | |
| filename: Nome de exibição do arquivo. Obrigatório quando file_source não for um caminho. | |
| max_size_mb: Tamanho máximo permitido em megabytes. | |
| Returns: | |
| Lista de DocumentPage com texto não vazio. | |
| Raises: | |
| DocumentLoadError: Se o arquivo estiver vazio, exceder o limite, corrompido ou sem texto. | |
| """ | |
| max_bytes = max_size_mb * 1024 * 1024 | |
| source_name = filename | |
| if isinstance(file_source, (str, Path)): | |
| path = Path(file_source) | |
| if not path.exists() or not path.is_file(): | |
| raise DocumentLoadError(f"Arquivo não encontrado: {path}") | |
| file_size = path.stat().st_size | |
| if file_size == 0: | |
| raise DocumentLoadError(f"O arquivo '{path.name}' está vazio.") | |
| if file_size > max_bytes: | |
| raise DocumentLoadError( | |
| f"O arquivo '{path.name}' excede o limite de {max_size_mb} MB." | |
| ) | |
| source_name = source_name or path.name | |
| stream: BinaryIO | Path = path | |
| else: | |
| source_name = source_name or getattr(file_source, "name", "documento.pdf") | |
| raw_bytes = file_source.read() | |
| if not raw_bytes: | |
| raise DocumentLoadError(f"O arquivo '{source_name}' está vazio.") | |
| if len(raw_bytes) > max_bytes: | |
| raise DocumentLoadError( | |
| f"O arquivo '{source_name}' excede o limite de {max_size_mb} MB." | |
| ) | |
| stream = BytesIO(raw_bytes) | |
| try: | |
| reader = PdfReader(stream) | |
| except (PdfReadError, Exception) as exc: | |
| raise DocumentLoadError(f"Não foi possível ler o PDF '{source_name}': arquivo inválido ou corrompido.") from exc | |
| if reader.is_encrypted: | |
| try: | |
| # Tenta descriptografar com senha vazia (comum em PDFs protegidos apenas contra edição) | |
| if reader.decrypt("") == 0: | |
| raise DocumentLoadError(f"O PDF '{source_name}' está protegido por senha.") | |
| except Exception as exc: | |
| raise DocumentLoadError(f"O PDF '{source_name}' está protegido por senha.") from exc | |
| pages: list[DocumentPage] = [] | |
| for page_number, page in enumerate(reader.pages, start=1): | |
| extracted = (page.extract_text() or "").strip() | |
| if extracted: | |
| pages.append(DocumentPage(text=extracted, source=source_name, page=page_number)) | |
| if not pages: | |
| raise DocumentLoadError( | |
| f"Nenhum texto extraível foi encontrado em '{source_name}'. " | |
| "Verifique se o PDF não é apenas uma imagem digitalizada." | |
| ) | |
| return pages | |