A newer version of the Streamlit SDK is available: 1.58.0
metadata
title: Pathology RAG System
emoji: 🔬
colorFrom: blue
colorTo: indigo
sdk: streamlit
app_file: app.py
pinned: false
Visual Architecture Diagram - Pathology Report Knowledge Extraction
System Architecture - Complete Flow
╔═══════════════════════════════════════════════════════════════════════════════╗
║ PATHOLOGY REPORT PROCESSING SYSTEM ║
║ RAG + Spark NLP + Vector Database ║
╚═══════════════════════════════════════════════════════════════════════════════╝
┌───────────────────────────────────────────────────────────────────────────────┐
│ 1. DATA INGESTION │
└───────────────────────────────────────────────────────────────────────────────┘
📄 Pathology Reports (PDF)
│
├─── Scanned PDFs ────────► OCR (Tesseract/EasyOCR)
│ │
└─── Digital PDFs ────────► PyMuPDF Text Extraction
│
▼
📝 Raw Text Files
│
│
┌──────────────────────────────────────────────┼─────────────────────────────────┐
│ 2. SPARK NLP PROCESSING │ │
└──────────────────────────────────────────────┼─────────────────────────────────┘
│
┌──────────────────────────┴──────────────────────────┐
│ Spark NLP Medical Pipeline │
│ │
│ ┌────────────────────────────────────────────┐ │
│ │ Stage 1: Document Assembly │ │
│ │ • DocumentAssembler │ │
│ │ • SentenceDetector │ │
│ │ • Tokenizer │ │
│ └──────────────┬─────────────────────────────┘ │
│ ▼ │
│ ┌────────────────────────────────────────────┐ │
│ │ Stage 2: Entity Recognition (NER) │ │
│ │ • Medical NER (BioBERT/ClinicalBERT) │ │
│ │ • Extract: PROBLEM, TREATMENT, TEST, │ │
│ │ ANATOMY, LAB_VALUE │ │
│ └──────────────┬─────────────────────────────┘ │
│ ▼ │
│ ┌────────────────────────────────────────────┐ │
│ │ Stage 3: Assertion & Relations │ │
│ │ • AssertionDL (present/absent/possible) │ │
│ │ • RelationExtraction (entity links) │ │
│ └──────────────┬─────────────────────────────┘ │
│ │
└─────────────────┼─────────────────────────────────┘
▼
📊 Structured Clinical Data
{
"entities": [...],
"relations": [...],
"assertions": [...],
"metadata": {...}
}
│
│
┌─────────────────────────────────────┼───────────────────────────────────────┐
│ 3. CHUNKING & ENRICHMENT │
└─────────────────────────────────────┼───────────────────────────────────────┘
│
┌─────────────────┴─────────────────┐
│ │
▼ ▼
┌──────────────────┐ ┌──────────────────┐
│ Section-Based │ │ Semantic-Based │
│ Chunking │ │ Chunking │
│ │ │ │
│ • Clinical │ │ • 512-1024 │
│ History │ │ tokens │
│ • Findings │ │ • 128 overlap │
│ • Diagnosis │ │ • Entity-aware │
│ • Treatment │ │ │
└────────┬─────────┘ └────────┬─────────┘
│ │
└────────────┬────────────────────┘
│
▼
📦 Enriched Chunks with Metadata
{
"chunk_id": "...",
"text": "...",
"entities": [...],
"section": "...",
"report_date": "...",
"report_type": "..."
}
│
│
┌───────────────────────────────┼───────────────────────────────────────────┐
│ 4. EMBEDDING GENERATION │
└───────────────────────────────┼───────────────────────────────────────────┘
│
┌───────────┴───────────┐
│ │
▼ ▼
┌────────────────────┐ ┌────────────────────┐
│ Dense Embeddings │ │ Sparse Embeddings │
│ │ │ │
│ • BioBERT │ │ • BM25 │
│ • ClinicalBERT │ │ • TF-IDF │
│ • PubMedBERT │ │ • Keyword Index │
│ • SapBERT │ │ │
│ │ │ │
│ 768-dim vectors │ │ Sparse vectors │
└────────┬───────────┘ └────────┬───────────┘
│ │
└───────────┬────────────┘
│
▼
🔢 Hybrid Embeddings
│
│
┌─────────────────────────────┼─────────────────────────────────────────────┐
│ 5. VECTOR DATABASE STORAGE │
└─────────────────────────────┼─────────────────────────────────────────────┘
│
┌───────────────┼───────────────┐
│ │ │
▼ ▼ ▼
┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ ChromaDB │ │ FAISS │ │ Pinecone │
│ │ │ │ │ │
│ • Dev/Test │ │ • Production │ │ • Cloud │
│ • Easy setup │ │ • Fast │ │ • Managed │
│ • Metadata │ │ • Scalable │ │ • Enterprise │
└──────┬───────┘ └──────┬───────┘ └──────┬───────┘
│ │ │
└────────────────┼────────────────┘
│
▼
💾 Indexed Knowledge Base
• Embeddings: 384-768 dims
• Metadata: entities, dates, types
• Relations: entity graphs
│
│
┌─────────────────────────────┼─────────────────────────────────────────────┐
│ 6. QUERY & RETRIEVAL (RAG) │
└─────────────────────────────┼─────────────────────────────────────────────┘
│
👤 User Query: "What are ER+ breast cancer markers?"
│
▼
┌───────────────────────────────┐
│ Query Processing │
│ • Entity extraction │
│ • Query expansion │
│ • Generate embeddings │
└───────────┬───────────────────┘
│
▼
┌───────────────────────────────┐
│ Hybrid Retrieval │
│ │
│ ┌─────────────────────┐ │
│ │ Dense Search │ │
│ │ (Semantic) │────┼──► Top 20 chunks
│ └─────────────────────┘ │
│ │
│ ┌─────────────────────┐ │
│ │ Sparse Search │ │
│ │ (BM25/Keywords) │────┼──► Top 20 chunks
│ └─────────────────────┘ │
│ │
│ ┌─────────────────────┐ │
│ │ Entity Filter │ │
│ │ (Medical entities) │────┼──► Filtered
│ └─────────────────────┘ │
└───────────┬───────────────────┘
│
▼
┌───────────────────────────────┐
│ Reranking │
│ • Cross-encoder scoring │
│ • Medical relevance │
│ • Temporal filtering │
└───────────┬───────────────────┘
│
▼
📚 Top 5-10 Relevant Chunks
│
│
┌─────────────────────────┼───────────────────────────────────────────────┐
│ 7. GENERATION (LLM) │
└─────────────────────────┼───────────────────────────────────────────────┘
│
▼
┌───────────────────────────────────┐
│ Prompt Construction │
│ │
│ System: "You are a medical │
│ expert assistant..." │
│ │
│ Context: [Retrieved chunks] │
│ │
│ Query: [User question] │
│ │
│ Instructions: "Answer with │
│ citations..." │
└───────────┬───────────────────────┘
│
▼
┌───────────────────────────────────┐
│ LLM (Claude/GPT-4/Med-PaLM) │
│ │
│ • Medical reasoning │
│ • Citation generation │
│ • Accuracy validation │
└───────────┬───────────────────────┘
│
▼
┌───────────────────────────────────┐
│ Post-processing │
│ • Format citations │
│ • Fact checking │
│ • Safety validation │
└───────────┬───────────────────────┘
│
▼
💬 Final Response
│
│
┌─────────────────────┼─────────────────────────────────────────────────┐
│ 8. USER INTERFACE │
└─────────────────────┼─────────────────────────────────────────────────┘
│
┌─────────────┼─────────────┐
│ │ │
▼ ▼ ▼
┌────────┐ ┌─────────┐ ┌──────────┐
│ CLI │ │ Web UI │ │ REST API │
│ │ │ │ │ │
│ Python │ │Streamlit│ │ FastAPI │
│ Script │ │ Gradio │ │ │
└────────┘ └─────────┘ └──────────┘
│ │ │
└─────────────┼─────────────┘
│
▼
📊 User Gets Answer
with Citations & Sources
╔═══════════════════════════════════════════════════════════════════════════╗
║ SUPPORTING COMPONENTS ║
╚═══════════════════════════════════════════════════════════════════════════╝
┌─────────────────────┐ ┌─────────────────────┐ ┌────────────────────────┐
│ Monitoring & │ │ Knowledge Graph │ │ Caching Layer │
│ Logging │ │ (Optional) │ │ │
│ │ │ │ │ • Query cache │
│ • MLflow │ │ • Neo4j │ │ • Embedding cache │
│ • W&B │ │ • NetworkX │ │ • LLM response cache │
│ • Prometheus │ │ • Entity graphs │ │ • Redis/Memcached │
└─────────────────────┘ └─────────────────────┘ └────────────────────────┘
┌─────────────────────┐ ┌─────────────────────┐ ┌────────────────────────┐
│ Security & │ │ Evaluation │ │ Data Pipeline │
│ Compliance │ │ Metrics │ │ │
│ │ │ │ │ • Apache Airflow │
│ • De-identification│ │ • Precision@k │ │ • Spark jobs │
│ • HIPAA compliance │ │ • Medical accuracy │ │ • Batch processing │
│ • Access control │ │ • Latency │ │ • ETL workflows │
└─────────────────────┘ └─────────────────────┘ └────────────────────────┘
═══════════════════════════════════════════════════════════════════════════
END-TO-END FLOW
═══════════════════════════════════════════════════════════════════════════