## Frontier SLM Comparison & Text Summarizers (Historical Notes) 이 문서는 프로젝트 초기 아이디어 및 기획 누더기 메모를 보존한 기록입니다. 최신 구현 아키텍처 및 실행 규격은 루트의 `README.md`와 `implementation_plan.md`를 참고합니다. --- ## 1. 초기 프로젝트 아키텍처 초안 데이터 인풋 구조(HTML/PDF/MD)에 따른 전처리 분기에서부터, CPU와 ZeroGPU로 분리되는 연산 라우팅 구조, 최종적으로 Gradio UI 컴포넌트의 가시성(Visibility)과 Side-by-Side 채팅을 통합 처리하는 구조도입니다. [ Input Sources: FED Minutes HTML / BOK Decision PDF / Local MD File ] | v [ parser.py: Ingestion Pipeline ] +-------------------------------------------------------------+ | - BOK: Requests Binary Stream -> PyPDF In-Memory Parser | | - FED: BeautifulSoup4 Clean-room Parser (Exclude Metadata) | | - File: Local Markdown Text Extractor & Encoding Resolver | +-------------------------------------------------------------+ | v [ app.py: Dispatcher ] (Tabs: Summarizer vs. Chat Arena) | +-------------------------------+-------------------------------+ | | [ Tab 1: Summarizer (Dynamic Visibility) ] [ Tab 2: Chat Arena (Side-by-Side) ] | | v v - Checkbox Selection Analysis (A/B/C/D) - Dropdown Selector Matrix (A/B) - Routing to Target Processing Unit - Dual Pipeline Concurrency Control | | +-------------------------------+-------------------------------+ | +-------------------------------+-------------------------------+ | | [ CPU Bound Engine (0ms GPU Quota) ] [ @spaces.GPU Bound Engine ] - model_statistical (LexRank Engine) - model_small_language (Gemma 4) - model_embedding (SBERT + KMeans) - model_small_language (Qwen 3.5) | | +-------------------------------+-------------------------------+ | v [ Gradio Responsive Presentation Layer ] - Tab 1: Individual Textboxes using gr.update(visible=True/False) + Latency Profile - Tab 2: Concurrent Multi-turn Dialogue Stream into Dual gr.Chatbot Panels ------------------------------ ## 2. 모듈별 설계 명세 (초안) ### 2.1 수집 파이프라인 명세 (parser.py) * 미 연준(FED) Minutes 파서: * 대상: federalreserve.gov 도메인의 의사록 HTML 페이지. * 규칙: 핵심 텍스트가 포함된 헤드 구조(div#article 또는 div.col-xs-12)를 스캔한 후 하위
태그만 조인. 위원들의 투표 내역(Voting for this action: ...), 참석자 명단(Committee Attendees) 등 고정식 노이즈 텍스트 블록은 정규식 및 문자열 매칭으로 제거하여 본문 분석의 순도를 높임. * 한국은행(BOK) 의결문 PDF 파서: * 대상: 한은 홈페이지 통화정책방향 결정회의 자료 내 첨부 PDF 파일 링크. * 규칙: 웹 프록시나 로컬 드라이브 우회 없이 requests.get(url, stream=True)의 바이너리 스트림을 io.BytesIO로 메모리에 직접 적재. pypdf.PdfReader 객체로 페이지별 텍스트를 디코딩하고, 금융 문서 특유의 다단(Multi-column) 레이아웃 텍스트 결합 오류를 방지하는 공백 보정 로직 적용. 머리말/바닥글 노이즈 제거. ### 2.2 요약 및 임베딩 코어 명세 (summarizers.py) * model_statistical 클래스: * 수 밀리초 단위로 실행되는 규칙 기반 벤치마크 지표 제공. * 한국어 처리 요청 시 kiwipiepy 형태소 엔진을 호출해 완전한 문장 구조 단위로 파싱한 뒤 sumy 패키지의 문장 그래프 랭킹 모델에 투입. * model_embedding 클래스: * sentence-transformers 알고리즘 기반. 텍스트 전체를 고차원 임베딩 평면에 투영하여 텍스트의 실제 의미(Semantic)를 밀집 벡터화. * scikit-learn 기반 KMeans 엔진을 구동해 k개의 최적 군집 중심점을 찾고, 해당 중심점 벡터와 유클리드 거리가 최소인 대표 문장들을 추출하여 논리적 흐름 순서(Index order)대로 정렬 반환. ### 2.3 소형 언어 모델 및 아레나 레지스트리 명세 (slm_registry.py) * model_small_language 클래스: * 런타임 자원 관리를 위해 싱글톤(Singleton) 방식으로 구현. 인스턴스 호출 전까지 가중치를 로드하지 않는 Lazy Loading 패턴 적용. * bitsandbytes 패키지를 연동하여 HF Hub의 원본 가중치(google/gemma-4-26b-it, Qwen/Qwen3.5-35B-A3B)를 4-bit 양자화 모델로 변환 로드 함으로써 Space의 48GB VRAM 격리 영역 안에서 충돌 없이 병렬 연산 대기 상태를 유지. * 듀얼 인터페이스: 단발성 텍스트 추론을 위한 generate_summary()와 아레나용 멀티턴 컨텍스트 트래킹을 위한 generate_chat_response() 인터페이스를 동시 탑재. ### 2.4 인터페이스 오케스트레이터 명세 (app.py) * 탭 레이아웃 분리 구조: * with gr.Tabs(): 컨텍스트 구조 아래 gr.Tab("요약 벤치마크")와 gr.Tab("LLM 아레나 채팅")을 분리 마운트. * 요약 모드 제어 (동적 가시성): * 사용자가 선택한 모델 체크박스 리스트(selected_models)를 인풋으로 받아 사전 정의된 4개의 gr.Textbox 컴포넌트의 가시 상태 상태 배열을 리턴. * gr.update(visible=True, value=f"[⏱️ {latency}ms]\n\n{result}") 또는 gr.update(visible=False) 딕셔너리 맵핑으로 제어. * 아레나 모드 제어 (Side-by-Side): * 왼쪽 gr.Dropdown과 오른쪽 gr.Dropdown에서 선택된 임의의 두 모델 식별자를 키(Key)값으로 라우터 트리거. * 단일 입력 전송 버튼 클릭 시, 동일한 텍스트 질문 스트링이 각각 독립된 두 개의 gr.Chatbot 컴포넌트에 실시간 동시 주입되어 개별 레이턴시 배지와 함께 좌우 화면에 직관적으로 시각화됨. ------------------------------ ## 3. 초기 의존성 및 프로토타입 코드 초안 ```text gradio>=4.40.0 spaces>=0.30.0 requests>=2.31.0 beautifulsoup4>=4.12.0 pypdf>=4.0.0 sumy>=0.11.0 nltk>=3.8.1 kiwipiepy>=0.20.0 sentence-transformers>=2.2.0 scikit-learn>=1.3.0 torch>=2.4.0 transformers>=4.45.0 accelerate>=0.34.0 bitsandbytes>=0.43.0 ``` ```python # Prototype dynamic handler snippet SLM_MODELS = { "Gemma 4": { "model_id": "google/gemma-4-26b-it", "torch_dtype": torch.bfloat16, "load_in_4bit": True, "description": "네이티브 멀티모달 기반 균형 잡힌 문맥 이해 및 정제된 요약" }, "Qwen 3.5": { "model_id": "Qwen/Qwen3.5-35B-A3B", "torch_dtype": torch.bfloat16, "load_in_4bit": True, "description": "희소 MoE 아키텍처 기반 고속 토큰 생성 및 논리적 문장 압축" } } ```