Spaces:
Running on Zero
Running on Zero
|
Download docs/notes.md from primenumbersam/slm: direct link, hf CLI and curl.
- Browser
- Download file 7.69 kB
-
https://huggingface.co/spaces/primenumbersam/slm/resolve/main/docs/notes.md
- Command line
-
hf download hf://spaces/primenumbersam/slm/docs/notes.md
-
curl -L -o notes.md https://huggingface.co/spaces/primenumbersam/slm/resolve/main/docs/notes.md
7.69 kB
| ## Frontier SLM Comparison & Text Summarizers (Historical Notes) | |
| 이 문서는 프로젝트 초기 아이디어 및 기획 누더기 메모를 보존한 기록입니다. 최신 구현 아키텍처 및 실행 규격은 루트의 `README.md`와 `implementation_plan.md`를 참고합니다. | |
| --- | |
| ## 1. 초기 프로젝트 아키텍처 초안 | |
| 데이터 인풋 구조(HTML/PDF/MD)에 따른 전처리 분기에서부터, CPU와 ZeroGPU로 분리되는 연산 라우팅 구조, 최종적으로 Gradio UI 컴포넌트의 가시성(Visibility)과 Side-by-Side 채팅을 통합 처리하는 구조도입니다. | |
| [ Input Sources: FED Minutes HTML / BOK Decision PDF / Local MD File ] | |
| | | |
| v | |
| [ parser.py: Ingestion Pipeline ] | |
| +-------------------------------------------------------------+ | |
| | - BOK: Requests Binary Stream -> PyPDF In-Memory Parser | | |
| | - FED: BeautifulSoup4 Clean-room Parser (Exclude Metadata) | | |
| | - File: Local Markdown Text Extractor & Encoding Resolver | | |
| +-------------------------------------------------------------+ | |
| | | |
| v | |
| [ app.py: Dispatcher ] | |
| (Tabs: Summarizer vs. Chat Arena) | |
| | | |
| +-------------------------------+-------------------------------+ | |
| | | | |
| [ Tab 1: Summarizer (Dynamic Visibility) ] [ Tab 2: Chat Arena (Side-by-Side) ] | |
| | | | |
| v v | |
| - Checkbox Selection Analysis (A/B/C/D) - Dropdown Selector Matrix (A/B) | |
| - Routing to Target Processing Unit - Dual Pipeline Concurrency Control | |
| | | | |
| +-------------------------------+-------------------------------+ | |
| | | |
| +-------------------------------+-------------------------------+ | |
| | | | |
| [ CPU Bound Engine (0ms GPU Quota) ] [ @spaces.GPU Bound Engine ] | |
| - model_statistical (LexRank Engine) - model_small_language (Gemma 4) | |
| - model_embedding (SBERT + KMeans) - model_small_language (Qwen 3.5) | |
| | | | |
| +-------------------------------+-------------------------------+ | |
| | | |
| v | |
| [ Gradio Responsive Presentation Layer ] | |
| - Tab 1: Individual Textboxes using gr.update(visible=True/False) + Latency Profile | |
| - Tab 2: Concurrent Multi-turn Dialogue Stream into Dual gr.Chatbot Panels | |
| ------------------------------ | |
| ## 2. 모듈별 설계 명세 (초안) | |
| ### 2.1 수집 파이프라인 명세 (parser.py) | |
| * 미 연준(FED) Minutes 파서: | |
| * 대상: federalreserve.gov 도메인의 의사록 HTML 페이지. | |
| * 규칙: 핵심 텍스트가 포함된 헤드 구조(div#article 또는 div.col-xs-12)를 스캔한 후 하위 <p> 태그만 조인. 위원들의 투표 내역(Voting for this action: ...), 참석자 명단(Committee Attendees) 등 고정식 노이즈 텍스트 블록은 정규식 및 문자열 매칭으로 제거하여 본문 분석의 순도를 높임. | |
| * 한국은행(BOK) 의결문 PDF 파서: | |
| * 대상: 한은 홈페이지 통화정책방향 결정회의 자료 내 첨부 PDF 파일 링크. | |
| * 규칙: 웹 프록시나 로컬 드라이브 우회 없이 requests.get(url, stream=True)의 바이너리 스트림을 io.BytesIO로 메모리에 직접 적재. pypdf.PdfReader 객체로 페이지별 텍스트를 디코딩하고, 금융 문서 특유의 다단(Multi-column) 레이아웃 텍스트 결합 오류를 방지하는 공백 보정 로직 적용. 머리말/바닥글 노이즈 제거. | |
| ### 2.2 요약 및 임베딩 코어 명세 (summarizers.py) | |
| * model_statistical 클래스: | |
| * 수 밀리초 단위로 실행되는 규칙 기반 벤치마크 지표 제공. | |
| * 한국어 처리 요청 시 kiwipiepy 형태소 엔진을 호출해 완전한 문장 구조 단위로 파싱한 뒤 sumy 패키지의 문장 그래프 랭킹 모델에 투입. | |
| * model_embedding 클래스: | |
| * sentence-transformers 알고리즘 기반. 텍스트 전체를 고차원 임베딩 평면에 투영하여 텍스트의 실제 의미(Semantic)를 밀집 벡터화. | |
| * scikit-learn 기반 KMeans 엔진을 구동해 k개의 최적 군집 중심점을 찾고, 해당 중심점 벡터와 유클리드 거리가 최소인 대표 문장들을 추출하여 논리적 흐름 순서(Index order)대로 정렬 반환. | |
| ### 2.3 소형 언어 모델 및 아레나 레지스트리 명세 (slm_registry.py) | |
| * model_small_language 클래스: | |
| * 런타임 자원 관리를 위해 싱글톤(Singleton) 방식으로 구현. 인스턴스 호출 전까지 가중치를 로드하지 않는 Lazy Loading 패턴 적용. | |
| * bitsandbytes 패키지를 연동하여 HF Hub의 원본 가중치(google/gemma-4-26b-it, Qwen/Qwen3.5-35B-A3B)를 4-bit 양자화 모델로 변환 로드 함으로써 Space의 48GB VRAM 격리 영역 안에서 충돌 없이 병렬 연산 대기 상태를 유지. | |
| * 듀얼 인터페이스: 단발성 텍스트 추론을 위한 generate_summary()와 아레나용 멀티턴 컨텍스트 트래킹을 위한 generate_chat_response() 인터페이스를 동시 탑재. | |
| ### 2.4 인터페이스 오케스트레이터 명세 (app.py) | |
| * 탭 레이아웃 분리 구조: | |
| * with gr.Tabs(): 컨텍스트 구조 아래 gr.Tab("요약 벤치마크")와 gr.Tab("LLM 아레나 채팅")을 분리 마운트. | |
| * 요약 모드 제어 (동적 가시성): | |
| * 사용자가 선택한 모델 체크박스 리스트(selected_models)를 인풋으로 받아 사전 정의된 4개의 gr.Textbox 컴포넌트의 가시 상태 상태 배열을 리턴. | |
| * gr.update(visible=True, value=f"[⏱️ {latency}ms]\n\n{result}") 또는 gr.update(visible=False) 딕셔너리 맵핑으로 제어. | |
| * 아레나 모드 제어 (Side-by-Side): | |
| * 왼쪽 gr.Dropdown과 오른쪽 gr.Dropdown에서 선택된 임의의 두 모델 식별자를 키(Key)값으로 라우터 트리거. | |
| * 단일 입력 전송 버튼 클릭 시, 동일한 텍스트 질문 스트링이 각각 독립된 두 개의 gr.Chatbot 컴포넌트에 실시간 동시 주입되어 개별 레이턴시 배지와 함께 좌우 화면에 직관적으로 시각화됨. | |
| ------------------------------ | |
| ## 3. 초기 의존성 및 프로토타입 코드 초안 | |
| ```text | |
| gradio>=4.40.0 | |
| spaces>=0.30.0 | |
| requests>=2.31.0 | |
| beautifulsoup4>=4.12.0 | |
| pypdf>=4.0.0 | |
| sumy>=0.11.0 | |
| nltk>=3.8.1 | |
| kiwipiepy>=0.20.0 | |
| sentence-transformers>=2.2.0 | |
| scikit-learn>=1.3.0 | |
| torch>=2.4.0 | |
| transformers>=4.45.0 | |
| accelerate>=0.34.0 | |
| bitsandbytes>=0.43.0 | |
| ``` | |
| ```python | |
| # Prototype dynamic handler snippet | |
| SLM_MODELS = { | |
| "Gemma 4": { | |
| "model_id": "google/gemma-4-26b-it", | |
| "torch_dtype": torch.bfloat16, | |
| "load_in_4bit": True, | |
| "description": "네이티브 멀티모달 기반 균형 잡힌 문맥 이해 및 정제된 요약" | |
| }, | |
| "Qwen 3.5": { | |
| "model_id": "Qwen/Qwen3.5-35B-A3B", | |
| "torch_dtype": torch.bfloat16, | |
| "load_in_4bit": True, | |
| "description": "희소 MoE 아키텍처 기반 고속 토큰 생성 및 논리적 문장 압축" | |
| } | |
| } | |
| ``` | |