Spaces:
Running on Zero
Download docs/notes.md from primenumbersam/slm: direct link, hf CLI and curl.
- Browser
- Download file 7.69 kB
-
https://huggingface.co/spaces/primenumbersam/slm/resolve/main/docs/notes.md
- Command line
-
hf download hf://spaces/primenumbersam/slm/docs/notes.md
-
curl -L -o notes.md https://huggingface.co/spaces/primenumbersam/slm/resolve/main/docs/notes.md
A newer version of the Gradio SDK is available: 6.32.0
Frontier SLM Comparison & Text Summarizers (Historical Notes)
이 문서는 프로젝트 초기 아이디어 및 기획 누더기 메모를 보존한 기록입니다. 최신 구현 아키텍처 및 실행 규격은 루트의 README.md와 implementation_plan.md를 참고합니다.
1. 초기 프로젝트 아키텍처 초안
데이터 인풋 구조(HTML/PDF/MD)에 따른 전처리 분기에서부터, CPU와 ZeroGPU로 분리되는 연산 라우팅 구조, 최종적으로 Gradio UI 컴포넌트의 가시성(Visibility)과 Side-by-Side 채팅을 통합 처리하는 구조도입니다.
[ Input Sources: FED Minutes HTML / BOK Decision PDF / Local MD File ]
|
v
[ parser.py: Ingestion Pipeline ]
+-------------------------------------------------------------+
| - BOK: Requests Binary Stream -> PyPDF In-Memory Parser |
| - FED: BeautifulSoup4 Clean-room Parser (Exclude Metadata) |
| - File: Local Markdown Text Extractor & Encoding Resolver |
+-------------------------------------------------------------+
|
v
[ app.py: Dispatcher ]
(Tabs: Summarizer vs. Chat Arena)
|
+-------------------------------+-------------------------------+
| |
[ Tab 1: Summarizer (Dynamic Visibility) ] [ Tab 2: Chat Arena (Side-by-Side) ] | | v v
- Checkbox Selection Analysis (A/B/C/D) - Dropdown Selector Matrix (A/B)
- Routing to Target Processing Unit - Dual Pipeline Concurrency Control | | +-------------------------------+-------------------------------+ | +-------------------------------+-------------------------------+ | |
[ CPU Bound Engine (0ms GPU Quota) ] [ @spaces.GPU Bound Engine ]
- model_statistical (LexRank Engine) - model_small_language (Gemma 4)
- model_embedding (SBERT + KMeans) - model_small_language (Qwen 3.5) | | +-------------------------------+-------------------------------+ | v [ Gradio Responsive Presentation Layer ]
- Tab 1: Individual Textboxes using gr.update(visible=True/False) + Latency Profile
- Tab 2: Concurrent Multi-turn Dialogue Stream into Dual gr.Chatbot Panels
2. 모듈별 설계 명세 (초안)
2.1 수집 파이프라인 명세 (parser.py)
- 미 연준(FED) Minutes 파서:
- 대상: federalreserve.gov 도메인의 의사록 HTML 페이지.
- 규칙: 핵심 텍스트가 포함된 헤드 구조(div#article 또는 div.col-xs-12)를 스캔한 후 하위
태그만 조인. 위원들의 투표 내역(Voting for this action: ...), 참석자 명단(Committee Attendees) 등 고정식 노이즈 텍스트 블록은 정규식 및 문자열 매칭으로 제거하여 본문 분석의 순도를 높임.
- 한국은행(BOK) 의결문 PDF 파서:
- 대상: 한은 홈페이지 통화정책방향 결정회의 자료 내 첨부 PDF 파일 링크.
- 규칙: 웹 프록시나 로컬 드라이브 우회 없이 requests.get(url, stream=True)의 바이너리 스트림을 io.BytesIO로 메모리에 직접 적재. pypdf.PdfReader 객체로 페이지별 텍스트를 디코딩하고, 금융 문서 특유의 다단(Multi-column) 레이아웃 텍스트 결합 오류를 방지하는 공백 보정 로직 적용. 머리말/바닥글 노이즈 제거.
2.2 요약 및 임베딩 코어 명세 (summarizers.py)
- model_statistical 클래스:
- 수 밀리초 단위로 실행되는 규칙 기반 벤치마크 지표 제공.
- 한국어 처리 요청 시 kiwipiepy 형태소 엔진을 호출해 완전한 문장 구조 단위로 파싱한 뒤 sumy 패키지의 문장 그래프 랭킹 모델에 투입.
- model_embedding 클래스:
- sentence-transformers 알고리즘 기반. 텍스트 전체를 고차원 임베딩 평면에 투영하여 텍스트의 실제 의미(Semantic)를 밀집 벡터화.
- scikit-learn 기반 KMeans 엔진을 구동해 k개의 최적 군집 중심점을 찾고, 해당 중심점 벡터와 유클리드 거리가 최소인 대표 문장들을 추출하여 논리적 흐름 순서(Index order)대로 정렬 반환.
2.3 소형 언어 모델 및 아레나 레지스트리 명세 (slm_registry.py)
- model_small_language 클래스:
- 런타임 자원 관리를 위해 싱글톤(Singleton) 방식으로 구현. 인스턴스 호출 전까지 가중치를 로드하지 않는 Lazy Loading 패턴 적용.
- bitsandbytes 패키지를 연동하여 HF Hub의 원본 가중치(google/gemma-4-26b-it, Qwen/Qwen3.5-35B-A3B)를 4-bit 양자화 모델로 변환 로드 함으로써 Space의 48GB VRAM 격리 영역 안에서 충돌 없이 병렬 연산 대기 상태를 유지.
- 듀얼 인터페이스: 단발성 텍스트 추론을 위한 generate_summary()와 아레나용 멀티턴 컨텍스트 트래킹을 위한 generate_chat_response() 인터페이스를 동시 탑재.
2.4 인터페이스 오케스트레이터 명세 (app.py)
- 탭 레이아웃 분리 구조:
- with gr.Tabs(): 컨텍스트 구조 아래 gr.Tab("요약 벤치마크")와 gr.Tab("LLM 아레나 채팅")을 분리 마운트.
- 요약 모드 제어 (동적 가시성):
- 사용자가 선택한 모델 체크박스 리스트(selected_models)를 인풋으로 받아 사전 정의된 4개의 gr.Textbox 컴포넌트의 가시 상태 상태 배열을 리턴.
- gr.update(visible=True, value=f"[⏱️ {latency}ms]\n\n{result}") 또는 gr.update(visible=False) 딕셔너리 맵핑으로 제어.
- 아레나 모드 제어 (Side-by-Side):
- 왼쪽 gr.Dropdown과 오른쪽 gr.Dropdown에서 선택된 임의의 두 모델 식별자를 키(Key)값으로 라우터 트리거.
- 단일 입력 전송 버튼 클릭 시, 동일한 텍스트 질문 스트링이 각각 독립된 두 개의 gr.Chatbot 컴포넌트에 실시간 동시 주입되어 개별 레이턴시 배지와 함께 좌우 화면에 직관적으로 시각화됨.
3. 초기 의존성 및 프로토타입 코드 초안
gradio>=4.40.0
spaces>=0.30.0
requests>=2.31.0
beautifulsoup4>=4.12.0
pypdf>=4.0.0
sumy>=0.11.0
nltk>=3.8.1
kiwipiepy>=0.20.0
sentence-transformers>=2.2.0
scikit-learn>=1.3.0
torch>=2.4.0
transformers>=4.45.0
accelerate>=0.34.0
bitsandbytes>=0.43.0
# Prototype dynamic handler snippet
SLM_MODELS = {
"Gemma 4": {
"model_id": "google/gemma-4-26b-it",
"torch_dtype": torch.bfloat16,
"load_in_4bit": True,
"description": "네이티브 멀티모달 기반 균형 잡힌 문맥 이해 및 정제된 요약"
},
"Qwen 3.5": {
"model_id": "Qwen/Qwen3.5-35B-A3B",
"torch_dtype": torch.bfloat16,
"load_in_4bit": True,
"description": "희소 MoE 아키텍처 기반 고속 토큰 생성 및 논리적 문장 압축"
}
}