slm / docs /notes.md
primenumbersam's picture
feat: implement Frontier SLM Comparison & Text Summarizers
97d08f3
|
Raw History Blame Contribute Delete
7.69 kB

A newer version of the Gradio SDK is available: 6.32.0

Upgrade

Frontier SLM Comparison & Text Summarizers (Historical Notes)

이 문서는 프로젝트 초기 아이디어 및 기획 누더기 메모를 보존한 기록입니다. 최신 구현 아키텍처 및 실행 규격은 루트의 README.md와 implementation_plan.md를 참고합니다.


1. 초기 프로젝트 아키텍처 초안

데이터 인풋 구조(HTML/PDF/MD)에 따른 전처리 분기에서부터, CPU와 ZeroGPU로 분리되는 연산 라우팅 구조, 최종적으로 Gradio UI 컴포넌트의 가시성(Visibility)과 Side-by-Side 채팅을 통합 처리하는 구조도입니다.

   [ Input Sources: FED Minutes HTML / BOK Decision PDF / Local MD File ]
                                    |
                                    v
                   [ parser.py: Ingestion Pipeline ]
     +-------------------------------------------------------------+
     | - BOK: Requests Binary Stream -> PyPDF In-Memory Parser     |
     | - FED: BeautifulSoup4 Clean-room Parser (Exclude Metadata)  |
     | - File: Local Markdown Text Extractor & Encoding Resolver   |
     +-------------------------------------------------------------+
                                    |
                                    v
                        [ app.py: Dispatcher ]
                 (Tabs: Summarizer vs. Chat Arena)
                                    |
    +-------------------------------+-------------------------------+
    |                                                               |

[ Tab 1: Summarizer (Dynamic Visibility) ] [ Tab 2: Chat Arena (Side-by-Side) ] | | v v

  • Checkbox Selection Analysis (A/B/C/D) - Dropdown Selector Matrix (A/B)
  • Routing to Target Processing Unit - Dual Pipeline Concurrency Control | | +-------------------------------+-------------------------------+ | +-------------------------------+-------------------------------+ | |

[ CPU Bound Engine (0ms GPU Quota) ] [ @spaces.GPU Bound Engine ]

  • model_statistical (LexRank Engine) - model_small_language (Gemma 4)
  • model_embedding (SBERT + KMeans) - model_small_language (Qwen 3.5) | | +-------------------------------+-------------------------------+ | v [ Gradio Responsive Presentation Layer ]
  • Tab 1: Individual Textboxes using gr.update(visible=True/False) + Latency Profile
  • Tab 2: Concurrent Multi-turn Dialogue Stream into Dual gr.Chatbot Panels

2. 모듈별 설계 명세 (초안)

2.1 수집 파이프라인 명세 (parser.py)

  • 미 연준(FED) Minutes 파서:
    • 대상: federalreserve.gov 도메인의 의사록 HTML 페이지.
    • 규칙: 핵심 텍스트가 포함된 헤드 구조(div#article 또는 div.col-xs-12)를 스캔한 후 하위

      태그만 조인. 위원들의 투표 내역(Voting for this action: ...), 참석자 명단(Committee Attendees) 등 고정식 노이즈 텍스트 블록은 정규식 및 문자열 매칭으로 제거하여 본문 분석의 순도를 높임.

  • 한국은행(BOK) 의결문 PDF 파서:
    • 대상: 한은 홈페이지 통화정책방향 결정회의 자료 내 첨부 PDF 파일 링크.
    • 규칙: 웹 프록시나 로컬 드라이브 우회 없이 requests.get(url, stream=True)의 바이너리 스트림을 io.BytesIO로 메모리에 직접 적재. pypdf.PdfReader 객체로 페이지별 텍스트를 디코딩하고, 금융 문서 특유의 다단(Multi-column) 레이아웃 텍스트 결합 오류를 방지하는 공백 보정 로직 적용. 머리말/바닥글 노이즈 제거.

2.2 요약 및 임베딩 코어 명세 (summarizers.py)

  • model_statistical 클래스:
    • 수 밀리초 단위로 실행되는 규칙 기반 벤치마크 지표 제공.
    • 한국어 처리 요청 시 kiwipiepy 형태소 엔진을 호출해 완전한 문장 구조 단위로 파싱한 뒤 sumy 패키지의 문장 그래프 랭킹 모델에 투입.
  • model_embedding 클래스:
    • sentence-transformers 알고리즘 기반. 텍스트 전체를 고차원 임베딩 평면에 투영하여 텍스트의 실제 의미(Semantic)를 밀집 벡터화.
    • scikit-learn 기반 KMeans 엔진을 구동해 k개의 최적 군집 중심점을 찾고, 해당 중심점 벡터와 유클리드 거리가 최소인 대표 문장들을 추출하여 논리적 흐름 순서(Index order)대로 정렬 반환.

2.3 소형 언어 모델 및 아레나 레지스트리 명세 (slm_registry.py)

  • model_small_language 클래스:
    • 런타임 자원 관리를 위해 싱글톤(Singleton) 방식으로 구현. 인스턴스 호출 전까지 가중치를 로드하지 않는 Lazy Loading 패턴 적용.
    • bitsandbytes 패키지를 연동하여 HF Hub의 원본 가중치(google/gemma-4-26b-it, Qwen/Qwen3.5-35B-A3B)를 4-bit 양자화 모델로 변환 로드 함으로써 Space의 48GB VRAM 격리 영역 안에서 충돌 없이 병렬 연산 대기 상태를 유지.
    • 듀얼 인터페이스: 단발성 텍스트 추론을 위한 generate_summary()와 아레나용 멀티턴 컨텍스트 트래킹을 위한 generate_chat_response() 인터페이스를 동시 탑재.

2.4 인터페이스 오케스트레이터 명세 (app.py)

  • 탭 레이아웃 분리 구조:
    • with gr.Tabs(): 컨텍스트 구조 아래 gr.Tab("요약 벤치마크")와 gr.Tab("LLM 아레나 채팅")을 분리 마운트.
  • 요약 모드 제어 (동적 가시성):
    • 사용자가 선택한 모델 체크박스 리스트(selected_models)를 인풋으로 받아 사전 정의된 4개의 gr.Textbox 컴포넌트의 가시 상태 상태 배열을 리턴.
    • gr.update(visible=True, value=f"[⏱️ {latency}ms]\n\n{result}") 또는 gr.update(visible=False) 딕셔너리 맵핑으로 제어.
  • 아레나 모드 제어 (Side-by-Side):
    • 왼쪽 gr.Dropdown과 오른쪽 gr.Dropdown에서 선택된 임의의 두 모델 식별자를 키(Key)값으로 라우터 트리거.
    • 단일 입력 전송 버튼 클릭 시, 동일한 텍스트 질문 스트링이 각각 독립된 두 개의 gr.Chatbot 컴포넌트에 실시간 동시 주입되어 개별 레이턴시 배지와 함께 좌우 화면에 직관적으로 시각화됨.

3. 초기 의존성 및 프로토타입 코드 초안

gradio>=4.40.0
spaces>=0.30.0
requests>=2.31.0
beautifulsoup4>=4.12.0
pypdf>=4.0.0
sumy>=0.11.0
nltk>=3.8.1
kiwipiepy>=0.20.0
sentence-transformers>=2.2.0
scikit-learn>=1.3.0
torch>=2.4.0
transformers>=4.45.0
accelerate>=0.34.0
bitsandbytes>=0.43.0
# Prototype dynamic handler snippet
SLM_MODELS = {
    "Gemma 4": {
        "model_id": "google/gemma-4-26b-it",
        "torch_dtype": torch.bfloat16,
        "load_in_4bit": True,
        "description": "네이티브 멀티모달 기반 균형 잡힌 문맥 이해 및 정제된 요약"
    },
    "Qwen 3.5": {
        "model_id": "Qwen/Qwen3.5-35B-A3B",
        "torch_dtype": torch.bfloat16,
        "load_in_4bit": True,
        "description": "희소 MoE 아키텍처 기반 고속 토큰 생성 및 논리적 문장 압축"
    }
}