Upload folder using huggingface_hub

.gitattributes

@@ -1,35 +1,6 @@
-*.7z filter=lfs diff=lfs merge=lfs -text
-*.arrow filter=lfs diff=lfs merge=lfs -text
+*.sqlite3 filter=lfs diff=lfs merge=lfs -text
+*.db filter=lfs diff=lfs merge=lfs -text
 *.bin filter=lfs diff=lfs merge=lfs -text
-*.bz2 filter=lfs diff=lfs merge=lfs -text
-*.ckpt filter=lfs diff=lfs merge=lfs -text
-*.ftz filter=lfs diff=lfs merge=lfs -text
-*.gz filter=lfs diff=lfs merge=lfs -text
-*.h5 filter=lfs diff=lfs merge=lfs -text
-*.joblib filter=lfs diff=lfs merge=lfs -text
-*.lfs.* filter=lfs diff=lfs merge=lfs -text
-*.mlmodel filter=lfs diff=lfs merge=lfs -text
-*.model filter=lfs diff=lfs merge=lfs -text
-*.msgpack filter=lfs diff=lfs merge=lfs -text
-*.npy filter=lfs diff=lfs merge=lfs -text
-*.npz filter=lfs diff=lfs merge=lfs -text
-*.onnx filter=lfs diff=lfs merge=lfs -text
-*.ot filter=lfs diff=lfs merge=lfs -text
-*.parquet filter=lfs diff=lfs merge=lfs -text
-*.pb filter=lfs diff=lfs merge=lfs -text
-*.pickle filter=lfs diff=lfs merge=lfs -text
-*.pkl filter=lfs diff=lfs merge=lfs -text
 *.pt filter=lfs diff=lfs merge=lfs -text
-*.pth filter=lfs diff=lfs merge=lfs -text
-*.rar filter=lfs diff=lfs merge=lfs -text
 *.safetensors filter=lfs diff=lfs merge=lfs -text
-saved_model/**/* filter=lfs diff=lfs merge=lfs -text
-*.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
-*.tflite filter=lfs diff=lfs merge=lfs -text
-*.tgz filter=lfs diff=lfs merge=lfs -text
-*.wasm filter=lfs diff=lfs merge=lfs -text
-*.xz filter=lfs diff=lfs merge=lfs -text
-*.zip filter=lfs diff=lfs merge=lfs -text
-*.zst filter=lfs diff=lfs merge=lfs -text
-*tfevents* filter=lfs diff=lfs merge=lfs -text
+chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/index_metadata.pickle filter=lfs diff=lfs merge=lfs -text

.streamlit/config.toml

@@ -0,0 +1,6 @@
+[server]
+headless = true
+port = 7860
+
+[browser]
+gatherUsageStats = false

README.md

@@ -1,19 +1,67 @@
 ---
-title: Press Ethics
-emoji: 🚀
-colorFrom: red
-colorTo: red
-sdk: docker
-app_port: 8501
-tags:
-- streamlit
+title: Press Ethics Analyzer
+emoji: 📰
+colorFrom: blue
+colorTo: green
+sdk: streamlit
+sdk_version: "1.51.0"
+app_file: multimodal_rag_langgraph_gemini_st.py
 pinned: false
-short_description: Streamlit template space
+license: mit
 ---
 
-# Welcome to Streamlit!
+# 📰 뉴스 심의문 분석 시스템
 
-Edit `/src/streamlit_app.py` to customize this app to your heart's desire. :heart:
+한국신문윤리위원회 심의 기준을 적용한 AI 기반 뉴스 기사 윤리 분석 시스템입니다.
 
-If you have any questions, checkout our [documentation](https://docs.streamlit.io) and [community
-forums](https://discuss.streamlit.io).
+## 🌟 주요 기능
+
+- **기사 자동 추출**: URL만 입력하면 기사 내용 자동 수집
+- **멀티모달 분석**: 텍스트와 이미지를 함께 분석 (Gemini 2.0 Flash)
+- **유사 사례 검색**: ChromaDB 기반 벡터 검색으로 관련 심의 사례 탐색
+- **심의문 자동 생성**: 신문윤리실천요강 16개 조항 기준 자동 판단
+- **단계별 진행 표시**: 5단계 분석 과정 실시간 모니터링
+
+## 🚀 사용 방법
+
+1. **API 키 입력**: 사이드바에서 Gemini API 키 입력 ([발급받기](https://makersuite.google.com/app/apikey))
+2. **URL 입력**: 분석할 뉴스 기사 URL 입력
+3. **분석 시작**: '분석 시작' 버튼 클릭
+4. **결과 확인**: 5단계 진행 과정을 거쳐 최종 심의문 확인
+
+## 🔍 분석 단계
+
+1. **기사 추출**: URL에서 제목, 본문, 이미지 추출
+2. **이미지 처리**: Gemini 멀티모달로 이미지 내용 분석
+3. **유사 사례 검색**: 벡터 DB에서 관련 심의 사례 5개 검색
+4. **심의문 생성**: LangGraph 워크플로우로 심의문 초안 작성
+5. **최종 검토**: 조항 정확성 및 기사 관련성 검증
+
+## 📊 심의 기준
+
+신문윤리실천요강 16개 조항을 기준으로 기사를 분석합니다:
+
+- 제1조: 언론의 자유, 책임, 독립
+- 제2조: 취재 준칙
+- 제3조: 보도 준칙
+- 제7조: 범죄보도와 인권존중
+- 제10조: 편집 지침
+- 제12조: 사생활 보호
+- 그 외 10개 조항
+
+## 🛠️ 기술 스택
+
+- **AI 모델**: Google Gemini 2.0 Flash
+- **프레임워크**: LangGraph, Streamlit
+- **벡터 DB**: ChromaDB
+- **임베딩**: Sentence Transformers (multilingual-e5-large-instruct)
+
+## ⚠️ 주의사항
+
+- 본인의 Gemini API 키가 필요합니다
+- 분석에는 수 분이 소요될 수 있습니다
+- 이 시스템은 참고용이며, 최종 판단은 전문가의 검토가 필요합니다
+
+## 📝 라이선스
+
+이 프로젝트는 교육 및 연구 목적으로 사용됩니다.

app.py

@@ -0,0 +1,15 @@
+# -*- coding: utf-8 -*-
+"""
+Hugging Face Spaces 진입점
+"""
+import subprocess
+import sys
+
+# Streamlit 앱 실행
+if __name__ == "__main__":
+    subprocess.run([
+        sys.executable, "-m", "streamlit", "run", 
+        "multimodal_rag_langgraph_gemini_st.py",
+        "--server.port=7860",
+        "--server.address=0.0.0.0"
+    ])

chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/data_level0.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:03daa563a12b4b05ab94546c01459890854373c93f5974309dd6b1f76051252c
+size 59304000

chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/header.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:34820ba6903ee9392713712f72d463ddfb43aa6c38e4f186fe0b4b97bfa330e7
+size 100

chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/index_metadata.pickle

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:daadb7ebf7d186886ffdc10b257cefb7b67e892356823e99c6df4ca12901b1ee
+size 397964

chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/length.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:be6484ac6ebc61a1b74d796300c4aa351991b8326255ec0da95f9ef91c9e46b8
+size 56000

chroma/4f0d0b85-04bb-4afc-9e18-51530c937a3b/link_lists.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:42587e10ca5555b2a136ff8f45b9b1fc8ca165b49f4fd92a6fa4c17722017ed5
+size 120260

chroma/chroma.sqlite3

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dcf796984f09d766f212a37735343b8fd149194ce36924b9ff6a25d9caf7c6ef
+size 174977024

multimodal_rag_langgraph_gemini_st.py

@@ -0,0 +1,492 @@
+# -*- coding: utf-8 -*-
+"""
+Streamlit 기반 뉴스 심의문 분석 시스템 (Gemini 2.0 Flash 버전)
+"""
+import streamlit as st
+import os
+import re
+from typing import TypedDict
+from langgraph.graph import StateGraph, END
+import google.generativeai as genai
+import chromadb
+from chromadb.config import Settings
+from sentence_transformers import SentenceTransformer
+from chromadb.utils.embedding_functions import EmbeddingFunction
+from news_text_scraper import extract_article
+import base64
+import requests
+from PIL import Image
+from io import BytesIO
+import time
+
+# ========== 페이지 설정 ==========
+st.set_page_config(
+    page_title="뉴스 심의문 분석 시스템",
+    page_icon="📰",
+    layout="wide"
+)
+
+# ========== 사이드바 설정 ==========
+st.sidebar.title("⚙️ 설정")
+st.sidebar.markdown("---")
+
+gemini_api_key = st.sidebar.text_input(
+    "Gemini API Key",
+    type="password",
+    help="Google AI Studio에서 발급받은 Gemini API 키를 입력하세요."
+)
+
+st.sidebar.markdown("---")
+st.sidebar.markdown("""
+### 사용 방법
+1. Gemini API Key 입력
+2. 분석할 기사 URL 입력
+3. '분석 시작' 버튼 클릭
+4. 단계별 진행 상황 확인
+5. 최종 결과 확인
+
+### 주의사항
+- API 키는 세션 종료 시 삭제됩니다
+- 분석에는 수 분이 소요될 수 있습니다
+""")
+
+# ========== 메인 화면 ==========
+st.title("📰 뉴스 심의문 분석 시스템")
+st.markdown("**Gemini 2.0 Flash 기반 - 한국신문윤리위원회 심의 기준 적용**")
+st.markdown("---")
+
+# ========== 설정 ==========
+CHROMA_PATH = "./chroma/"
+COLLECTION_NAME = "press_ethics_e5_072025"
+
+# ========== State 정의 ==========
+class AnalysisState(TypedDict):
+    url: str
+    article: dict
+    image_desc: str
+    similar_cases: str
+    decision: str
+    review_result: dict
+    error: str
+    violation_count: int
+
+# ========== 임베딩 함수 (캐싱) ==========
+@st.cache_resource
+def load_embedding_model():
+    """임베딩 모델 로드 (캐싱)"""
+    class CustomEmbedding(EmbeddingFunction):
+        def __init__(self):
+            self.model = SentenceTransformer("intfloat/multilingual-e5-large-instruct", device="cpu")
+
+        def __call__(self, input):
+            return self.model.encode(input).tolist()
+
+    return CustomEmbedding()
+
+@st.cache_resource
+def load_chroma_collection():
+    """ChromaDB 컬렉션 로드 (캐싱)"""
+    try:
+        client = chromadb.PersistentClient(path=CHROMA_PATH, settings=Settings())
+        collection = client.get_collection(name=COLLECTION_NAME)
+        return collection
+    except Exception as e:
+        st.error(f"❌ ChromaDB 로드 실패: {e}")
+        return None
+
+# ========== 규정 및 프롬프트 ==========
+REGULATION = """당신은 한국신문윤리위원회 심의위원입니다.
+#신문윤리실천요강:
+제1조「언론의 자유, 책임, 독립」①정치권력으로부터의 자유 ②사회·경제 세력으로부터의 독립 ③사회적 책임 ④차별과 편견 금지 ⑤사회적 약자 보호
+제2조「취재 준칙」①신분 사칭·위장 금지 ②자료 무단 이용 금지 ③재난 및 사고 취재 ④전화 및 디지털 기기 활용 취재 ⑤도청 및 비밀촬영 금지 ⑥부당한 금전 제공 금지
+제3조「보도 준칙」①보도기사의 사실과 의견 구분 ②공정 보도 ③반론의 기회 ④미확인 보도 명시 원칙 ⑤보도자료 검증 ⑥선정 보도 금지 ⑦재난 보도의 신중 ⑧자살 보도의 주의 ⑨피의사실 보도 ⑩표준어 사용
+제4조「사법 보도 준칙」①재판 부당 영향 금지 ②판결문 등의 사전보도 금지
+제5조「취재원의 명시와 보호」①취재원 보호 ②취재원 명시와 익명 조건 ③제3자 비방과 익명보도 금지 ④취재원과의 비보도 약속
+제6조「보도유예 시한」①보도유예 시한 연장 금지 ②보도유예 시한의 효력 상실
+제7조「범죄보도와 인권존중」①피의자 및 피고인의 명예 존중 ②피의자·피고인·참고인 등 촬영 신중 ③범죄와 무관한 가족 보호 ④성범죄 등의 2차 피해 방지 ⑤미성년 피의자 신원 보호
+제8조「저작물의 전재와 인용」①통신기사의 출처 명시 ②타 언론사 보도 등의 표절 금지 ③출판물 등의 표절 금지 ④사진, 영상 등의 저작권 보호
+제9조「평론의 원칙」①사설의 정론성 ②평론의 자유
+제10조「편집 지침」①제목의 원칙 ②편집 변경 금지 ③기고문 변경 금지 ④기사 정정 ⑤관련사진 게재 ⑥사진 및 영상 조작 금지 ⑦기사와 광고의 구분 ⑧이용자의 권리 보호 ⑨부당한 재전송 금지
+제11조「명예와 신용존중」①명예·신용 훼손 금지 ②사자의 명예 존중
+제12조「사생활 보호」①사생활 침해 금지 ②개인정보 무단 검색 등 금지 ③사생활 등의 촬영 및 보도 금지 ④공인의 사생활 보도
+���13조「청소년과 어린이 보호」①청소년과 어린이 취재 보도 ②범죄 보도와 청소년, 어린이 보호 ③유해환경으로부터의 보호 ④유괴·납치 보도제한 협조
+제14조「정보의 부당이용금지」①소유 주식 등에 관한 보도 제한 ②주식·부동산 등의 부당 거래 금지
+제15조「언론인의 품위」①금품수수 및 향응, 청탁 금지 ②부당한 집단 영향력 행사 금지 ③광고·판매 등 영업행위 금지
+제16조「공익의 정의」①국가 안전 등 ②공중 안녕 ③범죄의 폭로 ④공중의 오도 방지"""
+
+def parse_regulation_dict():
+    """REGULATION을 파싱하여 조항 딕셔너리 생성"""
+    articles = {}
+    lines = REGULATION.split('\n')
+    for line in lines:
+        if line.startswith('제'):
+            match = re.match(r'제(\d+)조「([^」]+)」(.+)', line)
+            if match:
+                num = match.group(1)
+                name = match.group(2)
+                items_text = match.group(3)
+                items = {}
+                item_pattern = r'([①②③④⑤⑥⑦⑧⑨⑩])([^①②③④⑤⑥⑦⑧⑨⑩]+)'
+                for item_match in re.finditer(item_pattern, items_text):
+                    item_num = item_match.group(1)
+                    item_content = item_match.group(2).strip()
+                    items[item_num] = item_content
+                articles[num] = {'name': name, 'items': items}
+    return articles
+
+REGULATION_DICT = parse_regulation_dict()
+
+def correct_article_reference(text):
+    """심의문의 조항 참조를 REGULATION_DICT에 맞게 자동 수정"""
+    pattern = r'제(\d+)조「([^」]+)」([①②③④⑤⑥⑦⑧⑨⑩])(?:항|호)?(?:\([^)]*\))*'
+
+    def replace_match(match):
+        article_num = match.group(1)
+        cited_name = match.group(2).strip()
+        item_num = match.group(3)
+
+        if article_num in REGULATION_DICT:
+            correct_name = REGULATION_DICT[article_num]['name']
+            items = REGULATION_DICT[article_num]['items']
+
+            if item_num in items:
+                item_content = items[item_num]
+                return f'제{article_num}조「{correct_name}」{item_num}({item_content})'
+            else:
+                return f'제{article_num}조「{correct_name}」{item_num}'
+        return match.group(0)
+
+    return re.sub(pattern, replace_match, text)
+
+INST_PROMPT = """#심의 지침:
+1. **보수적 판단 원칙**: 신문윤리실천요강을 체계적으로 검토하되, 매우 보수적으로 판단
+2. **명백하고 심각한 위반만 지적**: 의심스럽거나 경미하거나 불분명한 사안은 모두 "위반 없음"
+3. 유사 사례를 참고하되, 해당 기사의 구체적 내용과 맥락을 중심으로 독립적으로 판단
+4. **특별 주의사항**:
+   - 특정 단체/기업의 활동을 지나치게 칭찬하고 홍보하는 내용 → 제1조②(사회·경제 세력으로부터의 독립) 또는 제10조⑦(기사와 광고의 구분) 적용 검토
+   - 단순히 단체 활동을 소개하는 수준은 위반 아님. 명백한 홍보/광고 목적이어야 함
+
+#작성 형식 (반드시 정확히 준수):
+
+**[위반 없음 시] - 절대 엄수:**
+- 오직 "위반 없음" 글자만 출력. 어떠한 추가 설명, 이유, 코멘트도 절대 금지
+
+**[위반 시] - 정확히 준수:**
+아래 4단계를 반드시 순서대로 따르되, "1단계", "2단계" 등의 소제목 없이 자연스러운 문장으로 연결:
+1단계) 기사 요약 2~3문장
+   - "위 기사는 ○○○에 대해 보도하면서..." 형식으로 시작
+2단계) 문제점 지적 1~2문장
+   - "그러나 이 보도는...", "하지만..." 등으로 문제점 명확히 지적
+3단계) 규정 근거 1~2문장
+   - 신문윤리실천요강을 바탕으로 문제의 위반 정당성을 제시
+4단계) 결론 문장 (정확히 이 형식 준수)
+   - "따라서 위 보도는 신문윤리실천요강 제○조「조항명」○항(세부내용)을 위반했다고 인정하여 주문과 같이 결정한다."
+- 전체 6문장 이상
+- 유사 사례의 자연스러운 문장체 참고
+- "1)", "2)", "3)" 등의 번호나 소제목 절대 사용 금지"""
+
+# ========== Gemini API 호출 함수 ==========
+def call_gemini(api_key: str, prompt: str, image_data: str = None, temperature: float = 0.0) -> str:
+    """Gemini API 호출"""
+    genai.configure(api_key=api_key)
+    model = genai.GenerativeModel('gemini-2.0-flash-exp')
+
+    generation_config = genai.GenerationConfig(
+        temperature=temperature,
+        max_output_tokens=8192,
+    )
+
+    if image_data:
+        image_part = {
+            "mime_type": "image/jpeg",
+            "data": base64.b64decode(image_data)
+        }
+        response = model.generate_content(
+            [prompt, image_part],
+            generation_config=generation_config
+        )
+    else:
+        response = model.generate_content(
+            prompt,
+            generation_config=generation_config
+        )
+
+    return response.text
+
+# ========== 분석 함수 ==========
+def analyze_article_streamlit(url: str, api_key: str, progress_container, status_container):
+    """Streamlit용 기사 분석 함수"""
+
+    # 진행 상황 표시
+    progress_bar = progress_container.progress(0)
+
+    # 1. 기사 추출
+    status_container.info("🔍 1단계: 기사 추출 중...")
+    progress_bar.progress(10)
+
+    try:
+        article = extract_article(url)
+        if not article or not article.get('text'):
+            status_container.error("❌ 기사 추출 실패: 유효한 기사를 찾을 수 없습니다.")
+            return None
+        status_container.success(f"✅ 기사 추출 완료: {article.get('title', '')[:50]}...")
+    except Exception as e:
+        status_container.error(f"❌ 기사 추출 오류: {e}")
+        return None
+
+    progress_bar.progress(20)
+
+    # 2. 이미지 처리
+    status_container.info("🖼️ 2단계: 이미지 처리 중...")
+    image_desc = None
+    img_url = article.get('image_url')
+
+    if img_url:
+        try:
+            resp = requests.get(img_url, timeout=10, headers={'User-Agent': 'Mozilla/5.0'})
+            img = Image.open(BytesIO(resp.content))
+            if img.mode == 'RGBA':
+                bg = Image.new('RGB', img.size, (255, 255, 255))
+                bg.paste(img, mask=img.split()[-1])
+                img = bg
+            elif img.mode != 'RGB':
+                img = img.convert('RGB')
+
+            buffer = BytesIO()
+            img.save(buffer, format='JPEG', quality=85)
+            b64 = base64.b64encode(buffer.getvalue()).decode('utf-8')
+
+            image_desc = call_gemini(api_key, "이 이미지를 한국어로 상세히 설명해주세요.", image_data=b64, temperature=0.3)
+            status_container.success("✅ 이미지 설명 생성 완료")
+        except Exception as e:
+            status_container.warning(f"⚠️ 이미지 처리 실패: {e}")
+    else:
+        status_container.info("ℹ️ 이미지 없음")
+
+    progress_bar.progress(40)
+
+    # 3. 유사 사례 검색
+    status_container.info("🔎 3단계: 유사 사례 검색 중...")
+    similar_cases = ""
+    violation_count = 0
+    no_violation_count = 0
+
+    try:
+        ef = load_embedding_model()
+        collection = load_chroma_collection()
+
+        if collection:
+            text = f"{article.get('title', '')} {article.get('text', '')[:2000]}"
+            query_emb = ef([text])
+            results = collection.query(query_embeddings=query_emb, n_results=5)
+            cases = []
+            for i in range(len(results["documents"][0])):
+                reason = results['metadatas'][0][i]['reason']
+                cases.append(f"{i+1}. {reason}")
+
+                # 위반 개수 카운팅
+                if '위반' in reason and '위반 없음' not in reason and '위반없음' not in reason:
+                    violation_count += 1
+                elif '위반 없음' in reason or '위반없음' in reason:
+                    no_violation_count += 1
+
+            similar_cases = "\n".join(cases)
+            status_container.success(f"✅ 유사 사례 {len(cases)}개 검색 완료 (위반 {violation_count}/5, 위반없음 {no_violation_count}/5)")
+        else:
+            status_container.warning("⚠️ 유사 사례 검색 실패: ChromaDB 로드 오류")
+    except Exception as e:
+        status_container.warning(f"⚠️ 유사 사례 검색 실패: {e}")
+
+    progress_bar.progress(60)
+
+    # 4. 심의문 생성
+    status_container.info("📝 4단계: 심의문 생성 중...")
+
+    try:
+        prompt = f"{REGULATION}\n\n{INST_PROMPT}\n\n#기사:\n{article.get('title', '')} {article.get('text', '')[:2000]}"
+        if image_desc:
+            prompt += f"\n\n#이미지:\n{image_desc}"
+        if similar_cases:
+            prompt += f"\n\n#유사사례:\n{similar_cases}"
+
+            if no_violation_count >= 4:
+                prompt += f"\n\n**중요**: 유사 사례 5개 중 {no_violation_count}개가 '위반 없음'입니다. 4개 이상이므로 이 기사도 '위반 없음'을 강력하게 고려하십시오."
+
+        decision = call_gemini(api_key, prompt, temperature=0.0)
+        status_container.success("✅ 심의문 생성 완료")
+    except Exception as e:
+        status_container.error(f"❌ 심의문 생성 실패: {e}")
+        return None
+
+    progress_bar.progress(80)
+
+    # 5. 최종 검토
+    status_container.info("🔍 5단계: 최종 검토 중...")
+
+    if "위반 없음" in decision or "위반없음" in decision:
+        final_decision = "위반 없음"
+        status_container.success("✅ 검토 완료: 위반 없음")
+    else:
+        try:
+            review_prompt = f"""당신은 신문윤리위원회 검토 담당자입니다. 생성된 심의문을 검토하고 수정하세요.
+
+#분석 대상 기사:
+제목: {article.get('title', '')}
+본문: {article.get('text', '')[:2000]}
+
+#생성된 심의문:
+{decision}
+
+#신문윤리실천요강:
+{REGULATION}
+
+#검토 임무 (반드시 준수):
+1. **조항 정확성**: 인용된 조항이 신문윤리실천요강에 정확히 존재하는지 확인(조항 번호, 조항명 대조)하고 틀린 부분 수정
+2. **기사 관련성**: 심의문이 실제 기사 내용과 일치하는지 확인(환각 내용 삭제)하고 필요시 수정
+3. **형식 검증 및 수정**:
+   - "1)", "2)", "3)" 등의 번호나 소제목이 있으면 모두 삭제하고 자연스러운 문장체로 수정
+   - 반드시: 기사 요약(2~3문장) → 문제점(1~2문장) → 근거(1~2문장) → 결론("따라서 위 보도는...") 순서 준수
+4. **검토 의견 완전 제거**: "심의문에서 언급된...", "확인되지 않습니다", "검토 결과..." 등의 검토 의견을 절대 포함하지 말 것
+   - 검토자의 메타적 코멘트는 모두 삭제
+   - 오직 심의문 본문만 출력
+
+수정된 최종 심의문만 출력하시오 (검토 의견 절대 포함 금지):"""
+
+            final_decision = call_gemini(api_key, review_prompt, temperature=0.0)
+            final_decision = correct_article_reference(final_decision.strip())
+            status_container.success("✅ 검토 완료: 조항 정확성 및 기사 관련성 검증 완료")
+        except Exception as e:
+            status_container.warning(f"⚠️ 검토 실패: {e}")
+            final_decision = decision
+
+    progress_bar.progress(100)
+    status_container.success("🎉 분석 완료!")
+
+    # 결과 반환
+    return {
+        'article': article,
+        'image_desc': image_desc,
+        'similar_cases': similar_cases,
+        'violation_count': violation_count,
+        'no_violation_count': no_violation_count,
+        'final_decision': final_decision
+    }
+
+# ========== 메인 UI ==========
+url_input = st.text_input(
+    "📎 기사 URL 입력",
+    placeholder="https://news.example.com/article/12345",
+    help="분석할 뉴스 기사의 URL을 입력하세요"
+)
+
+col1, col2, col3 = st.columns([1, 1, 4])
+with col1:
+    analyze_button = st.button("🚀 분석 시작", type="primary", use_container_width=True)
+with col2:
+    clear_button = st.button("🔄 초기화", use_container_width=True)
+
+if clear_button:
+    st.rerun()
+
+st.markdown("---")
+
+# ========== 분석 실행 ==========
+if analyze_button:
+    if not gemini_api_key:
+        st.error("❌ Gemini API Key를 입력해주세요!")
+    elif not url_input:
+        st.error("❌ 기사 URL을 입력해주세요!")
+    else:
+        # 진행 상황 컨테이너
+        progress_container = st.container()
+        status_container = st.container()
+
+        # 분석 실행
+        result = analyze_article_streamlit(url_input, gemini_api_key, progress_container, status_container)
+
+        if result:
+            st.markdown("---")
+            st.header("📊 분석 결과")
+
+            # 결과 표시
+            col1, col2 = st.columns([2, 1])
+
+            with col1:
+                st.subheader("📰 기사 정보")
+                article = result['article']
+
+                st.write(f"**제목:** {article.get('title', 'N/A')}")
+                st.write(f"**언론사:** {article.get('media', 'N/A')}")
+                st.write(f"**날짜:** {article.get('date', 'N/A')}")
+                st.write(f"**URL:** {article.get('url', url_input)}")
+
+                if article.get('image_url'):
+                    st.write(f"**이미지 URL:** {article.get('image_url', 'N/A')}")
+                    try:
+                        st.image(article['image_url'], caption="기사 이미지", use_container_width=True)
+                    except:
+                        st.warning("이미지를 불러올 수 없습니다.")
+
+                with st.expander("📄 기사 본문", expanded=False):
+                    st.write(article.get('text', 'N/A')[:1000] + "..." if len(article.get('text', '')) > 1000 else article.get('text', 'N/A'))
+
+            with col2:
+                st.subheader("📈 분석 정보")
+
+                # 분석 결과
+                if result['final_decision'].strip() == "위반 없음":
+                    st.success("✅ **분석 결과:** 위반 없음")
+                else:
+                    st.error("⚠️ **분석 결과:** 위반")
+
+                # 유사 사례 통계
+                st.metric("위반 사례", f"{result['violation_count']}/5")
+                st.metric("위반 없음 사례", f"{result['no_violation_count']}/5")
+
+            # 심의문
+            st.markdown("---")
+            st.subheader("⚖️ 최종 심의문")
+            st.info(result['final_decision'])
+
+            # 유사 사례
+            if result['similar_cases']:
+                with st.expander("📚 유사 사례 (5개)", expanded=False):
+                    st.text(result['similar_cases'])
+
+            # 이미지 설명
+            if result['image_desc']:
+                with st.expander("🖼️ 이미지 설명", expanded=False):
+                    st.write(result['image_desc'])
+
+            # 다운로드 버튼
+            st.markdown("---")
+            result_text = f"""
+# 뉴스 심의문 분석 결과
+
+## 기사 정보
+- **제목:** {article.get('title', 'N/A')}
+- **언론사:** {article.get('media', 'N/A')}
+- **날짜:** {article.get('date', 'N/A')}
+- **URL:** {article.get('url', url_input)}
+- **이미지 URL:** {article.get('image_url', 'N/A')}
+
+## 분석 결과
+- **결과:** {"위반 없음" if result['final_decision'].strip() == "위반 없음" else "위반"}
+- **유사 사례 위반 수:** {result['violation_count']}/5
+
+## 최종 심의문
+{result['final_decision']}
+
+## 유사 사례
+{result['similar_cases']}
+"""
+
+            st.download_button(
+                label="💾 결과 다운로드 (TXT)",
+                data=result_text,
+                file_name=f"심의문_분석결과_{time.strftime('%Y%m%d_%H%M%S')}.txt",
+                mime="text/plain"
+            )
+
+else:
+    st.info("👆 기사 URL을 입력하고 '분석 시작' 버튼을 클릭하세요.")

news_text_scraper.py

@@ -0,0 +1,315 @@
+"""
+뉴스 기사 스크래핑 도구 (최적화 버전)
+
+사용법:
+    article = extract_article(url)
+
+반환 형식 (JSON):
+    {
+        'title': '기사 제목',
+        'text': '기사 본문 텍스트',
+        'image_url': '대표 이미지 URL'
+    }
+
+의존성: pip3 install trafilatura newspaper3k playwright beautifulsoup4 requests fake-useragent extruct
+Playwright 초기 설치: playwright install chromium
+
+성능 최적 순서:
+1. Trafilatura (가장 빠르고 정확, 정적 콘텐츠)
+2. Newspaper3k (빠르고 한국어 지원 우수)
+3. Playwright + Trafilatura (JavaScript 렌더링 필요시)
+4. Playwright + Newspaper3k (대체 방법)
+"""
+
+import json
+import time
+from typing import Optional, Dict
+from urllib.parse import urljoin
+
+import requests
+import trafilatura
+from bs4 import BeautifulSoup
+from newspaper import Article
+
+try:
+    from fake_useragent import UserAgent
+    ua = UserAgent()
+    USER_AGENT = ua.random
+except ImportError:
+    USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
+
+try:
+    from playwright.sync_api import sync_playwright, TimeoutError as PlaywrightTimeout
+    PLAYWRIGHT_AVAILABLE = True
+except ImportError:
+    PLAYWRIGHT_AVAILABLE = False
+    print("⚠️  Playwright 미설치 - JavaScript 렌더링 기능 비활성화")
+
+try:
+    import extruct
+    EXTRUCT_AVAILABLE = True
+except ImportError:
+    EXTRUCT_AVAILABLE = False
+
+# HTTP 헤더 설정
+HEADERS = {
+    'User-Agent': USER_AGENT,
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+    'Accept-Language': 'ko-KR,ko;q=0.8,en-US;q=0.5,en;q=0.3',
+    'Accept-Encoding': 'gzip, deflate',
+    'DNT': '1',
+    'Connection': 'keep-alive',
+    'Upgrade-Insecure-Requests': '1',
+}
+
+def fetch_with_headers(url: str) -> str:
+    """HTTP 헤더를 포함한 URL 요청"""
+    response = requests.get(url, headers=HEADERS, timeout=30)
+    response.raise_for_status()
+    return response.text
+
+def extract_images_from_html(html: str, base_url: str = "") -> Optional[str]:
+    """HTML에서 이미지 추출 (여러 방법 시도)"""
+    soup = BeautifulSoup(html, 'html.parser')
+
+    # 1. og:image 메타태그
+    og_image = soup.find('meta', property='og:image')
+    if og_image and og_image.get('content'):
+        return og_image.get('content')
+
+    # 2. twitter:image
+    tw_image = soup.find('meta', attrs={'name': 'twitter:image'})
+    if tw_image and tw_image.get('content'):
+        return tw_image.get('content')
+
+    # 3. extruct로 JSON-LD 파싱
+    if EXTRUCT_AVAILABLE:
+        try:
+            metadata = extruct.extract(html, base_url=base_url)
+            # Schema.org ImageObject 찾기
+            for item in metadata.get('json-ld', []):
+                if isinstance(item, dict):
+                    if item.get('image'):
+                        img = item['image']
+                        if isinstance(img, str):
+                            return img
+                        elif isinstance(img, dict) and img.get('url'):
+                            return img['url']
+                        elif isinstance(img, list) and len(img) > 0:
+                            return img[0] if isinstance(img[0], str) else img[0].get('url')
+        except:
+            pass
+
+    # 4. article 내부의 첫 번째 이미지
+    article_imgs = soup.select('article img[src], .article img[src], #article img[src]')
+    if article_imgs:
+        src = article_imgs[0].get('src')
+        return urljoin(base_url, src) if src else None
+
+    # 5. 일반 img 태그
+    imgs = soup.find_all('img', src=True)
+    for img in imgs:
+        src = img.get('src')
+        # 로고, 아이콘 제외
+        if src and not any(x in src.lower() for x in ['logo', 'icon', 'avatar', 'profile', 'ad', 'banner']):
+            # 최소 크기 확인 (width/height 속성)
+            width = img.get('width', '0')
+            height = img.get('height', '0')
+            try:
+                if int(width) >= 200 or int(height) >= 200:
+                    return urljoin(base_url, src)
+            except:
+                return urljoin(base_url, src)
+
+    return None
+
+def extract_trafilatura(url: str) -> Optional[Dict[str, str]]:
+    """Trafilatura 기사 추출"""
+    try:
+        html = fetch_with_headers(url)
+        result = trafilatura.extract(html, output_format='json', url=url,
+                                    include_images=True, include_links=True)
+        if result:
+            data = json.loads(result)
+            image_url = data.get('image') or extract_images_from_html(html, url)
+
+            return {
+                'title': data.get('title'),
+                'text': data.get('text'),
+                'image_url': image_url
+            }
+    except Exception as e:
+        print(f"Trafilatura 실패: {e}")
+    return None
+
+def extract_newspaper(url: str) -> Optional[Dict[str, str]]:
+    """Newspaper3k 기사 추출"""
+    try:
+        html = fetch_with_headers(url)
+        article = Article(url)
+        article.config.browser_user_agent = HEADERS['User-Agent']
+        article.set_html(html)
+        article.parse()
+
+        image_url = article.top_image or extract_images_from_html(html, url)
+
+        return {
+            'title': article.title,
+            'text': article.text,
+            'image_url': image_url
+        }
+    except Exception as e:
+        print(f"Newspaper3k 실패: {e}")
+    return None
+
+def get_rendered_html_playwright(url: str, wait: int = 2) -> Optional[str]:
+    """Playwright로 렌더링된 HTML 가져오기"""
+    try:
+        with sync_playwright() as p:
+            browser = p.chromium.launch(headless=True)
+            context = browser.new_context(
+                user_agent=HEADERS['User-Agent'],
+                viewport={'width': 1920, 'height': 1080}
+            )
+            page = context.new_page()
+            page.goto(url, wait_until='domcontentloaded', timeout=30000)
+            time.sleep(wait)
+            html = page.content()
+            browser.close()
+            return html
+    except Exception as e:
+        print(f"Playwright 오류: {e}")
+        return None
+
+def extract_playwright_trafilatura(url: str) -> Optional[Dict[str, str]]:
+    """Playwright + Trafilatura 조합"""
+    try:
+        html = get_rendered_html_playwright(url)
+        if html:
+            result = trafilatura.extract(html, output_format='json', url=url,
+                                        include_images=True, include_links=True)
+            if result:
+                data = json.loads(result)
+                image_url = data.get('image') or extract_images_from_html(html, url)
+
+                return {
+                    'title': data.get('title'),
+                    'text': data.get('text'),
+                    'image_url': image_url
+                }
+    except Exception as e:
+        print(f"Playwright+Trafilatura 실패: {e}")
+    return None
+
+def extract_playwright_newspaper(url: str) -> Optional[Dict[str, str]]:
+    """Playwright + Newspaper3k 조합"""
+    try:
+        html = get_rendered_html_playwright(url)
+        if html:
+            article = Article(url='')
+            article.set_html(html)
+            article.parse()
+
+            image_url = article.top_image or extract_images_from_html(html, url)
+
+            return {
+                'title': article.title,
+                'text': article.text,
+                'image_url': image_url
+            }
+    except Exception as e:
+        print(f"Playwright+Newspaper3k 실패: {e}")
+    return None
+
+
+def extract_article(url: str) -> Optional[Dict[str, str]]:
+    """기사 추출 - 최적 순서로 시도"""
+    print(f"🔍 추출 시작: {url}")
+
+    result = {'title': None, 'text': None, 'image_url': None}
+
+    # 최적 순서: 빠르고 정확한 것부터 시도
+    # 1. Trafilatura - 가장 빠르고 정확 (정적 콘텐츠)
+    # 2. Newspaper3k - 빠르고 한국어 지원 우수
+    # 3. Playwright + Trafilatura - JavaScript 렌더링이 필요한 경우
+    # 4. Playwright + Newspaper3k - 대체 방법
+    extractors = [
+        ("Trafilatura", extract_trafilatura),
+        ("Newspaper3k", extract_newspaper),
+    ]
+
+    # Playwright 추가 (JavaScript 렌더링 필요시)
+    if PLAYWRIGHT_AVAILABLE:
+        extractors.extend([
+            ("Playwright+Trafilatura", extract_playwright_trafilatura),
+            ("Playwright+Newspaper3k", extract_playwright_newspaper),
+        ])
+
+    for i, (name, extractor) in enumerate(extractors, 1):
+        print(f"   {i}️⃣ {name} 시도...")
+        try:
+            data = extractor(url)
+            if data:
+                # 결과 업데이트
+                updated = []
+                for key in result:
+                    if not result[key] and data.get(key):
+                        result[key] = data[key]
+                        updated.append(key)
+
+                if updated:
+                    print(f"      → 추출 성공: {', '.join(updated)}")
+
+                # 제목, 본문, 이미지 모두 있으면 성공
+                if result['title'] and result['text'] and result['image_url']:
+                    print(f"   ✅ {name} 완료! (제목 O, 본문 O, 이미지 O)")
+                    return result
+
+                # 상태 출력
+                status = f"제목: {'O' if result['title'] else 'X'}, 본문: {'O' if result['text'] else 'X'}, 이미지: {'O' if result['image_url'] else 'X'}"
+                if result['title'] and result['text']:
+                    print(f"   ⚠️ 이미지 없음 - 다음 단계 계속 ({status})")
+                else:
+                    print(f"   ⚠️ 부분 성공 ({status})")
+            else:
+                print(f"   ❌ {name} 실패")
+        except requests.HTTPError as e:
+            if e.response.status_code in (403, 429):
+                print(f"   ❌ {name} 차단됨 (HTTP {e.response.status_code})")
+                raise
+            print(f"   ❌ {name} 오류: {e}")
+        except Exception as e:
+            print(f"   ❌ {name} 오류: {e}")
+
+    if result['title'] or result['text']:
+        print(f"   ✅ 최종 결과 - 제목: {'O' if result['title'] else 'X'}, 본문: {'O' if result['text'] else 'X'}, 이미지: {'O' if result['image_url'] else 'X'}")
+        return result
+
+    print("   ❌ 모든 방법 실패")
+    return None
+
+if __name__ == "__main__":
+    test_urls = [
+        "https://www.chosun.com/national/education/2025/07/19/4OMZBICJSNDGXA567IKPRBUFKA/",
+        "https://news.nate.com/view/20250521n37437",
+        "https://www.hani.co.kr/arti/society/society_general/1204840.html"
+    ]
+
+    print(f"사용 가능한 도구:")
+    print(f"  - Playwright: {'✅' if PLAYWRIGHT_AVAILABLE else '❌'}")
+    print(f"  - Extruct: {'✅' if EXTRUCT_AVAILABLE else '❌'}")
+    print(f"  - Fake UserAgent: {'✅' if 'ua' in dir() else '❌'}\n")
+
+    for url in test_urls:
+        print(f"\n{'='*60}")
+        try:
+            article = extract_article(url)
+            if article:
+                print(f"\n📄 제목: {article.get('title', 'N/A')[:100]}...")
+                print(f"📝 본문: {len(article.get('text', ''))}자")
+                print(f"🖼️ 이미지: {article.get('image_url', 'N/A')[:80]}..." if article.get('image_url') else "🖼️ 이미지: 없음")
+            else:
+                print("추출 실패")
+        except Exception as e:
+            print(f"전체 실패: {e}")
+        print("="*60)

packages.txt

@@ -0,0 +1 @@
+# System packages for Streamlit and dependencies

requirements.txt

@@ -1,3 +1,31 @@
-altair
-pandas
-streamlit
+# Core Dependencies
+streamlit==1.51.0
+google-generativeai==0.8.5
+python-dotenv==1.1.1
+
+# LangGraph and Agents
+langgraph==0.6.8
+langgraph-checkpoint==2.1.1
+
+# Vector Database
+chromadb==1.1.0
+
+# Machine Learning & Embeddings
+sentence-transformers==5.1.1
+torch>=2.0.0
+transformers>=4.30.0
+
+# Image Processing
+Pillow>=11.0.0
+
+# Web Scraping
+requests==2.32.5
+beautifulsoup4==4.14.2
+lxml==6.0.2
+
+# Data Processing
+pandas>=2.0.0
+numpy>=1.23.0
+
+# Utilities
+tqdm>=4.60.0