Update app.py

app.py

@@ -1,67 +1,65 @@
-# app.py
-# HTML 파싱 → 자동요약(TextRank)만 수행
+import nltk
+# NLTK 토크나이저 리소스 자동 다운로드
+nltk.download("punkt")
+nltk.download("punkt_tab")
 
-import requests
-import trafilatura
 import gradio as gr
+import trafilatura
+import requests
 from markdownify import markdownify as md
-
 from sumy.parsers.plaintext import PlaintextParser
 from sumy.nlp.tokenizers import Tokenizer
 from sumy.summarizers.text_rank import TextRankSummarizer
 
-# ===== 자동요약(TextRank) =====
-def auto_summarize(text: str, n_sentences: int = 3) -> str:
+def summarize_text(text, sentence_count=3):
+    # 한국어도 문장 단위로 끊기 위해 english 토크나이저 사용
+    parser = PlaintextParser.from_string(text, Tokenizer("english"))
+    summarizer = TextRankSummarizer()
+    summary_sentences = summarizer(parser.document, sentence_count)
+    return "\n".join(str(sentence) for sentence in summary_sentences)
+
+def extract_and_summarize(url):
+    headers = {"User-Agent": "Mozilla/5.0"}
     try:
-        parser = PlaintextParser.from_string(text, Tokenizer("korean"))
-        summarizer = TextRankSummarizer()
-        sents = [str(s) for s in summarizer(parser.document, n_sentences)]
-        summary = " ".join(sents).strip()
-        return summary or text[:500]
-    except Exception:
-        return text[:500]
+        r = requests.get(url, headers=headers, timeout=10)
+        r.raise_for_status()
+
+        # HTML 형태로 본문 추출
+        html_content = trafilatura.extract(
+            r.text,
+            output_format="html",
+            include_tables=True,
+            favor_recall=True
+        )
+
+        if not html_content:
+            return "본문을 추출할 수 없습니다.", ""
 
-# ===== URL 처리 =====
-def process_url(url: str):
-    # 1) HTML 파싱
-    r = requests.get(url, headers={"User-Agent": "Mozilla/5.0"}, timeout=10)
-    r.raise_for_status()
-    plain = trafilatura.extract(
-        r.text,
-        output_format="txt",
-        include_tables=False,
-        include_comments=False,
-        favor_recall=True
-    ) or ""
-    html = trafilatura.extract(
-        r.text,
-        output_format="html",
-        include_tables=False,
-        include_comments=False,
-        favor_recall=True
-    )
-    md_preview = md(html or r.text, heading_style="ATX")
+        # HTML → Markdown 변환
+        markdown_text = md(html_content, heading_style="ATX")
 
-    # 2) 자동요약
-    auto_sum = auto_summarize(plain, n_sentences=3)
+        # 요약 생성
+        summary = summarize_text(markdown_text, sentence_count=3)
 
-    # 3) 결과 반환
-    link_html = f'<a href="{url}" target="_blank">원문 보기</a>'
-    return link_html + "<br><br>" + md_preview, auto_sum
+        return markdown_text, summary
+
+    except requests.exceptions.Timeout:
+        return "요청이 시간 초과되었습니다.", ""
+    except requests.exceptions.RequestException as e:
+        return f"요청 실패: {e}", ""
+    except Exception as e:
+        return f"에러 발생: {e}", ""
 
-# ===== Gradio UI =====
 iface = gr.Interface(
-    fn=process_url,
-    inputs=[
-        gr.Textbox(label="URL 입력", placeholder="https://n.news.naver.com/...")
-    ],
+    fn=extract_and_summarize,
+    inputs=gr.Textbox(label="URL 입력", placeholder="https://example.com"),
     outputs=[
-        gr.HTML(label="원문 링크 + 본문 미리보기"),
-        gr.Textbox(label="자동요약", lines=4)
+        gr.Markdown(label="추출된 본문"),
+        gr.Textbox(label="자동 요약", lines=5)
     ],
-    title="HTML 파싱 → 자동요약",
-    description="HTML에서 본문을 추출하고 TextRank로 자동요약만 수행합니다."
+    title="본문 추출기 + 자동 요약",
+    description="웹페이지 URL을 입력하면 본문을 추출하고, TextRank 알고리즘으로 3문장 요약을 제공합니다."
 )
 
 if __name__ == "__main__":
-    iface.launch()
+    iface.launch()