app.py

# app.py

import gradio as gr
from bs4 import BeautifulSoup
import re
import logging
import requests  # 추가코드에서 사용

# 디버깅 로깅 설정 (전체 통합을 위해 포맷 포함)
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s - %(levelname)s - %(message)s")

# ---------- [모듈1: 기본코드] 시작 ----------
# 영어 월을 한국어 월로 변환하기 위한 매핑
month_mapping = {
    "January": "1월",
    "February": "2월",
    "March": "3월",
    "April": "4월",
    "May": "5월",
    "June": "6월",
    "July": "7월",
    "August": "8월",
    "September": "9월",
    "October": "10월",
    "November": "11월",
    "December": "12월"
}

def convert_date_range(date_range_str):
    """
    입력된 '6 January - 12 January' 형태의 날짜 문자열을
    '1월 6일 ~ 1월 12일' 형태로 변환하는 함수.
    """
    logging.debug("원본 날짜 범위: %s", date_range_str)
    parts = date_range_str.split('-')
    if len(parts) != 2:
        logging.debug("날짜 범위 형식이 올바르지 않음: %s", date_range_str)
        return date_range_str
    start = parts[0].strip()  # 예: "6 January"
    end = parts[1].strip()    # 예: "12 January"
    start_parts = start.split()
    end_parts = end.split()
    if len(start_parts) < 2 or len(end_parts) < 2:
        logging.debug("날짜 구성요소 부족: %s, %s", start, end)
        return date_range_str
    start_day = start_parts[0]
    start_month_en = start_parts[1]
    end_day = end_parts[0]
    end_month_en = end_parts[1]
    start_month = month_mapping.get(start_month_en, start_month_en)
    end_month = month_mapping.get(end_month_en, end_month_en)
    converted = f"{start_month} {start_day}일 ~ {end_month} {end_day}일"
    logging.debug("변환된 날짜 범위: %s", converted)
    return converted

def process_html(html_text):
    """
    전체 페이지 HTML 입력을 받아서 과목명과 각 섹션별 동영상 강의 목록을 추출하는 함수.

    추출 규칙:
      1. 과목명: <h1> 태그 내의 텍스트를 사용.
      2. 섹션:
         - <li> 태그의 id가 "section-X"인 항목들을 순회.
         - section-0는 스킵.
         - section-1은 "Introduction"으로 표기.
         - section-2 이상은 (section 번호 - 1)주차로 표기.
         - 각 섹션의 <h3 class="sectionname"> 내부 <a> 태그의 텍스트에서 날짜 범위를 추출하여 변환.
         - 각 섹션 내의 모든 <iframe> 태그의 src 속성 값을 동영상 강의 URL로 추출.
    """
    logging.debug("입력 HTML 처리 시작")
    soup = BeautifulSoup(html_text, "html.parser")

    # 1. 과목명 추출 (h1 태그 사용)
    subject_elem = soup.find("h1")
    subject_name = ""
    if subject_elem:
        subject_name = subject_elem.get_text(strip=True)
        logging.debug("추출된 과목명: %s", subject_name)
    else:
        logging.debug("h1 태그를 찾지 못함")

    # 2. 섹션별 동영상 강의 목록 추출
    sections_output = ""
    section_elements = soup.find_all("li", id=re.compile(r"^section-\d+"))
    logging.debug("찾은 섹션 개수: %d", len(section_elements))

    for section in section_elements:
        section_id = section.get("id")
        logging.debug("처리 중인 섹션 ID: %s", section_id)
        sec_match = re.search(r"section-(\d+)", section_id)
        if not sec_match:
            continue
        sec_num = int(sec_match.group(1))
        if sec_num == 0:
            logging.debug("section-0 은 스킵")
            continue

        # 섹션 라벨 지정
        if sec_num == 1:
            section_label = "Introduction"
        else:
            week_num = sec_num - 1  # section-2부터 1주차, section-3은 2주차 등
            section_label = f"{week_num}주차"

        # 섹션 헤더에서 날짜 범위 추출 (h3 태그 내 <a> 태그 텍스트)
        h3_elem = section.find("h3", class_="sectionname")
        date_range_text = ""
        if h3_elem and h3_elem.find("a"):
            header_text = h3_elem.find("a").get_text(strip=True)
            logging.debug("헤더 텍스트: %s", header_text)
            date_match = re.search(r'(\d+\s+[A-Za-z]+\s*-\s*\d+\s+[A-Za-z]+)', header_text)
            if date_match:
                raw_date_range = date_match.group(1)
                date_range_text = convert_date_range(raw_date_range)
            else:
                logging.debug("날짜 범위 패턴 매칭 실패: %s", header_text)
        else:
            logging.debug("h3 또는 h3 내 a 태그를 찾지 못함 for section: %s", section_id)

        if sec_num == 1:
            section_heading = f"섹션 : {section_label}"
        else:
            if date_range_text:
                section_heading = f"섹션 : {section_label} ({date_range_text})"
            else:
                section_heading = f"섹션 : {section_label}"

        sections_output += section_heading + "\n"

        # 해당 섹션 내 iframe 태그로부터 동영상 강의 URL 추출
        iframes = section.find_all("iframe")
        logging.debug("섹션 %s 내 찾은 iframe 개수: %d", section_id, len(iframes))
        for idx, iframe in enumerate(iframes, start=1):
            video_url = iframe.get("src", "").strip()
            if video_url:
                sections_output += f"강의{idx} : {video_url}\n"
                logging.debug("추출된 동영상 강의 URL: %s", video_url)
        sections_output += "\n"

    logging.debug("HTML 처리 완료")
    return subject_name, sections_output

# Gradio 인터페이스 생성 (모듈1)
iface = gr.Interface(
    fn=process_html,
    inputs=gr.Textbox(label="전체 페이지 HTML 입력", lines=20, placeholder="HTML 코드를 입력하세요..."),
    outputs=[
        gr.Textbox(label="과목명"),
        gr.Textbox(label="동영상 강의 목록")
    ],
    description="전체 페이지 HTML을 입력하면 과목명과 각 섹션별 동영상 강의 목록을 추출합니다. (디버깅 정보는 콘솔에 출력됩니다.)"
)
# ---------- [모듈1: 기본코드] 끝 ----------

# ---------- [모듈2: 추가코드] 시작 ----------
def fetch_page_source(url):
    try:
        logging.debug(f"강의 페이지를 가져오는 중: {url}")
        response = requests.get(url)
        response.raise_for_status()
        logging.debug("페이지 소스를 성공적으로 가져옴")
        return response.text
    except Exception as e:
        logging.error(f"페이지 소스 가져오기 오류: {e}")
        return "오류 발생: " + str(e)

def create_script_url(lecture_url):
    """
    입력받은 강의 URL의 페이지 소스에서 스크립트 태그 예시 부분을 찾아
    "text_tracks" 내부의 "url" 값을 추출한 후, 'https://player.vimeo.com'을 앞에 붙여서 스크립트 URL을 완성함.
    """
    page_source = fetch_page_source(lecture_url)
    pattern = r'"text_tracks"\s*:\s*\[\s*\{[^}]*"url"\s*:\s*"([^"]+)"'
    match = re.search(pattern, page_source)
    if match:
        relative_url = match.group(1)
        script_url = "https://player.vimeo.com" + relative_url
        logging.debug(f"스크립트 URL 완성: {script_url}")
        return script_url
    else:
        logging.debug("페이지 소스에서 스크립트 태그 예시 부분을 찾지 못함")
        return ""

def fetch_script(script_url):
    try:
        logging.debug(f"스크립트를 가져오는 중: {script_url}")
        response = requests.get(script_url)
        response.raise_for_status()
        logging.debug("스크립트를 성공적으로 가져옴")
        return response.text
    except Exception as e:
        logging.error(f"스크립트 가져오기 오류: {e}")
        return "오류 발생: " + str(e)

def remove_timeline(script_text, lecture_number):
    """
    [규칙수정]
    1. 번호, 시간(타임라인) 등을 제외한 내용만으로 작성할 것.
    2. 아래위 문장 사이 줄 간격이 없도록 모두 붙여 출력할 것.
    3. 마침표(.) 다음에는 반드시 여백 1칸이 있어야 하며, 여백 없이 내용이 이어진 경우 마침표 다음 여백을 추가할 것.
    4. 글 가장 앞에 있는 "WEBVTT"는 삭제할 것.
    5. 절대 내용을 줄이거나 요약하거나 바꾸지 말것.
    """
    lines = script_text.splitlines()
    valid_lines = []
    for line in lines:
        stripped_line = line.strip()
        if stripped_line == "":
            continue
        # 번호만 있는 줄 제거
        if re.match(r'^\d+$', stripped_line):
            continue
        # 타임라인 형식 제거 (예: 00:00:00.000 --> 00:00:02.000)
        if re.match(r'^\d{1,2}:\d{2}(?::\d{2}(?:\.\d{3})?)?\s*-->\s*\d{1,2}:\d{2}(?::\d{2}(?:\.\d{3})?)?$', stripped_line):
            continue
        valid_lines.append(stripped_line)
    cleaned_text = "".join(valid_lines)
    # 마침표(.) 다음에 여백이 없으면 여백 추가
    cleaned_text = re.sub(r'\.(\S)', r'. \1', cleaned_text)
    # 글 가장 앞에 있는 "WEBVTT" 제거
    cleaned_text = re.sub(r'^WEBVTT\s*', '', cleaned_text)
    return cleaned_text

with gr.Blocks() as additional_demo:
    # 모듈2 상단 안내 문구
    gr.Markdown("※ 아래 순서대로 각 단계별 버튼을 눌러 진행하세요.")
    with gr.Row():
        url1 = gr.Textbox(label="강의1 URL", elem_id="url1")
        url2 = gr.Textbox(label="강의2 URL", elem_id="url2")
        url3 = gr.Textbox(label="강의3 URL", elem_id="url3")
    with gr.Row():
        gen_url_btn1 = gr.Button("스크립트 URL 만들기", elem_id="gen_url_btn1")
        gen_url_btn2 = gr.Button("스크립트 URL 만들기", elem_id="gen_url_btn2")
        gen_url_btn3 = gr.Button("스크립트 URL 만들기", elem_id="gen_url_btn3")
    with gr.Row():
        script_url1 = gr.Textbox(label="강의1 스크립트 URL", interactive=False, elem_id="script_url1")
        script_url2 = gr.Textbox(label="강의2 스크립트 URL", interactive=False, elem_id="script_url2")
        script_url3 = gr.Textbox(label="강의3 스크립트 URL", interactive=False, elem_id="script_url3")
    with gr.Row():
        fetch_btn1 = gr.Button("스크립트 가져오기", elem_id="fetch_btn1")
        fetch_btn2 = gr.Button("스크립트 가져오기", elem_id="fetch_btn2")
        fetch_btn3 = gr.Button("스크립트 가져오기", elem_id="fetch_btn3")
    with gr.Row():
        script1 = gr.Textbox(label="강의1 스크립트", lines=10, elem_id="script1")
        script2 = gr.Textbox(label="강의2 스크립트", lines=10, elem_id="script2")
        script3 = gr.Textbox(label="강의3 스크립트", lines=10, elem_id="script3")
    with gr.Row():
        remove_btn1 = gr.Button("타임라인 제거", elem_id="remove_btn1")
        remove_btn2 = gr.Button("타임라인 제거", elem_id="remove_btn2")
        remove_btn3 = gr.Button("타임라인 제거", elem_id="remove_btn3")
    with gr.Row():
        cleaned1 = gr.Textbox(label="강의1 타임라인 제거", lines=10, interactive=False, elem_id="cleaned1")
        cleaned2 = gr.Textbox(label="강의2 타임라인 제거", lines=10, interactive=False, elem_id="cleaned2")
        cleaned3 = gr.Textbox(label="강의3 타임라인 제거", lines=10, interactive=False, elem_id="cleaned3")
    with gr.Row():
        copy_btn1 = gr.Button("강의 내용 복사", elem_id="copy_btn1")
        copy_btn2 = gr.Button("강의 내용 복사", elem_id="copy_btn2")
        copy_btn3 = gr.Button("강의 내용 복사", elem_id="copy_btn3")
    with gr.Row():
        copy_result1 = gr.Textbox(label="강의 복사 결과", interactive=False, elem_id="copy_result1")
        copy_result2 = gr.Textbox(label="강의 복사 결과", interactive=False, elem_id="copy_result2")
        copy_result3 = gr.Textbox(label="강의 복사 결과", interactive=False, elem_id="copy_result3")

    gen_url_btn1.click(fn=lambda url: create_script_url(url), inputs=url1, outputs=script_url1)
    gen_url_btn2.click(fn=lambda url: create_script_url(url), inputs=url2, outputs=script_url2)
    gen_url_btn3.click(fn=lambda url: create_script_url(url), inputs=url3, outputs=script_url3)
    fetch_btn1.click(fn=lambda url: fetch_script(url), inputs=script_url1, outputs=script1)
    fetch_btn2.click(fn=lambda url: fetch_script(url), inputs=script_url2, outputs=script2)
    fetch_btn3.click(fn=lambda url: fetch_script(url), inputs=script_url3, outputs=script3)
    remove_btn1.click(fn=lambda script: remove_timeline(script, 1), inputs=script1, outputs=cleaned1)
    remove_btn2.click(fn=lambda script: remove_timeline(script, 2), inputs=script2, outputs=cleaned2)
    remove_btn3.click(fn=lambda script: remove_timeline(script, 3), inputs=script3, outputs=cleaned3)

    custom_script = """
    <script>
    function setupCopy(copyBtnId, textBoxId, resultBoxId) {
        const copyBtn = document.getElementById(copyBtnId);
        if (!copyBtn) {
            console.error("버튼 " + copyBtnId + "를 찾을 수 없습니다.");
            return;
        }
        copyBtn.addEventListener("click", function(){
            const textBoxElem = document.getElementById(textBoxId);
            const resultBoxElem = document.getElementById(resultBoxId);
            if(textBoxElem && resultBoxElem) {
                const textarea = textBoxElem.querySelector("textarea");
                const resultTextarea = resultBoxElem.querySelector("textarea");
                if(textarea && resultTextarea) {
                    var text = textarea.value;
                    if(text.trim() === ""){
                        resultTextarea.value = "복사할 내용이 없습니다.";
                    } else {
                        navigator.clipboard.writeText(text).then(function(){
                            resultTextarea.value = "복사완료";
                        }, function(err){
                            resultTextarea.value = "복사 실패";
                        });
                    }
                }
            }
        });
    }
    document.addEventListener("DOMContentLoaded", function(){
        setupCopy("copy_btn1", "cleaned1", "copy_result1");
        setupCopy("copy_btn2", "cleaned2", "copy_result2");
        setupCopy("copy_btn3", "cleaned3", "copy_result3");
    });
    </script>
    """
    gr.HTML(custom_script)
    gr.Markdown("디버깅 모드 활성화됨: 로그가 콘솔에 출력됩니다.")
# ---------- [모듈2: 추가코드] 끝 ----------

# ---------- 통합 Gradio 앱 구성 (한 페이지에 모두 표시) ----------
with gr.Blocks() as app:
    gr.Markdown("# 캐롤라인대학 강의 추출기")
    gr.Markdown("전체 페이지 HTML을 입력하면 과목명과 각 섹션별 동영상 강의 목록을 추출합니다. (디버깅 정보는 콘솔에 출력됩니다.)")
    gr.HTML(
        """
        <div style="background-color: #f0f0f0; padding: 10px; margin-bottom: 20px;">
            <strong>사용방법</strong>
            <ol>
                <li>추출을 원하는 강의 페이지에서 "Ctrl + U"를 누르고 "페이지 소스 보기" 페이지로 이동합니다.
                또는 해당페이지에서 마우스 우클릭 후 "페이지 소스 보기" 클릭 (엣지의 경우 "페이지 원본 보기")</li>
                <li>"페이지 소스 보기" 페이지에서 전체 복사를 합니다. "Ctrl+A" 다음 "Ctrl + C"</li>
                <li>"전체 페이지 HTML 입력"창에 복사한 내용을 붙혀넣기 합니다. "Ctrl + V"</li>
                <li>"Submit" 버튼을 클릭하면 동영상 강의 목록이 나옵니다.</li>
                <li>내용 추출을 원하는 강의 URL을 복사해서 아래 "강의 URL" 창에 붙혀넣기 합니다.</li>
                <li>순서대로 버튼을 클릭하면 해당 영상의 강의 내용을 추출 할 수 있습니다.</li>
                <li>각각 추출된 강의 내용을 "ChatGPT"에 전체 붙혀넣고 강의 요약을 지시하면 됩니다.</li>
            </ol>
        </div>
        """
    )
    iface.render()
    # Module1의 Submit 버튼 클릭 시 Module2 내용 지우기 위한 JavaScript
    gr.HTML(
        """
        <script>
        function clearModule2Fields() {
            var ids = ["url1", "url2", "url3", "script_url1", "script_url2", "script_url3", "script1", "script2", "script3", "cleaned1", "cleaned2", "cleaned3", "copy_result1", "copy_result2", "copy_result3"];
            ids.forEach(function(id) {
                var elem = document.getElementById(id);
                if (elem) {
                    var textarea = elem.querySelector("textarea");
                    if (textarea) {
                        textarea.value = "";
                    } else {
                        elem.value = "";
                    }
                }
            });
        }
        document.addEventListener("DOMContentLoaded", function(){
            var buttons = document.getElementsByTagName("button");
            for (var i = 0; i < buttons.length; i++) {
                if (buttons[i].textContent.trim() === "Submit") {
                    buttons[i].addEventListener("click", function(){
                        clearModule2Fields();
                    });
                }
            }
        });
        </script>
        """
    )
    gr.Markdown("---")
    gr.Markdown("동영상 강의 목록에서 필요한 강의의 URL을 복사해서 넣어주세요")
    additional_demo.render()

if __name__ == "__main__":
    logging.debug("통합 Gradio 앱 실행 중")
    app.launch(debug=True)