Update app.py

app.py

@@ -1,59 +1,78 @@
-import streamlit as st
-from pororo import Pororo
-from sklearn.feature_extraction.text import CountVectorizer
-from sklearn.decomposition import LatentDirichletAllocation
-from transformers import pipeline, AutoTokenizer, AutoModelForSeq2SeqLM
-import regex as re
-
-# 불용어 목록
-stopwords = set(["있다", "없다", "것", "그", "이", "하는", "하기", "할", "되", "수", "이다", "시키다"])
-
-# 텍스트 전처리 및 명사 추출 함수
-def preprocess_text(text):
-    tokenizer = Pororo(task="tokenization", lang="ko")
-    text = re.sub(r'[^\w\s]', '', text)  # 특수 문자 제거
-    nouns = tokenizer(text, pos=True)
-    nouns = [word for word, tag in nouns if tag.startswith('N') and len(word) > 1 and word not in stopwords]  # 명사만 추출, 불용어 및 한 글자 단어 제거
-    cleaned_text = ' '.join(nouns)
-    return cleaned_text
-
-# 토픽 모델링 함수
-def topic_modeling(texts, n_components=5):
-    vectorizer = CountVectorizer()
-    data_vectorized = vectorizer.fit_transform(texts)
-
-    lda_model = LatentDirichletAllocation(n_components=n_components, random_state=0)
-    lda_model.fit(data_vectorized)
-    feature_names = vectorizer.get_feature_names_out()
-    topics = {}
-    for topic_idx, topic in enumerate(lda_model.components_):
-        topics[f"Topic {topic_idx}"] = [feature_names[i] for i in topic.argsort()[:-11:-1]]  # 상위 10개 단어
-    return topics
-
-# 설명 및 요약 파이프라인 초기화 (PyTorch)
-model_name = "t5-small"
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
-summarizer = pipeline("summarization", model=model, tokenizer=tokenizer, framework='pt')
-
-# 스트림릿 UI
-st.title('한국어 텍스트 토픽 모델링 및 요약')
-
-uploaded_file = st.file_uploader("TXT 파일 업로드", type=['txt'])
-n_topics = st.sidebar.number_input("토픽 수 설정", min_value=2, max_value=10, value=5)
-
-if uploaded_file is not None:
-    with st.spinner('파일을 처리 중입니다...'):
-        try:
-            text = str(uploaded_file.read(), 'utf-8')  # 파일 내용 읽기
-            processed_text = preprocess_text(text)  # 텍스트 전처리
-            topic_results = topic_modeling([processed_text], n_components=n_topics)  # 토픽 모델링
-
-            st.subheader("토픽 모델링 결과")
-            for topic, words in topic_results.items():
-                st.write(f"{topic}: {', '.join(words)}")
-                description = "This topic primarily discusses " + ", ".join(words[:5]) + "."
-                summary = summarizer(description, max_length=130, min_length=30, do_sample=False)
-                st.write("Summary:", summary[0]['summary_text'])
-        except Exception as e:
-            st.error(f"처리 중 오류가 발생했습니다: {e}")
+import gradio as gr
+import pandas as pd
+from pykospacing import Spacing
+from hanspell import spell_checker
+import warnings
+
+# 경고 메시지 무시
+warnings.filterwarnings("ignore")
+
+def correct_text(text):
+    # 띄어쓰기 교정
+    spacing = Spacing()
+    spaced_text = spacing(text)
+    
+    # 맞춤법 및 띄어쓰기 검사
+    checked_text = spell_checker.check(spaced_text)
+    return checked_text.checked, checked_text.errors
+
+def parse_srt(file_path):
+    with open(file_path, 'r', encoding='utf-8') as file:
+        lines = file.readlines()
+
+    captions = []
+    temp_caption = {'index': None, 'time': None, 'text': ""}
+
+    for line in lines:
+        line = line.strip()
+        if line.isdigit():
+            if temp_caption['index'] is not None:  # 새 자막이 시작되면 기존 자막을 리스트에 추가
+                captions.append(temp_caption)
+                temp_caption = {'index': None, 'time': None, 'text': ""}
+            temp_caption['index'] = int(line)
+        elif '-->' in line:
+            temp_caption['time'] = line
+        elif line:
+            if temp_caption['text']:
+                temp_caption['text'] += " " + line
+            else:
+                temp_caption['text'] = line
+
+    if temp_caption['index'] is not None:  # 마지막 자막 추가
+        captions.append(temp_caption)
+
+    return captions
+
+def spell_check_captions(file):
+    captions = parse_srt(file)
+    results = []
+    for caption in captions:
+        corrected_text, errors = correct_text(caption['text'])
+        results.append({
+            '시간': caption['time'],
+            '원본 자막': caption['text'],
+            '수정된 자막': corrected_text,
+            '수정 필요 내용': ', '.join([f"{error}->{correct}" for error, correct in errors.items() if error != correct])
+        })
+
+    if results:
+        df = pd.DataFrame(results)
+        output_file = 'corrected_captions.xlsx'
+        df.to_excel(output_file, index=False, engine='openpyxl')
+        return df, output_file, "Check the result in the table and download the file."
+    else:
+        return pd.DataFrame(), None, "수정할 내용이 없습니��."
+
+iface = gr.Interface(
+    fn=spell_check_captions,
+    inputs=gr.File(type="filepath", label="자막 파일 업로드"),
+    outputs=[
+        gr.Dataframe(label="검사 결과 미리보기"),
+        gr.File(label="결과 엑셀 파일 다운로드"),
+        gr.Textbox(label="메시지")
+    ],
+    title="자막 검사 및 수정",
+    description="자막 파일을 업로드하고, 수정할 내용이 있는 경우 결과를 확인하세요."
+)
+
+iface.launch()