Deploy chatbot update

app.py

@@ -3,123 +3,112 @@ import os
 import pdfplumber
 from huggingface_hub import hf_hub_download
 from langchain.text_splitter import RecursiveCharacterTextSplitter
-from langchain_huggingface import HuggingFaceEndpoint, HuggingFaceEmbeddings
+from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain_community.vectorstores import FAISS
+from langchain_huggingface import HuggingFaceEndpoint
 from langchain.chains import RetrievalQA
 import gradio as gr
 
-# ✅ 환경 변수 (Secrets에서 자동 주입)
+# =========================
+# 1. 환경 변수 확인
+# =========================
 if "HUGGINGFACEHUB_API_TOKEN" not in os.environ:
-    raise ValueError("❌ HUGGINGFACEHUB_API_TOKEN 이 설정되지 않았습니다. Spaces → Settings → Secrets에서 추가하세요.")
+    raise ValueError("❌ HUGGINGFACEHUB_API_TOKEN 환경 변수가 없습니다. Hugging Face Space Secrets에 추가하세요.")
 
-# ✅ LLM 모델 설정
+HF_TOKEN = os.getenv("HUGGINGFACEHUB_API_TOKEN")
+
+# =========================
+# 2. LLM 모델 설정
+# =========================
+repo_id = "meta-llama/Llama-3.2-3B-Instruct"
 llm = HuggingFaceEndpoint(
-    repo_id="meta-llama/Llama-3.2-3B-Instruct",
-    huggingfacehub_api_token=os.environ["HUGGINGFACEHUB_API_TOKEN"],
+    repo_id=repo_id,
+    huggingfacehub_api_token=HF_TOKEN,
     temperature=0.7,
     task="text-generation"
 )
 
-# ✅ Hugging Face Dataset → PDF 다운로드
-repo_id = "dgmos/ericsson-manuals"
+# =========================
+# 3. PDF 데이터셋 다운로드
+# =========================
 pdf_files = [
     "(20220324) L2 Switch 운용 매뉴얼_Innovation TF_Ver3.1_OCR.pdf",
     "(20230504) 23년 기술교육 교재 1 (LTE)_가치혁신팀_OCR.pdf",
     "(20230531) 23년 기술교육 교재 2 (5G)_가치혁신팀_OCR.pdf",
     "(20240924) 대구운용부 TEST BED를 활용을 통한 중계기 역량향상_OCR.pdf",
-    "(7월3주)WiFi교육(본부 공유)_OCR.pdf",
-    "1. 5G 기지국 기술 학습교재_Ver4.2_OCR.pdf",
-    "1. kt MOS 남부 기술(기지국) 학습교재_Ver 5.2_OCR.pdf",
-    "10G PON 및 SFP모듈 구분_OCR.pdf",
-    "2. 5G 중계기 기술 학습교재_Ver3.6_OCR.pdf",
-    "2. kt MOS 남부 기술(중계기) 학습교재_Ver 4.5_OCR.pdf",
-    "23년 무선 액세스 교육 교안(중계기완전정복_장비운용기준)_OCR.pdf",
-    "3. kt MOS 남부 네트워크 학습교재_Ver 4.7_OCR.pdf",
-    "3. 재난안전통신망 기술 학습교재_Ver3.1_OCR.pdf",
-    "5G광중계기 운용 권고안V1.0(20200615)_OCR.pdf",
-    "Barcode System WEB 사용자 매뉴얼(원본)_수정_OCR.pdf",
-    "ELMO(쏠리테크)_OCR.pdf",
-    "ELORHA 교육자료_OCR.pdf",
-    "JD745B 간편 사용자 매뉴얼-Viavi (Rev1.0)_OCR.pdf",
-    "KELIS(쏠리테크)_OCR.pdf",
-    "MMF 사업장 광레벨 정비 자료)_OCR.pdf",
-    "MS2090A 사용자 매뉴얼_9.4.1(20200612)Trigger_OCR.pdf",
-    "Test bed.(중계기 교안)pptx_OCR.pdf",
-    "V2824_IMN_KO_080718_OCR.pdf",
-    "V2824_UMN_1.03_KO_081217_OCR.pdf",
-    "[IP-A]ONE-MUX기술방식 및 현장 선로 고장점검 Guide_OCR.pdf",
-    "[ktMOS남부]_24년(유선분야) 1 IP 네트워크 KT 망 구조 이해_OCR.pdf",
-    "[ktMOS남부]_24년(유선분야)_2 IP Access L2운용 및 기술방식_OCR.pdf",
-    "[ktMOS남부]_24년(유선분야)_3 OLT 운용 및 기술방식_OCR.pdf",
-    "[구형 엘로하] 제품소개서_OCR.pdf",
-    "[신형 엘로하] 제품소개서_OCR.pdf",
-    "[현장2] IP 액세스 콘솔접속 및 G.EasyOne(장비초기화)_KT MOS_남부_OCR.pdf",
-    "[현장3] IP 액세스 A-SDN (장비교체)_KT MOS_남부_OCR.pdf",
-    "[현장5] IP 액세스 긴급복구(고장사례)_KT MOS_남부_OCR.pdf",
-    "korea_mobile_frequencies.pdf",
-    "다산 중용량 OLT V5832XG 교육자료_OCR.pdf",
-    "대구본부_지구력강화교육_3월 계측기활용방법_OCR.pdf",
-    "동계_역량강화_교육_학습교재(실무과정_중계기_계측기)_Ver3.0_OCR.pdf",
-    "실무자 교육(10월3주)_중용량 OLT(김명윤)_OCR.pdf",
     "차단기 종류 및 용도_OCR.pdf"
 ]
 
+repo_id_dataset = "dgmos/ericsson-manuals"
+
 docs = []
 
-for fname in pdf_files:
+for pdf_name in pdf_files:
     try:
-        pdf_path = hf_hub_download(repo_id=repo_id, filename=fname, repo_type="dataset")
-        text_content = ""
+        pdf_path = hf_hub_download(repo_id=repo_id_dataset, filename=pdf_name, token=HF_TOKEN)
+        text_content = []
+
         with pdfplumber.open(pdf_path) as pdf:
-            for page_num, page in enumerate(pdf.pages, start=1):
-                try:
-                    content = page.extract_text()
-                    if content:
-                        text_content += content + "
-"
-                except Exception as e:
-                    print(f"⚠️ PDF 파싱 오류 (무시): {fname} p.{page_num} - {str(e)}")
-        if text_content.strip():
-            docs.append({"page_content": text_content.strip()})
-            print(f"✅ 텍스트 추출 성공: {fname}")
+            for page in pdf.pages:
+                content = page.extract_text()
+                if content:
+                    text_content.append(content)
+
+        text = "
+".join(text_content)  # ← 줄바꿈 안전 처리 확정
+        if text.strip():
+            docs.append({"page_content": text})
         else:
-            print(f"⚠️ 텍스트 없음: {fname}")
+            print(f"⚠️ 텍스트 추출 실패: {pdf_name}")
+
     except Exception as e:
-        print(f"🚨 오류 발생: {fname} - {str(e)}")
+        print(f"🚨 오류 발생: {pdf_name} - {str(e)}")
 
-# ✅ 문서 검증
 if not docs:
-    raise ValueError("❌ PDF에서 추출된 텍스트가 없습니다. (docs 리스트 비어있음)")
+    raise ValueError("❌ PDF에서 추출된 텍스트가 없습니다. (docs 리스트가 비어있음)")
 
-# ✅ 텍스트 분할
+# =========================
+# 4. 텍스트 분할
+# =========================
 splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
 texts = splitter.split_documents(docs)
 
-# ✅ 벡터 DB 구축
+# =========================
+# 5. 벡터 DB 생성
+# =========================
 embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")
 vectorstore = FAISS.from_documents(texts, embeddings)
 
-# ✅ RAG 체인
+# =========================
+# 6. RAG QA 체인 생성
+# =========================
 qa_chain = RetrievalQA.from_chain_type(
     llm=llm,
     chain_type="stuff",
     retriever=vectorstore.as_retriever(search_kwargs={"k": 3})
 )
 
-# ✅ 챗봇 함수
+# =========================
+# 7. 챗봇 함수
+# =========================
 def chatbot(query: str):
     try:
-        return qa_chain.run(query)
+        response = qa_chain.run(query)
+        return response
     except Exception as e:
-        return f"❌ 오류 발생: {str(e)}"
+        return f"❌ 오류: {str(e)}"
 
-# ✅ Gradio UI
+# =========================
+# 8. Gradio UI
+# =========================
 with gr.Blocks(title="Ericsson 장비 분석 챗봇") as demo:
-    gr.Markdown("## 🚀 3G/LTE/5G 장비 불량/불요파 분석 챗봇")
-    gr.Markdown("Hugging Face Dataset에서 OCR PDF 기반 질문 응답 제공")
+    gr.Markdown("# 🚀 3G/LTE/5G 장비 분석 챗봇")
+    gr.Markdown("업로드된 Ericsson PDF 매뉴얼을 기반으로 불량/불요파 원인 및 운용 매뉴얼 검색 지원")
+
     query = gr.Textbox(label="질문 입력 (한국어/영어)", placeholder="예: Spurious Emission 원인은?")
     output = gr.Textbox(label="응답", lines=10)
     btn = gr.Button("분석 시작!")
+
     btn.click(chatbot, inputs=query, outputs=output)
 
 if __name__ == "__main__":