Deploy chatbot update

app.py

@@ -1,23 +1,19 @@
 
 import os
-from datasets import load_dataset
+import pdfplumber
+from huggingface_hub import hf_hub_download, list_repo_files
 from langchain.text_splitter import RecursiveCharacterTextSplitter
-from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_huggingface import HuggingFaceEmbeddings, HuggingFaceEndpoint
 from langchain_community.vectorstores import FAISS
-from langchain_huggingface import HuggingFaceEndpoint
 from langchain.chains import RetrievalQA
 import gradio as gr
-import pdfplumber
 
 # 1. 환경 변수 확인
 if "HUGGINGFACEHUB_API_TOKEN" not in os.environ:
-    raise ValueError(
-        "❌ HUGGINGFACEHUB_API_TOKEN 환경 변수가 설정되지 않았습니다. "
-        "HF Space Settings > Secrets에서 추가하세요."
-    )
-os.environ["HUGGINGFACEHUB_API_TOKEN"] = os.getenv("HUGGINGFACEHUB_API_TOKEN")
+    raise ValueError("❌ HUGGINGFACEHUB_API_TOKEN 환경 변수가 없습니다. "
+                     "HF Space → Settings → Secrets에서 추가하세요.")
 
-# 2. 모델 설정
+# 2. LLM 모델 (Hugging Face Inference API)
 repo_id = "meta-llama/Llama-3.2-3B-Instruct"
 llm = HuggingFaceEndpoint(
     repo_id=repo_id,
@@ -26,46 +22,45 @@ llm = HuggingFaceEndpoint(
     task="text-generation"
 )
 
-# 3. Hugging Face Datasets 로드
-print("📂 Hugging Face Datasets 로딩 중...")
-dataset = load_dataset("dgmos/ericsson-manuals", split="train")
+# 3. 데이터셋에서 PDF 파일 리스트 자동 수집
+dataset_repo = "dgmos/ericsson-manuals"
+all_files = list_repo_files(dataset_repo)
+pdf_files = [f for f in all_files if f.lower().endswith(".pdf")]
+
+print(f"📂 총 {len(pdf_files)} 개 PDF 감지됨")
 
 # 4. PDF → 텍스트 추출
 docs = []
-for item in dataset:
-    pdf_path = item.get("file") or item.get("path") or None
-    if not pdf_path:
-        print(f"⚠️ PDF 경로 없음: {item}")
-        continue
-
+for filename in pdf_files:
     try:
-        pages = []
+        pdf_path = hf_hub_download(repo_id=dataset_repo, filename=filename)
         with pdfplumber.open(pdf_path) as pdf:
+            texts = []
             for page in pdf.pages:
                 content = page.extract_text()
                 if content:
-                    pages.append(content)
-
-        # ✅ 줄바꿈 안전 버전
-        text = "\n".join(pages).strip()
-
-        if text:
-            docs.append({"page_content": text})
-        else:
-            print(f"⚠️ 텍스트 추출 실패: {pdf_path}")
-
+                    texts.append(content)
+            text = "
+".join(texts).strip()
+            if text:
+                docs.append({"page_content": text, "metadata": {"source": filename}})
+                print(f"✅ {filename} 처리 완료 (길이: {len(text)}자)")
+            else:
+                print(f"⚠️ 텍스트 없음: {filename}")
     except Exception as e:
-        print(f"🚨 PDF 처리 오류: {pdf_path} - {str(e)}")
-        continue
+        print(f"🚨 PDF 처리 오류: {filename} - {e}")
 
-print(f"✅ 총 {len(docs)} 개 PDF에서 텍스트 추출 완료")
+if not docs:
+    raise RuntimeError("❌ PDF에서 텍스트를 추출하지 못했습니다. 확인 필요!")
 
 # 5. 텍스트 분할
 splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
 texts = splitter.split_documents(docs)
 
-# 6. 임베딩 + 벡터 DB
-embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")
+# 6. 임베딩 + 벡터DB
+embeddings = HuggingFaceEmbeddings(
+    model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1"
+)
 vectorstore = FAISS.from_documents(texts, embeddings)
 
 # 7. Retrieval QA 체인
@@ -81,19 +76,19 @@ def chatbot(query: str):
         response = qa_chain.run(query)
         return response
     except Exception as e:
-        return f"❌ 오류 발생: {str(e)}"
+        return f"❌ 오류: {str(e)}"
 
 # 9. Gradio UI
 with gr.Blocks(title="Ericsson 장비 분석 챗봇") as demo:
-    gr.Markdown("# 🚀 3G/LTE/5G 장비 불량/불요파 분석 챗봇")
-    gr.Markdown("Hugging Face Datasets(`dgmos/ericsson-manuals`)에 업로드된 **OCR PDF 매뉴얼**을 기반으로 질의응답을 제공합니다.")
+    gr.Markdown("# 📡 Ericsson LTE/5G 장비 불량/불요파 분석 챗봇")
+    gr.Markdown("Hugging Face Hub에 저장된 **모든 PDF**를 기반으로 질문에 답합니다.")
     
     query = gr.Textbox(
         label="질문 입력 (한국어/영어)",
-        placeholder="예: Spurious Emission 원인은?",
+        placeholder="예: 5G 중계기 불요파 발생 원인은?",
     )
     output = gr.Textbox(label="응답", lines=10)
-    btn = gr.Button("분석 시작!")
+    btn = gr.Button("분석 시작")
 
     btn.click(chatbot, inputs=query, outputs=output)