Update app.py and requirements.txt with OCR support

app.py

@@ -1,6 +1,6 @@
 
 import os
-from langchain_community.document_loaders import UnstructuredPDFLoader
+from datasets import load_dataset
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain_community.embeddings import HuggingFaceEmbeddings
 from langchain_community.vectorstores import FAISS
@@ -22,51 +22,29 @@ llm = HuggingFaceEndpoint(
     task="text-generation"
 )
 
-# 3. GitHub 저장소에서 PDF 자동 로딩 및 벡터 DB 생성
-vectorstore_path = "/app/data/chatbot_db/index.faiss"
+# 3. Hugging Face Dataset 로드
+dataset = load_dataset("dgmos/ericsson-manuals", split="train")
 
-if not os.path.exists(vectorstore_path):
-    print("📂 GitHub 저장소 PDF 자동 로딩 시작...")
-    
-    # PDF 폴더 경로 (Hugging Face Space에서의 경로)
-    pdf_folder = "/app/data/manuals/"
-    
-    if not os.path.exists(pdf_folder):
-        raise FileNotFoundError(f"{pdf_folder} 폴더가 존재하지 않습니다. 먼저 PDF 파일을 GitHub 저장소에 업로드하세요.")
-    
-    # 모든 PDF 파일 로드
-    docs = []
-    for filename in os.listdir(pdf_folder):
-        if filename.endswith(".pdf"):
-            file_path = os.path.join(pdf_folder, filename)
-            loader = UnstructuredPDFLoader(file_path)
-            docs.extend(loader.load())
-    
-    # 텍스트 분할
-    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
-    texts = splitter.split_documents(docs)
-    
-    # 임베딩 및 벡터 DB 생성
-    embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")
-    vectorstore = FAISS.from_documents(texts, embeddings)
-    
-    # 벡터 DB 저장 (다음 실행 시 재사용)
-    vectorstore.save_local("/app/data/chatbot_db")
-    print("✅ GitHub 저장소 PDF 자동 로딩 완료!")
-else:
-    print("📂 저장된 벡터 DB 발견. 로딩 중...")
-    embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")
-    vectorstore = FAISS.load_local("/app/data/chatbot_db", embeddings, allow_dangerous_deserialization=True)
-    print("✅ 저장된 벡터 DB 로딩 완료!")
+# 4. 텍스트 추출 및 벡터 DB 생성
+docs = []
+for item in dataset:
+    text = item["text"]
+    docs.append(text)
 
-# 4. RAG 체인 생성
+splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
+texts = splitter.split_documents(docs)
+
+embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/multi-qa-mpnet-base-dot-v1")
+vectorstore = FAISS.from_documents(texts, embeddings)
+
+# 5. RAG 체인 생성
 qa_chain = RetrievalQA.from_chain_type(
     llm=llm,
     chain_type="stuff",
     retriever=vectorstore.as_retriever(search_kwargs={"k": 3})
 )
 
-# 5. 챗봇 함수 (파일 업로드 없이 질문만 받음)
+# 6. 챗봇 함수
 def chatbot(query):
     try:
         response = qa_chain.run(query)
@@ -74,10 +52,10 @@ def chatbot(query):
     except Exception as e:
         return f"오류: {str(e)}."
 
-# 6. Gradio UI
+# 7. Gradio UI
 with gr.Blocks(title="Ericsson 장비 분석 챗봇") as demo:
     gr.Markdown("# 🚀 3G/LTE/5G 장비 불량/불요파 분석 챗봇")
-    gr.Markdown("GitHub 저장소에 미리 업로드한 PDF를 기반으로 질문만 입력하세요!")
+    gr.Markdown("Hugging Face Dataset에서 로드한 PDF를 기반으로 질문만 입력하세요!")
     query = gr.Textbox(label="질문 (한국어/영어)", placeholder="Spurious Emission 원인은?")
     output = gr.Textbox(label="응답", lines=10)
     btn = gr.Button("분석 시작!")