rag 다시 활성화

Document/Knowledge.md

@@ -0,0 +1,48 @@
+# ONNX 런타임
+* [GitHub 링크](https://github.com/microsoft/onnxruntime)
+
+ONNX 런타임 추론은 PyTorch 및 TensorFlow/Keras와 같은 딥 러닝 프레임워크와 scikit-learn, LightGBM, XGBoost 등과 같은 기존 기계 학습 라이브러리의 모델을 지원하여 더 빠른 고객 경험과 더 낮은 비용을 가능하게 할 수 있습니다. ONNX 런타임은 다양한 하드웨어, 드라이버 및 운영 체제와 호환되며, 그래프 최적화 및 변환과 함께 해당하는 경우 하드웨어 가속기를 활용하여 최적의 성능을 제공합니다.
+
+다음은 주어진 내용을 마크다운 형식으로 정리한 것입니다:
+
+
+
+# TODO
+
+## 전공 지식 공부하기
+- 논문 읽고 구현하며 기초를 다지기
+- 전공 지식 커리큘럼 따라 배우기
+
+## 인공지능 프로그래밍 쪽 준비
+- 자료구조, 알고리즘
+- 알고리즘 + 코딩 테스트
+- Python 등...
+
+## 포트폴리오
+- 가능한 안 만들고 포트폴리오를 만드는 방향
+
+출처: [https://f-lab.kr/insight/becoming-an-ai-developer](https://f-lab.kr/insight/becoming-an-ai-developer)
+
+## 온라인 코스, 대학원 과정, 실무 경험으로 배우는 방법
+- 대학원 과정은 보다 심도 있는 학습을 원하는 사람들에게 적합
+- 실무 경험을 통해 이론적 지식을 실제 프로젝트에 적용해 볼 수 있음
+- GitHub, Kaggle과 같은 플랫폼에서는 다양한 AI 프로젝트에 참여해볼 수 있음
+
+## 네트워킹과 커뮤니티 참여를 통해
+- AI 관련 컨퍼런스, 워크샵, 해커톤 등에 참여하여
+- 최신 기술 동향을 파악하고
+- 업계 전문가와 교류하는 것이 좋음
+
+## 프로그래밍 언어
+- Python
+
+## 수학 및 통계학
+- 선형대수학, 확률론, 미적분학 등
+
+## 기계 학습(ML)
+- 딥러닝
+- 인공지능 관련 알고리즘 숙지 및 실제 프로젝트에 적용해보기
+- 자연어 처리(NLP), 컴퓨터 비전 등 특정 분야에 대한 전문 지식
+
+## 기타
+- 끊임없이 발전하고 있으므로, 최신 기술 동향을 지속적으로 학습하는 자세도 중요

rag.py

@@ -1,40 +1,52 @@
-# ################
-# # PDF 파일을 로드하고 문서를 쪼개서 문서벡터화 한 후 질의하기
-# ################
-# import tiktoken
-# tokenizer = tiktoken.get_encoding('cl100k_base')
-# def tiktoken_len(text):
-#     tokens = tokenizer.encode(text)
-#     return len(tokens)
+################
+# PDF 파일을 로드하고 문서를 쪼개서 문서벡터화 한 후 질의하기
+################
+import tiktoken
+tokenizer = tiktoken.get_encoding('cl100k_base')
+def tiktoken_len(text):
+    tokens = tokenizer.encode(text)
+    return len(tokens)
     
-# from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings
-# from langchain.text_splitter import RecursiveCharacterTextSplitter
-# from langchain.vectorstores import Chroma
-# from langchain.document_loaders import PyPDFLoader
-# from langchain.embeddings import HuggingFaceEmbeddings
-
-# ## pdf 파일로드 하고 쪼개기
-# loader = PyPDFLoader('gsat_170823.pdf')
-# pages = loader.load_and_split()
-
-# ## chunk로 쪼개기
-# text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=80,length_function=tiktoken_len)
-# sourceDocs = text_splitter.split_documents(pages)
-
-# ################
-# # HuggingFace 모델로 문서벡터화 후 유사도 탐색
-# ################
-# from langchain.embeddings import HuggingFaceEmbeddings
-
-# model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask', 
-#                                           model_kwargs = {'device':'cpu'}, 
-#                                           encode_kwargs = {'normalize_embeddings' : True})
-
-# ## Chroma 기반 pdf(docs 벡터화)
-# db = Chroma.from_documents(sourceDocs, model_huggingface)
-
-# ## 질의하기
-# def SearchDocs(question, k=1):
-#     results = db.similarity_search_with_relevance_scores(question, k = k)
-#     merged = ' '.join([sourceDocs[result[0]][0] for result in results])
-#     return merged
+from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.document_loaders import UnstructuredMarkdownLoader
+from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_community.vectorstores.utils import filter_complex_metadata
+
+
+## pdf 파일로드 하고 쪼개기
+# https://python.langchain.com/v0.2/docs/how_to/document_loader_markdown/
+
+# 마크다운 파일을 로드하고 분할
+loader = UnstructuredMarkdownLoader('Document/Knowledge.md', mode="elements")
+pages = loader.load_and_split()
+
+# 텍스트를 청크로 분할
+text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=80, length_function=tiktoken_len)
+sourceDocs = text_splitter.split_documents(pages)
+sourceDocs = filter_complex_metadata(sourceDocs)
+
+################
+# HuggingFace 모델로 문서벡터화 후 유사도 탐색
+################
+from langchain.vectorstores import Chroma
+
+model_huggingface = HuggingFaceEmbeddings(model_name = 'jhgan/ko-sroberta-multitask', 
+                                          model_kwargs = {'device':'cpu'}, 
+                                          encode_kwargs = {'normalize_embeddings' : True})
+
+## Chroma 기반 pdf(docs 벡터화)
+db = Chroma.from_documents(sourceDocs, model_huggingface)
+
+## 질의하기
+def SearchDocs(question, k=1):
+    results = db.similarity_search_with_relevance_scores(question, k = k)
+    merged = ''
+    for result in results:
+        merged += '\n\n' + result[0].page_content
+    return merged
+
+
+# # 질의 테스트
+# question = "자연어 처리란 무엇인가요?"
+# print(SearchDocs(question, k=1))

requirements.txt

@@ -1,4 +1,154 @@
-huggingface_hub==0.22.2
-
+aiohttp==3.9.5
+aiosignal==1.3.1
+annotated-types==0.7.0
+anyio==4.4.0
+asgiref==3.8.1
+async-timeout==4.0.3
+attrs==23.2.0
+backoff==2.2.1
+bcrypt==4.1.3
+beautifulsoup4==4.12.3
+build==1.2.1
+cachetools==5.3.3
+certifi==2024.6.2
+chardet==5.2.0
+charset-normalizer==3.3.2
+chroma-hnswlib==0.7.3
+chromadb==0.5.3
+click==8.1.7
+colorama==0.4.6
+coloredlogs==15.0.1
+dataclasses-json==0.6.7
+deepdiff==7.0.1
+Deprecated==1.2.14
+dnspython==2.6.1
+email_validator==2.2.0
+emoji==2.12.1
+exceptiongroup==1.2.1
+fastapi==0.111.0
+fastapi-cli==0.0.4
+filelock==3.15.4
+filetype==1.2.0
+flatbuffers==24.3.25
+frozenlist==1.4.1
+fsspec==2024.6.0
+google-auth==2.30.0
+googleapis-common-protos==1.63.1
+graphlib_backport==1.1.0
+greenlet==3.0.3
+grpcio==1.64.1
+h11==0.14.0
+httpcore==1.0.5
+httptools==0.6.1
+httpx==0.27.0
+huggingface-hub==0.23.4
+humanfriendly==10.0
+idna==3.7
+importlib_metadata==7.1.0
+importlib_resources==6.4.0
+intel-openmp==2021.4.0
+Jinja2==3.1.4
+joblib==1.4.2
+jsonpatch==1.33
+jsonpath-python==1.0.6
+jsonpointer==3.0.0
+kubernetes==30.1.0
+langchain==0.2.5
+langchain-community==0.2.5
+langchain-core==0.2.9
+langchain-huggingface==0.0.3
+langchain-text-splitters==0.2.1
+langdetect==1.0.9
+langsmith==0.1.81
+lxml==5.2.2
+Markdown==3.6
+markdown-it-py==3.0.0
+MarkupSafe==2.1.5
+marshmallow==3.21.3
+mdurl==0.1.2
+mkl==2021.4.0
+mmh3==4.1.0
+monotonic==1.6
+mpmath==1.3.0
+multidict==6.0.5
+mypy-extensions==1.0.0
+nest-asyncio==1.6.0
+networkx==3.1
+nltk==3.8.1
+numpy==1.24.4
+oauthlib==3.2.2
+onnxruntime==1.18.0
+opentelemetry-api==1.25.0
+opentelemetry-exporter-otlp-proto-common==1.25.0
+opentelemetry-exporter-otlp-proto-grpc==1.25.0
+opentelemetry-instrumentation==0.46b0
+opentelemetry-instrumentation-asgi==0.46b0
+opentelemetry-instrumentation-fastapi==0.46b0
+opentelemetry-proto==1.25.0
+opentelemetry-sdk==1.25.0
+opentelemetry-semantic-conventions==0.46b0
+opentelemetry-util-http==0.46b0
+ordered-set==4.1.0
+orjson==3.10.5
+overrides==7.7.0
+packaging==24.1
+pillow==10.3.0
+posthog==3.5.0
+protobuf==4.25.3
+pyasn1==0.6.0
+pyasn1_modules==0.4.0
+pydantic==2.7.4
+pydantic_core==2.18.4
+Pygments==2.18.0
+pypdf==4.2.0
+PyPika==0.48.9
+pyproject_hooks==1.1.0
+pyreadline3==3.4.1
+python-dateutil==2.9.0.post0
+python-dotenv==1.0.1
+python-iso639==2024.4.27
+python-magic==0.4.27
+python-multipart==0.0.9
+PyYAML==6.0.1
+rapidfuzz==3.9.3
+regex==2024.5.15
+requests==2.32.3
+requests-oauthlib==2.0.0
+requests-toolbelt==1.0.0
+rich==13.7.1
+rsa==4.9
+safetensors==0.4.3
+scikit-learn==1.3.2
+scipy==1.10.1
+sentence-transformers==3.0.1
+shellingham==1.5.4
+six==1.16.0
+sniffio==1.3.1
+soupsieve==2.5
+SQLAlchemy==2.0.31
+starlette==0.37.2
+sympy==1.12.1
+tabulate==0.9.0
+tbb==2021.13.0
+tenacity==8.4.1
+threadpoolctl==3.5.0
 tiktoken==0.7.0
-langchain==0.0.2
+tokenizers==0.19.1
+tomli==2.0.1
+torch==2.3.1
+tqdm==4.66.4
+transformers==4.41.2
+typer==0.12.3
+typing-inspect==0.9.0
+typing_extensions==4.12.2
+ujson==5.10.0
+unstructured==0.11.8
+unstructured-client==0.23.7
+urllib3==2.2.2
+uvicorn==0.30.1
+watchfiles==0.22.0
+websocket-client==1.8.0
+websockets==12.0
+wrapt==1.16.0
+yarl==1.9.4
+zipp==3.19.2