Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -11,12 +11,8 @@ from langchain.chains import ConversationalRetrievalChain
|
|
| 11 |
from htmlTemplates import css, bot_template, user_template
|
| 12 |
from langchain.llms import HuggingFaceHub, LlamaCpp, CTransformers # For loading transformer models.
|
| 13 |
from langchain.document_loaders import PyPDFLoader, TextLoader, JSONLoader, CSVLoader
|
| 14 |
-
import tempfile
|
| 15 |
-
import json
|
| 16 |
import os
|
| 17 |
-
from langchain.text_splitter import RecursiveCharacterTextSplitter
|
| 18 |
-
|
| 19 |
-
|
| 20 |
|
| 21 |
|
| 22 |
# PDF 문서로부터 텍스트를 추출하는 함수입니다.
|
|
@@ -51,35 +47,27 @@ def get_csv_file(csv_docs):
|
|
| 51 |
csv_doc = csv_loader.load()
|
| 52 |
return csv_doc
|
| 53 |
|
| 54 |
-
|
| 55 |
def get_json_file(json_docs):
|
| 56 |
temp_dir = tempfile.TemporaryDirectory()
|
| 57 |
temp_filepath = os.path.join(temp_dir.name, json_docs.name)
|
| 58 |
with open(temp_filepath, "wb") as f:
|
| 59 |
f.write(json_docs.getvalue())
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
|
| 63 |
-
json_content = json.load(json_file)
|
| 64 |
-
# JSON 데이터를 문자열로 변환
|
| 65 |
-
json_string = json.dumps(json_content)
|
| 66 |
-
# 변환된 문자열을 리스트에 담아 반환
|
| 67 |
-
return [json_string]
|
| 68 |
-
|
| 69 |
|
| 70 |
|
| 71 |
# 문서들을 처리하여 텍스트 청크로 나누는 함수입니다.
|
| 72 |
def get_text_chunks(documents):
|
| 73 |
-
# RecursiveCharacterTextSplitter를 직접 초기화합니다.
|
| 74 |
text_splitter = RecursiveCharacterTextSplitter(
|
| 75 |
chunk_size=1000, # 청크의 크기를 지정합니다.
|
| 76 |
chunk_overlap=200, # 청크 사이의 중복을 지정합니다.
|
| 77 |
length_function=len # 텍스트의 길이를 측정하는 함수를 지정합니다.
|
| 78 |
)
|
| 79 |
|
| 80 |
-
#
|
| 81 |
-
|
| 82 |
-
|
| 83 |
|
| 84 |
# 텍스트 청크들로부터 벡터 스토어를 생성하는 함수입니다.
|
| 85 |
def get_vectorstore(text_chunks):
|
|
|
|
| 11 |
from htmlTemplates import css, bot_template, user_template
|
| 12 |
from langchain.llms import HuggingFaceHub, LlamaCpp, CTransformers # For loading transformer models.
|
| 13 |
from langchain.document_loaders import PyPDFLoader, TextLoader, JSONLoader, CSVLoader
|
| 14 |
+
import tempfile # 임시 파일을 생성하기 위한 라이브러리입니다.
|
|
|
|
| 15 |
import os
|
|
|
|
|
|
|
|
|
|
| 16 |
|
| 17 |
|
| 18 |
# PDF 문서로부터 텍스트를 추출하는 함수입니다.
|
|
|
|
| 47 |
csv_doc = csv_loader.load()
|
| 48 |
return csv_doc
|
| 49 |
|
|
|
|
| 50 |
def get_json_file(json_docs):
|
| 51 |
temp_dir = tempfile.TemporaryDirectory()
|
| 52 |
temp_filepath = os.path.join(temp_dir.name, json_docs.name)
|
| 53 |
with open(temp_filepath, "wb") as f:
|
| 54 |
f.write(json_docs.getvalue())
|
| 55 |
+
json_loader = JSONLoader(temp_filepath)
|
| 56 |
+
json_doc = json_loader.load()
|
| 57 |
+
return json_doc
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 58 |
|
| 59 |
|
| 60 |
# 문서들을 처리하여 텍스트 청크로 나누는 함수입니다.
|
| 61 |
def get_text_chunks(documents):
|
|
|
|
| 62 |
text_splitter = RecursiveCharacterTextSplitter(
|
| 63 |
chunk_size=1000, # 청크의 크기를 지정합니다.
|
| 64 |
chunk_overlap=200, # 청크 사이의 중복을 지정합니다.
|
| 65 |
length_function=len # 텍스트의 길이를 측정하는 함수를 지정합니다.
|
| 66 |
)
|
| 67 |
|
| 68 |
+
documents = text_splitter.split_documents(documents) # 문서들을 청크로 나눕니다
|
| 69 |
+
return documents # 나눈 청크를 반환합니다.
|
| 70 |
+
|
| 71 |
|
| 72 |
# 텍스트 청크들로부터 벡터 스토어를 생성하는 함수입니다.
|
| 73 |
def get_vectorstore(text_chunks):
|