Update utils.py
Browse files
utils.py
CHANGED
|
@@ -19,7 +19,7 @@ def split_with_source(text, source):
|
|
| 19 |
add_start_index = True,
|
| 20 |
)
|
| 21 |
documents = splitter.create_documents([text])
|
| 22 |
-
print(documents)
|
| 23 |
for doc in documents:
|
| 24 |
doc.metadata["source"] = source
|
| 25 |
# print(doc.metadata)
|
|
@@ -61,7 +61,7 @@ def get_document_from_raw_text():
|
|
| 61 |
# # Loại bỏ khoảng trắng thừa và ký tự xuống dòng ở đầu và cuối mỗi dòng
|
| 62 |
# line = line.strip()
|
| 63 |
# documents.append(Document(page_content=line, metadata={"source": i}))
|
| 64 |
-
print(documents)
|
| 65 |
return documents
|
| 66 |
|
| 67 |
def load_the_embedding_retrieve(is_ready = False, k = 3, model= 'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'):
|
|
|
|
| 19 |
add_start_index = True,
|
| 20 |
)
|
| 21 |
documents = splitter.create_documents([text])
|
| 22 |
+
# print(documents)
|
| 23 |
for doc in documents:
|
| 24 |
doc.metadata["source"] = source
|
| 25 |
# print(doc.metadata)
|
|
|
|
| 61 |
# # Loại bỏ khoảng trắng thừa và ký tự xuống dòng ở đầu và cuối mỗi dòng
|
| 62 |
# line = line.strip()
|
| 63 |
# documents.append(Document(page_content=line, metadata={"source": i}))
|
| 64 |
+
# print(documents)
|
| 65 |
return documents
|
| 66 |
|
| 67 |
def load_the_embedding_retrieve(is_ready = False, k = 3, model= 'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2'):
|