Wplotnikow commited on
Commit
e30b3c2
·
verified ·
1 Parent(s): 7e9691a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -1
app.py CHANGED
@@ -1,5 +1,6 @@
1
  import gradio as gr
2
  import os
 
3
  from langchain_community.embeddings import HuggingFaceEmbeddings
4
  from langchain_community.vectorstores import FAISS
5
  from langchain.chains import RetrievalQA
@@ -8,6 +9,11 @@ from huggingface_hub import login
8
  from langchain_community.document_loaders import UnstructuredWordDocumentLoader
9
  from langchain.text_splitter import RecursiveCharacterTextSplitter
10
 
 
 
 
 
 
11
  # --- КОНФИГУРАЦИЯ ---
12
  HF_TOKEN = os.environ.get("HUGGINGFACEHUB_API_TOKEN")
13
  login(token=HF_TOKEN)
@@ -41,7 +47,6 @@ create_vector_db_if_not_exists()
41
  embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
42
  db = FAISS.load_local(FAISS_INDEX_PATH, embeddings, allow_dangerous_deserialization=True)
43
  llm = HuggingFaceHub(repo_id=LLM_REPO_ID, model_kwargs={"temperature": 0.1, "max_new_tokens": 1024})
44
- # ИСПРАВЛЕННАЯ СТРОКА НИЖЕ (убран пробел в as_retriever)
45
  qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever(search_kwargs={"k": 3}), return_source_documents=True)
46
 
47
  # --- ФУНКЦИЯ ДЛЯ ИНТЕРФЕЙСА ---
 
1
  import gradio as gr
2
  import os
3
+ import nltk # Импортируем новую библиотеку
4
  from langchain_community.embeddings import HuggingFaceEmbeddings
5
  from langchain_community.vectorstores import FAISS
6
  from langchain.chains import RetrievalQA
 
9
  from langchain_community.document_loaders import UnstructuredWordDocumentLoader
10
  from langchain.text_splitter import RecursiveCharacterTextSplitter
11
 
12
+ # --- ЗАГРУЗКА ДОПОЛНИТЕЛЬНЫХ КОМПОНЕНТОВ ДЛЯ ОБРАБОТКИ ТЕКСТА ---
13
+ # Эти строки решают ошибку 'LookupError: Resource punkt not found'
14
+ # Они скачивают необходимые языковые модели для разделения текста на предложения.
15
+ nltk.download('punkt')
16
+
17
  # --- КОНФИГУРАЦИЯ ---
18
  HF_TOKEN = os.environ.get("HUGGINGFACEHUB_API_TOKEN")
19
  login(token=HF_TOKEN)
 
47
  embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
48
  db = FAISS.load_local(FAISS_INDEX_PATH, embeddings, allow_dangerous_deserialization=True)
49
  llm = HuggingFaceHub(repo_id=LLM_REPO_ID, model_kwargs={"temperature": 0.1, "max_new_tokens": 1024})
 
50
  qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=db.as_retriever(search_kwargs={"k": 3}), return_source_documents=True)
51
 
52
  # --- ФУНКЦИЯ ДЛЯ ИНТЕРФЕЙСА ---