Enhance vector store management by adding loading and uploading functionality, and update .gitattributes for new file types

.gitattributes

@@ -63,3 +63,10 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.mp4 filter=lfs diff=lfs merge=lfs -text
 *.webm filter=lfs diff=lfs merge=lfs -text
 >>>>>>> 0d2d42071b65c9b49ea7e471b711fe3cdf9fb532
+
+# Vector store files
+*.faiss filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+
+# Chat history
+chat_history/*.json filter=lfs diff=lfs merge=lfs -text

app.py

@@ -88,6 +88,20 @@ def build_kb():
     except Exception as e:
         return f"Ошибка при создании базы знаний: {str(e)}"
 
+def load_vector_store():
+    """Загрузка базы знаний из датасета"""
+    try:
+        from src.knowledge_base.dataset import DatasetManager
+        dataset = DatasetManager()
+        success, store = dataset.download_vector_store()
+        if success:
+            return store
+        print(f"Ошибка загрузки базы знаний: {store}")
+        return None
+    except Exception as e:
+        print(f"Ошибка при загрузке базы знаний: {str(e)}")
+        return None
+
 # Создаем интерфейс
 with gr.Blocks() as demo:
     gr.Markdown("# 🤖 Status Law Assistant")
@@ -182,8 +196,8 @@ with gr.Blocks() as demo:
 
 # Запускаем приложение
 if __name__ == "__main__":
-    # Проверяем наличие базы знаний
-    if not os.path.exists(os.path.join("data", "vector_store", "index.faiss")):
+    # Проверяем доступность базы знаний в датасете
+    if not load_vector_store():
         print("База знаний не найдена. Создайте её через интерфейс.")
     
     demo.launch()

src/knowledge_base/vector_store.py

@@ -1,4 +1,5 @@
 import os
+import tempfile
 from langchain_text_splitters import RecursiveCharacterTextSplitter
 from langchain_community.vectorstores import FAISS
 from langchain_huggingface import HuggingFaceEmbeddings
@@ -14,7 +15,7 @@ def get_embeddings():
     )
 
 def create_vector_store():
-    """Создание или обновление векторного хранилища"""
+    """Создание векторного хранилища и загрузка в датасет"""
     # Загрузка документов
     documents = load_documents()
     
@@ -31,12 +32,21 @@ def create_vector_store():
     # Инициализация эмбеддингов
     embeddings = get_embeddings()
     
-    # Создание векторного хранилища
-    vector_store = FAISS.from_documents(chunks, embeddings)
-    
-    # Сохранение
-    os.makedirs(VECTOR_STORE_PATH, exist_ok=True)
-    vector_store.save_local(folder_path=VECTOR_STORE_PATH)
+    # Создание векторного хранилища во временной директории
+    with tempfile.TemporaryDirectory() as temp_dir:
+        vector_store = FAISS.from_documents(chunks, embeddings)
+        vector_store.save_local(folder_path=temp_dir)
+        
+        # Загрузка в датасет
+        from src.knowledge_base.dataset import DatasetManager
+        dataset = DatasetManager()
+        success, message = dataset.upload_vector_store(
+            index_path=os.path.join(temp_dir, "index.faiss"),
+            config_path=os.path.join(temp_dir, "index.pkl")
+        )
+        
+        if not success:
+            return False, f"Ошибка загрузки в датасет: {message}"
     
     return True, f"База знаний создана успешно! Загружено {len(documents)} документов, создано {len(chunks)} чанков."
 
@@ -56,4 +66,4 @@ def load_vector_store():
         return vector_store
     except Exception as e:
         print(f"Ошибка загрузки векторного хранилища: {str(e)}")
-        return None
+        return None