Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -96,32 +96,30 @@ class VectorRAGSystem:
|
|
| 96 |
print("🔄 Попытка загрузки векторных данных...")
|
| 97 |
|
| 98 |
# Файлы векторных данных
|
| 99 |
-
|
| 100 |
-
metadata_file = "
|
| 101 |
-
faiss_file = "vector_enhanced_sber_faiss.index"
|
| 102 |
|
| 103 |
-
if not all(os.path.exists(f) for f in [
|
| 104 |
print("📁 Файлы векторных данных не найдены")
|
| 105 |
return False
|
| 106 |
|
| 107 |
-
# Загружаем чанки
|
| 108 |
-
with open(
|
| 109 |
-
|
| 110 |
|
|
|
|
|
|
|
| 111 |
self.chunks = []
|
| 112 |
for chunk_data in chunks_data:
|
| 113 |
self.chunks.append({
|
| 114 |
"text": chunk_data["text"],
|
| 115 |
"page": chunk_data["page"],
|
| 116 |
-
"chunk_index": chunk_data
|
| 117 |
-
"
|
| 118 |
-
"metadata": chunk_data.get("metadata", {}),
|
| 119 |
-
"full_page_text": chunk_data.get("full_page_text", chunk_data["text"])
|
| 120 |
})
|
| 121 |
|
| 122 |
-
#
|
| 123 |
-
|
| 124 |
-
self.metadata = json.load(f)
|
| 125 |
|
| 126 |
# Загружаем FAISS индекс
|
| 127 |
if HAS_FAISS:
|
|
|
|
| 96 |
print("🔄 Попытка загрузки векторных данных...")
|
| 97 |
|
| 98 |
# Файлы векторных данных
|
| 99 |
+
faiss_file = "chunks_flatip.faiss"
|
| 100 |
+
metadata_file = "enhanced_sber_metadata.json"
|
|
|
|
| 101 |
|
| 102 |
+
if not all(os.path.exists(f) for f in [faiss_file, metadata_file]):
|
| 103 |
print("📁 Файлы векторных данных не найдены")
|
| 104 |
return False
|
| 105 |
|
| 106 |
+
# Загружаем метаданные с чанками
|
| 107 |
+
with open(metadata_file, 'r', encoding='utf-8') as f:
|
| 108 |
+
full_data = json.load(f)
|
| 109 |
|
| 110 |
+
# Извлекаем чанки
|
| 111 |
+
chunks_data = full_data.get("chunks", [])
|
| 112 |
self.chunks = []
|
| 113 |
for chunk_data in chunks_data:
|
| 114 |
self.chunks.append({
|
| 115 |
"text": chunk_data["text"],
|
| 116 |
"page": chunk_data["page"],
|
| 117 |
+
"chunk_index": chunk_data.get("chunk_index", len(self.chunks)),
|
| 118 |
+
"metadata": chunk_data.get("metadata", {})
|
|
|
|
|
|
|
| 119 |
})
|
| 120 |
|
| 121 |
+
# Сохраняем остальные метаданные
|
| 122 |
+
self.metadata = full_data
|
|
|
|
| 123 |
|
| 124 |
# Загружаем FAISS индекс
|
| 125 |
if HAS_FAISS:
|