refactor

_2_splitting.py

@@ -1,3 +1,7 @@
+import pandas as pd
+import re
+
+
 # Конфиги для парсинга дат
 YEARS = {
 'O': 1918,
@@ -121,3 +125,71 @@ def years_overlap(range1: tuple[int, int], range2: tuple[int, int]) -> bool:
     start1, end1 = range1
     start2, end2 = range2
     return start1 <= end2 and end1 >= start2
+
+
+def process_documents(documents) -> tuple[pd.DataFrame, pd.DataFrame]:
+    """
+    Обрабатывает документы с парсингом дат и создает два датафрейма.
+    
+    Returns:
+        tuple: (paragraphs_df, chunks_df)
+        
+        paragraphs_df:
+            - paragraph_id: уникальный идентификатор абзаца
+            - summary: название документа/раздела
+            - start_year: год начала периода
+            - end_year: год окончания периода
+            - text: текст абзаца
+            - document_id: ссылка на исходный документ
+        
+        chunks_df:
+            - chunk_id: уникальный идентификатор чанка
+            - paragraph_id: ссылка на абзац (foreign key)
+            - text: текст чанка
+            - lemmatized_text: лемматизированный текст (добавляется позже)
+    """
+    paragraphs_data = []
+    chunks_data = []
+    
+    paragraph_id_counter = 0
+    chunk_id_counter = 0
+    
+    for doc_id, document in enumerate(documents):
+        dated_chunks = parse_metadata_from_document(document)
+        
+        for chunk_text, year_range, summary in dated_chunks:
+            paragraphs = chunk_text.split('\n')
+            
+            for paragraph in paragraphs:
+                paragraph = paragraph.strip()
+                
+                # Добавляем информацию о параграфе в датафрейм параграфов
+                paragraphs_data.append({
+                    'paragraph_id': paragraph_id_counter,
+                    'summary': summary,
+                    'start_year': year_range[0],
+                    'end_year': year_range[1],
+                    'text': paragraph,
+                    'document_id': doc_id
+                })
+                
+                # Разбиваем параграф на предложения и создаем чанки
+                sentences = re.split(r'(?<=[.!?])\s+', paragraph)                    
+                for sent in sentences:
+                    chunks_data.append({
+                        'chunk_id': chunk_id_counter,
+                        'paragraph_id': paragraph_id_counter,
+                        'text': sent.strip()
+                    })
+                    chunk_id_counter += 1
+                
+                paragraph_id_counter += 1
+    
+    # Создаем датафреймы
+    paragraphs_df = pd.DataFrame(paragraphs_data)
+    chunks_df = pd.DataFrame(chunks_data)
+    
+    print(f"Создано {len(chunks_df)} чанков")
+    print(f"Из {len(paragraphs_df)} абзацев в {len(set(paragraphs_df['document_id']))} документах")
+    
+    return paragraphs_df, chunks_df

retrieval.py

@@ -1,18 +1,16 @@
-import re
 import hashlib
 import pickle
 from pathlib import Path
 
 import numpy as np
 import torch
-import pandas as pd
 from rank_bm25 import BM25Okapi
 from sentence_transformers import SentenceTransformer
 import warnings
 warnings.filterwarnings('ignore')
 
 from _1_get_documents import load_and_process_data
-from _2_splitting import parse_metadata_from_document
+from _2_splitting import process_documents
 from lemmatizer import RussianLemmatizer
 
 
@@ -77,101 +75,22 @@ class Retrieval:
         print(f"   Загружено {len(self.documents)} сообщений")
         
         # Парсим даты из документов и создаем датафреймы
-        self.paragraphs_df, self.chunks_df = self._process_documents_with_dates()
+        self.paragraphs_df, self.chunks_df = process_documents(self.documents)
         
         # Добавляем лемматизированный текст в датафрейм чанков с кэшем
         print("2. Лемматизация текстов (с кэшированием)...")
-        self.chunks_df['lemmatized_text'] = self._lemmatize_with_cache(self.chunks_df['text'].tolist())
+        self.chunks_df['lemmatized_text'] = self._lemmatize_with_cache(self.chunks_df['text'])
         
         # Инициализируем CrossEncoder
         # self.cross_encoder = CrossEncoder('DiTy/cross-encoder-russian-msmarco')
         self.embedder = SentenceTransformer('cointegrated/rubert-tiny2')
-        self.embeddings_of_summary = self.embedder.encode(self.paragraphs_df['summary'].tolist(), convert_to_tensor=True)
+        self.embeddings_of_summary = self.embedder.encode(self.paragraphs_df['summary'], convert_to_tensor=True)
 
         print("✅ RAG система готова к использованию")
 
-    def _process_documents_with_dates(self):
-        """
-        Обрабатывает документы с парсингом дат и создает два датафрейма.
-        
-        Returns:
-            tuple: (paragraphs_df, chunks_df)
-            
-            paragraphs_df:
-                - paragraph_id: уникальный идентификатор абзаца
-                - summary: название документа/раздела
-                - start_year: год начала периода
-                - end_year: год окончания периода
-                - text: текст абзаца
-                - document_id: ссылка на исходный документ
-            
-            chunks_df:
-                - chunk_id: уникальный идентификатор чанка
-                - paragraph_id: ссылка на абзац (foreign key)
-                - text: текст чанка
-                - lemmatized_text: лемматизированный текст (добавляется позже)
-        """
-        paragraphs_data = []
-        chunks_data = []
-        
-        paragraph_id_counter = 0
-        chunk_id_counter = 0
-        
-        for doc_id, document in enumerate(self.documents):
-            dated_chunks = parse_metadata_from_document(document)
-            
-            for chunk_text, year_range, summary in dated_chunks:
-                paragraphs = chunk_text.split('\n')
-                
-                for paragraph in paragraphs:
-                    paragraph = paragraph.strip()
-                    
-                    # Добавляем информацию о параграфе в датафрейм параграфов
-                    paragraphs_data.append({
-                        'paragraph_id': paragraph_id_counter,
-                        'summary': summary,
-                        'start_year': year_range[0],
-                        'end_year': year_range[1],
-                        'text': paragraph,
-                        'document_id': doc_id
-                    })
-                    
-                    # Разбиваем параграф на предложения и создаем чанки
-                    sentences = re.split(r'(?<=[.!?])\s+', paragraph)                    
-                    for sent in sentences:
-                        chunks_data.append({
-                            'chunk_id': chunk_id_counter,
-                            'paragraph_id': paragraph_id_counter,
-                            'text': sent.strip()
-                        })
-                        chunk_id_counter += 1
-                    
-                    paragraph_id_counter += 1
-        
-        # Создаем датафреймы
-        paragraphs_df = pd.DataFrame(paragraphs_data)
-        chunks_df = pd.DataFrame(chunks_data)
-        
-        print(f"Создано {len(chunks_df)} чанков")
-        print(f"Из {len(paragraphs_df)} абзацев в {len(set(paragraphs_df['document_id']))} документах")
-        
-        return paragraphs_df, chunks_df
 
     # ============ Методы кэширования лемматизации ============
-    
-    @staticmethod
-    def _compute_text_hash(text: str) -> str:
-        """
-        Вычисляет SHA256 хэш текста.
-        
-        Args:
-            text: Текст для хэширования
-            
-        Returns:
-            str: Хэш в hex формате
-        """
-        return hashlib.sha256(text.encode('utf-8')).hexdigest()
-    
+
     def _load_cache(self) -> dict:
         """
         Загружает кэш лемматизации из файловой системы.
@@ -192,22 +111,6 @@ class Retrieval:
                 return {}
         return {}
     
-    def _save_cache(self, cache: dict) -> None:
-        """
-        Сохраняет кэш лемматизации в файловую систему.
-        
-        Args:
-            cache: {text_hash -> lemmatized_tokens}
-        """
-        cache_file = self.cache_dir / 'lemmatization_cache.pkl'
-        
-        try:
-            with open(cache_file, 'wb') as f:
-                pickle.dump(cache, f)
-            print(f"   ✓ Кэш сохранён ({len(cache)} записей)")
-        except Exception as e:
-            print(f"   ⚠ Ошибка при сохранении кэша: {e}")
-    
     def _lemmatize_with_cache(self, texts: list[str]) -> list:
         """
         Лемматизирует тексты с использованием кэша.
@@ -231,7 +134,7 @@ class Retrieval:
         needs_save = False
         
         for text in texts:
-            text_hash = self._compute_text_hash(text)
+            text_hash = hashlib.sha256(text.encode('utf-8')).hexdigest()
             text_hashes[text] = text_hash
             
             if text_hash in cache:
@@ -246,101 +149,12 @@ class Retrieval:
         
         # Сохраняем кэш если были новые записи
         if needs_save:
-            self._save_cache(cache)
+            with open(cache, 'wb') as f:
+                pickle.dump(cache, f)
+            print(f"   ✓ Кэш сохранён ({len(cache)} записей)")
         
         return results
     
-    def clear_cache(self) -> None:
-        """
-        Очищает кэш лемматизации.
-        """
-        cache_file = self.cache_dir / 'lemmatization_cache.pkl'
-        
-        try:
-            if cache_file.exists():
-                cache_file.unlink()
-                print("✓ Кэш очищен")
-            else:
-                print("⚠ Файл кэша не найден")
-        except Exception as e:
-            print(f"⚠ Ошибка при очистке кэша: {e}")
-    
-    def get_cache_stats(self) -> dict:
-        """
-        Возвращает статистику кэша.
-        
-        Returns:
-            dict: Информация о кэше
-        """
-        cache_file = self.cache_dir / 'lemmatization_cache.pkl'
-        
-        if cache_file.exists():
-            cache = self._load_cache() if self.use_cache else {}
-            file_size_mb = cache_file.stat().st_size / (1024 * 1024)
-            
-            return {
-                'cache_enabled': self.use_cache,
-                'cache_file': str(cache_file),
-                'cached_entries': len(cache),
-                'file_size_mb': round(file_size_mb, 2),
-                'exists': True
-            }
-        else:
-            return {
-                'cache_enabled': self.use_cache,
-                'cache_file': str(cache_file),
-                'cached_entries': 0,
-                'file_size_mb': 0,
-                'exists': False
-            }
-
-    # ============ Вспомогательные методы для работы с датафреймами ============
-    
-    def get_merged_data(self):
-        """Возвращает объединённый датафрейм чанков с метаданными параграфов.
-        
-        Returns:
-            pd.DataFrame: Датафрейм с полями:
-                chunk_id, paragraph_id, text, lemmatized_text,
-                summary, start_year, end_year, document_id
-        """
-        return self.chunks_df.merge(
-            self.paragraphs_df,
-            on='paragraph_id',
-            how='left'
-        )
-    
-    def filter_by_year_range(self, year_range: tuple[int, int]) -> pd.DataFrame:
-        """Возвращает чанки, которые пересекаются с заданным диапазоном лет.
-        
-        Args:
-            year_range: (start_year, end_year)
-            
-        Returns:
-            pd.DataFrame: Отфильтрованные чанки с метаданными
-        """
-        merged = self.get_merged_data()
-        
-        # Проверяем пересечение диапазонов
-        return merged[
-            (merged['start_year'] <= year_range[1]) &
-            (merged['end_year'] >= year_range[0])
-        ]
-    
-    # def rerank_search(self, query: str) -> list[dict]:
-    #     """Ранжирует все чанки используя CrossEncoder модель.
-        
-    #     Args:
-    #         query: Текст запроса
-            
-    #     Returns:
-    #         list: Отсортированный список результатов с scores
-    #     """
-    #     pairs = [[query, text] for text in self.paragraphs_df['summary'].tolist()]
-    #     scores = self.cross_encoder.predict(pairs)
-    #     sorted_scores = dict(sorted(scores.items(), key=lambda item: item[0]))
-
-    
     def semantic_search(self, query: str) -> torch.Tensor:    
         # 1. Семантический поиск
         query_embedding = torch.tensor(self.embedder.encode_query(query))

texts/реформа Мозера.md

@@ -9,7 +9,7 @@
 
 С автоколонной 1310 ситуация была ещё более комичной. То есть с конца девяностых и до 2002 года они постоянно получали большими партиями автобусы из Германии практически на халяву. То есть у них был транспорт, он был достаточно вместительным, под него была хорошая ремонтная база. Они даже на маршруточный бум отреагировали, запустив несколько коммерческих рейсов, которые от обычных льготных отличались тем, что в них просто не было льгот. Но через несколько лет им эту деятельность запретили. И при всём при этом именно автоколонна 1310 громче, чем УРТ, кричала о том, что вот-вот окажется на грани банкротства. А работники автоколонны чуть не устроили забастовку из-за того, что им не выплачивают зарплату и вообще из-за состояния предприятия. Короче, проблем была масса, их нужно было решать.
 
-Вот таким образом начала думать команда специалистов во главе с советником губернатора Сергеем Мозером. Собственно, в честь него в узких кругах данную реформу называют реформой Мозера, потому что он её был проводником, он про неё постоянно рассказывал. Задумка состояла в следующем. Создавалось ОАО «Рязанский транспортный комплекс», которое по большей части управлялось областью, при этом являясь открытым акционерным обществом, напомню. Постепенно оно должно было взять на себя весь общественный транспорт Рязани. По другим данным — весь общественный транспорт области. Вначале вобрав в себя муниципальные предприятия, а затем В течение года весь коммерческий транспорт в Рязани. Очень амбициозно, да?
+Вот таким образом начала думать команда специалистов во главе с советником губернатора Сергеем Мозером. Собственно, в честь него в узких кругах данную реформу называют реформой Мозера, потому что он её был проводником, он про неё постоянно рассказывал. Задумка состояла в следующем. Создавалось ОАО «Рязанский транспортный комплекс», которое по большей части управлялось областью, при этом являясь открытым акционерным обществом, напомню. Постепенно оно должно было взять на себя весь общественный транспорт Рязани. По другим данным — весь общественный транспорт области. Вначале вобрав в себя муниципальные предприятия, а затем в течение года весь коммерческий транспорт в Рязани. Очень амбициозно, да?
 
 Под это дело в 2005 году предполагалось закупить 510 единиц общественного транспорта. По другим данным — 400. Из них 200 автобусов и 200 троллейбусов. То есть это примерно то количество, которым располагали городские транспортные предприятия для обслуживания маршрутов общественного транспорта в начале девяностых. Естественно, у вас возник вопрос: предполагалось вин-вин стратегия? Потому что ЛиАЗ на тот момент простаивал без работы, а тут приходит большой заказ, ЛиАЗ начинает работать. Город получает новый транспорт. Ну а эти все автобусы и троллейбусы планировалось взять в лизинг.
 

texts/реформа2012.md

@@ -67,7 +67,7 @@
 
 Ну и также, помимо отмен изменений, в реформе 2011 года планировались и новые маршруты. Один маршрут предполагалось отдать автоколонне 1310, а три остальных планировались отдать коммерческим переводчикам. Теперь же мы их также рассмотрим. Начну с автобусного номер 25. Должен был пройти от октябрьского городка по улице Чкалова, Московскому шоссе через Приокский и Канищево в Недостоево. Довольно странный маршрут, но в целом и сам по себе интересный. Единственное, что мне непонятно, как он должен был пройти из Приокского в Канищево: по улице Молодцова, по улице Станкозаводской или же вообще через троллейбусное депо номер 2. Так что тут тоже непонятно. Что ж до маршрутов, кто тут все три варианта довольно интересны. Начну с маршрута от поселка Божатково до площади Победы. Во-первых, где развернутся на площади Победы, а во-вторых, это же, по сути, сокращенный 13 автобус. Да, я понимаю, что Михайловского шоссе до площади Победы максимальный пассажиропоток, а потому там в идеале нужна какая-то дублирующая, скажем так, вспомогательная даже маршрутка. Но, зная рязанские реалии, мне что-то подсказывает, что эта маршрутка ехала бы, не помогая автобусу, а перед ним, собирая всех пассажиров. Следующий маршрут вообще имеет какую-то странную схему, потому что тут он едет сначала по северной окружной, потом возвращается на улицу Каширина и Солнечную, потом опять едет на северную окружную дорогу в поселок Борки. Какой у него точный маршрут? Непонятно. Возможно, это не так хотели показать, что в одну сторону поедет по Солнечной, а в другую по Каширина, но лично мне это показалось непонятно. И третий маршрут с поселка Ворошиловки до завода ТКПО. Этот маршрут все-таки через некоторое время попытались ввести под номером 46, но проходил ли он в таком виде, непонятно. Скорее всего, он так ни разу и не вышел на линию. Так что в плане новых маршрутов было сделано целое ничего, поскольку реформу официально все-таки отменили. 
 
-Я думаю, вы заметили, что практически ничего я до этого не говорил про троллейбус. И в том, что показали людям в конце 2011 года, действительно так же не было упоминаний про троллейбус. Но фактически в реформе его упоминания было. А именно как раз-таки была открыта новая троллейбусная линия по проезду Шабулина, улицам Бирюзовой и Интернациональной, по которой пустили два новых маршрута: четвертый из Московского ваконящего и восемнадцатый из конечьего в центре. Если четвертый маршрут был пущен вполне себе логично, да, вы сейчас скажете, что у него такой пиковый пассажиропоток, и в итоге вне часа пик он часто ездит пустым, но все-таки этот маршрут более-менее востребован. Что же с восемнадцатым троллейбусом, то тут не все так однозначно. Я как человек из будущего считаю, что восемнадцатый троллейбус нужно было пускать не в центр, а в Горрощу до центрального парка или до улиц�� Строителей. В тех условиях, когда предполагалось обменить 36 автобус и 50 маршрутку, имевшие подобные трассировку, такой троллейбус был бы более разумен. И можно было эту отмену вполне себе протокнуть под предлогом, что маршрутка заменяется на вместительный троллейбус. Но не свершилось. В позднее это выйдет боком еще для восьмого маршрута, который потом начнут резко менять, а ведь начнется все с отмены того самого восемнадцатого маршрута. 
+Я думаю, вы заметили, что практически ничего я до этого не говорил про троллейбус. И в том, что показали людям в конце 2011 года, действительно так же не было упоминаний про троллейбус. Но фактически в реформе его упоминания было. А именно как раз-таки была открыта новая троллейбусная линия по проезду Шабулина, улицам Бирюзовой и Интернациональной, по которой пустили два новых маршрута: четвертый из Московского в Канищево и восемнадцатый из Канищево в центр. Если четвертый маршрут был пущен вполне себе логично (вы сейчас скажете, что у него такой пиковый пассажиропоток, и в итоге вне часа пик он часто ездит пустым, но все-таки этот маршрут более-менее востребован). Что же с восемнадцатым троллейбусом, то тут не все так однозначно. Я как человек из будущего считаю, что восемнадцатый троллейбус нужно было пускать не в центр, а в Горрощу до центрального парка или до улицы Строителей. В тех условиях, когда предполагалось обменить 36 автобус и 50 маршрутку, имевшие подобные трассировку, такой троллейбус был бы более разумен. И можно было эту отмену вполне себе протокнуть под предлогом, что маршрутка заменяется на вместительный троллейбус. Но не свершилось. В позднее это выйдет боком еще для восьмого маршрута, который потом начнут резко менять, а ведь начнется все с отмены того самого восемнадцатого маршрута. 
 
 ### 2011-N
 А сейчас мне хотелось ответить на вопрос. Вот как думаете, нужно ли было проводить транспортную реформу 2011 года? И мой ответ – да! То есть, по сути, давайте признаем это. По большей части она была проведена, хотя ее отменили. И проведена она была по инициативе перевозчиков. То есть те маршруты, которые планировали закрыть, в основном были закрыты. Но те маршруты, которая предполагалась открыть из-за того, что реформа была отменена, их не открыли. И, скорее всего, тут два варианта. Либо разработчикам реформа просто повезло и они сумели предсказать будущее, либо же они действительно проводили какие-то расчеты, измеряли действительно пассажиропоток, измеряли его адекватно. И таким образом им удалось узнать какие-то тренды, которые тогда были в Рязанском транспорте. То есть, значит, были предпосылки к тому, что большинство маршрутов на ПАЗиках закроется. Хотя в 2011 году большинство рязанцев не могли этого предположить. ПАЗики ходили довольно хорошо и часто, и их состояние было вполне себе неплохим. Но уже буквально через считанные годы все это посыпалось. И да, получается так, что большинство людей, которые не имеют доступа к реальным цифрам, не имеют какого-то такого специализированного образования, не могут предсказать то, что произойдет через несколько лет. Да, в принципе, рязанский транспорт, о это штука непредсказуемая. Тут нельзя загадывать, что будет через два года, через три, через пять. Скажи человеку из 2011 года, что 10 лет спустя 17 автобус будет овслуживаться мелочью в виде пазиков и мазов, и они смогут выбить с этого направления 98 маршрутку почти подчистую. Я думаю, что человек из 2011 в это не поверит, но это произошло.