---
title: README
emoji: ⚡
colorFrom: purple
colorTo: red
sdk: static
pinned: false
---

### **1. Экстракция и Распознавание Структуры Таблиц**

---

#### **1.1. Проблема: Обработка фрагментированных таблиц**

- **Формальное описание:** Реконструкция единой логической таблицы из физических фрагментов, распределенных по нескольким страницам в PDF-документах или требующих прокрутки в HTML.
    
- **Ключевые вызовы:**
    
    - **Идентификация заголовков и футеров:** Необходимо отличать строки заголовка, которые могут повторяться на каждой странице, от уникальных строк данных.
        
    - **Сопоставление колонок:** Алгоритм должен корректно сопоставлять колонки между разными страницами, даже если их ширина или выравнивание незначительно меняются.
        
    - **Обеспечение целостности данных:** Важно гарантировать, что строки, перенесенные на следующую страницу, будут правильно объединены, а последовательность данных не нарушится.
        
    - **Обнаружение границ:** Автоматическое определение того, где заканчивается одна большая таблица и начинается другая, или где она просто прерывается разрывом страницы.
#### **1.2. Проблема: Парсинг сложных и плотных табличных структур**

- **Формальное описание:** Корректное распознавание и представление иерархической и реляционной структуры в таблицах со сложной компоновкой, такой как объединенные ячейки, вложенные заголовки или высокая плотность данных.
    
- **Ключевые вызовы:**
    
    - **Объединенные ячейки (`colspan` и `rowspan`):** Необходимо точно определять, на какое количество строк или столбцов простирается объединенная ячейка, и правильно ассоциировать ее содержимое со всеми соответствующими данными.
        
    - **Многоуровневые заголовки:** Таблицы часто имеют иерархические заголовки (например, "Продажи" -> "Онлайн" / "Офлайн"). Требуется сохранить эту иерархию для правильной интерпретации данных.
        
    - **Отсутствие четких границ:** В некоторых документах (особенно сканированных) линии сетки могут отсутствовать или быть слабо выраженными, что усложняет сегментацию ячеек.
        
    - **Плотные таблицы:** Таблицы с большим количеством мелких ячеек требуют высокой точности от алгоритмов распознавания, чтобы избежать слияния или неверного разделения ячеек.
        

---

### **2. Выравнивание и Нормализация Схемы Таблиц**

- **Формальное описание:** Унификация и нормализация схемы таблиц, которые могут содержать внутренние подсекции, необязательные колонки или различные варианты представления одних и тех же данных.
    
- **Ключевые вызовы:**
    
    - **Семантическое разделение:** Идентификация и разделение таблицы на логические под-таблицы на основе семантических разделителей (например, пустая строка, заголовок подраздела внутри таблицы).
    - **Корректное представление** 

---

### **3. Индексация и Поиск Таблиц (Table Retrieval)**

Этот этап направлен на создание эффективной системы поиска, позволяющей находить релевантные таблицы по запросам на естественном языке.

- **Формальное описание:** Адаптация и оптимизация моделей класса RAG (Retrieval-Augmented Generation) для выполнения семантического поиска и ответов на вопросы на основе корпуса неструктурированных и структурированных табличных данных.
    
- **Ключевые вызовы:**
    
    - **Векторное представление (Embedding) таблиц**
        
        - **Row-based/Cell-based embedding:** Векторизация отдельных строк или ячеек.
            
        - **Structural embedding:** Кодирование структуры таблицы (названия колонок, их взаимосвязи).
            
        - **Hybrid embedding:** Комбинирование текстового содержания таблицы с ее структурной информацией.