Update README.md
#5
by
timbossm
- opened
README.md
CHANGED
|
@@ -32,22 +32,91 @@ widget:
|
|
| 32 |
|
| 33 |
[colab_notebook](https://colab.research.google.com/drive/1insSxvc3jjAXe0zmdIjmbG3ttb5mpRgQ?usp=sharing)
|
| 34 |
|
| 35 |
-
##
|
| 36 |
-
|
| 37 |
-
This is a distilled model built on the deepseek base model.
|
| 38 |
-
Please refer to https://huggingface.co/PipableAI/pip-library-etl-1.3b for our state of the art model.
|
| 39 |
-
## How we built it?
|
| 40 |
|
| 41 |
-
|
| 42 |
-
|
| 43 |
|
| 44 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 45 |
|
| 46 |
-
##
|
| 47 |
-
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 51 |
|
| 52 |
|
| 53 |
[Test Suite SQL Eval](https://github.com/taoyds/test-suite-sql-eval)
|
|
@@ -60,18 +129,18 @@ Here is the link to run the evaluation:
|
|
| 60 |
|sqlcoder-7b|60.6|48.2|28.3|20.4|
|
| 61 |
|gpt-3.5|58.8|44.7|31.0|28.4|
|
| 62 |
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
|
| 66 |
|
| 67 |
|
| 68 |
[Defog SQL-Eval](https://github.com/defog-ai/sql-eval)
|
| 69 |
-
|
| 70 |
|
| 71 |

|
| 72 |
|
| 73 |
## License
|
| 74 |
-
|
| 75 |
|
| 76 |
## Usage
|
| 77 |
|
|
@@ -188,6 +257,3 @@ Which customers did not make any orders? List the first name, middle initial and
|
|
| 188 |
```sql
|
| 189 |
SELECT T1.customer_first_name , T1.customer_middle_initial , T1.customer_last_name FROM Customers AS T1 WHERE T1.customer_id NOT IN (SELECT T2.customer_id FROM Orders AS T2)
|
| 190 |
```
|
| 191 |
-
|
| 192 |
-
### Team
|
| 193 |
-
Avi Kothari, Pratham Gupta, Ritvik Aryan Kalra, Rohan Bhatial, Soham Acharya
|
|
|
|
| 32 |
|
| 33 |
[colab_notebook](https://colab.research.google.com/drive/1insSxvc3jjAXe0zmdIjmbG3ttb5mpRgQ?usp=sharing)
|
| 34 |
|
| 35 |
+
## Основная информация
|
| 36 |
+
Основа для файнтюна (FT).
|
|
|
|
|
|
|
|
|
|
| 37 |
|
| 38 |
+
<antArtifact identifier="sql-model-analysis" type="text/markdown" title="Анализ SQL-модели для файнтюнинга в бизнес-информатике">
|
| 39 |
+
# Анализ базовой модели PipableAI/pip-library-etl-1.3b
|
| 40 |
|
| 41 |
+
## Основные характеристики модели
|
| 42 |
+
- Размер: 1.3 миллиарда параметров
|
| 43 |
+
- Базовая архитектура: DeepSeek
|
| 44 |
+
- Специализация: ETL (Extract, Transform, Load) и SQL-операции
|
| 45 |
+
- Доступность: открытый доступ через Hugging Face
|
| 46 |
+
- Превосходит ChatGPT в SQL-ориентированных бенчмарках
|
| 47 |
|
| 48 |
+
## Преимущества для бизнес-информатики МГПУ
|
| 49 |
+
|
| 50 |
+
### 1. Техническая оптимальность
|
| 51 |
+
- Оптимальный размер для файнтюнинга (1.3B параметров)
|
| 52 |
+
- Возможность запуска на доступном оборудовании
|
| 53 |
+
- Эффективное использование вычислительных ресурсов
|
| 54 |
+
|
| 55 |
+
### 2. Образовательные преимущества
|
| 56 |
+
- Специализация на SQL подходит для курсов по базам данных
|
| 57 |
+
- Поддержка ETL-процессов актуальна для бизнес-аналитики
|
| 58 |
+
- Возможность интеграции в учебные проекты
|
| 59 |
+
|
| 60 |
+
### 3. Направления файнтюнинга для МГПУ
|
| 61 |
+
- Адаптация под специфику учебных задач
|
| 62 |
+
- Настройка на корпоративные кейсы
|
| 63 |
+
- Интеграция российских бизнес-практик
|
| 64 |
+
|
| 65 |
+
## Рекомендации по файнтюнингу
|
| 66 |
+
|
| 67 |
+
### 1. Приоритетные области настройки
|
| 68 |
+
- Работа с российскими СУБД
|
| 69 |
+
- Интеграция отраслевой специфики
|
| 70 |
+
- Адаптация под образовательные задачи
|
| 71 |
+
|
| 72 |
+
### 2. Технические аспекты
|
| 73 |
+
- Использование LoRA для эффективной настройки
|
| 74 |
+
- Подготовка специализированных датасетов
|
| 75 |
+
- Валидация на реальных бизнес-кейсах
|
| 76 |
+
|
| 77 |
+
### 3. Образовательные компоненты
|
| 78 |
+
- Создание учебных примеров
|
| 79 |
+
- Разработка практических заданий
|
| 80 |
+
- Интеграция в существующие курсы
|
| 81 |
+
|
| 82 |
+
## Потенциальные применения
|
| 83 |
+
|
| 84 |
+
1. Учебный процесс:
|
| 85 |
+
- Автоматическая проверка SQL-запросов студентов
|
| 86 |
+
- Генерация учебных примеров
|
| 87 |
+
- Поддержка практических занятий
|
| 88 |
+
|
| 89 |
+
2. Исследовательская работа:
|
| 90 |
+
- Анализ больших наборов данных
|
| 91 |
+
- Поддержка научных исследований
|
| 92 |
+
- Обработка результатов экспериментов
|
| 93 |
+
|
| 94 |
+
3. Практические проекты:
|
| 95 |
+
- Работа с реальными бизнес-задачами
|
| 96 |
+
- Создание прототипов решений
|
| 97 |
+
- Анализ бизнес-процессов
|
| 98 |
+
</antArtifact>
|
| 99 |
+
|
| 100 |
+
Эта модель представляет особую ценность для направления бизнес-информатики благодаря своей специализации на SQL и ETL-процессах.
|
| 101 |
+
|
| 102 |
+
## Процесс обучения модели
|
| 103 |
+
|
| 104 |
+
Реализован через комбинированную функцию потерь, включающую:
|
| 105 |
+
|
| 106 |
+
1. Softmax cross entropy (перекрёстная энтропия с софтмакс нормализацией) для оптимизации веро��тностного распределения предсказаний
|
| 107 |
+
|
| 108 |
+
2. Модифицированный вариант policy gradient для оптимизации стратегии принятия решений
|
| 109 |
+
|
| 110 |
+
3. Q-loss для оценки качества действий
|
| 111 |
+
|
| 112 |
+
Оптимизация производилась в рамках EM-фреймворка (Expectation-Maximization), что обеспечивает итеративное улучшение параметров модели через чередование шагов оценки ожидания и максимизации вероятности.
|
| 113 |
+
|
| 114 |
+
Такая архитектура потерь позволяет эффективно оптимизировать как точность генерации SQL-запросов, так и стратегическое качество принимаемых моделью решений.
|
| 115 |
+
|
| 116 |
+
## Бенчмаркинг :
|
| 117 |
+
Оценка производительности модели выполнена на основе Semantic Evaluation for Text-to-SQL with Distilled Test Suites - официального фреймворка оценки, разработанного исследовательской группой Yale и Berkeley для бенчмарков Spider, SParC и CoSQL.
|
| 118 |
+
|
| 119 |
+
Тестовый набор данных включает 2200 примеров, что обеспечивает статистически значимую оценку качества генерации SQL-запросов и семантической точности модели.
|
| 120 |
|
| 121 |
|
| 122 |
[Test Suite SQL Eval](https://github.com/taoyds/test-suite-sql-eval)
|
|
|
|
| 129 |
|sqlcoder-7b|60.6|48.2|28.3|20.4|
|
| 130 |
|gpt-3.5|58.8|44.7|31.0|28.4|
|
| 131 |
|
| 132 |
+
Мы также протестировали его на defog eval.
|
| 133 |
+
Он содержит 200 точек тестовых данных, отобранных вручную командой defog.
|
| 134 |
+
Вот ссылка на него:
|
| 135 |
|
| 136 |
|
| 137 |
[Defog SQL-Eval](https://github.com/defog-ai/sql-eval)
|
| 138 |
+
Вот результаты -
|
| 139 |
|
| 140 |

|
| 141 |
|
| 142 |
## License
|
| 143 |
+
Модель имеет открытый исходный код под лицензией Apache 2.0.
|
| 144 |
|
| 145 |
## Usage
|
| 146 |
|
|
|
|
| 257 |
```sql
|
| 258 |
SELECT T1.customer_first_name , T1.customer_middle_initial , T1.customer_last_name FROM Customers AS T1 WHERE T1.customer_id NOT IN (SELECT T2.customer_id FROM Orders AS T2)
|
| 259 |
```
|
|
|
|
|
|
|
|
|