Немного измененена инициализация в fast_mode

Добавлена поддержка мультипроцессорности

Добавлена гибкая настройка инференса для пользователя. Добавлена поддержка быстрого режима генерации и тонкая настрояка гиперпараметров подбора констант

Адаптировано под новые pipeline.py и fit_constants.py

Теперь функция предсказывает k лучших выражений. Немного изменени интерфейс

Теперь принимает на выход уже готовые x_data, y_data к которым она пытается приблизиться

Теперь логирование в таблицу происходит раз в 10 эпох

Теперь мы подавляем предупреждения при подборе констант

Поправил импорты =

Переименовал папку

oops

Исправлена ошибка при которой неправильно считался лосс. Также функция для создания val таблички вынесена в отдельный logging_utils

удалена model.py

Теперь индексы специальных токенов вычисляются динамически

Теперь обрабатывается случай когда на вход приходит тензор у которого первая размерность - батч

add logging_utils

add model

Изменил структуру проекта

Изменил структуру проекта

Теперь при обучении мы отдаем предпочтение более коротким примерам

Теперь мы сохраняем не только лучшую модель, но и последнюю

Реализован свой RMSNorm. Теперь модель можно обучать на Pytorch 2.20

Исправил баг со списком файлов, исправил хардкор констант внутри класса, добавил поддержку большего числа девайсов

Теперь датасет можно считывать с архива

Данные кешируются в оперативную память, а не в видео память

Добавил ноутбук для обучения модели

Вспомогательные функции для создания даталоадеров для корректной валидации

Теперь датасет безопасно подгружает веса

Реализован beam search

Добавлена поддержка latex в заголовках

убран неправильный тайпинг

Добавлена человекоподобная аугментация данных. Добавлены методы для визуализации примеров

Добавлена модель

Добавлен пайплайн очистки и подготовки датасета

Теперь токенизатор умеет принимать pytorch тензор

Начал писать датасе

Теперь все формы смещенные

Убрана возможность генерировать cos

Добавлена функция для канонизации выражения. Сделано это для того, чтобы таргеты для одинаковых функций были одинаковыми

форматирование кода

Fix project

добавил докер + мелкие улучшения качества фильтра графиков. Полностью готовый пайплайн

Переписан процесс свёртки констант. Теперь он происходит снизу вверх, а также позволяет генерировать разные сигналы в одном выржении

test

Реализован генератор, добавлена скелетонизация и свертка констант. Полностью переписан токенизатор

Полностью переписан генератор случайных выражений. Теперь выражения выбираются равномерно на основе алгоритма Лампле и Хартона

Добавил ноутбук для анализа данных

Добавил таймаут, исправил баг с зависанием скрипта из-за слишком сложных формул, добавил анализ полученного датасета в ноутбук, добавил поддержку продолжения генерации при наличии какого-то числа файлов

Улучшил работу генератора выражений, написал токенизатор выражений, написал мультипроцессинг генерацию даты, написал класс для датасета. Полностью завершен пайплайн генерации даты. Добавил ноутбук для теста даты