basic-go/texbert-moderator

Модель предназначена для классификации входного текста, содержащего математические сущности. Модель разделяет следующие классы:

• tex — корректная разметка на языке LaTeX (эталон качества);
• corrupted — повреждённая разметка LaTeX, словесные формулировки математических выражений, математические символы Unicode, язык разметки AsciiMath.

Использование

Пример ниже определяет метку входного текста и оценивает её вероятность:

from transformers import pipeline


pipe = pipeline("text-classification", model="basic-go/texbert-moderator")
print(pipe(r"\frac{1{3 - x^{2 + \phi(x(t)"))

# [{'label': 'corrupted', 'score': 0.9999908208847046}]

Вместе с тем рекомендуется использовать модель в составе библиотеки Emma для актуальной пред- и постобработки данных.