utils.py

import pymorphy2

morph = pymorphy2.MorphAnalyzer()
STOP_PUNCT = list(',./!@#$%^&*()_+=-<>?\|{}[]`~/')
STOP = set(
    ["скидка", "скидкой", "скидки", "скидке", "скидкой", "скидке", "недорого", "дешево",
     "в", "на", "для", "о", "у", "и", "с", "из"] + STOP_PUNCT
     )

def counter(s: str) -> dict:
    """
     Словарь, который позволяет нам считать количество неизменяемых объектов

     Args:
        s: Входная строка, по которой строится словарь
     Returns:
         Количество неизменяемых объектов
    """
    d = {}
    for i in s:
        if i not in d:
            d[i] = 0
        d[i] += 1
    return d
    
def prepare4check(s1: str, s2: str, STOP: set = STOP, morph=morph) -> list:
    """
     Предобработка данных для проверки

     Args:
        s1: Первая сравнимая строка
        s2: Вторая сравнимая строка
        STOP: множество стоп слов, которые мы хотели бы исключать
        morph: Морфологический анализатор, для лемматизации слов
     Returns:
         Список предобработанных данных:
             set_s1: уникальные слова первой строки с учетом удаленных стоп слов
             set_s2: уникальные слова второй строки с учетом удаленных стоп слов
             diff_s1: Разница между множеством слов 1 строки и множеством слов 2 строки
             diff_s2: Разница между множеством слов 2 строки и множеством слов 1 строки
    """
    s1 = s1.lower()
    s2 = s2.lower()
    s1 = [morph.parse(i)[0].normal_form for i in s1.split(' ')]
    s2 = [morph.parse(i)[0].normal_form for i in s2.split(' ')]
    set_s1 = set(s1) - STOP
    set_s2 = set(s2) - STOP

    diff_s1 = ' '.join(list(set_s1 - set_s2))
    diff_s2 = ' '.join(list(set_s2 - set_s1))
    
    return [set_s1, set_s2, diff_s1, diff_s2]

def easy_check(s1: str, s2: str, STOP: set = STOP) -> bool:
    """
     Простой уровень проверки. Есть 3 типа проверки:
         1: если s1 имеет такие же слова, как и s2
         2: если s1 входит в множество слов s2 (предполагаем, что s2 хранит дополнительные признаки, например s1=обувь, а s2=обувь Адидас)
         3: если s2 входит в множество слов s1 (предполагаем, что s2 не хранит никакой дополнительной информацией, а является частью s1)
     Args:
        s1: Первая сравнимая строка
        s2: Вторая сравнимая строка
        STOP: множество стоп слов, которые мы хотели бы исключать
     Returns:
         результат всех условий первой проверки
    """
    set_s1, set_s2, diff_s1, diff_s2 = prepare4check(s1, s2, STOP)
    if set_s1 == set_s2:
        return False
    if len(diff_s1) == 0:
        return True
    if len(diff_s2) == 0:
        return False
    return True

def check(s1: str, s2: str, STOP: set = STOP, morph=morph) -> bool:
    """
     Более сложный уровень проверки. Есть 4 типа проверки:
         1: если s1 имеет такие же слова, как и s2
         2: если s1 входит в множество слов s2 (предполагаем, что s2 хранит дополнительные признаки, например s1=обувь, а s2=обувь Адидас)
         3: если s2 входит в множество слов s1 (предполагаем, что s2 не хранит никакой дополнительной информацией, а является частью s1)
         4: проверяем частотность минимальной строки, к максимальной, чтобы определить разницу между количеством уникальных токенов
     Args:
        s1: Первая сравнимая строка
        s2: Вторая сравнимая строка
        STOP: множество стоп слов, которые мы хотели бы исключать
        morph: Морфологический анализатор, для лемматизации слов
     Returns:
         результат всех условий второй проверки
    """
    set_s1, set_s2, diff_s1, diff_s2 = prepare4check(s1, s2, STOP)
    if set_s1 == set_s2:
        return False
    
    if len(diff_s1) == 0:
        return True
    if len(diff_s2) == 0:
        return False

    dt = {len(diff_s1): diff_s1, len(diff_s2): diff_s2}

    c = 0
    max_s, min_s = dt[max(len(diff_s1), len(diff_s2))], dt[min(len(diff_s1), len(diff_s2))]
    c_s1 = counter(min_s)
    c_s2 = counter(max_s)
    for i in min_s:
        if i in c_s2 and c_s2[i] > 0:
            c += 1
            c_s2[i] -= 1
        else:
            c -= 1
    if (c / len(min_s)) < 1.0:
        return True
    return False