Fix count_words: isolated logic, total includes stop-words and digits

logic.py

@@ -169,36 +169,42 @@ def generate_ngrams_safe(text: str, lang: str, n: int) -> List[str]:
 
 def count_words(text: str, lang: str) -> Dict[str, int]:
     """
-    Считает статистику слов.
-    Возвращает словарь:
-    {
-        "total": Общее кол-во слов (включая стоп-слова и цифры, как в Word).
-        "significant": Кол-во слов без стоп-слов и цифр (SEO-вес).
-    }
+    Считает слова. ПОЛНОСТЬЮ ИЗОЛИРОВАННАЯ ЛОГИКА.
+    Не зависит от N-грамм или BM25.
     """
     if not text.strip():
         return {"total": 0, "significant": 0}
     
+    # 1. Получаем чистый объект spaCy (без всяких re.sub и вырезаний)
+    # Просто убираем лишние пробелы/энтеры
     clean_text = " ".join(text.split())
     doc = get_doc(clean_text, lang)
     
-    total = 0
-    significant = 0
+    total_count = 0
+    significant_count = 0
     
     for t in doc:
-        if t.is_punct or t.is_space or t.pos_ == "SYM":
+        # --- ФИЛЬТР ДЛЯ ОБЩЕГО КОЛИЧЕСТВА ---
+        # Считаем всё, кроме пунктуации и пробелов
+        if t.is_punct or t.is_space:
             continue
             
-        # 1. Считаем в ОБЩИЙ зачет (Все слова + цифры)
-        total += 1
+        total_count += 1
         
-        # 2. Проверяем на значимость (для второго счетчика)
-        if t.is_stop or t.is_digit or t.like_num:
+        # --- ФИЛЬТР ДЛЯ ЗНАЧИМЫХ СЛОВ ---
+        # Если это стоп-слово (der, die, das...) - не считаем в значимые
+        if t.is_stop:
+            continue
+        # Если это цифра - не считаем
+        if t.is_digit or t.like_num:
+            continue
+        # Если это спецсимвол - не считаем
+        if t.pos_ == "SYM":
             continue
             
-        significant += 1
+        significant_count += 1
         
-    return {"total": total, "significant": significant}
+    return {"total": total_count, "significant": significant_count}
 
 # --- ANALYTICS (N-grams & BM25) ---