Item Search

app.py

@@ -259,14 +259,92 @@ def sort_by_priority(text: str) -> str:
         out = (out + "\n\n" + tail).strip()
     return out
 
+def dedupe_checklist(text: str) -> str:
+    """
+    Removes duplicate items (and duplicate subpoints) while keeping order.
+    """
+    body, tail = split_tail_sections(text)
+
+    lines = body.splitlines()
+    blocks = []
+    i = 0
+    while i < len(lines):
+        if lines[i].startswith("- [ ]"):
+            item = lines[i]
+            subs = []
+            i += 1
+            while i < len(lines) and lines[i].startswith("  -"):
+                subs.append(lines[i])
+                i += 1
+            blocks.append((item, subs))
+        else:
+            i += 1
+
+    def norm(s: str) -> str:
+        s = s.lower()
+        s = re.sub(r"\(p[0-2]\)", "", s)
+        s = re.sub(r"[^a-zа-я0-9 ]+", " ", s)
+        s = re.sub(r"\s+", " ", s).strip()
+        return s
+
+    seen_items = set()
+    out = []
+    for item, subs in blocks:
+        k = norm(item)
+        if k in seen_items:
+            continue
+        seen_items.add(k)
+
+        out.append(item)
+
+        seen_subs = set()
+        for sub in subs:
+            sk = norm(sub)
+            if sk in seen_subs:
+                continue
+            seen_subs.add(sk)
+            out.append(sub)
+
+    out_text = "\n".join(out).strip()
+    if tail:
+        out_text = (out_text + "\n\n" + tail).strip()
+    return out_text
+
+def trim_incomplete_last_line(text: str) -> str:
+    lines = text.splitlines()
+    if not lines:
+        return text
+
+    last = lines[-1].strip()
+
+    # Если последняя строка выглядит оборванной — удаляем её
+    if (last.startswith("- [ ]") or last.startswith("  -")) and (
+        re.search(r"[,:;—–-]$", last) or len(last.split()) < 3
+    ):
+        lines = lines[:-1]
+
+    return "\n".join(lines).strip()
+
 
 def ensure_doc_finance_subpoints(text: str) -> str:
     """
-    If user asked for relocation/travel and the checklist contains a 'documents' or 'accounts' item without subpoints,
-    add a minimal set of subpoints using deterministic rules (no extra transformer).
+    Adds docs/finance subpoints only once (to the first suitable item without subpoints),
+    to avoid duplication across repeated/near-duplicate items.
     """
     lines = text.splitlines()
     out = []
+
+    added_docs = False
+    added_fin = False
+
+    def has_any_subpoints_with_keywords(all_lines, keywords):
+        low_all = "\n".join(all_lines).lower()
+        return any(k in low_all for k in keywords)
+
+    # If checklist already contains relevant subpoints somewhere, don't inject more.
+    docs_kw_present = has_any_subpoints_with_keywords(lines, ["загранпаспорт", "виза", "внж", "копии", "облако", "приглашение"])
+    fin_kw_present = has_any_subpoints_with_keywords(lines, ["комисси", "лимит", "вторая карта", "2fa", "двухфактор", "уведомлен"])
+
     i = 0
     while i < len(lines):
         ln = lines[i]
@@ -275,27 +353,27 @@ def ensure_doc_finance_subpoints(text: str) -> str:
         if ln.startswith("- [ ]"):
             low = ln.lower()
 
-            # detect if next line(s) already has subpoints
+            # detect if next lines already have subpoints
             j = i + 1
-            has_sub = False
-            while j < len(lines) and lines[j].startswith("  -"):
-                has_sub = True
-                break
+            has_sub = (j < len(lines) and lines[j].startswith("  -"))
 
-            # Add subpoints if missing and keyword matches
-            if not has_sub and any(k in low for k in ["документ", "виза", "страхов", "паспорт"]):
+            # DOCS
+            if (not added_docs) and (not docs_kw_present) and (not has_sub) and any(k in low for k in ["документ", "виза", "внж", "страхов", "паспорт"]):
                 out.extend([
                     "  - Проверь срок действия загранпаспорта и требования к остаточному сроку",
                     "  - Составь список нужных документов и сделай копии (бумага + облако)",
                     "  - Уточни требования по визе/ВНЖ и собери подтверждения (финансы, жильё, приглашение)",
                 ])
+                added_docs = True
 
-            if not has_sub and any(k in low for k in ["счёт", "счет", "банк", "карта", "финанс"]):
+            # FINANCE
+            if (not added_fin) and (not fin_kw_present) and (not has_sub) and any(k in low for k in ["счёт", "счет", "банк", "карта", "финанс"]):
                 out.extend([
                     "  - Проверь лимиты, комиссии и возможность работы карт за границей",
-                    "  - Подгот��вь резервный способ доступа к деньгам (вторая карта/наличные/перевод)",
+                    "  - Подготовь резервный доступ к деньгам (вторая карта/наличные/перевод)",
                     "  - Включи уведомления и двухфакторную защиту в банковских приложениях",
                 ])
+                added_fin = True
 
         i += 1
 
@@ -369,16 +447,23 @@ def generate_checklist(user_goal: str, category: str, style: str, constraints: s
     # Generation (primary)
     out = gen_pipe(
         prompt,
-        max_new_tokens=650,
+        max_new_tokens=900,  # было меньше — из-за этого обрывы
         do_sample=True,
-        temperature=0.65,
-        top_p=0.92,
-        repetition_penalty=1.10,
+        temperature=0.55,  # ниже = меньше болтовни/повторов
+        top_p=0.9,
+        repetition_penalty=1.15,  # выше = меньше дублей
+        no_repeat_ngram_size=4,  # очень помогает от повторов
         return_full_text=False,
     )
     text = (out[0].get("generated_text") or "").strip()
     text = clean_checklist(text)
     text = sort_by_priority(text)
+    text = ensure_doc_finance_subpoints(text)
+    text = dedupe_checklist(text)  # убрали повторы
+    text = trim_incomplete_last_line(text)  # убрали оборванный хвост
+    text = polish_russian_same_model(text)  # шлифовка
+    text = dedupe_checklist(text)  # на всякий после полировки
+    text = trim_incomplete_last_line(text)
 
     # Retry if too short/poor format
     if text.count("- [ ]") < 10: