Item Search

app.py

@@ -13,6 +13,8 @@ DEFAULT_INTENT_MODEL = os.getenv("INTENT_MODEL", "joeddav/xlm-roberta-large-xnli
 
 # 2) Checklist generator (instruct)
 DEFAULT_GEN_MODEL = os.getenv("GEN_MODEL", "Qwen/Qwen2.5-0.5B-Instruct")
+# If your Space can handle it, this is often better structured:
+# DEFAULT_GEN_MODEL = os.getenv("GEN_MODEL", "Qwen/Qwen2.5-1.5B-Instruct")
 
 # 3) QA over checklist
 DEFAULT_QA_MODEL = os.getenv("QA_MODEL", "deepset/xlm-roberta-base-squad2")
@@ -107,16 +109,23 @@ def build_checklist_prompt(user_goal: str, theme: str | None, style: str, constr
         "Составь практичный чек-лист на русском языке.\n"
         "Верни ТОЛЬКО чек-лист без вступлений.\n"
         "Запрещено:\n"
+        "- любые вступления/комментарии (например: 'Конечно!', 'Вот исправленный текст', 'не меняю смысл')\n"
         "- плейсхолдеры и шаблоны: никаких '[секунды]', '[какой-то текст]', '{...}', '<...>'\n"
-        "- таблицы, 'Расчёт', 'Банк', 'Сообщение', поля для заполнения\n"
+        "- таблицы, 'Расчёт', 'Банк', 'Сообщение', поля для заполнения\n\n"
         "Формат строго:\n"
-        "- [ ] пункт\n"
+        "- [ ] (P0) пункт\n"
         "  - подпункт (если нужно)\n"
+        "Где P0 = срочно/критично, P1 = важно, P2 = можно позже.\n\n"
         "Требования:\n"
         f"- стиль: {style_hint}\n"
         "- 12–18 пунктов\n"
-        "- без нумерации (никаких '1.')\n"
+        "- без нумерации (никаких '1.'), только '- [ ]'\n"
+        "- КАЖДЫЙ пункт должен начинаться с (P0) или (P1) или (P2)\n"
+        "- Сначала выведи все P0, потом P1, потом P2\n"
         "- пункты конкретные и выполнимые\n"
+        "- для пунктов про документы/банки/счета/визы/страховку ОБЯЗАТЕЛЬНО добавь 2–5 подпунктов\n"
+        "- подпункты начинай с '  - '\n"
+        "- если тема релокации/иммиграции: обязательно охвати документы, финансы, связь, жильё, медицину, язык\n"
         "- в конце 2 блока:\n"
         "Проверка готовности:\n"
         "- ... (3–5 вопросов)\n"
@@ -146,24 +155,47 @@ def clean_checklist(text: str) -> str:
     text = re.sub(r"<extra_id_\d+>", "", text).strip()
 
     cleaned = []
+    current_group = "OTHER"
+
     for ln in text.splitlines():
         s = ln.rstrip()
-
         if not s.strip():
             continue
 
-        # Cut obvious "form-like" garbage blocks
         low = s.strip().lower()
+
+        # 1) Cut conversational/assistant boilerplate
+        bad_prefixes = (
+            "конечно",
+            "вот исправленный",
+            "вот исправленный текст",
+            "исправленный текст",
+            "ничего не добавляя",
+            "не меняю смысл",
+            "я не меняю смысл",
+            "готово",
+            "итог",
+            "результат",
+        )
+        if low.startswith(bad_prefixes):
+            continue
+
+        # 2) Cut obvious "form-like" garbage blocks
         if low.startswith(("расч", "банк", "сообщение", "время ", "план поездки", "расход")):
             continue
 
-        # Remove square-bracket placeholders but keep "[ ]" checkbox
+        # 3) Remove square-bracket placeholders but keep "[ ]" checkbox.
+        # This removes [секунды], [какой-то текст], etc.
         s2 = re.sub(r"\[(?!\s*\])([^\]]+)\]", "", s).strip()
 
-        # Normalize bullets
+        # 4) If model wrapped whole item into [ ... ]: "- [ ] [Сделайте ...]"
+        s2 = re.sub(r"^\-\s*\[\s*\]\s*\[(.+)\]\s*$", r"- [ ] \1", s2).strip()
+
+        # Normalize bullets & spacing
         s2 = s2.replace("•", "-").replace("–", "-")
+        s2 = re.sub(r"\s+", " ", s2)
 
-        # Keep only checklist or the two required blocks
+        # Keep only checklist lines + the two required blocks
         if s2.startswith("- [ ]") or s2.startswith("  -") or s2.startswith("Проверка готовности") or s2.startswith("Риски"):
             cleaned.append(s2)
 
@@ -174,38 +206,132 @@ def clean_checklist(text: str) -> str:
         raw = [l.strip() for l in text.splitlines() if l.strip()]
         raw = [re.sub(r"^\d+[\).\s]+", "", r).strip(" -•\t") for r in raw]
         raw = [r for r in raw if r]
-        raw = [f"- [ ] {r}" for r in raw[:18]]
+        raw = [f"- [ ] (P1) {r}" for r in raw[:18]]
         out = "\n".join(raw).strip()
 
     return out
 
 
+def split_tail_sections(text: str):
+    """Split checklist body from tail sections (Проверка готовности / Риски...) to keep them at bottom."""
+    lines = text.splitlines()
+    idx = None
+    for i, ln in enumerate(lines):
+        if ln.strip().startswith("Проверка готовности"):
+            idx = i
+            break
+    if idx is None:
+        return text, ""
+    return "\n".join(lines[:idx]).strip(), "\n".join(lines[idx:]).strip()
+
+
+def sort_by_priority(text: str) -> str:
+    """Ensure P0 -> P1 -> P2 ordering (keeps tail sections at the very end)."""
+    body, tail = split_tail_sections(text)
+    if not body:
+        return text
+
+    groups = {"P0": [], "P1": [], "P2": [], "OTHER": []}
+    current = "OTHER"
+
+    for ln in body.splitlines():
+        s = ln.strip()
+        if s.startswith("- [ ]"):
+            if "(P0)" in s:
+                current = "P0"
+            elif "(P1)" in s:
+                current = "P1"
+            elif "(P2)" in s:
+                current = "P2"
+            else:
+                current = "OTHER"
+            groups[current].append(ln)
+        else:
+            groups[current].append(ln)
+
+    out_lines = []
+    for k in ["P0", "P1", "P2", "OTHER"]:
+        if groups[k]:
+            out_lines.extend(groups[k])
+
+    out = "\n".join(out_lines).strip()
+    if tail:
+        out = (out + "\n\n" + tail).strip()
+    return out
+
+
+def ensure_doc_finance_subpoints(text: str) -> str:
+    """
+    If user asked for relocation/travel and the checklist contains a 'documents' or 'accounts' item without subpoints,
+    add a minimal set of subpoints using deterministic rules (no extra transformer).
+    """
+    lines = text.splitlines()
+    out = []
+    i = 0
+    while i < len(lines):
+        ln = lines[i]
+        out.append(ln)
+
+        if ln.startswith("- [ ]"):
+            low = ln.lower()
+
+            # detect if next line(s) already has subpoints
+            j = i + 1
+            has_sub = False
+            while j < len(lines) and lines[j].startswith("  -"):
+                has_sub = True
+                break
+
+            # Add subpoints if missing and keyword matches
+            if not has_sub and any(k in low for k in ["документ", "виза", "страхов", "паспорт"]):
+                out.extend([
+                    "  - Проверь срок действия загранпаспорта и требования к остаточному сроку",
+                    "  - Составь список нужных документов и сделай копии (бумага + облако)",
+                    "  - Уточни требования по визе/ВНЖ и собери подтверждения (финансы, жильё, приглашение)",
+                ])
+
+            if not has_sub and any(k in low for k in ["счёт", "счет", "банк", "карта", "финанс"]):
+                out.extend([
+                    "  - Проверь лимиты, комиссии и возможность работы карт за границей",
+                    "  - Подготовь резервный способ доступа к деньгам (вторая карта/наличные/перевод)",
+                    "  - Включи уведомления и двухфакторную защиту в банковских приложениях",
+                ])
+
+        i += 1
+
+    return "\n".join(out).strip()
+
+
 def polish_russian_same_model(checklist_text: str) -> str:
-    """Second pass with SAME generator (still transformer #2) to polish grammar."""
-    if not checklist_text or "- [ ]" not in checklist_text:
+    """Second pass with SAME generator (still transformer #2) to polish grammar without 'boilerplate'."""
+    if not checklist_text or checklist_text.count("- [ ]") < 6:
         return checklist_text
 
     polish_prompt = (
-        "Исправь орфографию, грамматику и стилистику русского языка.\n"
-        "НИЧЕГО НЕ ДОБАВЛЯЙ и не меняй смысл.\n"
-        "Сохрани формат чек-листа:\n"
-        "- [ ] пункт\n"
-        "  - подпункт\n"
-        "А также блоки 'Проверка готовности' и 'Риски и как снизить'.\n\n"
+        "Отредактируй текст чек-листа: исправь грамматику и стиль русского языка.\n"
+        "ВАЖНО:\n"
+        "- Верни ТОЛЬКО чек-лист.\n"
+        "- Никаких вступлений (например: 'Конечно', 'Вот исправленный текст').\n"
+        "- Никаких комментариев (например: 'не меняю смысл').\n"
+        "- Ничего не добавляй и не удаляй по смыслу.\n"
+        "- Сохрани ф��рмат:\n"
+        "  - [ ] (P0/P1/P2) пункт\n"
+        "    - подпункт\n"
+        "- Сохрани блоки 'Проверка готовности' и 'Риски и как снизить'.\n\n"
         f"{checklist_text}\n"
     )
     polish_prompt = apply_chat_template_if_available(polish_prompt)
 
     outp = gen_pipe(
         polish_prompt,
-        max_new_tokens=260,
+        max_new_tokens=300,
         do_sample=False,
         return_full_text=False,
     )
     text2 = (outp[0].get("generated_text") or "").strip()
     text2 = clean_checklist(text2)
+    text2 = sort_by_priority(text2)
 
-    # keep only if not worse
     if text2.count("- [ ]") >= checklist_text.count("- [ ]"):
         return text2
     return checklist_text
@@ -243,21 +369,24 @@ def generate_checklist(user_goal: str, category: str, style: str, constraints: s
     # Generation (primary)
     out = gen_pipe(
         prompt,
-        max_new_tokens=520,
+        max_new_tokens=650,
         do_sample=True,
-        temperature=0.6,
-        top_p=0.9,
-        repetition_penalty=1.08,
+        temperature=0.65,
+        top_p=0.92,
+        repetition_penalty=1.10,
         return_full_text=False,
     )
     text = (out[0].get("generated_text") or "").strip()
     text = clean_checklist(text)
+    text = sort_by_priority(text)
 
     # Retry if too short/poor format
-    if text.count("- [ ]") < 8:
+    if text.count("- [ ]") < 10:
         retry_prompt = (
-            "Сделай чек-лист строго в формате '- [ ] ...' (12–18 пунктов) на русском.\n"
-            "Без плейсхолдеров в квадратных скобках. Без таблиц. Без 'Расчёт/Банк/Сообщение'.\n"
+            "Сделай чек-лист строго в формате '- [ ] (P0/P1/P2) ...' (12–18 пунктов) на русском.\n"
+            "Сначала P0, затем P1, затем P2.\n"
+            "Без вступлений. Без комментариев. Без плейсхолдеров в квадратных скобках.\n"
+            "Для документов/банков/счётов/визы/страховки добавь подпункты (2–5).\n"
             "В конце добавь:\n"
             "Проверка готовности: (3–5 вопросов)\n"
             "Риски и как снизить: (3–6 пунктов)\n\n"
@@ -269,26 +398,30 @@ def generate_checklist(user_goal: str, category: str, style: str, constraints: s
         retry_prompt = apply_chat_template_if_available(retry_prompt)
         out2 = gen_pipe(
             retry_prompt,
-            max_new_tokens=620,
+            max_new_tokens=750,
             do_sample=True,
             temperature=0.75,
-            top_p=0.92,
-            repetition_penalty=1.10,
+            top_p=0.93,
+            repetition_penalty=1.12,
             return_full_text=False,
         )
         text2 = (out2[0].get("generated_text") or "").strip()
         text2 = clean_checklist(text2)
+        text2 = sort_by_priority(text2)
         if text2.count("- [ ]") > text.count("- [ ]"):
             text = text2
 
+    # Deterministic subpoints for docs/finance if missing
+    text = ensure_doc_finance_subpoints(text)
+
     # Polish Russian (still same generator = transformer #2)
     text = polish_russian_same_model(text)
 
     # Final guard
-    if text.count("- [ ]") < 6:
+    if text.count("- [ ]") < 8:
         text = (
-            "- [ ] Не удалось корректно сформировать чек-лист.\n"
-            "- [ ] Попробуйте уточнить цель (страна/срок/статус визы/бюджет) и нажать ещё раз.\n"
+            "- [ ] (P0) Не удалось корректно сформировать чек-лист.\n"
+            "- [ ] (P0) Попробуйте уточнить цель (страна/город, статус визы, бюджет, сроки) и нажать ещё раз.\n"
         )
 
     meta = {
@@ -331,7 +464,8 @@ def answer_question(question: str, checklist_state: str, meta_state: dict | None
 
         user_prompt = (
             "Ответь на вопрос по чек-листу. Пиши по-русски, кратко и практично.\n"
-            "Если ответа нет в чек-листе — предложи 3–6 дополнительных пунктов, которые стоит добавить.\n"
+            "Если ответа нет в чек-листе — предложи 3–6 дополнительных пунктов (с приоритетом P0/P1/P2).\n"
+            "Не используй вступления и комментарии.\n"
             "Не используй плейсхолдеры в квадратных скобках.\n\n"
             f"Цель: {goal}\n"
             f"Тема: {theme}\n\n"
@@ -342,7 +476,7 @@ def answer_question(question: str, checklist_state: str, meta_state: dict | None
         prompt = apply_chat_template_if_available(user_prompt)
         gen_out = gen_pipe(
             prompt,
-            max_new_tokens=260,
+            max_new_tokens=320,
             do_sample=False,
             return_full_text=False,
         )[0]["generated_text"].strip()
@@ -366,7 +500,6 @@ with gr.Blocks(title="Умный чек-лист (3 Transformers)") as demo:
     meta_state = gr.State(value=None)
 
     with gr.Tab("1) Создать чек-лист"):
-        # Top row: inputs left, helper mini-blocks right
         with gr.Row():
             with gr.Column(scale=3):
                 user_goal = gr.Textbox(
@@ -412,7 +545,6 @@ with gr.Blocks(title="Умный чек-лист (3 Transformers)") as demo:
                     interactive=False,
                 )
 
-        # Big checklist output BELOW (full width)
         checklist_out = gr.Code(label="Чек-лист", language="markdown")
 
         gen_btn.click(