Update app.py

app.py

@@ -352,17 +352,37 @@ def expand_synonyms(keywords: List[str]) -> List[List[str]]:
 
 def _dedup_keywords_preserve_order(keywords: List[str]) -> List[str]:
     """
-    의미 중복 제거:
-    - 짧은 토큰이 긴 토큰에 포함되면 제거
+    검색어 정규화 + 의미 중복 제거:
+    - 양끝 공백 제거, 내부 연속 공백 1개로 축소
+    - 동일(정규화 기준) 중복 제거
+    - 짧은 토큰이 긴 토큰(정규화 기준)에 포함되면 제거
     - 순서 유지
     """
-    out = []
-    for k in keywords:
-        if any(k != x and k in x for x in keywords):
+    def norm(s: str) -> str:
+        s = (s or "").strip()
+        s = re.sub(r"\s+", " ", s)  # 연속 공백 정리
+        return s
+
+    # 1) 정규화 + 동일 중복 제거(순서 유지)
+    out: List[str] = []
+    seen = set()
+    normalized = [norm(k) for k in keywords if norm(k)]
+
+    for k in normalized:
+        if k in seen:
             continue
-        if k not in out:
-            out.append(k)
-    return out
+        seen.add(k)
+        out.append(k)
+
+    # 2) 포함관계 제거(짧은 토큰이 긴 토큰에 포함되면 제거)
+    final: List[str] = []
+    for k in out:
+        if any(k != x and k in x for x in out):
+            continue
+        final.append(k)
+
+    return final
+
 
 
 def build_queries(