context_builder: 라운드로빈 다양화 제거 → cross-source cross-encoder reranker. source 무관 적합도 순 top-N. pipeline 에서 query 전달

src/kpaa/retrieval/context_builder.py

@@ -92,74 +92,57 @@ def _format_metadata(e: Excerpt) -> str:
     return ""
 
 
-def _diversified_pick(excerpts: list[Excerpt], n: int) -> list[Excerpt]:
-    """source_type 순수 라운드로빈으로 n개 픽 — 자연스러운 다양성만 부여.
-
-    동작:
-        1) source_type 별 큐 구성 (입력 순서 유지). 큐 순서 = ranker 가 매긴
-           각 type 의 *첫 등장 순서*.
-        2) 한 라운드에 각 큐에서 1개씩 픽. n 채울 때까지 반복.
-        3) 한 큐가 소진되면 다른 큐에서 계속 채움.
-
-    설계 의도 — *자유도 우선*:
-        - 특정 type (비법조문 등) 을 강제 우선하지 *않음*. 검색 결과의 자연
-          분포 + ranker priority 를 그대로 존중하되, 단순 슬라이스가 한 type
-          으로 5건을 독점하는 편향만 막음.
-        - LLM 이 5건 후보를 받아 자유롭게 가장 적합한 3건을 인용 → 검색이
-          풍부하면 자연스럽게 다양, 빈약하면 그대로 진솔하게.
-
-    효과 시나리오:
-        - [case1, law1, law2, law3, law4]
-          → [case1, law1, law2, law3, law4]  (case 1건뿐 — 자연 한계)
-        - [case1, law1, law2, law3, guide1, pipc1]
-          → [case1, law1, guide1, pipc1, law2]  (4종 다 노출)
-        - [law1..law6]
-          → [law1, law2, law3, law4, law5]  (검색 자체가 한 종류면 그대로)
+def _rerank_text(e: Excerpt) -> str:
+    title = e.title or e.citation or ""
+    body = (e.content or "")[:1500]
+    return f"{title}\n{body}" if title else body
+
+
+def _cross_source_rerank(query: str, excerpts: list[Excerpt], *, k: int) -> list[Excerpt]:
+    """Cross-encoder reranker 로 source 무관 적합도 순 top-k 선정.
+
+    이전 버전(2026-05-05까지)에는 `_diversified_pick` 라운드로빈으로 source_type
+    다양성을 강제했으나, cross-encoder 도입 후엔 source 무관 적합도가 가장 신뢰할
+    만한 신호 — 정답이 한 source 에 집중돼 있어도 reranker 가 옳게 골라내고,
+    실제로 다양한 source 가 적합하면 자연스럽게 섞임.
+
+    Reranker 미설치/disabled 또는 query 없으면 입력 순서 그대로 슬라이스 (이때는
+    ranker.rank 의 sort_priority 순).
     """
-    if n <= 0 or not excerpts:
-        return []
-    if len(excerpts) <= n:
+    if not excerpts or k <= 0:
+        return excerpts[:k]
+    if len(excerpts) <= k:
         return list(excerpts)
+    if not query:
+        return excerpts[:k]
+    try:
+        from kpaa.retrieval.reranker import Reranker
 
-    queues: dict[str, list[Excerpt]] = {}
-    type_order: list[str] = []
-    for e in excerpts:
-        t = e.source_type
-        if t not in queues:
-            queues[t] = []
-            type_order.append(t)
-        queues[t].append(e)
-
-    picked: list[Excerpt] = []
-    while len(picked) < n:
-        progressed = False
-        for t in type_order:
-            if not queues[t]:
-                continue
-            picked.append(queues[t].pop(0))
-            progressed = True
-            if len(picked) >= n:
-                break
-        if not progressed:
-            break
-    return picked
+        rr = Reranker.default()
+    except Exception:  # noqa: BLE001
+        rr = None
+    if rr is None:
+        return excerpts[:k]
+    return rr.rerank(query, excerpts, text_fn=_rerank_text, top_k=k)
 
 
 def build(
     excerpts: list[Excerpt],
     *,
+    query: str | None = None,
     max_chars: int = DEFAULT_MAX_CHARS,
     max_excerpts: int | None = DEFAULT_MAX_EXCERPTS,
 ) -> str:
     """`[근거1] ... [근거2] ...` 형태의 단일 문자열 반환.
 
     Args:
-        excerpts: ranker 정렬 후의 우선순위 리스트.
+        excerpts: ranker 정렬 후의 후보 리스트 (source 간 dedup·우선순위 적용됨).
+        query: 사용자 원본 질문. cross-source reranker 입력. 없으면 입력 순서 슬라이스.
         max_chars: 최종 블록 글자 수 cap. 초과 시 마지막 항목 절단.
         max_excerpts: LLM 에 전달할 상위 N건 cap. None 이면 무제한 (전체 사용).
-                      기본 5 — 답변 LLM prefill 토큰을 줄여 응답 속도 ↑.
-                      cap 적용 시 *source_type 다양화 픽* (`_diversified_pick`)
-                      사용 — 한 종류만 5건이 차지하는 편향 회피.
+                      기본 7 — 답변 LLM prefill 토큰을 줄여 응답 속도 ↑.
+                      cap 적용 시 cross-encoder 가 source 무관 적합도 순으로 top-N
+                      을 골라냄. 라운드로빈 다양화 X (reranker 신호 우선).
                       retrieval result 의 `excerpts` 자체는 안 건드리므로 UI
                       references 패널엔 전체가 그대로 노출됨.
     """
@@ -167,7 +150,7 @@ def build(
         return "(검색된 근거가 없습니다.)"
 
     if max_excerpts is not None:
-        excerpts = _diversified_pick(excerpts, max_excerpts)
+        excerpts = _cross_source_rerank(query or "", excerpts, k=max_excerpts)
 
     blocks: list[str] = []
     used = 0