[arXiv 2606.14269] ScoreGate: RAG 검색 문맥 수를 점수 공간에서 적응적으로 고르기

ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion

https://arxiv.org/abs/2606.14269

Karamvir Singh, Arvind Jain | HighLevel, Inc. | arXiv:2606.14269 | 2026년 6월

---

1. 서론: 고정 Top-K가 만든 RAG 문맥 크기 문제

ScoreGate는 RAG 파이프라인의 아주 익숙한 병목을 정면으로 다룬다. 검색기는 보통 후보를 넉넉히 가져오고, reranker가 순서를 다시 매긴 뒤, 생성기에는 항상 top-K 조각을 넣는다. 이때 K는 배포 전에 정한 상수다. 문제는 질문의 폭이 상수로 고정되지 않는다는 점이다. 환불 정책 한 줄을 묻는 질문에는 한두 문단이면 충분하지만, 요금제와 기능과 해지 조건을 비교하라는 질문에는 여러 문맥 조각이 필요하다.

고정 Top-K는 두 방향으로 실패한다. 좁은 질문에는 답과 무관한 chunk를 끼워 넣어 token 비용과 산만함을 늘리고, 합성 질문에는 필요한 근거를 K 밖으로 밀어 coverage gap을 만든다. 저자들은 이 현상을 retrieval quality 문제에 머물게 두지 않고 retrieval cardinality, 즉 생성기에 몇 개의 chunk를 넘길지 결정하는 문제로 재정의한다. 이 관점 전환이 논문의 출발점이다.

논문이 제안하는 핵심은 간단하다. 표준 2단계 RAG는 이미 각 chunk에 대해 두 점수를 만든다. bi-encoder가 주는 embedding similarity $s_i$와 cross-encoder reranker가 주는 relevance score $r_i$다. ScoreGate는 이 둘을 새 모델 호출 없이 사용해 점수 공간을 네 영역으로 나누고, 영역별 규칙으로 유지 집합 $C^{\prime}$의 크기를 추론 시점에 결정한다.

저자들이 특히 강조하는 실패 모드는 vocabulary mismatch다. 어떤 chunk는 질문과 같은 단어를 쓰지 않아 embedding similarity가 낮지만, 실제로는 답의 핵심 근거다. 예를 들어 “cross-border dispute”라는 질문에 chunk가 “jurisdictional enforceability” 같은 법률 표현으로 답할 수 있다. bi-encoder는 이 조각을 낮게 볼 수 있지만, query-document pair 전체를 보는 cross-encoder는 관련성을 알아차릴 가능성이 높다.

ScoreGate의 기여는 이 B3 유형, 즉 낮은 $s_i$와 높은 $r_i$가 만나는 영역을 별도로 살리는 데 있다. 단순 reranker threshold나 single fusion threshold는 이 신호를 섬세하게 다루기 어렵다. 논문은 B1, B2, B3, B4 네 bucket을 만들고, B2와 B3에 서로 다른 fusion bar를 적용한다. 수식은 $f_i=\alpha s_i+(1-\alpha)r_i$이며, $\alpha=0.3$라서 reranker에 70%, embedding similarity에 30%의 무게를 둔다.

결과도 운영 관점에서 눈에 띈다. 내부 ARB 300개 triple에서 ScoreGate는 관측된 false positive가 0개였고, Relevant recall 97.77%, Semantically Relevant recall 99.34%를 보고한다. 평균 token은 query당 637개에서 415개로 줄어 34.8% 감소했고, end-to-end latency 증가는 31ms였다. MS MARCO 200개 dev query에서는 re-derived threshold 기준 MRR@10 0.401을 얻었다.

이 리뷰는 ScoreGate를 단순한 filter 논문으로 읽지 않는다. 더 정확히는 retrieval evidence를 몇 개까지 생성기에 노출할 것인가라는 운영 결정을 점수 통계로 바꾸는 논문으로 본다. 뒤에서 보겠지만 이 관점은 Evidence Utility in RAG, Query Coverage in Retrieval, Retrieval Ranking Metrics 같은 기존 개념과 잘 맞고, RAG poisoning 방어에서도 문맥 주입 표면을 줄이는 보조 장치로 해석할 수 있다.

Figure 1: ScoreGate pipeline. Top-N 후보를 bi-encoder로 가져오고 cross-encoder reranker 점수 쌍을 만든 뒤, $\tau_s=0.70$, $\tau_r=0.08$ 기준으로 B1~B4를 나누며 B2는 $f_i\geq 0.255$ 이상일 때만 유지하고 최종 집합은 MAX-K로 제한한다.

파이프라인 그림의 핵심은 ScoreGate가 별도 LLM judge를 호출하지 않는다는 점이다. 이미 계산된 $s_i$와 $r_i$가 네 bucket 판정으로 들어가고, B1은 확실한 근거, B4는 확실한 잡음으로 처리된다. B2와 B3만 fusion threshold를 거치기 때문에 실제 추가 비용은 산술 연산과 정렬에 가깝다. 이 흐름은 fixed Top-K를 완전히 버리는 것이 아니라, generator에 넘기는 $C'$의 크기를 query별 score 분포에 맞춰 줄이는 절차로 읽어야 한다.

1.1 운영 비용 관점에서 본 fixed-K의 불편함

ScoreGate가 다루는 문제는 논문 벤치마크보다 제품 운영에서 먼저 체감된다. RAG 서비스를 만들면 검색 품질을 높이기 위해 처음에는 K를 넉넉히 잡는다. 답변이 틀리는 것보다 근거를 더 많이 넣는 편이 안전해 보이기 때문이다. 그러나 실제 traffic에서는 짧고 명확한 질문, entity lookup에 가까운 질문, 여러 문서를 비교해야 하는 질문, knowledge base에 답이 없는 질문이 한꺼번에 섞인다. 이때 K=10 같은 상수는 모든 질문을 같은 prompt budget으로 취급한다. 좁은 질문에서는 남는 chunk가 distractor가 되고, 넓은 질문에서는 필요한 chunk가 top-10 안에 들어와도 순서와 조합이 충분하지 않을 수 있다.

이 논문이 흥미로운 지점은 “retrieval이 더 좋아져야 한다”는 일반론에서 멈추지 않고, generator 앞에서 몇 개의 evidence를 허용할 것인가라는 더 작은 결정을 분리했다는 데 있다. retrieval metric은 흔히 Recall@K나 MRR@10을 본다. 하지만 실제 prompt assembly에서는 정답 문서가 top-10 안에 들어왔는지와, 그 문서를 포함한 전체 묶음이 generator에게 깨끗한 문맥이 되는지가 다르다. ScoreGate는 이 두 번째 질문에 답한다. 이미 reranker가 만든 score를 버리지 않고, 그 score를 context cardinality control의 입력으로 다시 사용한다.

특히 비용 측면에서 이 문제는 단순한 token 절약 이상의 의미를 가진다. production RAG에서 chunk 하나는 입력 token 비용, latency, attention 경쟁, citation clutter, hallucination risk를 동시에 증가시킨다. token을 34.8% 줄였다는 결과는 billing 숫자만 줄였다는 뜻이 아니다. 관련성이 낮은 근거가 줄어들면 generator가 어느 문장을 근거로 삼아야 하는지의 선택지도 좁아진다. 따라서 ScoreGate의 효율 결과는 검색 단계의 최적화가 생성 품질과 비용을 동시에 움직일 수 있다는 사례로 읽을 수 있다.

2. 배경 및 관련 연구: RAG에서 점수와 문맥 수를 따로 보던 관성

2.1 RAG의 두 점수: recall용 embedding과 precision용 reranker

표준 RAG는 대체로 두 단계로 움직인다. 먼저 bi-encoder가 query와 corpus chunk를 같은 vector space에 놓고 nearest neighbor를 찾는다. 이 단계는 빠르고 확장성이 높지만, 목적은 넓은 후보를 놓치지 않는 recall에 가깝다. 그 다음 cross-encoder reranker가 query와 chunk를 함께 입력으로 받아 full attention 기반 relevance score를 계산한다. 이 단계는 느리지만 answer-level relevance를 더 잘 반영한다.

그래서 두 점수는 같은 의미의 중복 신호가 아니다. $s_i$는 embedding space에서의 거리이며, 주제적 근접성과 어휘 유사성을 반영한다. $r_i$는 query-document pair 수준의 문맥 적합도이며, supervised relevance 학습의 영향을 받는다. ScoreGate는 이 차이를 이용한다. 두 점수가 모두 높으면 안전하게 유지하고, 둘 다 낮으면 버리며, 충돌할 때만 비대칭 fusion을 적용한다.

기존 reranking 연구는 보통 순서를 더 좋게 만드는 데 집중한다. top-10 안에서 relevant passage를 앞으로 끌어올리면 MRR이나 nDCG가 개선된다. 그러나 생성기에 들어가는 chunk 수는 여전히 K라는 hyperparameter에 묶여 있다. ScoreGate는 ranking 모델을 새로 학습시키지 않고, reranking 후의 cardinality decision을 score-space rule로 바꾸는 절차다.

2.2 fixed Top-K와 single-score threshold의 한계

Fixed Top-K는 시스템 구현에는 편하다. prompt 길이를 예측하기 쉽고, latency와 비용을 대략 고정할 수 있으며, evaluation pipeline도 단순하다. 하지만 검색 결과의 분포를 보지 않는다. top-1과 top-2가 거의 같은 근거인지, top-10까지 모두 비슷한 relevance를 갖는지, 아니면 top-3 뒤부터 잡음인지 구분하지 않는다. 이 때문에 질문별 evidence demand를 반영하지 못한다.

Single-score threshold는 그보다 한 단계 더 적응적이지만 충분하지 않다. $s_i$만 보며 threshold를 걸면 vocabulary mismatch chunk가 사라지고, $r_i$만 보며 threshold를 걸면 embedding similarity가 제공하는 보조 증거를 버린다. fusion score 하나에 전역 threshold를 걸면 B2와 B3의 의미 차이를 잃는다. B2는 embedding은 높지만 reranker가 의심하는 경우이고, B3는 embedding은 낮지만 reranker가 긍정하는 경우이기 때문이다.

논문은 관련 연구를 retrieval triggering과 retrieval cardinality로 나누어 본다. FLARE나 Self-RAG 계열은 언제 retrieval을 할지, 또는 generator가 retrieval 필요성을 어떻게 표시할지에 가깝다. ScoreGate는 retrieval이 이미 발생하고 reranker 점수까지 나온 뒤, 몇 개를 남길지를 묻는다. 두 문제는 조합 가능하지만 서로 다른 decision point다.

2.3 LLM Filter와 Self-RAG가 주는 비교 기준

LLM Filter는 query와 chunk를 LLM에 넣고 relevance를 이진 판정하게 할 수 있다. precision은 높게 나올 수 있지만, 후보 40개를 순차적으로 판단하면 latency가 곧바로 커진다. 논문은 gpt-4o-mini 기반 filter가 약 40회 호출 때문에 query당 약 8,400ms를 추가한다고 보고한다. ScoreGate는 같은 위치에서 31ms 정도만 늘어난다. 대규모 RAG 운영에서는 이 차이가 비용 구조 자체를 바꾼다.

Self-RAG류는 generator가 자체 control token을 사용하거나 retrieval necessity를 학습한다. 이 방식은 생성기 정책을 바꾸는 접근이고, ScoreGate는 retrieval stack 안에서 score만 사용하는 접근이다. 따라서 기존 두 단계 RAG 시스템에 plug-in처럼 붙이기 쉽다. 논문이 method comparison table에서 강조하는 포인트도 여기에 있다. ScoreGate는 reranker를 쓰면서 adaptive cardinality를 제공하고, 추가 inference는 요구하지 않는다.

Table 1: 방법 비교. ScoreGate는 reranker를 사용하면서 adaptive cardinality를 제공하고 추가 inference를 요구하지 않는 위치에 있다.

Method	Type	Reranker	Adaptive cardinality	Extra inference
Fixed Top-K	Truncation	없음	없음	없음
Score-gap stop	Truncation	사용	있음	없음
LLM Filter	Filter	사용	있음	있음
Self-RAG	Generation control	없음	있음	있음
ScoreGate	Filter/Cardinality gate	사용	있음	없음

이 표는 ScoreGate의 실용적 위치를 잘 보여 준다. novelty가 새로운 encoder architecture에 있는 것은 아니다. 이미 비용을 지불해 얻은 reranker score를 버리지 않고, 그 score와 embedding similarity의 갈등 구조를 이용해 chunk 수를 바꾸는 데 있다. 그래서 method 자체는 가볍지만, production RAG에서 자주 발생하는 비용과 hallucination 문제에는 직접 닿는다.

3. 방법론: 네 영역 score gate와 비대칭 fusion

3.1 문제 정식화와 score normalisation

논문은 user query $Q$에 대해 두 단계 RAG가 후보 집합 $C=\{c_1,\ldots,c_N\}$을 만든다고 둔다. 각 chunk $c_i$에는 bi-encoder cosine similarity $s_i\in[0,1]$와 cross-encoder relevance score $r_i\in[0,1]$가 붙는다. reranker score는 query별 min-max scaling으로 정규화된다. 이 선택은 절대 logit보다 query 내부 ranking과 상대적 분포를 보겠다는 뜻이다.

정규화는 작은 구현 세부처럼 보이지만 중요하다. 다른 query는 reranker logit의 scale이 다를 수 있고, 특정 domain에서는 모든 후보가 낮게 또는 높게 점수화될 수 있다. Per-query min-max scaling은 단조 변환이라 순서를 보존하면서 query별 score spread를 맞춘다. 논문은 raw logits, sigmoid, min-max를 비교해 min-max가 ARB Semantically Relevant recall과 MS MARCO MRR@10에서 가장 좋았다고 보고한다.

Table 2: reranker score normalisation ablation. Min-max는 B3와 B4를 더 잘 분리해 ARB recall과 MS MARCO MRR을 동시에 높였다.

Normalisation	Recall (Sem. Rel.)	MRR@10	Avg. |C′|
Raw logits	96.8%	0.392	7.1
Sigmoid	97.5%	0.395	6.8
Min-max (ours)	99.34%	0.401	6.1

정규화 결과는 ScoreGate가 절대적인 의미의 relevance probability를 요구하지 않는다는 점도 보여 준다. 필요한 것은 query 내부에서 cross-encoder가 어떤 chunk를 상대적으로 긍정하는지다. B3 판정은 “이 chunk의 $r_i$가 절대적으로 훌륭하다”라고 단정하는 대신, “같은 query의 후보들 중 cross-encoder가 이 chunk를 relevance 쪽으로 본다”는 신호를 활용한다.

3.2 threshold derivation: $\tau_s=0.70$, $\tau_r=0.08$의 의미

ScoreGate는 두 기준선을 둔다. $\tau_s=0.70$, $\tau_r=0.08$가 그것이다. $ au_s$는 대표 query sample에서 top-N 후보의 bi-encoder cosine similarity median으로 얻고, $ au_r$는 held-out relevance-annotated validation set에서 false-positive rate 약 5%에 해당하는 reranker score로 얻는다. 이 값들은 추론 시 query마다 다시 학습되지 않고, 로그 기반 calibration을 통해 배포 전 산출된다.

중요한 점은 threshold 값 자체보다 derivation 절차다. 다른 domain이나 다른 encoder/reranker pair를 쓰면 score distribution이 달라진다. 논문도 MS MARCO에서는 re-derived threshold가 $ au_s=0.63$, $ au_r=0.11$로 이동한다고 보고한다. 즉 ScoreGate는 네 bucket 구조와 calibration 절차를 제안하는 것이고, 0.70과 0.08을 모든 환경의 보편 상수로 주장하는 방식은 아니다.

3.3 네 영역 partition과 retention rule

점수 공간은 $s_i$와 $r_i$ 축으로 나뉜 unit square다. $s_i\geq au_s$이고 $r_i\geq au_r$이면 B1, 둘 다 낮으면 B4다. B1은 두 모델이 관련성을 긍정하므로 always keep이고, B4는 둘 다 낮으므로 always discard다. 실제 의사결정의 미묘함은 B2와 B3에 몰린다. B2는 high $s_i$, low $r_i$이고, B3는 low $s_i$, high $r_i$다.

Table 3: four-region score-space partition and retention rules. B3 threshold가 B2보다 낮은 이유는 cross-encoder affirmation을 더 강한 증거로 보기 때문이다.

Region	$s_i$ condition	$r_i$ condition	Retention rule
B1	$s_i\geq au_s$	$r_i\geq au_r$	Always keep
B2	$s_i\geq au_s$	$r_i< au_r$	Keep if $f_i\geq 0.255$
B3	$s_i< au_s$	$r_i\geq au_r$	Keep if $f_i\geq 0.15$
B4	$s_i< au_s$	$r_i< au_r$	Always discard

B2와 B3에는 같은 fusion formula가 쓰이지만 bar가 다르다. $f_i=\alpha s_i+(1-\alpha)r_i$이고 $\alpha=0.3$이므로 $r_i$가 더 큰 비중을 가진다. B2에서는 reranker가 부정적이므로 $f_i\geq 0.255$라는 높은 기준을 넘어야 한다. B3에서는 reranker가 긍정적이고 embedding similarity만 낮기 때문에 $f_i\geq 0.15$라는 낮은 기준을 둔다. 이것이 논문 제목의 dual-score statistical fusion이다.

Figure 3: 네 영역 score partition. B1 keep, B4 discard, B2는 $f_i\geq 0.255$의 높은 threshold, B3는 $f_i\geq 0.15$의 낮은 threshold를 적용하며 기준선은 $\tau_s=0.70$, $\tau_r=0.08$이다.

사분면 그림은 ScoreGate의 설계가 단일 점수 절단이 아님을 드러낸다. 오른쪽 위 B1과 왼쪽 아래 B4는 결정이 쉽지만, 오른쪽 아래 B2와 왼쪽 위 B3는 서로 다른 종류의 score conflict다. B2는 embedding이 비슷하지만 reranker가 낮게 본 후보라 더 높은 문턱을 두고, B3는 vocabulary mismatch 때문에 embedding이 낮아도 reranker가 답변 가능성을 본 후보라 낮은 문턱을 둔다. 이 비대칭성이 ScoreGate의 성능 차이를 만드는 중심 장치다.

3.4 MAX-K와 zero-result까지 포함한 adaptive cardinality

ScoreGate는 네 영역 규칙을 적용한 뒤 최종 유지 집합 $C^{\prime}$를 fusion score 내림차순으로 정렬하고 MAX-K로 자른다. 논문 배포 환경에서는 $K_{\max}=10$가 쓰인다. 이는 adaptive cardinality가 무제한 증가하는 것을 막는 안전장치다. 질문이 아주 넓어 많은 chunk가 살아남더라도 context window와 generator budget을 넘지 않도록 ceiling을 둔다.

흥미로운 점은 ScoreGate가 비어 있는 집합도 반환할 수 있다는 것이다. 일반 fixed Top-K는 relevant evidence가 없어도 항상 K개를 넣는다. ScoreGate는 B4가 많고 B1/B2/B3가 충분하지 않으면 empty result를 만든다. 이 속성은 production RAG에서 중요하다. knowledge base에 답이 없을 때 불필요한 근거를 넣는 대신 generator가 모름을 말하게 유도할 수 있기 때문이다.

Figure 2: score distribution과 retained chunks. ARB에서 Semantically Relevant chunk는 낮은 $s_i$에도 높은 $r_i$를 보이며, 평균 retained chunk는 4.4개로 fixed K=10보다 작다.

분포 그림은 왜 B3가 필요한지 보여 준다. irrelevant는 두 점수 모두 낮은 쪽에 모이고, 명시적으로 관련된 chunk는 두 점수가 함께 높다. 그러나 semantically relevant chunk는 $s_i$가 넓게 퍼져 있어 embedding threshold만으로는 놓치기 쉽다. 오른쪽 retained-count histogram은 ScoreGate가 query마다 2~5개 수준으로 문맥 수를 줄이는 경향을 보여 준다.

3.5 ScoreGate를 의사코드처럼 다시 읽기

ScoreGate의 절차는 간단하지만, 각 단계의 역할은 분명히 나뉜다. 먼저 bi-encoder가 top-$N$ 후보를 가져오고, cross-encoder가 후보마다 reranker score를 부여한다. 그 다음 각 후보는 $(s_i,r_i)$ 쌍을 가진 점으로 표현된다. $s_i$는 embedding space에서 query와 chunk가 얼마나 가까운지, $r_i$는 query-document pair를 함께 읽은 reranker가 답변 관련성을 얼마나 높게 보는지에 해당한다. 논문은 $r_i$를 query별 min-max scaling으로 $[0,1]$에 맞춘다. 절대 score calibration보다 같은 query 안의 후보 간 상대적 separation을 사용하겠다는 선택이다.

그 다음 $\tau_s=0.70$과 $\tau_r=0.08$로 네 영역을 만든다. B1은 두 점수가 모두 기준 이상인 후보이므로 유지한다. B4는 두 점수가 모두 낮으므로 버린다. B2는 embedding은 높지만 reranker가 낮게 본 후보라 false positive 가능성이 높다. 그래서 $f_i=\alpha s_i+(1-\alpha)r_i$가 $0.255$ 이상일 때만 유지한다. B3는 embedding은 낮지만 reranker가 높게 본 후보다. 이 영역은 vocabulary mismatch나 paraphrase 때문에 vector similarity가 낮게 잡힌 경우를 포함한다. 그래서 threshold를 $0.15$로 낮춰 cross-encoder affirmation을 더 살린다.

마지막으로 retained set이 $K_{max}$를 넘으면 fusion score가 높은 순서로 자른다. 이 ceiling은 ScoreGate가 무제한으로 문맥을 늘리는 장치가 아님을 보여 준다. 실제 배포에서는 context window, latency, generator cost 때문에 upper bound가 필요하다. 논문에서 $K_{max}=10$은 기존 fixed Top-K와 같은 상한을 두되, 그 안에서 실제 retained count를 줄이는 방식이다. 이렇게 하면 최악의 prompt 길이는 기존 시스템과 같고, 평균 prompt 길이는 query score 분포에 따라 줄어든다.

이 방식은 learned retriever를 새로 학습하거나 generator를 제어 토큰으로 fine-tuning하지 않는다. 장점은 deployment friction이 낮다는 점이다. 이미 two-stage RAG를 쓰는 시스템이라면 score logging, threshold calibration, gate insertion만으로 실험할 수 있다. 반대로 단점도 여기에 있다. $s_i$와 $r_i$가 품질이 낮거나 도메인 shift 때문에 분포가 흔들리면 gate도 함께 흔들린다. ScoreGate는 retrieval model을 대체하는 기술이 아니라, retrieval model이 이미 만든 두 score를 더 낭비 없이 쓰는 얇은 decision layer다.

4. 실험 설정: 내부 진단, 공개 벤치마크, 실서비스 로그

4.1 세 데이터셋의 역할 분리

논문은 세 종류의 데이터를 사용한다. 첫째는 MS MARCO Passage Ranking이다. 8.8M passage와 official qrels가 있는 공개 benchmark이며, 논문은 dev set에서 200 query를 sample해 evaluation에 쓴다. 이 데이터는 재현 가능성과 외부 일반화 주장에 가장 중요하다. 둘째는 내부 Annotated Relevance Benchmark, 줄여 ARB다. 셋째는 1,247개의 live query로 구성된 Real-World Dataset, RWD다.

ARB는 production knowledge base 약 12,000 chunk에서 300개의 query, chunk, label triple을 만든 내부 진단 세트다. chunk 평균 길이는 180 token이고 paragraph boundary와 20-token overlap으로 나뉜다. label은 Irrelevant, Relevant, Semantically Relevant 세 category가 100개씩 균형 있게 들어간다. 세 명의 domain expert가 model score를 보지 않고 labeling했고, Fleiss’ $\hat{\kappa}=0.87$을 보고한다.

다만 ARB는 독립적 일반화 benchmark라기보다 tuned domain deployment validation으로 봐야 한다. 논문도 ARB knowledge base가 threshold tuning corpus와 공유된다는 점을 명시한다. query window는 disjoint지만 corpus-level statistic은 겹칠 수 있다. 이 정직한 framing은 중요하다. ARB 숫자를 그대로 모든 domain의 성능으로 읽기보다, production domain 안에서 score gate가 어떻게 작동하는지 보는 자료로 해석해야 한다.

Table 4: ARB와 RWD의 relevance category 분포. ARB는 진단용 균형 세트이고, 실제 production traffic은 irrelevant candidate가 대부분이다.

Dataset	Irrelevant	Relevant	Semantically Relevant
ARB (diagnostic)	33%	33%	33%
RWD (production)	71%	18%	11%

4.2 후보 수 N과 baseline

ScoreGate는 먼저 top-N 후보를 받고 그 안에서 adaptive selection을 한다. 논문은 ARB에서 $N\in\{20,40,60\}$을 비교한다. Semantically Relevant recall은 N=20에서 95.8%, N=40에서 99.34%, N=60에서 99.5%로 포화된다. latency는 301ms, 436ms, 611ms로 선형에 가깝게 늘어난다. 저자들은 coverage와 비용의 균형점으로 N=40을 선택한다.

baseline은 Standard Top-K와 LLM Filter가 중심이다. Standard Top-K는 K=10 chunk를 항상 반환한다. recall은 높지만 irrelevant chunk를 그대로 generator context에 넣기 때문에 precision과 hallucination 관점에서 비용을 치른다. LLM Filter는 gpt-4o-mini에 zero-shot binary relevance prompt를 주어 chunk를 keep 또는 discard하게 한다. 이 baseline은 additional inference를 요구하므로 latency 비교에서 중요한 대조군이다.

Table 5: candidate set size sensitivity. N=40 이후 recall 개선은 작고 latency는 커져 운영 지점으로 N=40이 선택된다.

N	Recall (Sem. Relevant)	Avg. Latency
20	95.8%	301ms
40	99.34%	436ms
60	99.5%	611ms

4.3 metric 구성: ranking, recall, precision, hallucination

ScoreGate 평가는 retrieval ranking metric과 운영 metric을 함께 본다. MS MARCO에서는 MRR@10, Recall@10, Precision, 평균 retained count를 보고한다. ARB에서는 category별 observed false positive와 recall을 본다. efficiency에서는 평균 relevance rating, pipeline latency, token per query가 나온다. hallucination analysis에서는 300개 generated answer를 annotator가 factual support 기준으로 판정한다.

이 구성이 좋은 이유는 RAG 품질이 단일 metric으로 끝나지 않기 때문이다. MRR@10은 ranking 앞쪽에 relevant passage가 오는지를 잘 보지만, prompt에 몇 개의 chunk가 들어가는지와 hallucination 위험은 별도 문제다. ScoreGate의 주장은 “ranking metric을 크게 손상하지 않으면서 retained chunk를 줄인다”에 가깝다. 따라서 MRR, Recall, Precision, token, latency, hallucination을 함께 봐야 한다.

Figure 4: alpha sensitivity. ARB Semantically Relevant 기준 F1은 $\alpha=0.3$에서 peak를 보이며, reranker 70%, embedding 30%의 비대칭 가중치가 경험적으로 선택된다.

알파 민감도 그림은 ScoreGate가 임의의 0.5 대 0.5 평균이 아님을 보여 준다. $\alpha$가 커지면 embedding similarity의 영향이 커지고, 작아지면 reranker 의존도가 커진다. 실험에서는 $\alpha=0.3$에서 F1이 정점을 찍어 reranker 70%, embedding 30% 조합이 가장 안정적이었다. 이는 B3처럼 query wording과 chunk wording이 어긋나는 경우에는 cross-encoder의 pairwise 판단을 더 믿는 편이 낫다는 경험적 근거다.

4.4 왜 세 데이터셋을 함께 봐야 하는가

논문은 내부 ARB, MS MARCO, real-world dataset을 서로 다른 목적으로 배치한다. ARB는 저자들의 production domain에서 만든 진단용 benchmark다. Irrelevant, Relevant, Semantically Relevant category가 균형 있게 설계되어 있기 때문에 B3 같은 특정 failure mode를 보기 좋다. 다만 같은 지식 기반과 같은 운영 환경에서 threshold를 만들고 평가한다는 점에서, ARB만으로 일반화 주장을 강하게 하기는 어렵다. 저자들도 이 지점을 threat to validity에서 비교적 명시적으로 인정한다.

MS MARCO는 반대 역할을 한다. public qrels가 있고, 외부 독자가 이해하기 쉬운 passage ranking benchmark다. 여기에서 original threshold와 re-derived threshold를 나눠 본 점이 중요하다. original threshold는 production domain에서 잡은 $\tau_s=0.70$, $\tau_r=0.08$을 그대로 옮긴 설정이고, re-derived threshold는 MS MARCO score 분포에 맞춰 다시 보정한 설정이다. 두 설정을 함께 보여 주면 ScoreGate가 완전히 domain-locked된 heuristic인지, 보정 절차만 옮기면 다른 corpus에서도 작동하는지 구분할 수 있다.

Real-world dataset은 benchmark score보다 abstention behavior를 보여 주는 장치다. BQD score가 낮은 query에서는 retrieval을 건너뛰거나 empty result를 반환하는 것이 오히려 맞을 수 있다. 이 구간에서 ScoreGate가 87% empty를 반환했다는 결과는, RAG 시스템이 항상 무언가를 검색해 넣어야 한다는 관성에서 벗어나는 근거다. knowledge base에 답이 없거나 query가 navigation command에 가까운 경우에는 깨끗하게 비우는 것이 hallucination을 줄인다. 이 부분은 단순 retrieval metric으로는 잘 보이지 않는 운영 품질이다.

5. 주요 실험 결과: recall을 지키며 chunk 수와 hallucination을 줄이다

5.1 ARB precision과 category recall

ARB에서 가장 강한 메시지는 zero observed false positive와 높은 recall의 조합이다. Irrelevant category 100개에서 ScoreGate는 0/100 false positive를 보였고 specificity 100%로 보고된다. Relevant category에서는 recall 97.77%, Semantically Relevant category에서는 recall 99.34%다. LLM Filter도 false positive는 0/100이지만 recall이 각각 91.11%, 92.41%로 낮다.

Table 6: ARB precision/recall. ScoreGate는 zero observed false positives를 유지하면서 LLM Filter보다 Relevant와 Semantically Relevant recall이 높다.

Category	ScoreGate Obs. FP	ScoreGate Recall	LLM Obs. FP	LLM Recall
Irrelevant	0/100	100% specificity	0/100	100% specificity
Relevant	0/100	97.77%	0/100	91.11%
Semantically Relevant	0/100	99.34%	0/100	92.41%

차이는 B3에서 크게 나온다. 논문에 따르면 ARB의 B3 chunk 56개 중 51개가 Semantically Relevant category에 속한다. LLM Filter는 낮은 surface overlap 때문에 B3의 76.8%를 reject하지만, ScoreGate는 cross-encoder affirmation을 신뢰해 56개 중 54개를 유지한다. 이 bucket 하나가 Semantically Relevant recall gap 6.93 percentage point의 대부분을 설명한다.

Figure 5: ScoreGate와 LLM Filter의 category별 recall. false positive는 둘 다 0이고, ScoreGate는 Relevant에서 +6.66pp, Semantically Relevant에서 +6.93pp 높다.

Recall bar chart는 ScoreGate의 이득이 단순히 더 많이 남겨서 생긴 것이 아님을 보여 준다. false positive를 늘리지 않은 상태에서 relevant 계열 recall이 올라간다. 특히 semantically relevant chunk는 query와 같은 단어를 공유하지 않는 경우가 많아 LLM Filter가 보수적으로 버리기 쉽다. ScoreGate는 reranker score를 직접 쓰기 때문에 그 구간을 더 잘 살린다.

5.2 MS MARCO에서의 ranking 성능

공개 benchmark인 MS MARCO에서는 re-derived threshold가 가장 좋은 결과를 낸다. Standard Top-K K=10의 MRR@10은 0.387, Recall@10은 0.903, Precision은 0.712, 평균 retained count는 10.0이다. ScoreGate original threshold는 MRR@10 0.392, Recall@10 0.871, Precision 0.944, 평균 6.1개를 유지한다. re-derived threshold는 MRR@10 0.401, Recall@10 0.889, Precision 0.938, 평균 6.5개다.

Table 7: MS MARCO Passage Ranking results. Re-derived threshold의 ScoreGate는 MRR@10 0.401을 얻고 평균 retained chunk를 6.5개로 줄인다.

Method	MRR@10	Recall@10	Precision	Avg. |C′|
Standard Top-K (K=10)	0.387	0.903	0.712	10.0
LLM Filter	0.361	0.812	0.957	4.8
ScoreGate (orig. thresh.)	0.392	0.871	0.944	6.1
ScoreGate (re-derived)	0.401	0.889	0.938	6.5

여기서 trade-off를 정확히 읽어야 한다. Standard Top-K는 Recall@10이 0.903으로 가장 높지만 Precision이 낮고 chunk 수가 많다. LLM Filter는 Precision 0.957로 가장 높지만 Recall@10과 MRR이 크게 떨어진다. ScoreGate는 둘 사이의 균형점이다. Recall은 Top-K보다 조금 낮지만 LLM Filter보다 높고, Precision은 Top-K보다 크게 높으며, MRR@10은 Top-K보다 높다.

Original threshold로도 MRR@10 0.392를 얻었다는 점은 domain shift에 대한 graceful degradation 신호다. 다만 re-derived threshold가 더 좋았으므로, 실제 도입 시에는 각 corpus와 model pair에 맞춰 $\tau_s$, $\tau_r$를 다시 산출하는 것이 맞다. 논문은 이 과정을 retraining 없이 log statistic과 validation annotation 기반 calibration으로 설명한다.

5.3 효율: token 34.8% 감소와 latency 31ms 증가

운영 지표에서는 token 절감이 크다. Standard Top-K의 average tokens per query는 637개이고 ScoreGate는 415개다. 34.8% 감소다. 평균 relevance rating은 4.23에서 4.27로 거의 유지되거나 소폭 오른다. latency는 405±12ms에서 436±14ms로 늘어 31ms 증가한다. 논문은 이 overhead가 fusion arithmetic과 sort에서 오며, 추가 model inference가 없다고 설명한다.

Table 8: efficiency metrics on ARB. ScoreGate는 relevance를 유지하면서 token을 34.8% 줄이고 latency는 31ms만 늘린다.

Metric	Standard Top-K	ScoreGate	Delta
Avg. Relevance (1-5)	4.23±0.31	4.27±0.29	+0.04
Avg. Pipeline Latency	405±12 ms	436±14 ms	+31 ms
Avg. Tokens/Query	637	415	-34.8% tokens

LLM Filter와 비교하면 latency 차이가 더 선명하다. LLM Filter는 top-N=40 후보 각각에 대해 gpt-4o-mini relevance judgement를 호출한다고 설정되어 query당 약 8,400ms가 추가된다. ScoreGate의 31ms overhead와 비교하면 약 19배 이상 차이다. RAG를 interactive product 안에 넣는 환경에서는 이 latency 차이가 품질 개선보다 먼저 도입 가능성을 좌우할 수 있다.

5.4 hallucination과 real-world abstention

논문은 생성 답변 300개에 대해 hallucination analysis도 수행한다. hallucination은 retrieved context나 source document가 지지하지 않는 factual claim으로 정의된다. Standard Top-K는 11.8%, ScoreGate는 7.1%로 보고되어 4.7 percentage point 감소한다. 이는 irrelevant distractor를 prompt에서 제거하면 generator가 엉뚱한 근거에 끌릴 가능성이 낮아진다는 직관과 맞다.

RWD 1,247 live query에서는 Business Query Detection, 즉 BQD score와 ScoreGate output을 비교한다. BQD<50이면 retrieval이 필요 없을 것으로 예상되는데, ScoreGate는 87%에서 empty set을 반환한다. 나머지 13%가 chunk를 반환한 경우에도 manual review에서 80%는 실제 관련 content가 있었다. 저자들은 이를 합쳐 약 95% correctness로 해석한다. BQD≥50에서는 63%가 chunk를 반환하고 37%는 empty인데, 이 empty는 KB gap이나 non-RAG query로 설명된다.

Table 9: RWD deployment behaviour와 hallucination 결과. ScoreGate는 empty result를 통해 불필요한 RAG를 건너뛰고, Top-K 대비 hallucination rate를 낮춘다.

Item	Standard or Expected	ScoreGate Result	Interpretation
BQD < 50	Return empty	Empty 87% | Chunks 13%	13% 중 80%는 manual review에서 실제 relevant content
BQD ≥ 50	Return chunks	Chunks 63% | Empty 37%	Empty는 KB gap 또는 non-RAG query로 해석
Hallucination rate	Standard Top-K 11.8%	ScoreGate 7.1%	4.7pp 감소

5.5 결과를 한 문장으로 줄이면 precision-preserving compression이다

ScoreGate 결과를 하나의 phrase로 줄이면 precision-preserving compression에 가깝다. Standard Top-K는 많은 chunk를 남기기 때문에 recall은 높지만 irrelevant chunk도 그대로 generator에 들어간다. LLM Filter는 precision을 강하게 올리지만, domain instruction과 chunk-level judge가 보수적으로 작동하면 relevant chunk를 놓칠 수 있다. ScoreGate는 이 둘 사이에서 reranker score와 embedding score의 conflict pattern을 읽어, chunk 수를 줄이면서도 semantically relevant category의 recall을 유지한다.

ARB에서 observed false positive가 0개라는 결과는 조심스럽게 읽어야 한다. 표본이 category별 100개라서 95% confidence interval은 완벽한 precision을 보장하지 않는다. 논문도 “observed zero false positives”라고 표현한다. 그럼에도 같은 조건에서 LLM Filter보다 Relevant recall은 6.66 percentage point, Semantically Relevant recall은 6.93 percentage point 높다는 점은 실무적으로 의미가 있다. false positive를 늘리지 않는 범위에서 recall을 올렸기 때문이다.

MS MARCO에서는 trade-off가 더 선명하다. Standard Top-K는 Recall@10이 0.903으로 높지만 Precision이 0.712이고 평균 10개를 모두 유지한다. LLM Filter는 Precision 0.957까지 올라가지만 Recall@10이 0.812로 떨어지고 MRR@10도 0.361로 낮다. ScoreGate re-derived setting은 MRR@10 0.401, Recall@10 0.889, Precision 0.938, 평균 retained chunk 6.5개를 보인다. 즉 모든 metric에서 단독 최고는 아니어도, ranking quality와 context size 사이의 균형이 가장 설득력 있게 나온다.

Hallucination 결과는 retrieval gate가 generation error에도 영향을 줄 수 있음을 보여 준다. Standard Top-K의 hallucination rate 11.8%가 ScoreGate에서 7.1%로 낮아진 것은, generator가 더 적은 문맥을 받았기 때문만은 아니다. 더 관련 있는 문맥이 남고 낮은 relevance 후보가 줄어들었기 때문에 unsupported factual claim이 줄었을 가능성이 크다. 물론 hallucination labeling은 annotator protocol과 domain에 민감하다. 그래도 RAG에서 context selection이 answer-level safety metric까지 움직인다는 사실은 후속 연구에서 더 크게 다룰 만하다.

6. 추가 분석 및 Ablation Study: 왜 네 bucket이 필요한가

6.1 bucket distribution: B3는 주변부가 아니다

ARB의 bucket distribution은 ScoreGate 설계의 동기를 수치로 보여 준다. B1은 134개로 44.7%, B2는 55개로 18.3%, B3는 56개로 18.7%, B4는 55개로 18.3%다. B3가 18.7%라는 것은 low similarity, high reranker signal이 예외적인 한두 사례를 넘어 production retrieval output의 의미 있는 부분이라는 뜻이다.

Table 10: empirical bucket distribution on ARB. B3가 18.7%를 차지해 vocabulary-mismatch chunk가 무시할 수 없는 규모임을 보여 준다.

Bucket	Condition	Count	Percent
B1 keep always	$s_i\geq au_s \wedge r_i\geq au_r$	134	44.7%
B2 fuse, high bar	$s_i\geq au_s \wedge r_i< au_r$	55	18.3%
B3 fuse, low bar	$s_i< au_s \wedge r_i\geq au_r$	56	18.7%
B4 discard always	$s_i< au_s \wedge r_i< au_r$	55	18.3%

이 분포는 fixed K가 왜 낭비를 만드는지도 보여 준다. B4가 18.3%이고 production RWD에서는 irrelevant candidate가 71%에 달한다. 모든 query에 top-10을 넣으면 B4와 low-value chunk가 prompt 안으로 들어갈 확률이 커진다. 동시에 B3를 단순 embedding threshold로 버리면 중요한 paraphrase evidence가 사라진다. 네 bucket은 이 두 현상을 동시에 다루려는 설계다.

6.2 reranker-only와 single-threshold fusion 비교

Reranker-only baseline은 $r_i\geq au_r$인 chunk만 남긴다. ARB에서 false positive는 0이지만 Relevant recall 94.8%, Semantically Relevant recall 95.1%에 그친다. ScoreGate는 각각 97.77%, 99.34%다. embedding similarity를 완전히 버리면 B2처럼 $s_i$가 보조 증거가 되는 경우를 놓친다. 반대로 $s_i$만 믿으면 B3를 놓친다. dual-score fusion이 필요한 이유다.

Single-threshold fusion도 한계가 있다. 논문은 validation set에서 $ heta^*=0.19$를 grid search로 고른 baseline을 비교한다. Semantically Relevant recall은 94.1%, ScoreGate는 99.34%다. 하나의 threshold는 B2와 B3를 같은 잣대로 본다. 하지만 B2는 reranker가 reject했으므로 높은 bar가 필요하고, B3는 reranker가 affirm했으므로 낮은 bar가 맞다. 네 bucket 구조가 이 비대칭을 encode한다.

Table 11: baseline ablation on ARB Semantically Relevant. 네 bucket ScoreGate가 single-signal과 single-threshold 접근보다 높은 recall을 보인다.

Method	F1	Recall
Relative-score cutoff	95.4%	91.8%
Score-gap stopping	96.1%	92.7%
Reranker-only	95.1%	91.1%
Single-threshold fusion	96.96%	94.1%
ScoreGate (4-bucket)	99.67%	99.34%

6.3 threshold robustness와 false negative

논문은 $ au_s\in[0.65,0.75]$, $ au_r\in[0.06,0.10]$를 0.01 step으로 바꾸고, $\alpha\in[0.2,0.5]$도 시험한다. 75개 조합에서 observed false positive는 0이고 recall variation은 최대 3.2 percentage point라고 보고한다. 이는 B1과 B4가 threshold perturbation에 비교적 안정적이고, 민감도가 주로 B2와 B3 boundary에 국한되기 때문이라고 설명한다.

Figure 6: threshold robustness. F1 surface는 평가 grid 전반에서 96% 이상이고, alpha curve는 $\alpha=0.3$에서 peak를 보인다. 선택점은 $\tau_s=0.70$, $\tau_r=0.08$이다.

Robustness 그림은 ScoreGate가 아주 좁은 threshold 조합에만 의존하지 않는다는 근거다. 왼쪽 surface가 넓게 96% 이상을 유지하고, 오른쪽 curve는 $\alpha=0.3$에서 정점을 보인다. 중요한 점은 threshold를 조금 바꾼다고 B1과 B4의 다수 후보가 갑자기 뒤집히지 않는다는 데 있다. 민감도는 주로 B2와 B3 경계에서 발생하며, 이 영역은 실제 운영에서 validation set으로 재보정할 수 있는 부분이다.

false negative는 ARB에서 3개로 보고된다. 모두 B2 또는 B3 borderline에서 발생했고, high-confidence B4 rejection에서는 나오지 않았다. 실패 원인은 indirect phrasing, legal/formal terminology, procedural exception처럼 두 점수 모두를 낮추는 semantic abstraction이다. $ heta_{B3}$를 낮추면 일부를 살릴 수 있지만 false positive 위험이 커진다. 결국 ScoreGate도 underlying retriever와 reranker의 representation limit을 상속한다.

6.4 MAX-K ceiling의 부작용과 운영 선택

MAX-K는 안전장치이지만 정보 손실도 만든다. 논문 배포에서는 $K_{\max}=10$가 쓰였고, ARB 300 query 중 14개, 즉 4.7%에서 ceiling이 binding되었다. 이때 31개 chunk가 dropped 되었으며, 그중 23개는 Irrelevant라서 올바르게 제거되었고, 4개 Relevant와 4개 Semantically Relevant는 false negative가 되었다. 특히 dropped B3 9개는 vocabulary mismatch evidence가 낮은 $s_i$ 때문에 fusion score 순위에서 밀린 사례다.

이 결과는 ScoreGate를 설정할 때 MAX-K가 단순한 비용 knob에 그치지 않고 recall knob으로도 작동한다는 점을 알려 준다. domain이 knowledge-intensive이고 multi-hop evidence가 많다면 MAX-K를 높이거나, B3 chunk에 별도의 quota를 주는 변형이 필요할 수 있다. 반대로 짧은 FAQ형 domain에서는 MAX-K를 낮게 유지해 token 절감을 크게 가져갈 수 있다. 논문은 이 선택을 배포 환경별 calibration 문제로 남긴다.

6.5 B3가 실제로 해결하는 것은 paraphrase recall이다

ScoreGate에서 가장 중요한 영역은 B3다. B3는 $s_i<\tau_s$이지만 $r_i\geq\tau_r$인 후보를 뜻한다. embedding similarity만 보면 query와 멀어 보이지만, cross-encoder가 query와 chunk를 함께 읽으면 답변 관련성이 드러나는 경우다. 논문은 B3 후보가 ARB 전체 후보의 18.7%이고, 이 중 51개가 Semantically Relevant category였다고 보고한다. 이 숫자는 B3가 극히 드문 예외 처리 분기가 아니라 production retrieval에서 실제로 상당한 비중을 차지하는 failure mode임을 보여 준다.

LLM Filter가 B3 chunk를 많이 버린다는 관찰도 중요하다. chunk만 따로 읽고 query와의 surface overlap을 엄격히 판단하면, 표현이 다른 근거는 “Not Relevant”가 되기 쉽다. 반면 cross-encoder는 query-document pair의 token interaction을 직접 계산하기 때문에 같은 의미를 다른 표현으로 말하는 chunk를 더 잘 잡을 수 있다. ScoreGate는 이 차이를 threshold asymmetry로 encode한다. B2에는 높은 문턱을 두고 B3에는 낮은 문턱을 둔 설계는, 두 score 중 어떤 score가 어떤 종류의 오류를 내는지에 대한 operational prior를 반영한다.

single-threshold fusion과의 비교도 여기서 이해된다. $f_i$ 하나만 놓고 $\theta^*=0.19$ 같은 cutoff를 쓰면 B2와 B3를 같은 종류의 uncertainty로 취급한다. 그러나 B2는 reranker rejection을 embedding similarity가 일부 반박하는 상황이고, B3는 reranker affirmation을 embedding similarity가 반박하는 상황이다. 둘은 false positive 위험과 false negative 위험의 방향이 다르다. ScoreGate의 네 bucket 구조는 이 비대칭 비용을 구조적으로 나눈다.

6.6 threshold robustness가 말해 주는 운영 가능성

논문은 $\tau_s$, $\tau_r$, $\alpha$를 흔들어도 성능이 크게 무너지지 않는다고 보고한다. 이 부분은 배포 관점에서 중요하다. production RAG에서는 score distribution이 주 단위로 바뀔 수 있다. 문서가 추가되고, embedding model이 교체되고, query mix가 바뀐다. 아주 좁은 threshold 한 점에서만 성능이 나오는 gate라면 운영자가 쓰기 어렵다. ScoreGate의 robustness surface가 넓다는 결과는, validation window를 두고 재보정하는 방식으로 운영할 수 있음을 시사한다.

다만 robustness는 “아무 도메인에서나 같은 threshold를 쓰면 된다”는 뜻은 아니다. MS MARCO에서 re-derived threshold가 original threshold보다 더 좋은 결과를 낸 것처럼, score calibration은 도메인별로 다시 해야 한다. 중요한 것은 threshold 값을 외우는 것이 아니라, threshold를 유도하는 절차다. median similarity와 5% false-positive reranker cutoff를 어떤 sample에서 계산할 것인지, validation set의 category label을 어떻게 만들 것인지가 실제 재현성의 핵심이 된다.

7. 한계점 및 향후 연구 방향: 일반화, 후보군 recall, multi-hop의 빈칸

7.1 내부 benchmark와 외부 일반화의 경계

가장 먼저 봐야 할 한계는 evaluation scope다. ARB는 300개 triple이고 production domain에 맞춰 설계된 내부 benchmark다. query window는 threshold tuning window와 분리되어 있지만, knowledge base는 공유된다. 따라서 ARB의 97.77~99.34% recall과 zero observed false positive는 해당 deployment domain에서의 강한 신호이지, 곧바로 모든 corpus와 model pair에 적용되는 보편 성능은 아니다.

MS MARCO 결과는 더 재현 가능한 근거지만 200 dev query sample이다. MRR@10 0.401과 average retained count 6.5는 설득력 있는 방향성을 보여 주지만, biomedical, legal, code, scientific corpus까지 일반화하려면 더 넓은 benchmark가 필요하다. 논문도 BEIR subset, biomedical/legal retrieval, HotpotQA와 MuSiQue 같은 multi-hop benchmark를 future work로 언급한다.

7.2 후보군 밖 evidence는 gate가 살릴 수 없다

ScoreGate는 top-N candidate set 안의 score pair를 보고 고른다. 따라서 bi-encoder가 relevant chunk를 top-N 밖으로 완전히 놓치면 ScoreGate가 복구할 방법은 없다. B3 rescue는 “낮은 similarity지만 후보군 안에는 들어온 chunk”를 살리는 장치다. 첫 retrieval recall이 낮은 domain에서는 candidate generation 자체를 개선하거나 N을 키워야 한다.

이 한계는 RAG pipeline의 계층적 특성과 맞물린다. retrieval gate는 후보군 안의 evidence utility를 잘 따질 수 있지만, corpus indexing, chunking, query rewriting, first-stage retriever 품질이 약하면 gate 앞에서 이미 손실이 발생한다. 논문이 N=40을 운영점으로 고른 것도 이 문제와 관련된다. N을 키우면 recovery 기회는 늘지만 latency와 reranker cost가 같이 오른다.

7.3 reranker calibration과 domain-specific threshold

ScoreGate는 cross-encoder score를 강하게 신뢰한다. $\alpha=0.3$이므로 fusion weight의 70%가 $r_i$에 간다. 따라서 reranker가 특정 domain에서 systematic error를 내면 ScoreGate도 그 오류를 증폭할 수 있다. 예를 들어 code-heavy corpus에서 자연어 relevance reranker가 API 이름과 error trace의 관련성을 낮게 본다면 B3 rescue가 기대만큼 작동하지 않을 수 있다.

Threshold도 domain-specific이다. production domain의 $\tau_s=0.70$, $\tau_r=0.08$는 MS MARCO에서 $ au_s=0.63$, $ au_r=0.11$로 재산출된다. 이 이동은 calibration 절차의 필요성을 잘 보여 준다. 새 deployment에서 ScoreGate를 적용하려면 최소한 작은 validation set과 query log statistic을 확보해 $ au_s$, $ au_r$, $ heta_{B2}$, $ heta_{B3}$를 다시 잡아야 한다.

7.4 multi-hop coverage와 poisoning 방어의 남은 질문

논문은 multi-hop query를 본격 평가하지 않는다. 여러 passage가 서로 보완해야 답이 나오는 경우에는 chunk별 relevance score만으로 충분한 coverage를 보장하기 어렵다. 어떤 chunk는 단독으로는 낮은 점수를 받지만 다른 chunk와 결합될 때 중요할 수 있다. Query Coverage in Retrieval 관점에서는 retained set 전체가 sub-question을 덮는지 평가해야 한다.

RAG poisoning 방어와의 연결도 열려 있다. ScoreGate는 irrelevant chunk를 줄여 attack surface를 일부 낮출 수 있지만, reranker가 높은 relevance를 주는 poisoned chunk가 B1이나 B3에 들어오면 오히려 강하게 통과될 수 있다. 따라서 BiRD류 poisoning defense나 provenance 검증과 결합해 score가 높은 근거라도 source trust, anomaly signal, conflict evidence를 함께 봐야 한다.

7.5 평가 granularity의 한계

ScoreGate는 chunk 단위의 keep/discard를 잘 다루지만, evidence가 답변 안에서 실제로 어떻게 쓰였는지는 별도의 문제다. 어떤 chunk가 retained set에 남았다고 해서 generator가 그 chunk의 올바른 문장을 사용했다는 보장은 없다. 이 지점은 기존 위키의 [[concepts/evidence-utility-in-rag]] 관점과 연결된다. chunk가 prompt 안에 들어간 것과, 답변의 특정 claim을 지지한 것은 다르다. 따라서 후속 평가에서는 retained chunk를 제거하거나 대체했을 때 answer correctness와 grounding이 어떻게 바뀌는지를 함께 봐야 한다.

또한 multi-hop query에서는 “chunk 몇 개”보다 “서로 다른 조건 축이 모두 채워졌는가”가 더 중요할 수 있다. 예를 들어 가격, 기능, 해지 조건을 비교하는 질문은 세 조건이 모두 있어야 답변이 완성된다. 평균 retained chunk 수가 낮아졌다는 지표만 보면 이 coverage gap을 놓칠 수 있다. 이 부분은 [[concepts/query-coverage-in-retrieval]]과 직접 이어진다. ScoreGate가 chunk 수를 줄일 때 query entity, relation, constraint coverage를 함께 추적하지 않으면, 효율 개선이 일부 복합 질문에서 정보 누락으로 바뀔 위험이 있다.

보안 관점에서도 남는 질문이 있다. RAG poisoning 상황에서는 공격 문서가 bi-encoder similarity와 reranker score를 동시에 높이도록 최적화될 수 있다. 그러면 B1에 들어온 악성 chunk는 ScoreGate가 그대로 유지할 가능성이 있다. [[concepts/bidirectional-ranking-defense]]나 [[concepts/rag-poisoning-defense]]가 다루는 ranking anomaly 신호는 이런 상황을 보완할 수 있다. ScoreGate는 relevance gate이지 trust gate가 아니다. production deployment에서는 provenance, source trust, backward ranking consistency 같은 방어 신호와 결합해야 한다.

8. 내 해석: 운영자가 보는 ScoreGate의 가치와 다음 실험

8.1 내가 중요하게 보는 지점

나는 ScoreGate의 가장 큰 가치를 RAG 검색 결과를 rank list보다 evidence budget으로 본다는 데서 본다. 실제 운영에서는 top-10을 넣을지 top-5를 넣을지보다, 지금 질문에 필요한 evidence가 얼마나 되는지를 더 자주 고민한다. ScoreGate는 이 판단을 사람이 prompt rule로 쓰는 대신, 이미 존재하는 $s_i$와 $r_i$의 joint distribution으로 옮긴다. 이 점이 Evidence Utility in RAG와 직접 연결된다.

Evidence Utility in RAG 관점에서 chunk의 가치는 단순 relevance를 넘어 generator가 안전하고 충분한 답을 만들도록 돕는 정도다. ScoreGate는 B4를 버려 distractor utility가 낮은 evidence를 줄이고, B3를 살려 vocabulary mismatch 때문에 숨은 utility를 회복한다. Query Coverage in Retrieval 관점에서는 고정 K보다 query별 retained count가 더 자연스럽다. 좁은 질문에는 0~2개도 가능하고, 넓은 질문에는 MAX-K까지 올라갈 수 있기 때문이다.

Retrieval Ranking Metrics 관점에서는 MRR@10만으로 이 논문을 평가하면 일부를 놓친다. MS MARCO MRR@10 0.401은 중요하지만, ScoreGate의 본질은 ranking 앞자리 개선만이 아니다. 평균 retained chunk가 10.0에서 6.5로 줄고 precision이 0.712에서 0.938로 올라가는 구조, 그리고 hallucination이 11.8%에서 7.1%로 줄어드는 구조를 함께 봐야 한다. ranking metric과 context budget metric을 나란히 놓는 습관이 필요하다.

8.2 구체적 약점 한 가지

구체적 약점은 첫 단계 후보군의 query coverage를 직접 보장하지 못한다는 점이다. ScoreGate는 top-N 안에 들어온 chunk를 잘 고르는 gate이지만, compositional query에서 필요한 sub-evidence가 애초에 top-N에 없거나, 서로 다른 sub-question을 덮는 chunk들이 모두 낮은 개별 score를 받으면 set-level coverage를 알 수 없다. 이 약점은 fixed Top-K 문제를 줄이면서도 multi-hop evidence assembly 문제를 남긴다.

8.3 구체적 후속 제안 한 가지

내가 제안하는 후속 실험은 coverage-aware ScoreGate evaluation 하나다. 500개 정도의 compositional query를 만들고, 각 query를 sub-question 단위 evidence requirement로 annotation한 뒤, ScoreGate가 남긴 $C^{\prime}$에 대해 Evidence Utility in RAG 점수, Query Coverage in Retrieval 점수, MRR/Recall 같은 Retrieval Ranking Metrics, 그리고 BiRD/RAG poisoning defense에서 쓰는 suspicious evidence flag를 같은 표에 기록한다. 이렇게 하면 B3 rescue가 coverage를 실제로 늘리는지와 공격성 chunk까지 함께 통과시키는지를 한 번에 볼 수 있다.

9. 결론: ScoreGate가 보여 준 실용적 RAG cardinality control

ScoreGate는 새로운 대형 모델을 붙여 RAG를 고치는 논문이 아니다. 오히려 표준 2단계 RAG가 이미 계산하는 두 score를 더 제대로 쓰는 논문이다. $s_i$와 $r_i$를 네 영역으로 나누고, 충돌 영역에 비대칭 fusion threshold를 적용해 retained chunk 수를 query별로 바꾼다. 이 단순한 구조가 token 34.8% 절감, 31ms latency overhead, ARB high recall, MS MARCO MRR@10 개선으로 이어진다는 점이 논문의 실용성을 만든다.

핵심 insight는 B3다. 낮은 embedding similarity와 높은 reranker score가 만나는 영역은 vocabulary mismatch evidence를 담고 있다. fixed Top-K는 이 chunk를 우연히 포함할 수도 있지만 비용을 많이 치르고, embedding threshold는 버릴 수 있으며, LLM Filter는 surface overlap이 낮아 reject할 수 있다. ScoreGate는 cross-encoder affirmation을 믿고 낮은 fusion threshold로 이 구간을 살린다.

동시에 ScoreGate는 만능 retrieval solution이 아니다. top-N 밖 evidence를 찾지 못하고, reranker calibration에 의존하며, multi-hop coverage는 별도 평가가 필요하다. 그러나 production RAG에서 흔히 겪는 과검색과 부족검색의 긴장을 score-space rule로 줄일 수 있다는 점은 충분히 의미 있다. 특히 추가 inference 없이 adaptive cardinality를 얻는 구조는 latency-sensitive assistant, customer support RAG, knowledge base QA에 바로 검토할 만하다.

내가 이 논문에서 가져갈 실무적 교훈은 세 가지다. 첫째, RAG에서 K는 모델 성능만의 값에 머물지 않고 운영 정책의 일부가 된다. 둘째, ranking score는 정렬에만 쓰지 말고 context inclusion decision에도 써야 한다. 셋째, relevance는 단일 축이 아니며, embedding similarity와 reranker score의 disagreement가 오히려 중요한 근거를 드러낼 수 있다. ScoreGate는 이 세 가지를 작고 재현 가능한 알고리즘으로 묶는다.

9.1 이 논문을 실제 시스템에 붙일 때의 체크리스트

내가 이 논문을 실제 RAG stack에 붙인다면 첫 번째 체크포인트는 score logging이다. query, candidate id, $s_i$, raw reranker score, normalised $r_i$, final retained 여부, generator answer id를 한 trace로 묶어야 한다. ScoreGate는 얇은 gate라서 구현 자체는 어렵지 않지만, 잘못된 threshold가 들어갔을 때 어떤 bucket에서 손실이 났는지 보이지 않으면 운영이 어렵다. 특히 B3 false negative와 B1 false positive는 서로 다른 조치가 필요하다.

두 번째 체크포인트는 category label이다. 논문은 Irrelevant, Relevant, Semantically Relevant를 나눠 평가한다. 이 구분이 없으면 ScoreGate의 핵심 이득인 vocabulary mismatch rescue를 확인하기 어렵다. 단순 binary relevance label만 있으면 B3가 왜 유지되어야 하는지 설명력이 떨어진다. 실무에서는 annotator에게 “질문 단어와 겹치지는 않지만 답변에 필요한 근거인가”를 따로 표시하게 하는 것이 좋다. 그래야 reranker가 살린 chunk와 embedding이 놓친 chunk를 구분할 수 있다.

세 번째 체크포인트는 answer-level 검증이다. ScoreGate가 retained chunk 수를 줄였더라도, 최종 답변이 더 짧아지거나 citation이 덜 정확해지는 부작용이 생길 수 있다. 따라서 latency, token, Recall@K만 보지 말고 factual claim support, citation precision, abstention correctness를 같이 측정해야 한다. 논문이 hallucination rate를 함께 제시한 것은 좋은 출발점이다. 다만 더 강한 결론을 내려면 answer span과 evidence span의 alignment까지 내려가는 평가가 필요하다.

9.2 최종적으로 남는 연구 질문

ScoreGate가 남기는 가장 생산적인 질문은 adaptive cardinality를 어디까지 score-space 규칙으로 해결할 수 있느냐이다. 이번 논문은 two-stage RAG에서 이미 계산된 두 점수만으로도 상당한 이득을 얻을 수 있음을 보여 준다. 다음 단계에서는 query decomposition, answer plan, source diversity 같은 더 구조적인 신호가 필요할 수 있다. 예를 들어 비교형 질문은 chunk 수가 충분해도 같은 제품의 가격 정보만 여러 번 남으면 답변이 비게 된다. 이때는 retained set의 크기뿐 아니라 retained set 안의 coverage profile을 함께 제어해야 한다.

또 하나의 질문은 gate decision을 사용자에게 어떻게 설명할 것인가이다. enterprise RAG에서는 “왜 이 문서를 넣지 않았는가”가 audit issue가 될 수 있다. ScoreGate는 bucket과 score pair를 남기기 때문에 설명 가능성이 비교적 좋다. B4라서 제거했는지, B2에서 threshold를 넘지 못했는지, B3로 살아남았는지를 trace에 기록하면 운영자가 오류를 재현하기 쉽다. 이 점은 black-box LLM Filter보다 큰 장점이다. 동시에 score calibration이 틀린 날에는 많은 query가 같은 방향으로 흔들릴 수 있으므로, drift monitor와 threshold 재보정 schedule을 함께 설계해야 한다.

10. 요약 정리

• 문제 정의: fixed Top-K는 좁은 query에는 over-retrieval을, compositional query에는 under-retrieval을 만들며 query별 evidence demand를 반영하지 못한다.
• 핵심 아이디어: 표준 RAG가 이미 만드는 bi-encoder similarity $s_i$와 cross-encoder reranker score $r_i$를 사용해 추가 model inference 없이 retained chunk 수를 결정한다.
• 방법론: $\tau_s=0.70$, $\tau_r=0.08$ 기준으로 B1~B4를 나누고, B1은 keep, B4는 discard, B2는 $f_i\geq 0.255$, B3는 $f_i\geq 0.15$를 적용한다.
• Fusion: $f_i=\alpha s_i+(1-\alpha)r_i$, $\alpha=0.3$로 reranker에 70%, embedding similarity에 30%를 주며, B3 vocabulary mismatch rescue를 중시한다.
• ARB 결과: observed false positive 0개, Relevant recall 97.77%, Semantically Relevant recall 99.34%, LLM Filter 대비 각각 +6.66pp와 +6.93pp recall 이득을 보고한다.
• MS MARCO 결과: re-derived threshold 기준 MRR@10 0.401, Recall@10 0.889, Precision 0.938, 평균 retained chunk 6.5개로 Standard Top-K의 10개보다 작다.
• 효율: ARB에서 token/query는 637에서 415로 34.8% 줄고, latency는 405±12ms에서 436±14ms로 31ms 증가한다.
• 생성 품질: hallucination rate는 Standard Top-K 11.8%에서 ScoreGate 7.1%로 낮아졌고, RWD 1,247 live query에서는 BQD<50일 때 87% empty 반환을 보였다.
• 해석: ScoreGate는 retrieval ranking 자체보다 context cardinality control에 초점을 맞춘 실용적 gate이며, Evidence Utility와 Query Coverage 평가로 확장할 여지가 크다.