[arXiv 2607.02509] ReContext: 장문 컨텍스트 속 증거를 재생하는 추론 하네스

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

arXiv:2607.02509

Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He | University of Illinois Urbana-Champaign | arXiv:2607.02509 | 2026년 7월

---

1. 서론: 장문 컨텍스트 접근과 활용의 간극

장문 컨텍스트 LLM의 가장 불편한 실패는 정답에 필요한 문장이 이미 프롬프트 안에 있는데도 모델이 그 문장을 안정적으로 쓰지 못하는 상황이다. 128K 토큰 창은 더 많은 문서를 담을 수 있게 만들지만, 질문에 필요한 단서가 무관한 배경 문장과 함께 희석되면 생성 시점의 표현은 여전히 흔들린다. ReContext는 이 지점을 컨텍스트 접근 문제를 넘어 컨텍스트 활용 문제로 재정의한다.

표준 장문 프롬프팅은 긴 컨텍스트 $C$와 질문 $q$를 한 번에 넣고, 모델이 $[C;q]$를 읽은 뒤 곧바로 답하도록 만든다. 이 방식은 단순하고 범용적이지만, 질문과 관련된 일부 증거가 수만 개의 토큰 속에서 경쟁해야 한다. 특히 질문이 사실 확인, 다중 홉 추론, 긴 소설 속 사건 연결, 책 길이 근거 검증처럼 세밀한 문장 단서를 요구할 때는 긴 창 자체가 정답성을 보장하지 못한다.

ReContext의 핵심 기여는 모델 내부의 질문 조건부 관련성 신호를 이용해 후보 증거를 뽑고, 그 후보를 원문 문장 또는 지역 span으로 되살린 뒤, 최종 생성 직전에 다시 보여주는 것이다. 중요한 점은 이 과정이 원래 컨텍스트를 지우거나 압축하지 않는다는 데 있다. 선택된 증거는 삭제 기준으로 쓰이지 않고 강조 장치이며, 최종 생성은 전체 원문 컨텍스트와 재생된 증거 scaffold와 질문을 함께 본다.

Figure 1. 세 LLM에서 상위 0.1% 컨텍스트 토큰이 누적 관련성 점수의 약 50%에서 80%를 차지하는 현상.

이 그림은 ReContext가 왜 토큰 수준 관련성 신호에서 출발하는지를 보여준다. 128K 토큰 중 128개 정도에 해당하는 극소수 위치가 질문 관련성의 큰 몫을 차지한다면, 장문 추론의 병목은 모든 문장을 같은 비중으로 다시 읽는 데 있지 않다. 논문은 이 분포를 근거로, 내부 attention/relevance가 가리키는 후보 위치를 span으로 확장해 생성 직전에 다시 노출하는 전략을 세운다. 이 분포는 긴 입력 안에서도 모델이 이미 특정 위치에 강한 신호를 만들고 있다는 증거이며, 그 신호를 답변 전 구조화하면 별도 학습 없이도 활용률을 끌어올릴 수 있음을 시사한다.

논문의 관찰은 단순히 “attention이 몰린다”는 말에서 멈추지 않는다. 저자들은 상위 토큰 자체를 답변에 바로 쓰기에는 너무 단편적이라고 본다. 예를 들어 이름 하나, 날짜 하나, 서술어 일부만 선택되면 생성 단계에서 필요한 관계 정보가 빠질 수 있다. 따라서 ReContext는 토큰을 최종 증거로 쓰지 않고, 토큰이 속한 문장이나 지역 구간을 복사해 근거로 읽을 수 있는 텍스트로 바꾼다.

이 방식은 장문 추론을 두 단계로 나눈다. 첫 단계는 관련 증거를 찾고 정리하는 evidence organization이고, 두 번째 단계는 그 증거와 원문을 함께 보며 답을 생성하는 answer generation이다. 두 단계 모두 같은 백본 LLM 위에서 수행되며, 별도 retriever 학습이나 외부 메모리 구축 없이 추론 시점의 wrapper로 작동한다.

ReContext가 “harness”라는 표현을 쓰는 이유도 여기에 있다. 모델의 파라미터를 바꾸지는 않지만, 긴 컨텍스트를 한 번 읽고 끝내는 흐름을 장악해 질문과 증거의 결합을 다시 배치한다. 특히 여러 라운드에 걸쳐 이미 선택된 증거를 프롬프트에 넣은 상태에서 다음 관련성 신호를 읽기 때문에, 두 번째 라운드 이후의 선택은 독립 샘플링을 넘어 앞선 증거에 의해 조건화된 선택이 된다.

논문은 이 재귀 과정을 무한한 agent loop로 확장하지 않는다. 실험에서는 작은 고정 라운드 수를 사용하고, 주 설정에서는 $R=2$가 중심이다. “recursive”는 이전 라운드의 evidence pool이 다음 라운드의 relevance readout을 바꾼다는 제한된 의미다. 이 제한 덕분에 방법은 복잡한 tool orchestration 수준으로 가지 않고 훈련 없는 inference-time harness로 남는다.

기여는 세 가지로 요약된다. 첫째, ReContext는 내부 attention 기반 관련성 신호를 후보 증거 풀로 변환하고 재생하는 구체적 절차를 제안한다. 둘째, 장문 컨텍스트를 associative memory store로 보고, 질문을 cue, attention을 cue-trace association, replay를 trace reactivation으로 해석하는 이론적 설명을 제공한다. 셋째, 세 가지 백본과 여덟 개 128K 벤치마크에서 모든 백본에 대해 최상 평균 순위를 보인다.

실험적으로도 주장은 꽤 직접적이다. Qwen3-4B에서는 ReContext의 평균 순위가 1.00으로 보고되며, Qwen3-8B와 Llama3-8B에서도 각각 1.46과 1.29로 가장 낮다. 전체 accuracy 계열을 평균하면 Vanilla 대비 0.24에서 0.30으로 올라가며, 논문은 이를 24.6% 상대 개선으로 제시한다. 작은 백본부터 8B급 모델까지 유사한 방향이 관찰된다는 점이 중요하다.

이 결과가 의미하는 바는 장문 추론의 병목이 반드시 더 긴 컨텍스트 창, 더 복잡한 retriever, 더 강한 compression만으로 해결된다고 보기 어렵다는 점이다. 이미 들어 있는 정보를 생성 직전에 다시 묶어 주는 것만으로도 답변 품질이 바뀐다. ReContext는 긴 창을 줄이는 기술이라기보다, 긴 창 안의 증거가 모델 내부 상태에서 더 선명하게 결합되도록 만드는 기술이다.

표 1. ReContext가 겨냥하는 문제와 핵심 선택

항목	표준 장문 프롬프팅	ReContext
입력 구조	$[C;q]$에서 바로 답변 생성	$[C;\phi(E^{(R)});q]$에서 최종 생성
컨텍스트 처리	전체 문맥을 한 번에 읽음	전체 문맥을 유지하면서 증거 scaffold를 추가
증거 선택 신호	명시적 선택 없음	suffix cue의 내부 relevance/attention 신호
주 설정	단일 pass	$w=8$, $R=2$, 후보 top-$K$ 기반 선택
추가 학습	없음	없음, training-free inference wrapper

1.1 장문 창은 충분조건이 아니다

장문 컨텍스트 모델이 발전하면서 “문서를 잘라 넣을 수 있는가”라는 질문은 상당 부분 해소되었다. 그러나 “그 안에서 필요한 문장을 안정적으로 골라 쓰는가”는 다른 질문이다. 긴 창이 생기면 retrieval pipeline의 일부 필요성은 줄어들 수 있지만, 생성 모델 내부에서는 여전히 관련 문장과 무관 문장의 경쟁이 일어난다. ReContext는 이 경쟁을 줄이기 위해 컨텍스트를 삭제하지 않고 관련 문장을 생성 가까이에 배치한다.

이 관점은 lost-in-the-middle류 분석과도 맞닿아 있다. 관련 정보가 입력 중간이나 긴 배경 뒤에 있을 때 모델이 덜 활용하는 현상은, 단순 위치 문제라기보다 질문과 증거 사이의 결합이 생성 시점까지 유지되지 못하는 문제로 볼 수 있다. ReContext는 선택된 증거를 질문 앞쪽에 재배치해 그 결합을 강화한다.

1.2 증거 replay가 제공하는 중간 작업 공간

ReContext의 evidence pool은 영구 메모리도 아니고 별도 지식베이스도 아니다. 한 질문을 처리하는 동안만 존재하는 임시 작업 공간이다. 이 공간에는 원문에서 복사한 후보 증거 문장들이 순서대로 축적되고, 다음 라운드는 이 축적된 증거를 이미 본 상태에서 다시 원문 토큰의 관련성을 계산한다. 따라서 evidence pool은 답을 대신 쓰는 요약문이 아닌 다음 선택과 최종 생성을 안내하는 scaffold다.

임시 scaffold라는 성격은 안전성 측면에서도 의미가 있다. 외부 메모리에 잘못 저장된 정보가 이후 질의에 누적 전파되는 위험이 작고, 원문을 제거하지 않기 때문에 선택 오류가 곧 정보 손실로 이어지지 않는다. 물론 선택된 증거가 부정확하면 생성이 그 방향으로 끌릴 수 있지만, 적어도 원문 전체가 fallback으로 남아 있다는 점은 compression 기반 방법과 중요한 차이다.

2. 배경 및 관련 연구: 장문 입력을 어떻게 쓰게 할 것인가

장문 컨텍스트 연구는 크게 세 층으로 나눌 수 있다. 첫째는 더 긴 입력을 처리하기 위한 position extrapolation, efficient attention, long-context fine-tuning이다. 둘째는 긴 입력 속에서 필요한 정보를 찾는 평가와 벤치마크다. 셋째는 추론 시점에서 정보 활용을 개선하는 retrieval, memory, compression, attention intervention이다. ReContext는 세 번째 층에 속하지만, 기존 방법들과 목표와 개입 지점이 다르다.

Retrieval-augmented generation은 질문에 맞는 외부 passage를 찾아 LLM에 제공한다. 이 구조는 검색 가능한 말뭉치가 명확하고 retriever가 잘 맞을 때 강력하다. 그러나 이미 128K 프롬프트 안에 전체 컨텍스트가 들어가 있는 장면에서는, 별도 retriever가 동일한 정보를 다시 선택해야 한다. ReContext는 외부 검색기를 추가하기보다 프롬프트 내부에서 모델이 보이는 관련성 신호를 사용한다.

Prompt compression과 context compression은 입력을 줄여 노이즈와 비용을 낮춘다. LLMLingua류 방법이나 DAC 같은 attention-aware compression은 유용한 정보를 남기고 덜 중요한 토큰을 제거하려고 한다. 그러나 다중 홉 문제나 긴 이야기 이해에서는 삭제된 문장 하나가 답변 근거의 일부일 수 있다. ReContext는 이런 위험을 줄이기 위해 원문 컨텍스트를 보존하고, 선택 증거를 추가하는 방식으로 작동한다.

Attention intervention 계열은 모델 내부 attention을 조정해 관련 토큰에 더 집중하도록 만든다. AttnSharp와 DySCO는 이런 방향의 대표 비교군으로 등장한다. 이 접근은 직접적이고 강력할 수 있지만, 백본 forward나 decoding logic에 더 깊게 개입해야 한다. ReContext는 attention을 최종 decoding에서 조작하지 않고, 후보 제안 신호로만 쓰며, 최종 단계에서는 텍스트 scaffold를 통해 일반적인 조건부 생성을 수행한다.

External memory 계열은 A-MEM처럼 별도 memory module을 통해 관련 정보를 저장하고 재검색한다. 이는 장기 상호작용이나 agent 환경에서는 장점이 있지만, 평가 입력 하나를 처리하는 장문 QA에서는 메모리 구축과 retrieval 품질이 추가 변수가 된다. ReContext의 evidence pool은 persistent memory가 아니며, 현재 prompt에서 복사한 span만 담는다. 따라서 실험 해석이 비교적 명확하다.

KV-cache compression이나 heavy hitter 기반 token retention 연구는 long-context inference 효율을 개선하는 데 집중한다. 이 연구들은 attention sink, salient key, heavy hitter 토큰이 계산에 큰 영향을 준다는 사실을 보여준다. ReContext는 이 통찰을 활용하지만 목적은 cache budget 절감이 아니다. 관련 토큰을 보고 그 주변 문장을 복사한 뒤, 모델이 답변 근거로 다시 읽게 만든다.

associative memory 관점은 ReContext의 배경을 설명하는 데 특히 적합하다. 긴 컨텍스트는 많은 memory trace의 집합이고, 질문은 그 trace를 부르는 cue로 볼 수 있다. Attention은 cue와 trace 사이의 association을 측정하는 prompt-internal proxy가 된다. Replay는 선택된 trace를 생성 직전에 재활성화하는 절차다. 이 해석은 방법의 직관과 이론 분석을 연결한다.

표 2. 관련 접근법과 ReContext의 차이

접근	대표 비교군 또는 개념	주된 개입	ReContext와의 차이
Vanilla long-context prompting	Full prompt decoding	입력 전체를 한 번에 사용	증거 조직 단계가 없음
Attention intervention	AttnSharp, DySCO	attention sharpening 또는 dynamic rescaling	ReContext는 최종 decoding attention을 직접 조작하지 않음
External memory	A-MEM	외부 agentic memory에서 근거 저장·검색	ReContext는 현재 prompt에서 복사한 임시 pool만 사용
Prompt compression	DAC, LLMLingua 계열	입력을 줄이거나 압축	ReContext는 원문 $C$를 보존하고 evidence를 추가
Cache/token importance	heavy hitter, attention sink 연구	중요 KV 또는 토큰 유지	ReContext는 중요 토큰 주변을 readable span으로 materialize

2.1 Retrieval과 compression 사이의 빈칸

장문 입력이 이미 주어진 경우, retrieval과 compression은 서로 반대 방향의 선택을 한다. Retrieval은 외부 또는 내부 말뭉치에서 추가로 가져오고, compression은 현재 입력에서 일부를 버린다. ReContext는 이 둘 사이의 빈칸에 있다. 즉, 추가 말뭉치를 가져오지 않고, 현재 입력도 버리지 않으며, 대신 현재 입력 안에서 증거의 위치와 가시성을 바꾼다.

이 위치 변경은 단순한 prompt engineering처럼 보일 수 있지만, 선택 신호가 질문 조건부 내부 relevance에서 온다는 점이 다르다. 사람이 임의로 요약하거나 rule-based keyword matching에 기대지 않고, 모델이 마지막 cue 토큰에서 원문 토큰을 어떻게 참조하는지를 읽어 후보를 만든다. 따라서 ReContext는 LLM 자신의 읽기 경향을 다시 LLM에게 되먹이는 구조다.

2.2 내부 신호를 설명으로 오해하지 않기

논문은 attention을 완전한 explanation으로 주장하지 않는다. Attention weight가 곧 모델의 인과적 판단 근거라는 강한 주장은 여러 비판을 받아 왔다. ReContext에서 attention은 더 약한 역할을 한다. 질문과 현재 prompt 상태에서 원문 중 어디가 후보로 볼 만한지를 알려주는 저비용 proposal distribution이다. 최종 판단은 replay된 텍스트와 전체 컨텍스트를 조건으로 생성 단계에서 이루어진다.

이 구분은 방법의 설득력을 높인다. 내부 신호가 완벽하지 않더라도, 상위 후보 토큰이 관련 문장 주변에 몰리는 경향만 충분하면 span materialization과 recursive replay가 그 신호를 보완할 수 있다. 특히 선택 단위가 토큰보다 문장에 가깝다는 점은 attention의 noise를 어느 정도 흡수한다. 토큰 하나가 살짝 빗나가도 같은 문장 안의 관계 정보가 함께 복사될 수 있기 때문이다.

3. 방법론: Recursive Evidence Replay

ReContext의 입력은 긴 컨텍스트 $C$와 질문 $q$다. 표준 LLM은 $[C;q]$에서 답 $y$를 직접 생성하지만, ReContext는 중간에 evidence pool $E$를 만든다. evidence pool은 원문에서 복사된 span들의 ordered list이며, 재귀 라운드가 진행될수록 새 증거가 중복 없이 추가된다. 최종 prompt는 $[C;\phi(E^{(R)});q]$로 구성된다.

절차는 네 단계로 이해할 수 있다. 첫째, 현재 prompt를 읽고 suffix cue 위치에서 원문 토큰으로 향하는 내부 관련성 신호를 계산한다. 둘째, 원문 컨텍스트 위치에 속한 token 중 top-$K$ 후보를 뽑는다. 셋째, 선택된 token을 포함하는 문장 또는 지역 span을 원문에서 복사한다. 넷째, 복사된 span을 evidence pool에 넣고, 필요하면 다음 라운드에서 이 pool이 포함된 prompt로 다시 선택을 수행한다.

Figure 2. ReContext 전체 절차: 내부 관련성 신호로 질문 관련 증거를 고르고, span으로 materialize한 뒤, 재귀적으로 replay하면서 원문 컨텍스트를 보존한다.

전체 구조에서 눈여겨볼 부분은 증거 scaffold가 원문을 대체하지 않는다는 점이다. 선택된 span은 질문 주변 cue가 바라본 후보 근거를 사람이 읽을 수 있는 형태로 끌어올린 것이며, 최종 생성 단계에서도 긴 원문은 계속 남아 있다. 그래서 ReContext는 context compression처럼 입력을 줄이는 절차와 다르게, 원문 접근권을 유지한 채 근거의 위치와 결합 순서를 더 선명하게 만든다. 이 설계 덕분에 잘못 고른 증거가 있어도 모델은 전체 문맥으로 돌아갈 수 있고, 동시에 선택된 근거는 생성 직전의 작업 기억처럼 가까운 위치에서 다시 작동한다.

3.1 내부 relevance readout

현재 prompt를 $x$라고 할 때, 전체 token 위치 집합을 $\mathcal{I}_x$로 두고 원문 컨텍스트에 해당하는 위치를 $\mathcal{I}_C$로 둔다. 질문 쪽 suffix cue 위치는 $\mathcal{Q}(x)=(t_1,\ldots,t_L)$로 정의되며, 주 실험에서는 최대 $w=8$개 cue 토큰을 사용한다. 이 cue들은 질문과 답변 형식에 가까운 위치에 있으므로 현재 prompt 상태에서 어떤 원문 토큰이 관련되는지를 읽는 기준이 된다.

선택된 layer-head pair 집합을 $\mathcal{H}$라 하면, cue $t_u$에서 token $i$로 가는 relevance는 $a_i^{(u)}=\frac{1}{|\mathcal{H}|}\sum_{(l,h)\in\mathcal{H}} A_{t_u,i}^{(l,h)}$로 계산된다. 여러 cue 위치의 신호는 exponential decay와 normalization을 거쳐 최종 점수 $r_i$로 축적된다. appendix 구현 설명에서는 decay factor $\lambda=0.75$가 사용된다고 밝힌다.

이 readout은 질문 조건부다. 같은 긴 문서라도 질문이 바뀌면 suffix cue의 attention 분포가 바뀌고, top-$K$ 후보 token도 달라진다. 또한 두 번째 라운드부터는 prompt 안에 이전 evidence pool이 들어가 있으므로, cue hidden state 자체가 이미 선택된 증거를 반영한다. 이 때문에 recursive selection은 독립 반복을 넘어 scaffold-conditioned re-query에 가깝다.

3.2 후보 token 선택과 원문 제한

최종 후보 위치는 $P=\operatorname{TopK}_{i\in\mathcal{I}_C}(r_i;K)$로 정의된다. 여기서 중요한 제약은 candidate source를 원문 컨텍스트 위치로 제한한다는 점이다. replay scaffold에 있는 token도 prompt 안에는 존재하지만, 주 설정에서는 새로 복사할 증거를 원문에서만 선택한다. 이는 evidence pool이 자기 자신을 반복 선택하며 예산을 낭비하는 현상을 줄인다.

원문 제한은 ablation에서도 지지된다. Full prompt 전체에서 candidate를 선택하면 replay된 문장이 다시 높은 점수를 받아 원문 탐색의 폭이 줄어들 수 있다. 반대로 context-only 선택은 replay된 evidence가 hidden state를 조건화하되, 새 span은 여전히 원문 $C$에서 찾게 만든다. 논문은 이 설정에서 NQ, PopQA, InfBench MC 모두 더 좋은 결과를 보고한다.

표 3. ReContext 구현 핵심 설정

구성 요소	기호 또는 값	역할	해석
Suffix cue window	$w=8$	마지막 최대 8개 cue 위치에서 relevance 읽기	질문과 답변 형식에 가까운 신호 활용
Layer-head aggregation	$\mathcal{H}$	선택된 head의 attention 평균	단일 head noise 완화
Decay accumulation	$\lambda=0.75$	여러 cue 신호를 누적·정규화	최근 cue를 강조하되 이전 cue도 반영
Candidate source	$i\in\mathcal{I}_C$	원문 컨텍스트 token만 top-$K$ 후보	replay scaffold의 자기반복 방지
Main replay rounds	$R=2$	증거 선택과 재생 반복	짧은 고정 반복으로 비용 제한
Evidence overhead	fewer than 128 tokens	추가 scaffold token 수	메모리 오버헤드를 작게 유지

3.3 Token proposal을 span으로 materialize

token proposal만으로는 답변 근거가 되기 어렵다. 예를 들어 “Einstein”이라는 token이 선택되었다고 해서 질문의 답이 되는 관계, 사건, 날짜가 모두 확보되는 것은 아니다. ReContext는 원문을 문장 또는 지역 span들의 순서열 $\mathcal{S}_C=(s_1,\ldots,s_N)$로 보고, 선택된 token 위치와 겹치는 span을 evidence unit으로 복사한다.

수식으로는 $E=(s_n:\mathrm{pos}(s_n)\cap P\neq\emptyset)_{n=1}^{N}$처럼 쓸 수 있다. 이 표현에서 핵심은 evidence가 생성된 요약문이 아닌 원문에서 가져온 grounded span이라는 점이다. LLM이 새 문장을 만들어 evidence pool을 채우면 hallucination이 끼어들 수 있지만, ReContext의 evidence unit은 원문 복사이므로 최소한 텍스트 출처는 명확하다.

구현 설명에 따르면 선택 token을 포함한 문장을 복원하고, 빈 문자열이나 trailing special marker를 제거하며, 같은 문장에 여러 token이 걸린 경우 한 번만 유지한다. 주 script에서는 sentence wrapping을 비활성화해 compact list 형태의 복사 문장 scaffold를 사용한다. 이는 evidence pool을 읽기 쉬우면서도 길지 않게 유지하기 위한 선택이다.

3.4 Recursive evidence selection

초기 evidence pool은 $E^{(0)}=\emptyset$이다. $j$번째 라운드의 prompt는 $x^{(j-1)}=[C;\phi(E^{(j-1)});q]$이고, 모델은 이 prompt를 읽어 새 relevance 점수 $r^{(j)}$를 계산한다. 그 뒤 top-$K$ token 위치 $P^{(j)}$를 고르고, 원문에서 span을 복원해 후보 list $\widehat{S}^{(j)}$를 만든다.

새로 추가할 span은 이전 pool에 없는 것만 남긴 $\Delta E^{(j)}=\widehat{S}^{(j)}\setminus E^{(j-1)}$다. evidence pool은 순서를 보존하는 concatenation으로 갱신된다. 논문 수식에서는 union 기호를 쓰지만, 실제 의미는 set union보다 ordered list update에 가깝다. 중복 제거는 같은 증거가 여러 번 반복되어 prompt budget을 낭비하는 것을 막는다.

최종 답변은 $x^{(R)}=[C;\phi(E^{(R)});q]$에서 생성된다. 이 구조는 세 가지 정보를 동시에 제공한다. 첫째, 원문 전체가 남아 있어 선택되지 않은 세부사항도 접근 가능하다. 둘째, evidence pool이 질문 근처에 있어 관련 문장이 생성 직전에 강조된다. 셋째, 재귀 라운드가 pool을 확장하므로 한 번의 attention snapshot에서 놓친 관련 span을 다음 snapshot에서 찾을 가능성이 생긴다.

3.5 Associative-memory 이론 해석

이론 분석은 매우 단순화된 모델을 사용한다. 컨텍스트 token embedding $c_i$들이 서로 직교하고, 정답 embedding $y$가 그중 하나에 해당한다고 가정한다. 질문 embedding $q$가 정답 trace와 더 높은 내적을 갖는다면, 초기 attention은 관련 trace에 더 큰 질량을 둔다. replay step은 가장 관련 있는 trace를 sequence에 다시 append하는 동작으로 추상화된다.

이때 hidden embedding $h^{(j)}$와 정답 embedding $y$의 cosine similarity가 매 step 증가한다는 단조 개선 정리가 제시된다. 핵심 직관은 관련 trace를 다시 넣으면 그 trace의 attention mass가 반복적으로 커지고, hidden representation에서 정답 방향의 비중이 커진다는 것이다. 실제 LLM은 훨씬 복잡하지만, replay가 query-evidence rebinding을 돕는다는 관점을 형식화한다.

이 정리는 ReContext의 모든 경험적 성능을 보장하는 증명은 아니다. 직교 embedding, 정답이 context trace 중 하나라는 가정, attention update의 단순화가 강하다. 그럼에도 장문 context를 memory store로, 질문을 cue로, replay를 trace reactivation으로 보는 해석은 방법의 설계와 잘 맞는다. 증거를 삭제하지 않고 가까이에 재활성화하는 이유가 명확해진다.

3.6 왜 최종 attention을 직접 바꾸지 않는가

ReContext가 내부 신호를 쓰면서도 final decoding attention을 조정하지 않는 선택은 실용적이다. Attention logit intervention은 모델 구현과 decoding path에 더 민감하고, 백본별 hook과 cache 처리에 따라 재현성이 흔들릴 수 있다. 반면 replay prompt는 일반적인 텍스트 입력이므로, 모델이 새 prompt를 조건으로 생성하는 표준 절차를 유지한다.

물론 내부 attention을 읽기 위해서는 open-weight 또는 attention score 접근 가능한 환경이 필요하다. 하지만 일단 관련성 신호를 읽은 뒤에는 선택 evidence가 plain text로 materialize되므로, 최종 답변 단계는 사람이 검토할 수 있는 구조를 갖는다. 이 점은 latent attention reweighting보다 디버깅과 해석에서 장점이다.

3.7 Prompt construction과 cache 관점

ReContext의 prompt construction은 단순 삽입처럼 보이지만, 위치가 중요하다. 기본 형태는 원문 context 뒤, question-side suffix 앞에 evidence scaffold를 놓는다. 이렇게 하면 모델은 원문 전체를 먼저 본 뒤, 질문에 가까운 위치에서 선택 증거를 다시 읽고, 곧바로 답변 형식과 질문을 처리한다. 증거가 질문과 멀리 떨어져 있던 원래 위치에서 벗어나 생성 직전의 조건으로 재배치되는 셈이다.

이 배치는 “원문을 보존하되 증거를 가까이 둔다”는 목표와 잘 맞는다. evidence scaffold를 맨 앞에 두면 원문을 읽는 동안 다시 희석될 수 있고, 답변 뒤에 둘 수는 없다. 질문 바로 앞에 두면 선택 span이 질문 해석과 answer format에 직접 영향을 주기 쉽다. 그래서 ReContext는 prompt 순서 자체를 evidence binding의 한 요소로 사용한다.

cache 처리도 실무적으로 중요하다. 128K context를 매 라운드마다 처음부터 다시 처리하면 latency가 급격히 증가한다. appendix 설명처럼 원문 context 끝에서 KV cache를 snapshot하고, replay 단계에서는 이 cache를 복원한 뒤 삽입 evidence와 question-side token만 처리하면 비용을 크게 줄일 수 있다. 이 최적화가 없다면 training-free라는 장점에도 불구하고 장문 설정에서 사용성이 떨어진다.

길이 계산 역시 조심해야 한다. evidence token을 추가하면 답변 생성에 남는 token budget이 줄어들 수 있으므로, 구현은 삽입된 replay token 수만큼 generation length budget을 조정한다. 이 세부 사항은 성능 비교에서 중요하다. 한 방법만 답변 길이가 줄어들면 F1이나 accuracy가 왜곡될 수 있기 때문이다.

4. 실험 설정: 128K 장문 벤치마크와 비교군

평가는 여덟 개 장문 벤치마크에서 수행된다. NQ, TriviaQA, HotpotQA, PopQA, NarrativeQA, InfBench QA, InfBench MC는 HELMET의 128K 버전을 사용하고, CLIPPER는 긴 책 컨텍스트에서 evidence-grounded claim verification을 평가한다. 이 조합은 짧은 factual QA부터 다중 홉, narrative 이해, multiple choice, 책 길이 검증까지 포함한다.

메트릭은 task 유형에 맞게 사용된다. NQ, TriviaQA, HotpotQA, PopQA, NarrativeQA, InfBench QA는 answer accuracy와 token-level F1을 함께 보고한다. InfBench MC와 CLIPPER는 accuracy를 사용한다. main table의 average rank는 각 백본 내에서 각 metric column별 method 순위를 계산한 뒤 평균한 값이며, 낮을수록 좋다.

백본은 Qwen3-4B, Qwen3-8B, Llama3.1-8B 세 가지다. 저자들은 같은 백본, 같은 context budget, 같은 prompting format, 같은 decoding configuration 아래에서 방법들을 비교한다고 설명한다. Qwen3 모델을 native context보다 긴 영역에서 평가할 때는 YaRN rope scaling을 활성화한다. 기본 main result와 대부분 ablation에서는 thinking을 비활성화한다.

비교군은 Vanilla, AttnSharp, DySCO, A-MEM, DAC다. Vanilla는 원문 컨텍스트와 질문만으로 직접 생성한다. AttnSharp는 질문 관련 토큰으로 attention을 날카롭게 만드는 계열이다. DySCO는 retrieval-head signal을 사용해 decoding attention을 동적으로 rescale한다. A-MEM은 외부 agentic memory module을 통해 evidence를 저장·검색한다. DAC는 dynamic attention-aware prompt compression을 수행한다.

표 4. 평가 데이터셋과 측정 방식

데이터셋	컨텍스트	과제 성격	보고 지표
NQ	HELMET 128K	open-domain factual QA	Acc, F1
TriviaQA	HELMET 128K	trivia-style factual QA	Acc, F1
HotpotQA	HELMET 128K	multi-hop QA	Acc, F1
PopQA	HELMET 128K	entity-centric factual QA	Acc, F1
NarrativeQA	HELMET 128K	long story understanding	Acc, F1
InfBench QA	HELMET 128K	long-input free-form QA	Acc, F1
InfBench MC	HELMET 128K	long-input multiple choice	Acc
CLIPPER	book-length 128K	evidence-grounded claim verification	Acc

4.1 비교 설정의 의미

이 실험 설계에서 중요한 점은 ReContext가 더 많은 외부 정보에 접근하지 않는다는 것이다. 모든 방법은 동일한 원문 장문 입력과 질문을 받는다. 따라서 성능 차이는 대체로 주어진 컨텍스트를 어떻게 조직하고 생성에 연결하는가에서 나온다. ReContext의 evidence pool도 원문에서 복사한 span이므로, 정보량을 새로 추가했다기보다 기존 정보를 더 잘 보이게 만든 것이다.

또한 세 백본을 사용한 점이 의미 있다. 특정 모델 family의 attention pattern에만 맞춘 heuristic이라면 한 백본에서는 잘 작동해도 다른 백본에서는 평균 순위가 흔들릴 수 있다. ReContext는 Qwen3-4B, Qwen3-8B, Llama3-8B에서 모두 best average rank를 얻는다. 이는 내부 relevance signal이 모델마다 세부는 다르더라도, 장문 QA에서 유용한 candidate proposal로 작동할 수 있음을 시사한다.

4.2 GPU와 실행 비용 조건

appendix는 NVIDIA A100과 H200 GPU 서버에서 실험을 수행했다고 설명한다. H200 run은 ARM64 시스템에서 실행되었고, 같은 setting의 방법들은 같은 backbone, context budget, prompting format, decoding configuration을 사용한다. 절대 runtime은 hardware와 구현에 따라 달라질 수 있으므로, 논문에서 중요한 것은 동일 조건에서의 상대 비교다.

ReContext는 read-and-replay stage를 추가하기 때문에 direct decoding보다 느리다. 그러나 prompt 전체를 반복적으로 새로 처리하지 않도록 original context 끝의 key-value cache를 snapshot하고, replay generation에서는 이 context cache를 복원해 삽입 evidence와 question-side token만 처리한다. 이 최적화는 evidence scaffold의 추가 비용을 줄이는 데 중요하다.

4.3 데이터셋별 난점

NQ와 TriviaQA는 모두 factual QA지만 난점이 다르다. NQ는 긴 입력 속에서 짧은 정답 span을 정확히 찾는 성격이 강하고, TriviaQA는 질문 표현과 근거 표현 사이의 paraphrase를 맞추는 능력이 중요하다. ReContext가 두 과제에서 모두 개선된 것은, 단순 keyword overlap보다 질문 조건부 내부 signal이 후보 근거 탐색에 일정한 가치를 가진다는 뜻으로 읽을 수 있다.

HotpotQA는 다중 홉 결합을 요구한다. 여기서는 첫 번째 증거만 가까이 두는 것으로 충분하지 않을 수 있다. ReContext의 recursive selection은 한 라운드에서 선택된 span이 다음 라운드의 cue state를 바꿔 다른 관련 span을 끌어낼 수 있으므로, 다중 홉 설정과 구조적으로 잘 맞는다. 다만 실제 결과에서는 다른 baseline이 일부 F1에서 앞서므로 reasoning 결합 자체는 여전히 별도 난점이다.

PopQA는 entity-centric factual knowledge를 묻기 때문에 long-tail entity와 희소한 언급에 민감하다. 긴 문서 안에 관련 entity가 몇 번만 등장한다면 Vanilla는 그 단서를 놓치기 쉽다. ReContext가 PopQA에서 큰 개선을 보인 것은 sparse mention을 evidence pool로 끌어올리는 절차가 효과적일 수 있음을 시사한다.

NarrativeQA는 긴 이야기 속 사건, 인물 관계, 전후 맥락을 연결해야 한다. 단일 문장만으로 정답이 결정되지 않는 경우가 많으므로 evidence pool의 span 선택과 순서가 중요하다. ReContext는 원문 순서를 유지한 ordered subsequence를 사용하기 때문에 이야기의 시간적 흐름을 완전히 재배열하지 않는 장점이 있다.

InfBench QA와 InfBench MC는 매우 긴 입력에서 자유형 답변과 선택형 판단을 각각 요구한다. 선택형 과제는 후보 option이 있으므로 evidence가 option 판별에 직접 연결되면 accuracy가 크게 오를 수 있다. 반면 자유형 QA는 답변 생성 형식과 token-level F1에 영향을 받는다. 이 차이는 ReContext의 효과가 metric별로 다르게 나타나는 이유 중 하나다.

CLIPPER는 책 길이 context에서 claim verification을 수행한다. 여기서는 근거 문장의 위치가 멀리 떨어져 있고, claim의 긍정·부정 판단이 세밀한 표현에 의존할 수 있다. ReContext가 Llama3-8B에서 CLIPPER 0.40을 기록해 가장 높지만, Qwen3-8B에서는 DySCO가 근소하게 앞선다. 장문 검증에서는 evidence selection과 함께 contradiction sensitivity도 중요하다는 신호다.

5. 주요 실험 결과: 세 백본에서의 평균 순위 개선

main result의 가장 강한 메시지는 평균 순위다. Qwen3-4B에서 ReContext는 모든 보고 metric에서 best score를 기록하며 average rank 1.00을 얻는다. Qwen3-8B에서는 HotpotQA, InfBench MC, CLIPPER 일부에서 다른 방법이 앞서지만, 전체 average rank는 1.46으로 가장 낮다. Llama3-8B에서도 모든 task accuracy에서 가장 높고 average rank 1.29를 기록한다.

작은 모델에서의 효과가 특히 눈에 띈다. Qwen3-4B의 Vanilla는 NQ Acc 0.02, PopQA Acc 0.00, HotpotQA Acc 0.00처럼 상당히 낮은 값을 보인다. ReContext는 같은 백본에서 NQ Acc 0.08, PopQA Acc 0.07, HotpotQA Acc 0.08로 끌어올린다. 절대값 자체는 여전히 높은 수준이라고 보기 어렵지만, 장문 속 근거 활용이 약한 작은 모델에 evidence replay가 큰 도움을 줄 수 있음을 보여준다.

Qwen3-8B에서는 ReContext가 TriviaQA 0.68/0.75, PopQA 0.23/0.36, NarrativeQA 0.21/0.35, InfBench QA 0.25/0.39로 강한 결과를 보인다. 다만 HotpotQA에서는 DAC가 Acc 0.22/F1 0.35로 앞서고, CLIPPER에서는 DySCO가 0.34로 ReContext 0.33을 근소하게 앞선다. 이는 ReContext가 모든 개별 metric을 지배하기보다 aggregate robustness가 강한 방법임을 의미한다.

Llama3-8B 결과에서는 ReContext가 NQ Acc 0.19, TriviaQA Acc 0.70, HotpotQA Acc 0.25, PopQA Acc 0.22, NarrativeQA Acc 0.17, InfBench QA Acc 0.22, InfBench MC 0.64, CLIPPER 0.40을 기록한다. F1에서는 A-MEM이 NQ 0.34로 높고, Vanilla 및 AttnSharp가 HotpotQA F1 0.39를 공유하지만, ReContext의 평균 순위가 가장 좋다.

표 5. ReContext의 main score 요약

Backbone	NQ Acc/F1	TriviaQA Acc/F1	HotpotQA Acc/F1	PopQA Acc/F1	NarrQA Acc/F1	InfQA Acc/F1	InfMC Acc	CLIPPER Acc	Avg Rank
Qwen3-4B	0.08 / 0.25	0.30 / 0.45	0.08 / 0.19	0.07 / 0.19	0.07 / 0.21	0.12 / 0.24	0.55	0.52	1.00
Qwen3-8B	0.13 / 0.33	0.68 / 0.75	0.20 / 0.34	0.23 / 0.36	0.21 / 0.35	0.25 / 0.39	0.63	0.33	1.46
Llama3-8B	0.19 / 0.31	0.70 / 0.77	0.25 / 0.39	0.22 / 0.29	0.17 / 0.29	0.22 / 0.40	0.64	0.40	1.29

5.1 Qwen3-4B: 가장 명확한 승리

Qwen3-4B table은 ReContext의 설계 의도가 가장 깔끔하게 드러나는 결과다. 모든 metric에서 best score이기 때문이다. Vanilla와 attention intervention, memory, compression이 모두 일부 개선을 보이지만, ReContext는 NQ, TriviaQA, HotpotQA, PopQA, NarrativeQA, InfBench QA, InfBench MC, CLIPPER 전반에서 가장 높다. 이 경우 evidence replay가 작은 모델의 장문 활용 병목을 상당히 줄인 것으로 해석할 수 있다.

특히 TriviaQA에서 Vanilla 0.04/0.24에 비해 ReContext 0.30/0.45로 크게 오른다. A-MEM 0.19/0.37, DAC 0.21/0.38도 유의미하지만 ReContext가 앞선다. 이는 사실형 질문에서도 긴 context 내에 있는 paraphrased clue를 생성 전에 다시 가까이 놓는 것이 효과적일 수 있음을 보여준다.

표 6. Qwen3-4B main comparison 발췌

Method	NQ Acc/F1	TriviaQA Acc/F1	HotpotQA Acc/F1	PopQA Acc/F1	InfMC Acc	CLIPPER Acc	Avg Rank
Vanilla	0.02 / 0.21	0.04 / 0.24	0.00 / 0.10	0.00 / 0.11	0.51	0.38	4.39
AttnSharp	0.02 / 0.21	0.02 / 0.23	0.00 / 0.09	0.00 / 0.10	0.47	0.42	4.25
DySCO	0.02 / 0.21	0.10 / 0.30	0.03 / 0.13	0.00 / 0.10	0.50	0.44	4.00
A-MEM	0.02 / 0.20	0.19 / 0.37	0.06 / 0.15	0.06 / 0.16	0.43	0.48	3.57
DAC	0.02 / 0.18	0.21 / 0.38	0.07 / 0.17	0.01 / 0.09	0.43	0.24	3.79
ReContext	0.08 / 0.25	0.30 / 0.45	0.08 / 0.19	0.07 / 0.19	0.55	0.52	1.00

5.2 Qwen3-8B와 Llama3-8B: 평균 순위의 해석

큰 백본에서는 baseline 자체가 더 강해지므로 ReContext가 모든 metric을 독점하지는 않는다. Qwen3-8B에서 Vanilla는 InfBench MC 0.64로 이미 매우 높고, DAC도 HotpotQA에서 강하다. Llama3-8B에서도 A-MEM은 NQ F1 0.34로 ReContext 0.31을 앞선다. 따라서 결과를 “모든 과제에서 항상 최고”로 읽으면 안 된다. 더 정확한 독해는 다양한 장문 과제 전반에서 가장 안정적인 순위를 얻었다는 것이다.

평균 순위 지표는 이런 상황에서 유용하다. 일부 과제에서 근소하게 뒤져도 여러 과제에서 꾸준히 상위권이면 낮은 평균 순위를 얻는다. ReContext의 평균 순위 1.46과 1.29는 방법이 특정 dataset이나 특정 metric에만 맞춘 것이 아니며, 장문 추론의 공통 병목인 evidence binding을 건드린다는 주장을 뒷받침한다.

Figure 3. 다양한 장문 추론 과제에서 ReContext가 선택한 evidence replay의 정성 예시.

정성 예시는 숫자 표가 설명하지 못하는 부분을 보완한다. Vanilla가 전체 문서를 받았음에도 답을 놓치는 경우, ReContext는 질문과 연결되는 날짜, 인물, 사건, 문장 관계를 가까이 재생해 답변 직전의 근거 밀도를 높인다. 파란색으로 표시된 span은 모델이 새로 쓴 요약문이 아니라 원문에서 복사된 증거이므로, 어떤 정보가 답변 후보를 밀어 주었는지 사후 검토하기도 비교적 쉽다. 정성 사례는 특히 multi-hop 질문에서 유용한데, 한 문장만 찾는 retrieval보다 여러 span을 순서 있게 가까이 배치하는 쪽이 답변 형성에 더 직접적으로 작용할 수 있음을 보여준다.

5.3 전체 accuracy 평균 개선

논문은 여덟 개 accuracy column을 세 백본에 걸쳐 평균했을 때 Vanilla 0.24에서 ReContext 0.30으로 상승한다고 보고한다. 상대 개선 24.6%는 긴 context를 이미 제공받는 상황에서도 inference-time evidence organization이 유효하다는 강한 근거다. 이 계산은 F1을 포함하지 않은 accuracy 계열 평균이므로, 문장 생성 품질 전반보다는 정답 선택 또는 정답 포함 측면의 개선으로 해석하는 것이 적절하다.

절대 score를 보면 여전히 어려운 과제가 많다. Qwen3-4B의 NQ Acc 0.08이나 HotpotQA Acc 0.08은 개선폭이 크더라도 실제 사용에서 충분한 수준이라고 말하기 어렵다. ReContext는 장문 추론을 완전히 해결한 방법이라고 보기보다, 기존 백본의 한계를 줄이는 harness다. 이 점을 분명히 해야 결과를 과장하지 않게 된다.

5.4 과제별로 보이는 개선의 성격

ReContext의 개선은 과제마다 다른 형태로 나타난다. 짧은 factual answer가 필요한 과제에서는 정답 span이 포함된 문장을 다시 보여 주는 효과가 크다. 반면 narrative 이해나 다중 홉 QA에서는 여러 문장 사이의 관계를 모델이 올바르게 결합해야 하므로, evidence replay만으로는 충분하지 않을 수 있다. 이 차이가 accuracy와 F1의 상대적 움직임을 설명한다.

Qwen3-4B처럼 baseline이 약한 모델에서는 evidence replay가 missing evidence 문제를 크게 줄이는 것으로 보인다. 작은 모델은 긴 context를 모두 읽었더라도 생성 직전의 working representation에서 관련 단서가 쉽게 희석될 수 있다. ReContext는 이 working representation을 증거 중심으로 다시 정렬해, 작은 모델이 가진 제한된 추론 능력을 더 효과적으로 쓰게 만든다.

Qwen3-8B와 Llama3-8B처럼 baseline이 강한 모델에서는 개선이 더 세밀하다. 이미 Vanilla가 특정 과제에서 높은 점수를 얻는 경우, ReContext는 평균적으로는 좋지만 모든 column을 압도하지 않는다. 이는 방법의 한계라기보다 장문 추론 병목이 여러 층으로 나뉜다는 증거다. evidence binding이 해결되어도 reasoning, answer formatting, contradiction handling은 남는다.

Average rank를 사용할 때는 score 차이의 크기도 함께 봐야 한다. 어떤 column에서는 0.01 차이로 순위가 바뀌고, 다른 column에서는 0.10 이상의 차이가 난다. ReContext의 강점은 작은 우위와 큰 우위가 여러 과제에 퍼져 있다는 데 있다. 그러나 실제 deployment에서는 평균 순위보다 관심 과제의 absolute score와 latency trade-off를 우선해야 한다.

그럼에도 main result는 장문 컨텍스트 모델 평가에서 중요한 기준을 제안한다. 같은 128K 입력을 받는 모델이라도, 질문 관련 증거를 어떻게 다시 노출하느냐에 따라 결과가 바뀐다. 따라서 long-context benchmark는 앞으로 모델 architecture와 함께 inference harness, evidence presentation, prompt-internal selection까지 함께 비교해야 한다.

6. 추가 분석 및 Ablation Study: 재귀 깊이와 증거 예산

Ablation은 ReContext의 동작을 이해하는 데 핵심이다. 논문은 recursive evidence-selection round 수 $R$, top-$K$ evidence-token candidate budget, candidate source, thinking enabled 설정, 64K robustness, runtime을 분석한다. 전체적으로 보이는 패턴은 명확하다. replay 라운드는 한 번보다 여러 번이 낫지만 무조건 깊을수록 좋은 것은 아니고, 후보 예산은 recall과 noise 사이의 trade-off를 만든다.

6.1 Evidence round $R$의 효과

$R=1$은 약하다. NQ 0.04/0.21, PopQA 0.01/0.10, InfMC 0.48에 그친다. $R=2$로 가면 NQ 0.08/0.25, PopQA 0.07/0.19로 크게 올라간다. $R=3$과 $R=4$는 NQ Acc를 0.09까지, InfMC를 0.54까지 올리지만 PopQA는 $R=2$가 가장 높다. 따라서 재귀는 필요하지만 최적 깊이는 task-dependent다.

표 7. Recursive evidence-selection round ablation

$R$ Rounds	NQ Acc	NQ F1	PopQA Acc	PopQA F1	InfMC Acc
1	0.04	0.21	0.01	0.10	0.48
2	0.08	0.25	0.07	0.19	0.50
3	0.09	0.25	0.05	0.18	0.51
4	0.09	0.25	0.05	0.17	0.54

Figure 4. recursive evidence-selection round 수에 따른 주요 과제 성능 변화.

라운드 ablation은 ReContext의 “recursive”라는 표현이 단순 장식이 아님을 보여준다. 한 번만 고르면 NQ와 PopQA에서 후보 근거가 너무 얕게 잡히지만, 두세 번 반복하면 이전 evidence pool이 다음 cue를 바꾸면서 더 나은 span을 끌어온다. 다만 라운드를 계속 늘린다고 모든 과제가 좋아지는 것은 아니어서, 논문은 작은 고정 라운드 안에서 근거 재활성화의 이득과 추가 지연을 함께 조절한다. 결국 재귀 라운드는 더 많은 계산을 쓰는 장치이면서, 첫 번째 선택의 누락을 다음 선택에서 보정하는 안전판으로도 작동한다.

6.2 Top-$K$ 후보 예산의 효과

Top-$K$는 token proposal의 폭을 결정한다. $K=1$은 매우 보수적이어서 PopQA와 InfMC에서 충분한 evidence recall을 확보하기 어렵다. $K=8$은 NQ에서 좋고, $K=32$는 PopQA와 InfMC를 높인다. 이 패턴은 질문 유형에 따라 필요한 근거 폭이 다르다는 사실을 보여준다. 단일 short answer를 찾는 NQ와 entity-centric 또는 multiple-choice 과제의 최적 예산이 같을 필요는 없다.

표 8. Top-$K$ evidence-token budget ablation

Top-$K$	NQ Acc	NQ F1	PopQA Acc	PopQA F1	InfMC Acc
1	0.03	0.22	0.04	0.14	0.52
8	0.08	0.25	0.07	0.19	0.50
16	0.08	0.25	0.05	0.17	0.55
32	0.04	0.23	0.10	0.21	0.58

Figure 5. top-$K$ evidence-token 후보 예산에 따른 NQ, PopQA, InfMC 성능 변화.

Top-$K$ 그림은 후보 예산이 단조 증가형 hyperparameter로만 움직이지 않음을 드러낸다. K가 커질수록 더 많은 근거를 포착할 수 있지만, 질문과 덜 맞는 span도 함께 들어와 evidence pool의 신호 대 잡음비가 낮아질 수 있다. NQ에서는 K=8이 가장 안정적인 반면 PopQA와 InfMC는 더 큰 후보 예산에서 좋아지는 구간이 있어, 과제별 evidence recall 요구가 다르다는 점을 확인할 수 있다. 이 trade-off는 실제 적용에서 고정 K 하나를 모든 문제에 쓰기보다, 과제 유형이나 질문 난도에 따라 evidence budget을 조정해야 함을 말해 준다.

6.3 Evidence source: 원문에서 뽑는 편이 낫다

candidate source ablation은 ReContext 설계의 미묘한 부분을 검증한다. Full prompt에서 candidate를 뽑으면 원문 $C$와 이전에 삽입된 evidence scaffold와 질문 쪽 token까지 후보가 된다. 반면 Context 설정은 후보를 원문 위치에 제한한다. 결과는 Context가 더 좋다. NQ는 0.04/0.23에서 0.08/0.25로, PopQA는 0.02/0.14에서 0.07/0.19로, InfMC는 0.52에서 0.54로 오른다.

표 9. Evidence-token source ablation

Source	NQ Acc	NQ F1	PopQA Acc	PopQA F1	InfMC Acc
Full prompt	0.04	0.23	0.02	0.14	0.52
Context	0.08	0.25	0.07	0.19	0.54

이 결과는 “replay scaffold를 prompt에 넣었으니 그 scaffold도 evidence source로 삼으면 더 좋지 않을까”라는 직관과 반대다. 그러나 scaffold는 새 evidence를 찾기 위한 상태를 조건화하는 역할에 머물 때 더 효과적이다. 복사할 span의 원천을 원문으로 제한해야 evidence pool이 자기 자신을 재순환하지 않고, 아직 드러나지 않은 원문 단서를 계속 찾는다.

6.4 Thinking enabled와 64K robustness

Thinking을 켠 설정에서도 ReContext는 강하다. Qwen3-4B 128K에서 ReContext는 NQ 0.15/0.30, PopQA 0.18/0.28, InfMC 0.72를 기록한다. DySCO는 PopQA F1 0.29로 가장 높지만, ReContext는 NQ와 PopQA accuracy, InfMC에서 best다. 이는 백본이 intermediate reasoning을 할 수 있어도 증거 replay가 별도 가치를 가진다는 뜻이다.

64K context budget에서도 ReContext는 top 또는 tied top을 유지한다. NQ 0.11/0.26, PopQA 0.18/0.30, InfMC 0.54로 보고되며, NQ Acc는 DySCO와 동률이고, NQ F1과 PopQA Acc, InfMC Acc는 가장 높다. 이 결과는 ReContext의 효과가 128K라는 극단적 길이에만 묶인 것이 아니며, 상대적으로 짧아진 장문 설정에서도 유지될 수 있음을 보여준다.

표 10. Thinking enabled 및 64K robustness 발췌

설정	Method	NQ Acc/F1	PopQA Acc/F1	InfMC Acc
Thinking enabled, 128K	Vanilla	0.08 / 0.24	0.14 / 0.25	0.69
Thinking enabled, 128K	DySCO	0.14 / 0.29	0.17 / 0.29	0.67
Thinking enabled, 128K	ReContext	0.15 / 0.30	0.18 / 0.28	0.72
64K, thinking disabled	Vanilla	0.07 / 0.24	0.04 / 0.20	0.48
64K, thinking disabled	DySCO	0.11 / 0.26	0.07 / 0.23	0.46
64K, thinking disabled	ReContext	0.11 / 0.26	0.18 / 0.30	0.54

Figure 6. selection과 replay 설정 전반에 대한 ReContext ablation summary.

요약 그림은 ReContext의 성능이 하나의 설정에만 의존하지 않는다는 점을 확인시킨다. 라운드 수, 후보 예산, 후보 source, thinking 여부, context 길이를 바꾸면 세부 성능은 움직이지만 핵심 패턴은 유지된다. 특히 원문 컨텍스트에서 후보를 뽑고, 그 후보를 span으로 만든 뒤, 다시 replay하는 세 단계가 함께 작동할 때 가장 일관된 개선이 나온다. 즉 ablation은 성능 향상이 우연한 prompt 길이 효과가 아니라, 후보 선택 범위와 replay 위치가 결합될 때 생기는 구조적 효과임을 뒷받침한다.

6.5 Runtime과 효율성

CLIPPER, Llama3-8B, 128K context에서 runtime은 Vanilla 44분, AttnSharp 46분, DAC 34분, A-MEM 50분, DySCO 2시간 13분, ReContext 62분으로 보고된다. ReContext는 direct decoding보다 느리지만 DySCO보다는 훨씬 빠르다. 증거 선택과 replay stage가 추가되기 때문에 latency 증가는 피할 수 없지만, backbone forward나 decoding logic을 무겁게 바꾸는 방법보다는 비용이 낮다.

표 11. CLIPPER Llama3-8B 128K runtime 비교

Method	Runtime	해석
Vanilla	44 min	direct full-context decoding
AttnSharp	46 min	attention sharpening overhead는 작음
DAC	34 min	compression으로 decoding 비용 감소
A-MEM	50 min	memory retrieval overhead 포함
DySCO	2h 13min	dynamic attention rescaling 비용 큼
ReContext	62 min	evidence sifting과 replay 추가

Figure 7. CLIPPER, Llama3-8B, 128K context에서 방법별 runtime 비교.

Runtime 그림은 ReContext를 “무료 개선”으로 해석해서는 안 된다는 점을 분명히 한다. Vanilla가 44분, DAC가 34분인 조건에서 ReContext는 62분을 쓰며, DySCO의 2시간 13분보다는 훨씬 짧지만 직접 디코딩보다 느리다. 따라서 이 방법은 지연보다 근거 활용과 정답 신뢰도가 중요한 장문 QA, 문서 검증, 감사 가능한 분석 워크플로우에서 우선 고려하는 편이 합리적이다. 운영 관점에서는 latency budget을 먼저 정하고, 실패 비용이 큰 요청에만 ReContext를 선택적으로 켜는 routing 정책과 함께 쓰는 것이 현실적이다.

7. 한계점 및 향후 연구 방향: 내부 신호 접근성과 지연 비용

첫 번째 한계는 내부 relevance signal 접근성이다. ReContext는 selected layer-head pair의 attention 또는 이에 준하는 scoring을 읽어야 한다. Open-weight 모델이나 custom inference stack에서는 가능하지만, 대부분의 closed API는 token-level attention을 제공하지 않는다. 따라서 현재 형태의 ReContext는 API-only 제품 환경에 바로 적용하기 어렵다.

두 번째 한계는 latency다. Training-free라는 장점은 있지만, read-and-replay stage는 direct decoding보다 느리다. CLIPPER runtime에서 ReContext는 62분으로 Vanilla 44분보다 길다. 장문 batch evaluation에서는 감당할 수 있어도 interactive application에서는 evidence round 수, top-$K$, cache reuse, early stopping을 더 세밀하게 조정해야 한다.

세 번째 한계는 internal relevance signal의 품질이다. Attention 기반 proposal이 항상 정답 근거를 가리킨다는 보장은 없다. 질문이 복잡하거나 distractor가 강하면 관련성이 높아 보이는 주변 문장이 잘못 선택될 수 있다. ReContext는 원문을 보존해 정보 삭제 위험을 줄이지만, 잘못 replay된 증거는 생성 상태를 특정 방향으로 끌어당길 수 있다.

네 번째 한계는 span materialization의 단순성이다. 문장 단위 복사는 hallucination을 줄이는 장점이 있지만, 표, 코드, 수식, 대화 로그, 목록처럼 문장 경계가 명확하지 않은 입력에서는 최적 단위가 아닐 수 있다. 선택 token이 표의 셀에 있을 때 주변 row와 header를 함께 가져와야 하고, 코드에서는 함수나 block 단위가 더 적절할 수 있다.

다섯 번째 한계는 evidence pool의 충돌 처리다. 여러 span이 서로 상충하거나, 한 span은 질문의 조건을 설명하고 다른 span은 예외를 설명할 때 단순 ordered list는 충분하지 않을 수 있다. 향후에는 evidence span 사이의 관계, 예컨대 support, contradict, prerequisite, temporal order를 구조화하는 replay format이 필요할 수 있다.

향후 연구는 세 방향이 자연스럽다. 첫째, attention 이외의 internal signal을 사용할 수 있다. Logit lens, gradient-free saliency, activation similarity, retrieval-head detector 등 다양한 proposal signal이 evidence selection에 결합될 수 있다. 둘째, task-adaptive $R$과 $K$를 자동 선택하는 방법이 필요하다. 셋째, replay scaffold의 format을 단순 list에서 structured evidence card로 확장할 수 있다.

또 다른 확장 방향은 RAG와의 결합이다. ReContext는 prompt 내부 signal을 사용하지만, 외부 retriever가 가져온 passage 안에서도 동일한 replay 과정을 적용할 수 있다. Retrieval이 coarse passage recall을 담당하고, ReContext가 passage 내부의 fine-grained evidence binding을 담당하는 조합은 긴 기업 문서, 법률 문서, 과학 논문 QA에서 특히 유용할 수 있다.

마지막으로 closed API 환경을 위한 proxy 구현도 연구 가치가 있다. Attention을 직접 볼 수 없다면, 여러 paraphrased query를 사용한 self-ask scoring, constrained citation generation, sentence-level likelihood 비교 같은 방식으로 approximate relevance를 만들 수 있다. 다만 이 경우 ReContext의 핵심 장점인 저비용 내부 signal 활용은 약해질 수 있다.

7.1 실무 적용에서 확인해야 할 체크리스트

실무에 적용하려면 세 가지를 먼저 확인해야 한다. 모델 서버가 attention 또는 선택 head의 score를 노출하는지, 장문 prompt에서 context boundary를 안정적으로 식별할 수 있는지, evidence insertion이 downstream answer format을 깨뜨리지 않는지다. ReContext는 prompt segmentation에 의존하므로 dataset 또는 서비스별 suffix 구조가 달라지면 boundary detection이 중요해진다.

또한 latency budget에 맞게 $R$과 $K$를 설정해야 한다. 정확도가 중요한 offline verification에서는 $R=3$ 또는 더 큰 $K$가 유리할 수 있지만, interactive QA에서는 $R=1$ 또는 small $K$가 더 현실적일 수 있다. 논문 결과만 보면 $R=2$와 moderate $K$가 좋은 출발점이지만, task별 calibration은 필수다.

7.2 평가 확장의 방향

후속 평가는 evidence pool 자체의 품질을 별도로 측정해야 한다. 최종 답변 accuracy만 보면 선택된 span이 실제로 정답 근거였는지, 아니면 원문 전체 fallback이 답을 살렸는지 구분하기 어렵다. Gold evidence annotation이 있는 데이터셋에서는 selected span recall, precision, answer-support consistency를 함께 보고하면 ReContext의 작동 원리를 더 명확하게 검증할 수 있다.

또한 adversarial distractor가 많은 장문 설정이 필요하다. 내부 relevance signal은 질문과 표면적으로 비슷한 문장에 끌릴 수 있으므로, 유사하지만 틀린 단서가 많은 입력에서 replay가 오히려 오류를 강화하는지 확인해야 한다. 이 검증은 ReContext를 고신뢰 QA나 문서 검증에 적용하기 전에 반드시 필요하다.

마지막으로 사람 검토 가능한 evidence log를 평가에 포함할 수 있다. ReContext는 복사된 span을 명시적으로 남기기 때문에, 답변과 선택 근거의 유용성도 reviewer가 판정할 수 있다. 이 특성은 pure latent attention intervention보다 운영 관점에서 매력적이며, 향후 benchmark가 answer와 evidence scaffold를 함께 채점하는 방향으로 확장될 가능성을 보여준다.

8. 내 해석: 추론 시점의 증거 활용 계층

ReContext의 가장 흥미로운 지점은 장문 모델의 발전 방향을 “더 긴 창”에서 “창 안의 근거를 어떻게 다시 묶을 것인가”로 옮긴다는 점이다. 긴 창을 가진 모델도 질문과 근거 사이의 결합이 생성 시점까지 유지되지 않으면 답을 놓친다. ReContext는 이 결합을 prompt 내부에서 재활성화하는 얇은 계층을 추가한다.

이 관점에서 ReContext는 previously reviewed [[concepts/long-context-aware-upcycling]] 또는 HyLo류 접근과 상보적이다. HyLo가 architecture, training, serving 측면에서 long context를 잘 다루는 모델 자체를 만드는 쪽에 가깝다면, ReContext는 이미 주어진 long-context backbone 위에서 inference-time evidence utilization을 개선한다. 즉 모델의 capacity를 키우는 축과, 사용 시점의 evidence binding을 개선하는 축은 서로 대체 관계가 아니다.

[[concepts/evidence-utility-in-rag]], [[concepts/query-coverage-in-retrieval]], ScoreGate나 adaptive retrieval 계열의 질문은 “선택한 evidence가 실제 답변에 도움이 되는가”다. ReContext는 이 질문을 외부 retriever 바깥으로 옮긴다. 이미 prompt 안에 들어온 문서들 중 어떤 span이 모델 자신의 질문 조건부 relevance에서 드러나는지를 보고, 그 span을 다시 모델에게 보여준다.

이 차이는 작지 않다. 외부 retriever는 보통 embedding similarity나 sparse term matching으로 evidence를 고른다. ReContext는 같은 LLM이 현재 prompt와 질문을 읽을 때 나타나는 내부 signal을 쓴다. 따라서 evidence selection 기준이 generator와 더 밀접하게 맞을 수 있다. 반대로 generator의 attention bias가 잘못되어 있으면 selection도 함께 편향될 수 있다. 이는 장점이자 위험이다.

내 해석으로 ReContext는 RAG의 대체물이기보다 post-retrieval evidence harness에 가깝다. 긴 문서 집합을 retriever로 가져온 뒤에도, 그 passage 안의 어떤 문장을 답변 직전에 강조할지는 여전히 남는 문제다. ReContext는 이 후처리 문제에 좋은 후보가 된다. 특히 원문을 제거하지 않는다는 점은 compliance나 audit이 중요한 도메인에서 매력적이다.

방법의 미덕은 단순성이다. 훈련 데이터가 필요 없고, 별도 memory index도 필요 없으며, final decoding logic을 크게 바꾸지 않는다. 필요한 것은 attention readout, span recovery, replay prompt reconstruction이다. 이 세 요소는 open-source inference stack에서는 비교적 구현 가능하다. 그래서 ReContext는 연구 아이디어로도, 시스템 컴포넌트로도 간결하다.

하지만 단순성이 곧 범용성을 보장하지는 않는다. 논문 벤치마크는 QA와 claim verification 중심이다. 긴 코드 저장소에서 bug location을 찾거나, 법률 문서에서 상충 조항을 종합하거나, 의학 기록에서 시간 순서를 추적하는 과제에서는 evidence span의 구조화가 더 중요해질 수 있다. 문장 list replay만으로 충분하지 않다면, ReContext는 structured replay로 확장되어야 한다.

또 하나의 포인트는 “증거를 가까이 두는 것”과 “증거를 이해하는 것”은 다르다는 점이다. ReContext는 근거 문장을 생성 직전에 다시 보여주지만, 모델이 그 근거를 논리적으로 올바르게 결합한다는 보장은 없다. HotpotQA 같은 다중 홉에서 일부 baseline이 F1에서 앞서는 사례는, evidence replay가 retrieval bottleneck을 줄여도 reasoning bottleneck은 남을 수 있음을 보여준다.

그럼에도 ReContext는 장문 추론 시스템 설계에서 중요한 기본형을 제안한다. 지금까지 많은 시스템은 긴 컨텍스트를 넣거나, 검색하거나, 압축하는 방식으로 접근했다. ReContext는 읽은 뒤 다시 놓기라는 단순한 조작을 formal method로 만든다. 장문 입력의 일부를 질문 가까이에 복사하는 prompt trick처럼 보일 수 있지만, selection과 recursion을 내부 신호로 정식화했다는 점이 차별점이다.

실제로 제품화한다면 사용자에게 evidence replay 결과를 함께 보여주는 UX도 가능하다. 모델이 어떤 span을 선택해 재생했는지 로그로 남기면, 답변 오류를 분석할 때 retriever top-k를 보는 것과 비슷한 디버깅 인터페이스가 생긴다. 단, attention 기반 selection이 explanation으로 단정할 수 없으므로 “모델이 이 문장 때문에 답했다” 대신 “모델이 답변 전 강조하도록 선택된 후보 증거”로 표시하는 것이 정확하다.

ReContext가 장기적으로 더 강해질 부분은 adaptive control이다. 질문 난이도가 낮고 evidence concentration이 높으면 한 라운드로 충분하고, 관련 점수가 여러 cluster에 퍼져 있으면 더 많은 라운드와 더 큰 K가 필요하다. Figure 1의 concentration curve를 online diagnostic으로 활용해 evidence budget을 자동 조정하는 방식은 자연스러운 후속 연구다.

종합하면 ReContext는 “모델 내부에서 근거를 찾고, 사람이 읽을 수 있는 문장으로 복사하고, 다시 모델에게 보여준다”는 세 단계를 깔끔하게 묶는다. 이 세 단계는 기존 RAG의 retrieval, reranking, evidence presentation과 유사하지만, 모두 long prompt 내부에서 일어난다. 따라서 장문 LLM의 next step은 더 긴 창과 함께 더 나은 prompt-internal evidence workflow가 될 수 있다.

9. 결론: 컨텍스트를 줄이지 않고 다시 묶는 방법

ReContext는 장문 컨텍스트 추론에서 자주 보이는 실패, 즉 정답 근거가 입력 안에 있는데도 생성이 그 근거를 충분히 활용하지 못하는 문제를 겨냥한다. 방법은 원문 컨텍스트를 보존하면서, 질문 조건부 내부 relevance signal로 후보 token을 찾고, 그 주변 span을 원문에서 복사해 evidence pool로 만든 뒤, 최종 생성 직전에 재생한다.

핵심 아이디어는 evidence organization과 answer generation의 분리다. 표준 prompting은 긴 문서를 읽고 곧장 답하게 만들지만, ReContext는 중간에 evidence scaffold를 구축한다. 이 scaffold는 외부 메모리도 아니고 요약문도 아니다. 현재 질문에 대해 원문에서 복사한 임시 근거 list이며, 재귀 라운드마다 다음 선택을 조건화한다.

실험 결과는 이 단순한 harness가 여러 백본과 과제에서 의미 있는 개선을 만들 수 있음을 보여준다. Qwen3-4B, Qwen3-8B, Llama3-8B 모두에서 best average rank를 달성하고, accuracy 평균은 Vanilla 0.24에서 0.30으로 상승한다. 이는 장문 입력을 더 잘 쓰게 만드는 inference-time 계층이 실제 성능에 영향을 준다는 근거다.

Ablation은 설계 선택을 구체화한다. $R=1$은 약하고 $R=2$ 이상에서 크게 좋아지지만, 더 깊은 재귀가 항상 최선은 아니다. Top-$K$는 recall과 noise 사이의 균형을 만들고, candidate source는 full prompt보다 original context가 낫다. Thinking enabled와 64K 설정에서도 ReContext는 강한 결과를 유지한다.

한계도 분명하다. 내부 attention 또는 relevance score에 접근해야 하므로 closed API 환경에서는 바로 쓰기 어렵고, evidence selection과 replay 때문에 latency가 늘어난다. 또한 attention signal이 완전한 설명이나 완전한 근거 선택기는 아니므로, 잘못된 span을 replay할 위험도 있다. 따라서 ReContext는 장문 추론을 해결한 최종 답이라기보다, 장문 evidence utilization을 개선하는 실용적인 중간 계층으로 보는 편이 정확하다.

가장 큰 의의는 컨텍스트를 줄이지 않고도 활용성을 높일 수 있음을 보였다는 점이다. 장문 모델이 이미 읽을 수 있는 텍스트를 다시 구조화해, 질문 가까이에 근거를 재활성화한다. 이 발상은 RAG, long-context training, memory system과 결합될 여지가 크며, 긴 문서 기반 QA와 검증 시스템에서 중요한 설계 원리로 남을 가능성이 있다.

10. 요약 정리

• ReContext는 장문 컨텍스트 속 정답 근거가 입력 안에 있어도 생성 단계에서 제대로 쓰이지 않는 문제를 다루는 training-free inference method다.
• 방법은 suffix cue의 내부 relevance signal을 읽어 원문 컨텍스트 token 중 top-$K$ 후보를 고르고, 해당 token이 포함된 문장 또는 지역 span을 evidence pool로 materialize한다.
• 최종 생성은 원문을 압축하거나 제거하지 않고 $[C;\phi(E^{(R)});q]$ 구조에서 수행되므로, evidence scaffold는 삭제보다 강조와 재결합의 역할을 한다.
• Recursive replay는 이전 라운드의 evidence pool이 다음 relevance readout을 조건화한다는 의미이며, 주 설정은 작은 고정 라운드 수를 사용하는 lightweight harness다.
• Qwen3-4B, Qwen3-8B, Llama3-8B 모두에서 ReContext가 best average rank를 기록했고, accuracy 평균은 Vanilla 0.24에서 0.30으로 올라 24.6% 상대 개선을 보였다.
• Ablation에서는 $R=2$ 이상이 $R=1$보다 강하고, Top-$K$는 NQ와 PopQA/InfMC 사이에서 recall-noise trade-off를 만들며, candidate source는 full prompt보다 original context가 낫다.
• Thinking enabled와 64K context에서도 ReContext는 NQ, PopQA, InfBench MC에서 top 또는 tied top 성능을 유지해 설정 변화에 대한 robustness를 보였다.
• 한계는 내부 attention 또는 relevance score 접근 필요성, direct decoding보다 큰 latency, 잘못 선택된 evidence span이 생성 상태를 편향할 수 있다는 점이다.
• ReContext는 long-context architecture나 RAG를 대체하기보다, 이미 들어온 긴 문서 안에서 모델 자신의 prompt-internal signal로 근거를 다시 묶는 evidence utilization layer로 해석하는 것이 가장 적절하다.