[arXiv 2607.19345] Copy Less, Ground More: 긴 문맥 추론의 반복 복사를 증거 인식 보상으로 고치기

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

https://arxiv.org/abs/2607.19345

Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang | Peking University, Alibaba Group | arXiv:2607.19345 | 2026년 7월

---

1. 서론: 긴 문맥 추론이 입력 복사로 무너지는 순간

1.1 긴 문맥과 사고 모델의 결합이 만든 새로운 병목

명시적인 사고 과정을 먼저 생성하고 최종 답을 내놓는 사고 모델(thinking model) 은 복잡한 문제를 여러 단계로 분해할 수 있다. 긴 문맥 평가도 단순한 키 검색에서 여러 문서의 정보를 결합하고 조건을 연쇄적으로 처리하는 추론으로 이동하면서, 긴 입력과 사고 모델의 결합은 자연스러운 선택이 되었다. 그러나 입력 창에 더 많은 토큰을 담을 수 있다는 사실은 그중 필요한 증거를 골라 올바른 계산에 연결하는 능력까지 보장하지 않는다. 문맥 길이가 늘어날수록 검색, 선택, 통합, 계산이 한 추론 궤적 안에서 동시에 작동해야 하므로 작은 선택 오류가 긴 생성 전체를 지배할 수 있다.

논문이 포착한 병목은 모델이 답을 모를 때 흔히 보이는 짧은 환각이나 동일 문장 반복과 형태가 다르다. 모델은 프롬프트에 실제로 존재하는 긴 구절을 사고 과정으로 옮기며, 겉으로는 문맥을 충실히 읽고 있는 듯한 흔적을 만든다. 저자들은 이를 반복적 복사(repetitive copying) 라 부르고, 복사된 토큰이 계산과 증거 통합에 쓰일 생성 예산을 밀어내는 현상으로 규정한다. 따라서 문제는 출력의 문법성보다 긴 입력에 대한 증거 선택 정책이 붕괴한다는 데 있다.

1.2 일곱 모델에서 반복된 복사와 길이 효과

진단 대상은 Claude-Opus-4.5, DeepSeek-V3.2, Qwen-3.5-Plus, GLM-4.7, QwQ-32B, Qwen3.5-35B-A3B, Qwen3.5-9B의 일곱 사고 모델이다. 독점 API와 공개 가중치 모델, 밀집 모델과 MoE 계열을 함께 포함했기 때문에 특정 배포 방식이나 단일 모델군에만 생긴 현상으로 축소하기 어렵다. 모든 모델은 최종 답 전에 명시적 사고 궤적을 내놓아 입력과 중간 출력을 직접 비교할 수 있었다. 분석은 8k, 16k, 32k, 64k 토큰 규모로 구성한 GSM-Infinite에서 수행되었다.

Figure 1: GSM-Infinite의 문맥 길이가 8k에서 64k로 증가할 때 일곱 사고 모델의 3-gram 중복률 변화

일곱 곡선이 모두 오른쪽 위로 향하므로 반복 복사는 특정 모델의 일회성 버그보다 문맥 길이에 따라 강화되는 공통 행동에 가깝다. Claude-Opus-4.5는 20.0%에서 29.7%로 비교적 낮게 유지되지만, Qwen3.5-9B와 Qwen3.5-Plus는 64k에서 약 71%에 도달한다. Qwen3.5-35B-A3B도 8k 약 42%에서 64k 약 69%로 이동해 모델 크기만으로 증가세가 사라지지 않는다. 같은 평가 규칙 아래 모델 간 절대 수준과 길이 민감도가 모두 다르다는 점도 함께 드러난다.

GSM-Infinite 는 GSM8K형 산술 문장제를 방대한 수치 서술 속에 삽입하며, 한 문제를 풀기 위해 관련 조건을 찾아 10~20회의 연속 연산을 이어 가야 한다. 절차적 생성기가 관련 조건의 문자 위치인 support index와 정답 추론 사슬을 함께 제공하므로, 출력이 핵심 조건을 옮겼는지 채움 문장을 옮겼는지 분리할 수 있다. 8k 문맥에서도 3-gram 중복률은 Claude의 20.0%부터 Qwen3.5-9B의 43.7%까지 나타났다. 짧다고 보기 어려운 복사량이 모든 모델에서 관측된 셈이며, 긴 문맥 추론의 실패를 단순한 검색 실패율만으로 설명하기 어려운 근거가 된다.

Figure 2: 긴 연속 전사를 포착하는 10-gram overlap rate의 문맥 길이별 변화

10개 토큰 창을 사용해 우연한 어휘 중복을 줄여도 모든 모델의 곡선은 문맥 증가와 함께 상승한다. Qwen3.5-9B는 64k에서 52.7%에 이르러 사고 궤적의 절반 넘는 창이 입력에 그대로 존재한다. Qwen3.5-Plus와 35B-A3B도 64k에서 약 49%에 도달해 긴 연속 복사가 작은 모델에만 몰리지 않는다. Claude는 같은 지점에서 약 11.7%로 낮지만 증가 방향은 같아, 모델 규모나 공개 여부만으로 장문 전사 문제를 제거했다고 보기 어렵다.

문맥을 늘리자 복사량은 일곱 모델에서 일관되게 상승했다. Qwen-3.5-Plus의 3-gram 중복률은 8k에서 41.5%였으나 64k에서 70.8%에 도달했고, 가장 낮은 수준의 Claude도 20.0%에서 29.7%로 올랐다. Qwen3.5-9B의 64k 10-gram 중복률은 52.7%로, 사고 궤적의 10개 토큰 창 절반 이상이 입력에 그대로 존재했다. 긴 연속 구간을 잡는 10-gram에서 이 정도 비율이 나온다는 사실은 우연한 단어 재사용보다 실제 전사에 가까운 행동을 가리킨다.

1.3 n-gram overlap이 측정하는 것

입력 프롬프트를 토큰열 $x$라 하고 모델의 사고 궤적을 $y=(y_1,\ldots,y_m)$이라 하자. 입력 $x$에 한 번이라도 등장한 서로 다른 $n$-gram을 모은 조회 집합을 $\mathcal{N}_n(x)$로 둔다. 출력의 각 위치 $i$에서 길이 $n$인 창 $(y_i,\ldots,y_{i+n-1})$을 이동시키며 그 창이 조회 집합에 있으면 1, 없으면 0을 기록한다. 논문의 n-gram overlap rate는 이 지시값을 가능한 모든 출력 창에 대해 평균한 값이다.

$$ \operatorname{Overlap}_n(y\parallel x) =\frac{1}{m-n+1}\sum_{i=1}^{m-n+1} \mathbf{1}\!\left[(y_i,\ldots,y_{i+n-1})\in\mathcal{N}_n(x)\right]. $$

분모가 출력의 창 개수 $m-n+1$이므로 이 값은 입력에서 얼마나 넓은 범위를 회수했는지를 재지 않는다. 대신 출력의 얼마가 입력에서 왔는지를 나타낸다. 입력에 같은 구절이 여러 번 있어도 조회 집합에는 존재 여부만 저장되지만, 출력에서 일치하는 창이 연속되거나 반복되면 각 위치가 모두 분자에 더해진다. 긴 구절 하나를 복사하면 서로 겹치는 다수의 창이 동시에 일치하므로 전사 구간의 길이가 지표에 충실히 반영된다. 반대로 문제와 답에서 자연히 공유되는 짧은 기능어 조합도 잡힐 수 있어 $n$의 선택이 해석을 바꾼다.

저자들은 진단에서 $n=3$과 $n=10$을 함께 사용한다. 3-gram은 짧은 부분까지 포착해 전반적인 복사 부피에 민감하고, 10-gram은 우연히 동일해질 가능성이 낮아 긴 연속 전사를 더 선명하게 격리한다. 두 값이 함께 상승하면 모델이 핵심 숫자 몇 개만 재사용한 상황보다 입력 문장을 덩어리째 사고 과정에 싣는 상황에 가깝다. 이 구분은 뒤에서 진단용 10-gram과 훈련용 3-gram을 다르게 선택하는 이유로도 이어진다.

1.4 복사량에서 증거 선택으로: grounding ratio

총 중복률이 높다는 사실만으로 모든 복사를 오류로 처리할 수는 없다. 긴 문맥 문제에서는 필요한 이름, 수치, 관계를 입력에서 정확히 꺼내 사고 과정에 유지하는 행동이 정답에 기여할 수 있다. 그래서 저자들은 support index가 가리키는 구간을 핵심 증거 $x^{\mathrm{key}}$, 나머지를 방해 문맥 $x^{\mathrm{dist}}$로 분할하고 각각에 대한 중복률을 계산한다. 핵심은 복사의 절대량을 넘어 어느 쪽에 복사가 집중되는지를 측정하는 데 있다.

Figure 3: DeepSeek-V3.2 정답·오답 표본에서 핵심 증거 대비 방해 문맥 중복 비율의 분포

파란 정답 분포는 빨간 오답 분포보다 오른쪽으로 이동하고 중앙값도 높다. 이는 단순히 입력을 덜 복사한 표본이 정답을 맞힌다는 설명보다, 복사한 내용이 핵심 증거에 상대적으로 더 집중될수록 성공 가능성이 높다는 설명을 지지한다. 정답 분포의 오른쪽 꼬리가 1.5를 넘어 이어지는 반면 오답은 낮은 비율 부근에 더 많이 쌓여 선택성 차이가 중앙값 밖에서도 유지된다. 다만 두 분포가 넓게 겹치므로 grounding ratio 하나만으로 개별 답의 정오를 확정하는 분류기로 해석해서는 안 된다.

진단에는 긴 전사를 안정적으로 식별하는 10-gram을 사용하며 grounding ratio를 다음과 같이 정의한다. 분자는 사고 궤적과 핵심 증거의 중복률이고, 분모는 같은 궤적과 방해 문맥의 중복률이다. 비율이 높을수록 모델이 옮긴 내용이 관련 증거에 상대적으로 집중되었다는 뜻이다. 이 값은 정답 정확도와 별개로 사고 과정의 선택성을 들여다보는 진단 지표다.

Figure 4: Grounding ratio를 key evidence와 distractor overlap의 두 성분으로 분해한 분포

실선은 핵심 증거, 점선은 방해 문맥과의 10-gram 중복을 뜻한다. 정답 표본은 오답보다 핵심 증거 분포가 오른쪽에 있고 방해 문맥 분포는 왼쪽에 있어, 높은 비율이 어느 한 성분의 우연한 변화로 생기지 않았음을 보여 준다. 특히 정답의 distractor 중앙값은 오답보다 낮고 key 중앙값은 더 높아 분자 증가와 분모 감소가 함께 작동한다. GEAR가 양의 grounding 항과 음의 distractor 항을 따로 두는 설계는 바로 이 두 방향의 동시 이동을 학습 목표로 바꾼 것이다.

$$ r=\frac{\operatorname{Overlap}_{10}(y\parallel x^{\mathrm{key}})} {\operatorname{Overlap}_{10}(y\parallel x^{\mathrm{dist}})}. $$

DeepSeek-V3.2의 64k GSM-Infinite 사례에서 정답 궤적은 오답 궤적보다 grounding ratio가 뚜렷하게 높았다. 비율을 두 성분으로 풀어 보면 정답 사례는 핵심 증거 중복이 더 높고 방해 문맥 중복은 더 낮은 방향을 동시에 보였다. 같은 경향은 추가로 조사한 여섯 모델 중 다섯 모델에서도 확인되어, 한 모델의 특이한 복사 습관으로 보기 어렵다. 성공적인 긴 문맥 추론은 입력을 전혀 인용하지 않는 상태보다 관련 구절에는 관여하고 무관한 구절은 억제하는 선택적 상태와 연결된다.

1.5 복사가 정확도와 추론 예산을 함께 잠식하는 방식

DeepSeek-V3.2를 64k GSM-Infinite에서 분석하면 정답과 오답 집단의 10-gram 중복률 분포가 분리되며, 오답 집단이 훨씬 많은 입력 문장을 재생한다. 중복률 0.4 아래에서는 정확도가 55~64%이고 사고 길이는 약 21k 토큰에 머물렀다. 이 문턱을 넘은 구간에서는 정확도가 11%를 거쳐 끝내 0%까지 하락하고, 사고 길이는 58k 토큰 이상으로 거의 세 배가 되었다. 필요한 연산을 더 수행해서 길어진 궤적과 입력 전사 때문에 팽창한 궤적을 길이 하나로 함께 평가하면 이 차이를 놓치게 된다.

Figure 5: DeepSeek-V3.2의 정답 356개와 오답 644개에서 관측한 10-gram overlap 밀도

정답 표본 356개의 파란 분포는 낮은 중복률에 집중하고, 오답 표본 644개의 빨간 분포는 높은 구간으로 이동한다. 점선 중앙값도 약 0.30과 0.49로 분리되어 대량 전사가 오답 집단에 더 흔함을 나타낸다. 오답 분포는 0.8 이상까지 긴 꼬리를 보이는 반면 정답 밀도는 0.6 이후 빠르게 줄어 토큰 예산 소진 사례가 한쪽에 집중된다. 분포가 완전히 갈라지지는 않으므로 중복률은 실패의 결정적 원인이라기보다 강한 위험 지표이며, 연산 수를 통제한 추가 분석이 함께 필요하다.

저자들은 필요한 추론 단계 수로 사례를 묶은 뒤에도 같은 패턴이 유지됨을 확인해 문제 난도만의 혼입 가능성을 줄였다. 관측 결과는 높은 중복률과 오답 사이의 상관을 제시하며, grounding ratio 분석은 그 상관의 내부 구성을 핵심 증거와 방해 문맥으로 해체한다. 이때 불충분한 grounding은 모델이 관련 정보를 찾지 못하는 순간만 뜻하지 않고, 찾을 후보가 많은 상태에서 무관한 내용을 억제하지 못하는 실패까지 포함한다. 이 진단이 최종 답의 맞고 틀림만 보던 강화학습 보상을 사고 궤적의 증거 선택까지 확장해야 할 동기가 된다.

Figure 6: Overlap이 높아질수록 정확도는 붕괴하고 thinking length는 급증하는 결합 패턴

중복률 0.4 미만의 두 구간에서는 정확도가 55~64%이고 사고 길이는 약 21k 토큰이다. 0.4~0.6에서 정확도는 약 11%로 떨어지는 반면 길이는 58k 토큰에 근접하고, 0.6 이상에서는 정확도 0%와 60k를 넘는 생성이 함께 나타난다. 정확도 막대와 길이 선이 0.4 경계에서 반대 방향으로 급변해 단순한 선형 길이 효과보다 임계 구간에 가까운 양상을 보인다. 길어진 추론이 더 많은 계산을 의미한다는 통념과 달리, 여기서는 입력 전사가 토큰 예산을 소진하며 성능을 낮추는 구간이 선명하다.

2. 배경 및 관련 연구: 긴 문맥과 강화학습의 빈틈

2.1 검증 가능한 보상을 이용한 추론 강화학습

RLVR(Reinforcement Learning with Verifiable Rewards) 는 정답을 자동 판정할 수 있는 문제에서 감독 미세조정 없이도 강한 추론 행동이 출현할 수 있음을 보여 주었다. DeepSeek-R1 계열의 성과 뒤로, GRPO는 별도 critic을 두지 않고 그룹 상대 우위를 추정해 메모리 부담을 줄였다. DAPO는 비대칭 clipping과 동적 샘플링으로 긴 사고 사슬 학습의 안정성을 높였고, GSPO는 중요도 비율의 단위를 토큰에서 시퀀스로 옮겨 MoE 모델의 분산 문제를 다뤘다. 이 흐름은 결과를 신뢰성 있게 채점할 수 있을 때 정책 최적화가 복잡한 중간 행동을 스스로 조직할 수 있다는 전제에 기대고 있다.

데이터와 보상 확장도 병행되었다. s1은 1,000개의 선별된 추론 궤적만으로 잠재된 추론 능력을 활성화할 수 있음을 보였고, RLPR은 모델 자체의 생성 확률을 연속적인 보상으로 사용해 수학 밖 영역을 겨냥했다. 이런 접근은 짧은 문제에서 답과 풀이가 밀접하게 결합될 때 효율적이지만, 입력 대부분이 방해 정보인 긴 문맥에서는 결과 보상까지 이어지는 책임 할당 경로가 길어진다. 최종 답 하나가 맞았다는 신호만으로는 수만 토큰 중 어느 구절을 선택하고 버린 행동이 유효했는지 구별하기 어렵다.

GSPO(Group Sequence Policy Optimization) 는 GEAR가 실제로 결합되는 최적화 기반이다. 시퀀스 수준의 중요도 비율은 긴 롤아웃과 MoE 모델을 다루는 데 유리하지만, 최적화 알고리즘 자체가 보상에 없는 증거 선택 기준을 만들어 주지는 않는다. 보상이 정확도만 포함하면 GSPO도 정답 여부에 따라 전체 궤적을 묶어 강화하거나 약화할 뿐, 핵심 증거 복사와 방해 구절 복사를 직접 분리하지 못한다. GEAR의 기여 지점은 새로운 정책 최적화기를 제안하는 대신 GSPO가 학습할 세밀한 선택 신호를 보상에 삽입하는 데 있다.

2.2 장문맥 RL이 메우려 한 간극

긴 문맥용 RL 연구들은 결과 보상만으로 문맥 grounding을 학습시키기 어렵다는 문제를 서로 다른 단위에서 다뤘다. LongRLVR은 outcome-only reward가 문맥 grounding에 대한 기울기를 소실시킬 수 있음을 보이고, 청크 수준 F-score로 계산하는 검증 가능한 문맥 보상을 답 보상에 더했다. GoLongRL은 9개 과제 유형과 서로 다른 보상 함수를 포괄하는 23,000개 표본을 만들고 과제 수준 보상 정규화를 제안했다. 이들은 긴 입력을 푸는 능력이 단일 정확도 신호만으로 안정적으로 형성되지 않는다는 공통 문제의식을 가진다.

QwenLong은 난도 인식 샘플링과 curriculum-guided RL을 결합해 긴 문맥 학습 순서를 조정한다. LongR은 인용한 문맥이 제공하는 정보 이득을 contextual density reward로 측정하며, LoongRL은 짧은 다중 홉 질의응답에 방해 문서를 채워 장문 입력을 구성한다. 각 방법은 데이터 난도, 인용 밀도, 과제 다양성, 문맥 보상이라는 서로 다른 축을 개선한다. 그럼에도 모델의 사고 궤적이 입력의 어느 연속 토큰을 되풀이하는지와 그 토큰이 support에 속하는지를 직접 대조하는 해상도는 남아 있었다.

GEAR는 support 청크의 식별자나 인용 형식보다 세밀한 토큰 n-gram 수준에서 핵심과 방해 영역을 나눈다. 이 설계는 모델이 올바른 청크를 언급했는지만 확인하지 않고, 실제 생성된 사고 궤적이 해당 증거의 표현과 얼마나 접촉했는지를 연속값으로 돌려준다. 동시에 무관한 문맥에 대한 접촉을 별도 비용으로 두어, 입력 전체를 옮겨 핵심 청크까지 우연히 포함시키는 우회 전략을 차단한다. 따라서 장문맥 RL의 빈틈은 더 많은 장문 데이터의 부족과 함께 선택적 grounding을 보상하는 해상도의 부족으로 정리된다.

2.3 반복 생성과 overthinking의 구분

언어 모델의 반복 퇴화는 반복적인 훈련 데이터, 모델 활성의 반복 특징, 불확실성과 과신 등 여러 원인으로 설명되어 왔다. 추론 모델 연구에서는 지나치게 긴 사고 과정인 overthinking이 주목받았고, 추론 길이와 정확도 사이에 역 U자 관계가 관측되기도 했다. 이 관점은 토큰을 더 생성할수록 어느 지점 이후 효용이 줄어든다는 현상을 설명한다. 하지만 긴 문맥에서 추가 토큰의 상당 부분이 모델 자신의 문장을 순환하는 대신 프롬프트의 긴 구절을 그대로 전사한다는 점은 별도의 측정을 요구한다.

반복적 복사는 동일한 출력 문구의 자기 반복과도 다르고, 유용한 근거 인용과도 구분해야 한다. 총 길이 페널티만 강하게 주면 필요한 다단계 계산과 정확한 증거 재진술까지 억제할 수 있으며, 총 입력 중복만 낮추면 모델이 근거를 전혀 언급하지 않는 방향으로 이동할 수 있다. 토큰의 기여도가 내용에 따라 다르다는 기존 관찰과 결합하면, 핵심 질문은 반복 여부보다 반복된 내용의 역할이 된다. key/distractor 분해는 overthinking을 길이 문제가 아닌 증거 선택 문제로 세분화하는 장치다.

2.4 accuracy-only RL이 놓치는 정책 차이

정확도 전용 보상은 일반적으로 $R_{\mathrm{acc}}\in\{0,1\}$처럼 최종 답이 맞으면 1, 틀리면 0을 준다. 이 구조에서는 핵심 조건만 찾아 짧게 계산한 정답 궤적과 입력 대부분을 복사한 끝에 우연히 정답을 낸 궤적이 같은 결과 보상을 받을 수 있다. 오답 궤적끼리도 올바른 증거를 찾은 뒤 마지막 연산에서 실수한 경우와 방해 문맥만 훑은 경우가 동일한 0으로 묶인다. 긴 문맥일수록 서로 다른 내부 행동이 같은 보상값에 합쳐져 grounding에 대한 학습 신호가 희박해진다.

그룹 상대 최적화에서는 같은 프롬프트에 대한 여러 롤아웃의 보상 차이가 정책 업데이트를 이끈다. 정확도가 모두 0이거나 모두 1인 그룹에서는 증거 선택의 질이 달라도 결과 신호가 평평해질 수 있고, 정답 롤아웃 사이에서도 더 선택적인 궤적을 선호할 기준이 없다. 방대한 입력을 복사하는 행동이 가끔 정답과 함께 나타나면 정책은 그 비효율을 직접 처벌받지 않으며, 긴 생성이 다음 탐색의 기본 행동으로 굳을 여지도 생긴다. 이는 답 검증 가능성과 과정 식별 가능성이 서로 다른 조건임을 보여 준다.

핵심 증거 중복만 양의 보상으로 추가해도 문제가 완전히 풀리지 않는다. 입력 전체를 복사하는 정책은 핵심 증거를 반드시 포함하므로 높은 grounding reward를 쉽게 얻으며, 실제 분석에서도 grounding 항만 더한 설정은 GSPO보다 복사율과 사고 길이를 높였다. Ruler에서는 3-gram 중복률이 35.7%에서 36.6%로 오르고 사고 길이는 2,808토큰에서 5,727토큰으로 늘었으며, LongBench-v2에서도 중복률이 27.2%에서 28.5%로 상승했다. 그러므로 양의 증거 신호에는 무관한 문맥을 함께 옮기는 편법의 이득을 없애는 distractor penalty가 짝을 이뤄야 한다.

3. 방법론: GEAR의 증거 인식형 보상

3.1 세 항으로 구성된 GEAR reward

GEAR(Grounding Evidence-Aware Reward) 는 프롬프트 $x$를 support index에 따라 $x^{\mathrm{key}}$와 $x^{\mathrm{dist}}$로 나누고, 생성된 사고 궤적 $y$가 두 영역과 맺는 중복을 서로 반대 방향으로 보상한다. 첫 항은 최종 답의 정확성을 보존하는 이진 보상 $R_{\mathrm{acc}}$이고, 둘째 항은 핵심 증거와의 중복을 장려하는 grounding reward다. 셋째 항은 방해 문맥과의 중복을 차감하는 distractor penalty이며, $\alpha$와 $\beta$는 각각의 크기를 정하는 음이 아닌 계수다. 전체 보상은 다음과 같이 한 번의 롤아웃에서 계산된다.

$$ R(x,y)=R_{\mathrm{acc}} +\alpha\,\operatorname{Overlap}_n(y\parallel x^{\mathrm{key}}) -\beta\,\operatorname{Overlap}_n(y\parallel x^{\mathrm{dist}}), \qquad R_{\mathrm{acc}}\in\{0,1\}. $$

양의 항 $R_{\mathrm{ground}}=\alpha\operatorname{Overlap}_n(y\parallel x^{\mathrm{key}})$은 모델이 관련 이름, 수치, 관계를 사고 궤적에 끌어오도록 압력을 준다. 차감 항 $R_{\mathrm{dist}}=\beta\operatorname{Overlap}_n(y\parallel x^{\mathrm{dist}})$은 입력을 넓게 훑어 그대로 붙이는 전략의 보상값을 낮춘다. 최종 답 신호는 과제 완수의 방향을 유지하고, 두 과정 신호는 같은 답을 만든 궤적 사이에서 선택성을 구분한다. 외부 검색기나 별도 검증 모델 없이 support annotation과 토큰 집합 연산만으로 계산할 수 있다는 점도 장문 롤아웃 학습의 비용을 제한한다.

두 과정 항은 상호 보완적이다. grounding reward만 두면 모든 입력을 복사해도 핵심 영역 중복이 커지므로 보상 해킹 경로가 열린다. distractor penalty만 두면 무관한 구절을 피하는 법은 학습해도 핵심 증거에 실제로 관여할 양의 유인이 부족하며, 입력을 거의 참조하지 않는 궤적도 낮은 비용을 얻을 수 있다. GEAR는 관련 정보에 접근하는 힘과 무관한 정보를 억제하는 힘을 동시에 주어 선택적 복사를 안정적인 목표로 만든다.

3.2 key와 distractor가 공유하는 n-gram의 예외 처리

자연어 문서에서는 핵심 영역과 방해 영역이 공통 표현을 포함하기 쉽다. 인물명, 기관명, 문서의 주제어, 상투적인 연결 구문이 양쪽에 반복되면 같은 $n$-gram이 $\mathcal{N}_n(x^{\mathrm{key}})$과 $\mathcal{N}_n(x^{\mathrm{dist}})$에 동시에 들어간다. 이런 항목을 방해 중복으로 그대로 세면 모델이 핵심 증거를 정당하게 언급했는데도 양의 보상과 음의 페널티를 함께 받는다. 저자들은 key와 distractor에 공통으로 등장하는 n-gram을 distractor 항에서 제외해 이 충돌을 막는다.

배타적 방해 집합을 명시하면 다음과 같이 쓸 수 있다. 핵심 집합은 유지하고 방해 집합에서 교집합만 제거하므로, 공통 구절은 grounding 후보가 될 수 있지만 distractor penalty의 근거로는 사용되지 않는다. 실제 방해 중복 계산은 출력 창이 이 배타적 집합에 속하는지를 세는 방식으로 해석할 수 있다. 이 예외는 단순한 구현 세부를 넘어 보상 부호의 의미를 일관되게 보존하는 조건이다.

$$ \mathcal{N}^{\mathrm{dist}\setminus\mathrm{key}}_n =\mathcal{N}_n(x^{\mathrm{dist}})\setminus\mathcal{N}_n(x^{\mathrm{key}}), $$

$$ \operatorname{Overlap}^{*}_n(y\parallel x^{\mathrm{dist}}) =\frac{1}{m-n+1}\sum_{i=1}^{m-n+1} \mathbf{1}\!\left[(y_i,\ldots,y_{i+n-1}) \in\mathcal{N}^{\mathrm{dist}\setminus\mathrm{key}}_n\right]. $$

진단의 grounding ratio와 훈련 보상은 목적에 맞게 $n$을 다르게 사용한다. 진단에서는 고의적인 긴 전사를 확실히 가려내기 위해 $n=10$을 택했지만, 강화학습에서는 $n=3$을 사용해 짧은 증거 접촉에도 값이 변하는 조밀한 보상 신호를 만든다. 긴 n-gram만 보상하면 표현을 조금 바꾼 롤아웃 대부분이 0에 가까운 과정 보상을 받아 그룹 내 차이가 약해질 수 있다. 저자들의 ablation 분석에서도 3-gram이 훈련에 가장 적합한 설정으로 확인되었다.

3.3 보상 계수와 학습 설정

실제 학습에서는 $n=3$, $\alpha=0.1$, $\beta=0.3$을 사용한다. 방해 복사의 계수를 핵심 중복 보상보다 세 배 크게 둔 것은 핵심 구절을 조금 언급하는 이득보다 입력 전체를 확장 복사하는 비용이 빠르게 커지도록 만든다. 계수 민감도 분석은 이 선택을 지지하며, 정확도 항의 0과 1 스케일 안에서 두 연속 보조 신호가 정책 선호를 세분화한다. 보상은 정답 목표를 대체하지 않고 정답을 향하는 롤아웃의 문맥 사용 방식을 조정한다.

학습 모델은 Qwen3.5-9B, Qwen3.5-27B, MoE 구조의 Qwen3.5-35B-A3B 세 종류이며 모두 GSPO로 최적화한다. 학습은 1 epoch, 약 100 optimizer step 동안 진행되고 학습률은 $2\times10^{-6}$, batch size는 32, rollout group size는 8이다. 최대 프롬프트 길이는 32k 토큰, 최대 생성 길이는 16k 토큰으로 두며 훈련 문맥 길이는 16k와 32k 사이에서 균일하게 분포시킨다. 서로 다른 모델 규모에 같은 보상 구조를 적용함으로써 GEAR를 특정 파라미터 크기에 종속된 조정법보다 데이터 annotation을 활용하는 reward shaping으로 검증한다.

훈련 범위는 보상 설계의 의도도 드러낸다. 3,200개 표본으로 한 epoch만 수행하므로 거대한 장문 사전학습을 되풀이하기보다 이미 가진 추론 능력의 증거 사용 정책을 짧게 교정한다. rollout group 8은 한 프롬프트에서 나온 여러 시퀀스 사이의 정확도와 중복 차이를 GSPO가 상대적으로 활용하게 한다. 16k~32k에서 배운 선택 규칙이 더 긴 평가 문맥으로 이어지는지는 문맥 길이를 외운 효과와 grounding 행동의 일반화를 가르는 시험이 된다.

3.4 절차적으로 support를 얻는 합성 데이터

GEAR에는 프롬프트의 어느 부분이 정답 근거인지 알려 주는 support annotation이 필요하다. GSM-Infinite 와 PhantomWiki 는 생성 절차가 문제와 근거 위치를 함께 만들기 때문에 별도 사람이 긴 문서를 읽어 표시할 필요가 없다. 전자는 수치 서술 사이에서 관련 조건을 찾아 10~20단계 연산을 잇는 numerical chaining을 제공한다. 후자는 허구의 백과사전 문서와 상호 연결된 엔터티를 만들고 여러 문서에 걸친 관계를 따라가게 해 multi-hop entity tracking을 제공한다.

두 합성 원천은 같은 grounding 원리를 서로 다른 추론 형태에서 학습시키기 위해 선택되었다. 산술 데이터만 쓰면 숫자 주변 문장을 고르는 표면 규칙에 과적합할 수 있고, 엔터티 데이터만 쓰면 이름 및 관계 표현에 보상이 편향될 수 있다. 수치 연쇄와 개체 추적을 함께 넣으면 핵심 증거가 숫자, 인물, 관계, 여러 문서의 연결로 다양해진다. 생성기가 제공하는 support index는 각 사례에서 key와 distractor를 결정하고 n-gram 보상을 즉시 계산하게 한다.

합성 데이터의 장점은 근거 경계가 정확하고 정답 검증이 용이하다는 데 있다. 동시에 절차적 문장과 허구 문서에서 배운 패턴이 실제 웹 문서의 다양한 문체와 불완전한 구조에도 그대로 작동한다고 가정할 수는 없다. 논문은 이 간극을 줄이기 위해 임의의 자연어 장문에서 근거가 표시된 질의응답을 자동으로 만드는 별도 파이프라인을 결합한다. 두 데이터 계열의 결합은 support가 원래 존재하는 환경과 support를 구성 과정에서 확보해야 하는 환경을 모두 포괄한다.

3.5 자연어 문서의 3단계 증거 주석 파이프라인

첫 단계인 문서 분석 및 필터링에서는 언어 모델이 원천 문서 $d$의 정보적 특성을 판별한다. 사실 주장, 수치 데이터, 인과 관계, 비교처럼 질문을 만들 수 있는 구조를 찾고, 문서에 적합한 질문 유형을 결정한다. 구조화 데이터나 상품 목록처럼 질의응답 생성에 부적합한 문서는 이 단계에서 제거된다. 선택된 정보 유형과 질문 유형은 뒤 단계의 생성을 제약해 문서 성격과 동떨어진 질문이 만들어질 가능성을 낮춘다.

둘째 단계는 긴 문서를 1,024자 단위 청크로 나누는 데서 시작한다. 그중 1~3개를 무작위로 뽑아 constraint context로 지정하고 핵심 증거 영역으로 삼으며, 선택되지 않은 나머지 청크는 distractor context가 된다. 언어 모델에는 constraint context만으로 답할 수 있는 질문, 1~3개의 정확한 증거 인용문, 간결한 답을 함께 생성하도록 요구한다. 질문을 먼저 만든 뒤 전체 문서에서 support를 사후 탐색하는 흐름을 뒤집었기 때문에, 선택된 청크와 정확 인용문이 생성 시점부터 근거 annotation으로 남는다.

이 역순 설계는 장문 문서 주석의 가장 비싼 단계를 줄인다. 질문을 자유롭게 만든 다음 근거를 찾으면 여러 청크에 답이 중복되거나, 명시하지 않은 배경지식이 답을 결정하거나, annotator가 근거 범위를 놓칠 수 있다. 먼저 좁은 constraint context를 고정하면 생성기가 사용할 수 있는 정보 범위가 제한되고 나머지 문서가 자연스러운 방해 문맥으로 재활용된다. 무작위로 뽑은 1~3개 청크는 단일 위치 검색과 여러 위치 결합을 모두 만들면서도 support 범위를 계산 가능한 크기로 유지한다.

셋째 단계인 답 검증에서는 생성된 질문을 constraint context만 제공한 상태에서 독립적으로 다시 푼다. 재도출한 답이 생성 시의 reference answer와 일치하는 쌍만 남겨, 지정된 근거 영역만으로 질문에 명확히 답할 수 있는지 확인한다. 답 형식은 숫자 또는 엔터티 구처럼 단일 값을 갖는 응답으로 제한하고 yes/no 질문은 제외한다. 이 제약은 최종 정확도 보상을 자동 계산하기 쉽게 만들며, 긴 자유 서술 답안의 표현 차이가 이진 채점을 흔드는 문제를 줄인다.

3.6 3,200개 훈련 데이터의 구성과 역할

최종 훈련 세트는 총 3,200문제로 구성된다. GSM-Infinite에서 1,000개, PhantomWiki에서 1,000개를 가져와 support index가 내재된 구조적 합성 데이터 2,000개를 만든다. 여기에 RedPajama-v2 문서를 자연어 파이프라인으로 처리한 질의응답 1,200개를 더한다. 비율로 보면 합성 데이터가 62.5%, 자연어 데이터가 37.5%이며 모든 사례는 key와 distractor를 나눌 수 있는 annotation을 갖는다.

GSM-Infinite의 1,000개는 긴 수치 문맥에서 조건을 선별하고 순차 계산하는 행동을 공급하고, PhantomWiki의 1,000개는 여러 문서의 엔터티 관계를 추적하는 행동을 공급한다. RedPajama-v2 기반 1,200개는 실제 자연어의 사실, 수치, 인과, 비교 표현을 추가해 합성 생성기의 문체와 구조에 대한 의존을 완화한다. 데이터 원천마다 문제 내용은 달라도 보상 인터페이스는 $x^{\mathrm{key}}$, $x^{\mathrm{dist}}$, 정답의 세 요소로 통일된다. 이 통일성이 동일한 GEAR 수식을 수치 추론, 다중 홉 추적, 자연 문서 질의응답에 적용하게 한다.

Table 1: GEAR 학습 데이터 3,200개의 구성

데이터 원천	문제 수	핵심 추론 형태	근거 경계 확보 방식
GSM-Infinite	1,000	10~20단계 수치 연쇄	절차적 support index
PhantomWiki	1,000	다중 홉 엔터티 추적	절차적 support index
RedPajama-v2 문서 QA	1,200	사실·수치·인과·비교	선정 청크와 인용문
합계	3,200	혼합 장문 추론	key/distractor 공통 인터페이스

합성 과제 2,000개가 정확한 support 위치와 검증 가능한 정답을 공급하고, 자연어 QA 1,200개가 실제 문서 표현을 보완한다. 모든 원천은 key evidence, distractor, 정답의 동일한 보상 인터페이스로 변환된다. 표본 수 자체보다 세 원천에서 동일한 선택 규칙을 학습한다는 구성이 짧은 한 epoch의 역할을 설명한다.

3,200이라는 규모는 데이터 양만 늘려 성능을 얻는 접근과 구별되는 방법론적 선택이다. 핵심 자원은 완성된 장문 추론 궤적의 대규모 감독 레이블보다 정답 근거의 위치이며, 자연어 파이프라인은 임의 문서 말뭉치에서도 그 위치를 구성 단계에서 확보한다. 정확도 보상은 답의 타당성을, grounding reward는 핵심 증거 접촉을, distractor penalty는 불필요한 전사를 각각 담당한다. 이 세 신호와 혼합 데이터가 결합되면서 장문맥 강화학습의 목표는 정답률 하나에서 선택적 증거 사용을 포함하는 정책 품질로 확장된다.

4. 실험 설정: 세 모델과 두 문맥 길이의 교차 검증

4.1 모델군과 GSPO 학습 프로토콜

실험은 Qwen3.5-9B, Qwen3.5-35B-A3B, Qwen3.5-27B의 세 기반 모델을 사용한다. 9B와 27B라는 서로 다른 규모의 dense 모델에 MoE 변형 35B-A3B를 더해, GEAR의 효과가 한 파라미터 규모나 한 계산 구조에 묶이는지 확인한다. 세 모델은 모두 Group Sequence Policy Optimization, 즉 GSPO로 학습되며 동일한 보상 구성과 평가 축을 공유한다. 모델 세 종과 평가 문맥 두 길이를 교차한 여섯 조합이 주 결과의 기본 단위다.

정책 학습은 1 epoch, 약 100 optimizer step으로 진행되고 learning rate는 $2\times10^{-6}$, batch size는 32, rollout group size는 8이다. 최대 prompt 길이는 32k 토큰이고 최대 generation 길이는 16k 토큰으로 제한된다. 학습 표본의 실제 문맥 길이는 16k에서 32k 사이에 균등 분포하므로, 모델은 훈련 중 128k 입력을 보지 않는다. 이 설정은 32k 결과를 분포 내 검증으로, 128k 결과를 학습 상한보다 네 배 긴 길이에 대한 외삽 검증으로 읽게 한다.

보상 계산에는 token-level 3-gram을 사용하고 기본 계수는 grounding 가중치 $\alpha=0.1$, distractor 벌점 가중치 $\beta=0.3$이다. 최종 보상은 이진 정확도 $R_{\mathrm{acc}}$에 핵심 증거와 출력의 overlap을 더하고 방해 문맥과 출력의 overlap을 빼는 구조다. 핵심 증거와 방해 문맥 양쪽에 모두 등장하는 n-gram은 distractor 항에서 제외해, 정당한 증거 참조가 중복 표현 때문에 벌점을 받는 일을 줄인다. 양의 근거 신호보다 무관 문맥 억제를 세 배 강하게 둔 선택은 뒤의 계수 절제로 직접 검증된다.

4.2 3,200개 evidence-annotated 훈련 데이터

학습 세트는 총 3,200문제로, GSM-Infinite 1,000개, PhantomWiki 1,000개, RedPajama-v2 문서에서 합성한 자연어 QA 1,200개로 구성된다. GSM-Infinite는 긴 수치 서술 속에서 관련 조건을 찾아 10~20회의 연속 산술 연산을 수행하게 하고, PhantomWiki는 가상 백과사전의 여러 문서를 오가며 엔티티를 다중 홉으로 추적하게 한다. 두 합성 벤치마크는 절차적 생성기가 support index를 함께 내놓아 key evidence와 distractor를 추가 인력 주석 없이 나눌 수 있다. 수치 연쇄와 엔티티 추적을 함께 학습시킨 구성은 한 종류의 추론 편법에 대한 의존을 낮춘다.

자연어 데이터는 질문을 먼저 만들고 근거를 사후 탐색하는 순서를 뒤집는다. 문서를 정보 특성에 따라 분석·필터링한 뒤 1,024자 단위 청크로 나누고, 그중 1~3개를 무작위로 골라 constraint context이자 key evidence로 지정하며 나머지는 distractor로 둔다. 모델은 지정 청크만으로 답할 수 있는 질문, 1~3개의 정확한 원문 인용, 간결한 답을 생성하고, 별도의 재답변 단계가 같은 제한 문맥만 보고 기준 답을 다시 도출한 사례만 남긴다. 답은 숫자나 엔티티 구 같은 단일값 응답으로 제한하고 yes/no 질문을 제외해 정확도 보상을 자동 판정할 수 있게 한다.

이 데이터 설계에서 support annotation은 학습 시 보상 계산에 쓰이지만 배포 추론 때 별도 verifier나 retrieval module을 요구하지 않는다. n-gram 조회와 집계만으로 각 rollout의 grounding 보상과 distractor 벌점을 계산할 수 있어 외부 모델 호출이 보상 루프에 추가되지 않는다. 다만 3,200개 학습 문제와 평가 벤치마크는 엄격히 분리되며, GSM-Infinite와 PhantomWiki를 학습했다고 해서 같은 과제의 test split 성능을 주 결과로 제시하는 구조도 피했다. 학습 데이터의 역할은 정답 지식을 주입하는 것보다 선택적 증거 사용 행동을 형성하는 데 있다.

4.3 다섯 held-out 벤치마크와 32k·128k 평가

평가는 GEAR 학습 데이터와 겹치지 않는 Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR의 다섯 장문맥 벤치마크에서 수행된다. Ruler는 여러 key와 value를 뽑는 합성 검색을, LongBench-v2는 현실적인 장문 이해 과제를, BrowseComp-LC는 긴 웹 문서들에 흩어진 정보의 종합을 측정한다. GraphWalks는 텍스트로 표현된 그래프에서 다중 홉 경로를 따라가며 중간 상태를 보존해야 하고, AA-LCR은 전반적인 long-context reasoning을 평가한다. 검색, 문서 이해, 웹 종합, 그래프 추론을 섞어 근거 선택의 전이 범위를 점검한 셈이다.

다섯 벤치마크는 원래 128k 문맥을 사용하며, 논문은 전체 128k 집합과 입력이 32k 안에 들어오는 부분집합을 따로 평가한다. AA-LCR의 모든 인스턴스는 32k를 초과하므로 32k 결과에는 값이 없고 128k에서만 포함된다. 따라서 32k의 Avg는 Ruler·LongBench-v2·BrowseComp-LC·GraphWalks 네 열의 산술평균이고, 128k의 Avg는 여기에 AA-LCR을 더한 다섯 열의 산술평균이다. 서로 다른 열 수로 계산한 두 Avg를 문맥 길이 자체의 절대 난도 차이로 단순 비교하기보다, 같은 길이 안에서 방법 간 차이를 읽어야 한다.

Table 2: 다섯 held-out 장문맥 벤치마크의 역할

벤치마크	주요 능력	32k 평가	128k 평가
Ruler	다중 key-value 검색	포함	포함
LongBench-v2	현실적 장문 이해	포함	포함
BrowseComp-LC	웹 문서 종합	포함	포함
GraphWalks	그래프 다중 홉 추론	포함	포함
AA-LCR	종합 long-context reasoning	제외	포함

32k 평균은 앞의 네 과제만 사용하고 128k 평균은 AA-LCR까지 더한 다섯 과제를 사용한다. 따라서 각 문맥 길이 안에서 정책을 비교하는 것은 타당하지만, 32k 평균과 128k 평균의 차이를 길이 증가에 따른 순수 손실로 계산하면 과제 구성이 섞인다. 훈련 데이터와 겹치지 않는 다섯 평가축은 선택적 grounding이 검색·종합·경로 추론으로 전이되는지를 나눠 보여 준다.

4.4 네 비교군과 수치 해석 원칙

각 모델과 문맥 길이에는 네 정책이 놓인다. 첫째는 추가 RL을 하지 않은 pretrained Base, 둘째는 이진 정확도만으로 학습한 accuracy-only GSPO, 셋째는 GSPO에 $R_{\mathrm{ground}}$만 더한 grounding-only, 넷째는 grounding과 distractor 항을 모두 더한 full GEAR다. 이 배열은 기반 모델 대비 RL의 일반 효과, 정확도 전용 RL 대비 evidence-aware shaping의 효과, 두 shaping 항의 결합 필요성을 한 번에 분리한다. 특히 grounding-only 행을 full GEAR의 약식판으로 보면 안 되며, 무관 문맥을 복사해도 key overlap을 쉽게 얻는 보상 해킹 대조군으로 읽어야 한다.

주 결과의 Ruler·LB-v2·BrowseComp-LC·GraphWalks·AA-LCR 값과 Avg는 벤치마크 점수이므로 변화량을 점 또는 포인트로 표현한다. overlap rate와 reasoning-operation 분석의 accuracy는 명시적인 비율이므로 원값에는 %, 두 비율의 차이에는 %포인트를 사용한다. 예를 들어 overlap이 35.7%에서 27.0%로 바뀌면 8.7% 감소라고 쓰기보다 8.7%포인트 하락이라고 해야 상대 변화율과 혼동되지 않는다. 이 구분은 GEAR의 성능 향상과 복사율 억제를 같은 단위의 개선으로 잘못 합치는 일을 막는다.

5. 주요 실험 결과: 덜 복사하고 더 정확하게 추론하기

5.1 여섯 model-context 조합에서 모두 가장 높은 평균

핵심 결과는 full GEAR가 여섯 model-context 조합의 Avg를 모두 최고로 만든다는 것이다. Accuracy-only GSPO 대비 GEAR의 평균 이득은 32k에서 9B +2.8점, 35B-A3B +2.1점, 27B +1.5점이고, 128k에서는 같은 모델 순서로 +4.6점, +2.8점, +2.1점이다. 훈련 범위 안인 32k보다 보지 못한 128k에서 세 모델 모두 차이가 커져, 선택적 grounding 행동이 입력의 절대 길이에 고정된 규칙으로만 학습된 것은 아님을 시사한다. 단, 최고 평균이 모든 개별 benchmark 열의 단독 최고를 뜻하지는 않으므로 각 조합의 원점수를 함께 봐야 한다.

Table 3: Accuracy-only GSPO 대비 GEAR 평균 점수 이득

기반 모델	문맥	GSPO Avg	GEAR Avg	절대 이득
Qwen3.5-9B	32k	78.5	81.3	+2.8점
Qwen3.5-9B	128k	70.2	74.8	+4.6점
Qwen3.5-35B-A3B	32k	80.2	82.3	+2.1점
Qwen3.5-35B-A3B	128k	73.4	76.2	+2.8점
Qwen3.5-27B	32k	80.6	82.1	+1.5점
Qwen3.5-27B	128k	75.3	77.4	+2.1점

GEAR는 세 모델과 두 문맥 길이를 교차한 여섯 조합에서 모두 평균 최고를 기록한다. 각 모델의 128k 이득은 같은 모델의 32k 이득보다 커서, 16k~32k에서 학습한 선택 규칙이 더 긴 입력에서 더 큰 차이를 만들었다. 이는 길이 외삽의 증거지만 32k와 128k 평균의 과제 수가 다르므로 길이별 원점수를 직접 빼는 해석은 피해야 한다.

5.2 Qwen3.5-9B: 작은 모델에서 가장 큰 장문 이득

32k의 Qwen3.5-9B는 열 순서를 Ruler, LB-v2, BrowseComp-LC, GraphWalks, Avg로 둘 때 Base가 77.4, 50.5, 61.7, 85.0, 68.7을 기록한다. Accuracy-only GSPO는 91.5, 55.9, 77.7, 88.9, 78.5, grounding-only는 87.4, 58.6, 73.9, 73.8, 73.4다. Full GEAR는 96.4, 58.6, 79.1, 90.9, 81.3으로 평균 최고이며, LB-v2의 58.6은 grounding-only와 공동 최고다. Grounding-only는 LB-v2 한 열을 올리고도 GraphWalks가 GSPO의 88.9에서 73.8로 무너져 평균이 5.1점 낮아진다.

128k의 9B에서는 Ruler, LB-v2, BrowseComp-LC, GraphWalks, AA-LCR, Avg 순으로 Base가 54.9, 49.8, 54.0, 80.5, 57.0, 59.2다. Accuracy-only GSPO는 84.1, 52.2, 69.5, 86.0, 59.0, 70.2, grounding-only는 79.6, 52.6, 57.6, 60.8, 59.0, 61.9를 낸다. Full GEAR는 90.8, 54.7, 71.7, 88.8, 68.0, 74.8로 다섯 개별 benchmark와 평균을 모두 이긴다. 특히 grounding-only의 61.9는 GSPO보다 8.3점 낮고 GraphWalks는 86.0에서 60.8로 급락해, 긴 distractor 속 전체 복사 전략의 비용이 128k에서 더 커짐을 보여 준다.

9B에서 Base에서 accuracy-only GSPO로 가는 것만으로도 Avg는 32k 68.7에서 78.5, 128k 59.2에서 70.2로 상승한다. GEAR의 비교 기준을 Base로만 잡으면 일반적인 RL 이득과 evidence shaping 이득이 섞이므로, 논문이 강조하는 차이는 GSPO 78.5 대비 81.3과 GSPO 70.2 대비 74.8이다. 그 추가 이득이 2.8점에서 4.6점으로 커진다는 사실은 작은 모델일수록 장문에서 방해 정보 억제 신호를 더 크게 활용할 가능성을 보여 준다. GEAR는 GSPO를 대체하지 않고 같은 최적화기에 더 구별력 있는 보상을 제공한다.

Table 4: Qwen3.5-9B의 32k·128k 정책별 평균

문맥	정책	Ruler	LB-v2	BrowseComp-LC	GraphWalks	AA-LCR	Avg
32k	Base	77.4	50.5	61.7	85.0	–	68.7
32k	GSPO	91.5	55.9	77.7	88.9	–	78.5
32k	Grounding-only	87.4	58.6	73.9	73.8	–	73.4
32k	GEAR	96.4	58.6	79.1	90.9	–	81.3
128k	Base	54.9	49.8	54.0	80.5	57.0	59.2
128k	GSPO	84.1	52.2	69.5	86.0	59.0	70.2
128k	Grounding-only	79.6	52.6	57.6	60.8	59.0	61.9
128k	GEAR	90.8	54.7	71.7	88.8	68.0	74.8

Grounding-only는 LongBench-v2의 일부 점수를 높이면서도 GraphWalks와 BrowseComp-LC를 크게 훼손해 평균을 낮춘다. 반대로 full GEAR는 9B의 128k 다섯 과제에서 모두 가장 높은 값을 얻고 평균 74.8에 도달한다. 양의 key overlap 보상만으로는 긴 입력 전체를 복사하는 편법을 막지 못하며, distractor penalty가 결합될 때 열별 균형이 회복된다.

5.3 Qwen3.5-35B-A3B: MoE에서도 평균 개선 유지

32k의 Qwen3.5-35B-A3B는 Ruler, LB-v2, BrowseComp-LC, GraphWalks, Avg 순으로 Base가 81.4, 61.3, 66.6, 85.6, 73.7이다. Accuracy-only GSPO는 93.1, 60.4, 75.6, 91.5, 80.2, grounding-only는 90.7, 62.1, 73.0, 88.3, 78.5를 기록한다. Full GEAR는 96.2, 61.3, 75.6, 95.9, 82.3으로 평균이 GSPO보다 2.1점 높고, BrowseComp-LC의 75.6은 GSPO와 공동 최고다. LB-v2 단독 최고는 grounding-only의 62.1이며 GEAR는 61.3이므로, 평균 일관성과 열별 단조 개선을 구분할 필요가 있다.

128k의 35B-A3B에서 Base는 여섯 열 순서로 74.6, 54.0, 57.8, 82.8, 59.0, 65.6을 얻는다. Accuracy-only GSPO는 86.4, 55.4, 68.8, 89.6, 67.0, 73.4, grounding-only는 79.0, 58.4, 66.2, 85.5, 67.0, 71.2다. Full GEAR는 93.9, 57.6, 68.3, 91.3, 70.0, 76.2로 평균 최고를 기록하지만, LB-v2는 grounding-only의 58.4보다 0.8점 낮고 BrowseComp-LC는 GSPO의 68.8보다 0.5점 낮다. 그럼에도 Ruler와 GraphWalks, AA-LCR의 개선이 이를 상쇄해 GSPO 대비 Avg가 2.8점 상승한다.

MoE 조합은 GEAR의 주장을 가장 엄격하게 읽게 하는 사례다. 개별 benchmark에서는 강한 baseline이 남아 있는데도 32k Avg 82.3과 128k Avg 76.2가 각각 같은 길이의 네 방법 중 가장 높다. Grounding-only Avg는 GSPO보다 32k에서 1.7점, 128k에서 2.2점 낮아 양의 evidence overlap만으로는 MoE에서도 안정적인 이득이 생기지 않는다. 활성 계산량이 작은 MoE 구조에서도 distractor 억제와 grounding 유도의 결합이 평균적으로 유효하다.

5.4 Qwen3.5-27B: 가장 안정적인 개별 열 개선

32k의 Qwen3.5-27B는 Ruler, LB-v2, BrowseComp-LC, GraphWalks, Avg 순서에서 Base가 82.9, 60.4, 72.5, 85.0, 75.2다. Accuracy-only GSPO는 95.5, 60.4, 74.9, 91.5, 80.6, grounding-only는 92.9, 58.2, 73.2, 88.6, 78.2를 낸다. Full GEAR는 96.5, 62.2, 77.7, 91.8, 82.1로 네 개별 benchmark와 Avg에서 모두 최고다. GSPO 대비 평균 이득 1.5점은 여섯 조합 중 가장 작지만, 특정 한 열의 큰 도약보다 여러 열의 고른 상승으로 구성된다.

128k의 27B에서는 Base가 Ruler부터 Avg까지 78.0, 58.6, 66.6, 84.2, 70.0, 71.5를 기록한다. Accuracy-only GSPO는 92.1, 58.2, 70.5, 90.7, 65.0, 75.3, grounding-only는 89.3, 57.1, 67.8, 87.2, 63.0, 72.9다. Full GEAR는 93.3, 60.0, 70.9, 91.0, 72.0, 77.4로 모든 개별 열과 평균에서 최고이며 GSPO보다 평균 2.1점 높다. AA-LCR에서 GSPO가 Base의 70.0보다 낮은 65.0을 보인 반면 GEAR는 72.0에 도달해, 정확도 전용 RL이 늘 Base를 보존하는 것도 아님을 드러낸다.

5.5 평균이 보여 주는 길이 외삽과 개별 열의 경계

세 모델의 32k GEAR Avg는 9B 81.3, 35B-A3B 82.3, 27B 82.1로 서로 가깝지만, 128k에서는 74.8, 76.2, 77.4로 모델 규모에 따른 격차가 더 보인다. 같은 길이의 accuracy-only GSPO와 비교하면 모든 모델이 개선되므로 한 모델의 우연한 퇴보 회복만으로 여섯 평균 우위를 설명하기 어렵다. 또한 128k 이득이 세 경우 모두 32k보다 크다는 방향성은 16k~32k에서 학습한 보상 정책의 길이 외삽을 지지한다. 다만 32k Avg는 네 과제, 128k Avg는 다섯 과제이므로 81.3과 74.8 같은 값을 직접 빼서 문맥 증가의 손실률로 해석해서는 안 된다.

Full GEAR가 개별 열까지 전부 단독 최고인 조합은 9B 128k와 27B의 32k·128k이며, 나머지 조합에는 동률이나 소폭 열세가 있다. 9B 32k의 LB-v2는 grounding-only와 58.6으로 동률이고, 35B-A3B 32k의 BrowseComp-LC는 GSPO와 75.6으로 동률이다. 35B-A3B 128k에서는 LB-v2 57.6이 grounding-only 58.4보다 낮고 BrowseComp-LC 68.3이 GSPO 68.8보다 낮다. 따라서 결론의 정확한 범위는 모든 benchmark에서 무조건 우세라고 말하기보다 모든 모델-문맥 조합에서 평균 최고이며 대다수 개별 열에서 경쟁력 있음이다.

5.6 3-gram overlap과 thinking length의 동시 감소

작동 기제 분석은 Qwen3.5-35B-A3B의 32k 출력에 대해 Ruler와 LongBench-v2의 token-level 3-gram overlap과 thinking token 수를 측정한다. Ruler에서 Base, GSPO, grounding-only, full GEAR 순 overlap은 36.9%, 35.7%, 36.6%, 27.0%이고 thinking length는 4,290, 2,808, 5,727, 2,066토큰이다. GEAR는 GSPO 대비 overlap을 8.7%포인트 낮추고 thinking trace도 742토큰 짧게 만들지만, grounding-only는 overlap을 0.9%포인트 높이고 길이를 두 배 넘는 5,727토큰으로 팽창시킨다. 정답 근거와 닮은 구절만 보상하면 입력 전반을 더 옮기는 쉬운 정책이 선택될 수 있다는 직접적인 행동 증거다.

LongBench-v2에서 같은 네 방법의 overlap은 24.9%, 27.2%, 28.5%, 22.6%, thinking length는 5,657, 4,677, 6,833, 3,989토큰이다. Accuracy-only GSPO가 Base보다 overlap을 2.3%포인트 높이고 grounding-only가 다시 1.3%포인트 높이는 반면, full GEAR는 GSPO보다 4.6%포인트 낮은 22.6%까지 내린다. Thinking length도 GEAR가 GSPO보다 688토큰 짧고 grounding-only보다 2,844토큰 짧아, 낮은 overlap이 답을 내지 못한 조기 중단만을 뜻하지 않는다. 주 결과의 정확도 상승과 함께 보면 덜 복사하고 더 짧게 추론하면서 더 높은 평균을 얻는 방향이 확인된다.

Table 5: Ruler와 LongBench-v2의 3-gram overlap 및 thinking length

벤치마크	정책	Overlap	Thinking tokens
Ruler	Base	36.9%	4,290
Ruler	GSPO	35.7%	2,808
Ruler	Grounding-only	36.6%	5,727
Ruler	GEAR	27.0%	2,066
LongBench-v2	Base	24.9%	5,657
LongBench-v2	GSPO	27.2%	4,677
LongBench-v2	Grounding-only	28.5%	6,833
LongBench-v2	GEAR	22.6%	3,989

GEAR는 두 과제에서 overlap과 thinking length를 동시에 가장 낮춘다. Grounding-only는 Ruler의 사고 길이를 GSPO 대비 2,919토큰, LongBench-v2에서는 2,156토큰 늘려 key 보상만 주었을 때의 우회 전략을 드러낸다. 정확도 평균까지 함께 상승했으므로 GEAR의 짧은 출력은 계산을 포기한 조기 종료보다 불필요한 전사 감소에 가깝다.

두 과제에서 Base→GSPO→grounding-only의 궤적은 정확도 보상이나 양의 근거 보상만으로 반복 복사가 자동 해소되지 않음을 보여 준다. Ruler의 GSPO는 Base보다 짧아지지만 grounding-only에서 5,727토큰으로 역전되고, LongBench-v2의 GSPO는 Base보다 짧아져도 overlap은 오히려 24.9%에서 27.2%로 오른다. Full GEAR만 Ruler 27.0%와 LongBench-v2 22.6%로 네 설정 중 최저 overlap을 동시에 달성한다. 효율 개선의 핵심은 전체 길이를 직접 벌주는 대신 어떤 입력 구절을 되풀이했는지 구분하는 데 있다.

6. 추가 분석 및 Ablation Study: 두 보상 항의 역할 분리

6.1 절제 범위와 비교 기준

계수와 n-gram 절제는 모두 Qwen3.5-9B, 32k context에서 수행한다. 이 길이에 들어오는 Ruler, LongBench-v2, BrowseComp-LC, GraphWalks 네 과제를 사용하고, 모든 인스턴스가 32k를 넘는 AA-LCR은 제외한다. 각 Avg는 네 점수의 산술평균이며 같은 조건의 accuracy-only GSPO Avg 78.5가 보상 shaping의 실질적인 기준선이다. 실험 축은 grounding 계수 $\alpha$, distractor 계수 $\beta$, overlap 계산의 $n$으로 분리된다.

6.2 계수 절제: 기본값 α=0.1, β=0.3의 균형

계수 조합 $(\alpha,\beta)=(0.0,0.3)$, 즉 distractor-only의 Ruler, LB-v2, BrowseComp-LC, GraphWalks, Avg는 87.0, 56.0, 65.8, 79.3, 72.0이다. $(0.1,0.1)$은 93.4, 55.8, 77.1, 87.2, 78.4이고, 기본값 $(0.1,0.3)$은 96.4, 58.6, 79.1, 90.9, 81.3이다. $(0.1,0.5)$는 95.1, 57.9, 79.4, 89.6, 80.5, $(0.3,0.3)$은 94.1, 56.0, 78.3, 86.0, 78.6을 기록한다. 다섯 계수 조합 전체에서 기본값의 Avg 81.3이 최고이며 네 개별 benchmark도 균형 있게 높다.

$\alpha=0.1$을 고정하고 $\beta$를 0.1에서 0.3으로 올리면 Avg가 78.4에서 81.3으로 2.9점 상승하고, 0.5로 더 올리면 80.5로 0.8점 낮아진다. 약한 distractor 벌점은 grounding 보상이 입력 전체의 복사량을 끌어올리는 것을 충분히 상쇄하지 못하고, 기본값보다 강한 벌점은 성능을 조금 낮추지만 여전히 GSPO 78.5를 2.0점 웃돈다. 반대로 $\beta=0.3$에서 $\alpha$를 0.1에서 0.3으로 올리면 Avg가 81.3에서 78.6으로 2.7점 하락한다. 이 실험은 큰 양의 보상보다 적당한 grounding 유도와 상대적으로 강한 억제 신호가 안정적임을 보여 준다.

Table 6: Qwen3.5-9B 32k에서의 보상 계수 절제

α	β	Ruler	LB-v2	BrowseComp-LC	GraphWalks	Avg
0.0	0.3	87.0	56.0	65.8	79.3	72.0
0.1	0.1	93.4	55.8	77.1	87.2	78.4
0.1	0.3	96.4	58.6	79.1	90.9	81.3
0.1	0.5	95.1	57.9	79.4	89.6	80.5
0.3	0.3	94.1	56.0	78.3	86.0	78.6

기본값 α=0.1, β=0.3은 네 과제 평균 81.3으로 가장 높다. β를 0.1에서 0.3으로 높이면 평균이 2.9점 상승하지만 0.5로 더 올리면 0.8점 하락하고, α를 0.3으로 키워도 2.7점 떨어진다. 관련 증거를 적당히 끌어오되 방해 문맥 억제를 더 강하게 두는 비대칭이 최적점이며 어느 한 항의 최대화로 설명되지 않는다.

6.3 grounding-only와 distractor-only가 각각 실패하는 이유

Grounding-only 실패는 주 결과의 네 방법 비교에서 직접 나타난다. Accuracy-only GSPO와 비교한 grounding-only Avg는 32k에서 9B가 78.5→73.4, 35B-A3B가 80.2→78.5, 27B가 80.6→78.2이고, 128k에서는 각각 70.2→61.9, 73.4→71.2, 75.3→72.9다. 즉 여섯 조합 모두 낮아지며 최대 하락은 32k 5.1점, 128k 8.3점이다. Key overlap만 높이는 가장 쉬운 해법은 key가 섞인 입력 전체를 복사하는 것이어서 관련성과 선택성을 분리하지 못한다.

Distractor-only 실패는 계수 절제의 $(\alpha,\beta)=(0.0,0.3)$에서 드러난다. Avg 72.0은 같은 9B·32k의 accuracy-only GSPO 78.5보다 6.5점 낮고, full GEAR 81.3보다 9.3점 낮다. 무관 문맥과 닮은 생성을 모두 억제해도 어떤 구절을 적극적으로 사용해야 하는지 알려 주지 못하므로, 유용한 증거 접촉과 해로운 복사를 함께 줄일 수 있다. Grounding-only는 전체 복사를 부르고 distractor-only는 전체 회피를 부르며, 두 항의 결합이 선택 방향을 만든다.

두 실패는 단순히 보상 항 두 개를 더하면 점수가 선형으로 합쳐진다는 설명과 맞지 않는다. Grounding 항은 key 쪽으로 끌어당기고 distractor 항은 나머지 쪽에서 밀어내며, 한 항이 없으면 정책이 복사 또는 회피의 극단으로 이동한다. 계수 실험에서 $\beta$가 $\alpha$보다 작거나 $\alpha$가 과도하게 커질 때 성능이 떨어지는 것도 같은 상호작용을 지지한다. Full GEAR의 이득은 무엇을 볼지와 무엇을 억제할지를 동시에 지정한 대비 신호에서 나온다.

6.4 n-gram 절제: 진단 정밀도와 학습 신호 밀도

$n=3$일 때 Ruler, LB-v2, BrowseComp-LC, GraphWalks, Avg는 96.4, 58.6, 79.1, 90.9, 81.3이다. $n=5$는 95.4, 57.0, 78.3, 89.5, 80.0, $n=10$은 95.7, 56.2, 78.7, 88.5, 79.8을 기록한다. 세 설정의 Avg는 모두 accuracy-only GSPO 78.5보다 높아 GEAR의 방향성은 특정 n 하나에만 의존하지 않는다. 그러나 3→5→10으로 갈수록 Avg가 81.3→80.0→79.8로 점진 하락해 학습 기본값은 n=3이 된다.

짧은 n-gram은 출력의 더 많은 위치에서 입력과의 일치를 발견해 rollout 사이 보상 차이를 조밀하게 만든다. 긴 10-gram은 우연한 일치가 적어 반복 전사를 진단할 때 정밀하지만, paraphrase나 짧은 증거 사용을 놓쳐 RL의 연속 신호가 희소해질 수 있다. 그래서 논문은 현상 진단과 grounding ratio 분석에는 10-gram을 사용하고, 정책 학습과 기제 표에는 token-level 3-gram을 사용한다. 같은 overlap 지표라도 측정용 n과 최적화용 n의 목적 함수가 다르다.

Table 7: Overlap n-gram 길이 절제

n	Ruler	LB-v2	BrowseComp-LC	GraphWalks	Avg
3	96.4	58.6	79.1	90.9	81.3
5	95.4	57.0	78.3	89.5	80.0
10	95.7	56.2	78.7	88.5	79.8
Accuracy-only GSPO	91.5	55.9	77.7	88.9	78.5

3·5·10-gram 설정은 모두 accuracy-only GSPO의 평균 78.5를 넘지만 3-gram이 81.3으로 가장 높다. 긴 n-gram은 의도적 전사를 진단할 때 정밀한 반면, 짧게 바꿔 쓴 증거나 부분 인용에는 0에 가까운 보상을 줄 수 있다. 학습에서는 짧은 창이 rollout 간 차이를 더 자주 만들어 조밀한 정책 기울기를 공급한다.

개별 열을 보면 n=10의 Ruler 95.7은 n=5의 95.4보다 0.3점 높고, BrowseComp-LC 78.7도 n=5의 78.3보다 0.4점 높다. 따라서 모든 benchmark가 n 증가에 따라 단조 하락하는 것은 아니며, 평균 하락은 특히 LB-v2의 58.6→57.0→56.2와 GraphWalks의 90.9→89.5→88.5에서 분명하다. 기본값 선택은 n=3의 전 열 지배가 아니라 네 과제 평균과 보상 밀도의 결합에 근거한다. 절제의 정확한 결론은 3-gram 최적과 3·5·10 전부 baseline 상회라는 두 문장으로 요약된다.

6.5 요구 연산 수를 통제한 overlap-accuracy 분석

추가 분석은 DeepSeek-V3.2를 GSM-Infinite 64k에서 평가하고, 필요한 reasoning operation 수인 op별로 10-gram overlap 구간을 나눈다. 네 구간은 $[0,0.2)$, $[0.2,0.4)$, $[0.4,0.6)$, $[0.6,1.0]$이며 각 값은 accuracy %, 괄호는 표본 수다. Op 10의 네 값은 62.5% (104), 68.8% (372), 6.2% (48), 0.0% (4)이고, op 15는 57.9% (19), 53.4% (58), 25.0% (8), 0.0% (2)다. 난도가 고정되어도 overlap 0.4를 넘는 순간 정확도가 크게 꺾이고 0.6 이상 표본은 모두 오답이다.

Op 16은 구간 순서대로 40.0% (10), 67.6% (68), 12.5% (8), 0.0% (1)이고, op 17은 38.9% (18), 46.6% (58), 22.2% (9), 0.0% (2)다. Op 18은 50.0% (16), 69.0% (58), 12.5% (8), 0.0% (5)로 같은 형태를 보인다. 낮은 두 overlap bin 사이의 순서는 op마다 달라 0에 가까운 복사가 항상 최고라는 결론은 나오지 않지만, $[0.4,0.6)$에서는 정확도가 12.5~22.2%로 급락한다. 필요한 증거를 어느 정도 재사용하는 상태와 입력을 대량 전사하는 상태를 구별해야 한다는 grounding 관점과 일치한다.

Op 19의 네 구간은 45.0% (20), 61.8% (55), 8.3% (12), 표본 없음이고, op 20은 52.4% (21), 53.8% (52), 16.7% (12), 0.0% (2)다. Op 19의 마지막 칸에는 관측 표본 자체가 없으므로 이를 0.0% 실패 표본으로 세어서는 안 된다. 반면 op 10, 15, 16, 17, 18, 20의 $[0.6,1.0]$에는 각각 4, 2, 1, 2, 5, 2개 표본이 있고 정확도는 모두 0.0%다. 연산 수라는 직접 난도 대리변수를 층화한 뒤에도 높은 overlap과 성능 붕괴의 관계가 유지되어, 어려운 문제라서 더 복사하고 더 틀렸다는 단일 혼입 설명을 약화한다.

Table 8: 필요 연산 수와 10-gram overlap 구간별 정확도

연산 수	0.0–0.2	0.2–0.4	0.4–0.6	0.6–1.0
10	62.5% (104)	68.8% (372)	6.2% (48)	0.0% (4)
15	57.9% (19)	53.4% (58)	25.0% (8)	0.0% (2)
16	40.0% (10)	67.6% (68)	12.5% (8)	0.0% (1)
17	38.9% (18)	46.6% (58)	22.2% (9)	0.0% (2)
18	50.0% (16)	69.0% (58)	12.5% (8)	0.0% (5)
19	45.0% (20)	61.8% (55)	8.3% (12)	표본 없음
20	52.4% (21)	53.8% (52)	16.7% (12)	0.0% (2)

괄호는 표본 수이며 같은 연산 수 안에서도 overlap 0.4 이상에서 정확도가 크게 하락한다. 여러 행에서 0.2~0.4 구간이 0.0~0.2보다 높아 입력 접촉을 완전히 없애는 정책이 최적이라는 결론은 나오지 않는다. 난도를 층화한 뒤에도 대량 전사 구간의 붕괴가 유지되므로 GEAR의 key 보상과 distractor 벌점 분리가 총 overlap 최소화보다 타당하다.

이 결과는 복사를 전혀 하지 말라는 처방도 지지하지 않는다. 여러 op에서 $[0.2,0.4)$의 정확도가 $[0,0.2)$보다 높고, 특히 op 16은 40.0% 대 67.6%, op 18은 50.0% 대 69.0%다. 성능이 공통으로 붕괴하는 구간은 주로 0.4 이상이며, 적당한 overlap은 핵심 숫자와 관계를 추론 과정에 유지한 결과일 수 있다. GEAR가 총 overlap 최소화 대신 key overlap 보상과 distractor overlap 벌점을 분리한 이유가 난도 통제 표에서도 뒷받침된다.

6.6 모델별 부록 분석: 특정 Qwen 정책을 넘는 현상

부록은 GSM-Infinite 64k에서 DeepSeek-V3.2 이외의 GLM-4.7, Qwen-3.5-Plus, Claude-Opus-4.5, Qwen3.5-35B-A3B, Qwen3.5-9B, QwQ-32B 여섯 모델로 10-gram overlap 구간 분석을 확장한다. 여섯 모델 모두 overlap이 높은 구간에서 accuracy가 낮아지고, Claude를 제외하면 평균 thinking length도 크게 증가한다. Qwen3.5-35B-A3B와 Qwen3.5-9B는 가장 높은 overlap bin에서 정확도가 0%까지 떨어지며, 해당 고중복 표본 다수는 token budget 소진으로 잘린다. 복사-정확도-길이의 결합은 GEAR를 학습한 세 Qwen 모델의 평가 표에서 처음 만들어진 현상이 아니다.

Figure 7: Claude, GLM, Qwen 계열과 QwQ에서 반복한 overlap·정확도·thinking length 분석

여섯 패널은 모델마다 중복률 구간과 토큰 길이의 절대값이 달라도 높은 overlap에서 정확도가 하락하는 방향이 반복됨을 보여 준다. Qwen3.5-35B-A3B와 9B는 마지막 구간에서 정확도가 0%로 떨어지고 사고 길이가 급증하며, GLM-4.7과 Qwen-3.5-Plus도 같은 조합을 보인다. 고중복 Qwen 표본 다수는 최대 생성 예산에 닿아 출력이 잘렸으므로 긴 궤적이 완결된 계산의 증거도 되지 못한다. Claude는 길이 증가가 뚜렷하지 않은 예외지만 높은 중복 구간의 정확도 저하는 남아 있다.

Claude-Opus-4.5는 accuracy가 overlap 증가와 함께 낮아져도 thinking length가 늘지 않는 예외다. 이 모델은 전체 표본의 94%가 overlap 0.2 미만이라 반복 복사가 매우 드물고, 그 결과 key overlap을 distractor overlap으로 나눈 grounding ratio의 판별력도 작다. 나머지 다섯 모델에서는 정답 표본의 median grounding ratio가 오답 표본보다 높아, 핵심 증거에 더 선택적으로 접촉하는 경향이 architecture를 넘어 반복된다. 이 차이는 frontier 모델이 복사로 인한 토큰 팽창은 완화해도 높은 overlap과 결부된 정확도 저하까지 완전히 제거하지 못할 수 있음을 보여 준다.

Figure 8: 정답과 오답 표본의 grounding ratio 차이를 여섯 모델에서 비교한 부록 분석

Claude를 제외한 다섯 모델에서 파란 정답 분포의 중앙값이 빨간 오답 분포보다 높아 선택적 증거 사용과 정확도의 연관이 여러 정책에서 재현된다. Qwen3.5-Plus와 35B-A3B의 정답 분포는 특히 오른쪽으로 이동해 key 대비 distractor 선택 차이가 뚜렷하다. Claude는 표본의 94%가 overlap 0.2 미만이라 분모와 분자의 변동 폭이 작고 두 분포의 분리도 약하다. 이 예외는 grounding ratio가 복사 행동이 충분히 발생하는 조건에서 더 유용한 진단값이며, 모든 모델에 동일한 임계값을 적용하기 어렵다는 점을 알려 준다.

모델별 분석과 다섯 원수치 묶음을 함께 읽으면 GEAR의 증거 사슬이 완성된다. 주 결과는 세 모델·두 길이에서 평균 향상을 보이고, overlap·thinking length 결과는 그 향상이 더 긴 생성에 기대지 않음을 확인하며, 계수와 n-gram 절제는 두 보상 항의 상호작용과 신호 밀도를 분리한다. Operation별 정확도는 난도 혼입 설명을 줄이고, 여섯 추가 모델은 높은 복사가 특정 정책 한 개의 습관이라는 설명을 줄인다. 최종적으로 지지되는 기제는 복사량의 무조건적 축소보다 핵심 증거 접촉을 남긴 채 distractor 전사를 억제하는 선택적 grounding이다.

7. 한계점 및 향후 연구 방향: n-gram 보상의 경계

논문이 진단한 반복 복사는 긴 문맥 추론의 중요한 실패 양상이지만, 진단 실험의 중심은 GSM-Infinite에 놓여 있다. 일곱 모델과 8K·16K·32K·64K 문맥을 비교한 폭은 충분해도, 수치 조건을 절차적으로 배치하고 정답 지지 구간을 정확히 아는 산술 과제의 구조가 실제 계약서·임상 기록·코드 저장소의 문맥 구조를 대표하지는 않는다. 특히 GSM-Infinite에서는 요구 연산 수로 난도를 층화할 수 있으나, 현실 문서는 상충하는 출처, 암묵적 전제, 시간에 따라 갱신되는 사실, 답이 문서에 없다는 경우까지 포함한다. 따라서 복사율이 길이에 따라 증가한다는 관찰과 0.4 이상의 overlap 구간에서 정확도가 급락한다는 관찰은 강한 출발점이며, 도메인별 실패율로 다시 확인해야 할 일반화 가설이다.

학습 후 평가는 Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR의 다섯 벤치마크로 넓어졌지만, 평균 점수 상승만으로 모든 사용 조건을 덮지는 못한다. 이 벤치마크들은 32K 부분집합과 128K 전체 집합에서 성능을 보여 주며, 16K~32K로 학습한 정책이 네 배 긴 문맥에서도 이득을 내는지 확인하는 데 적합하다. 반면 장문 요약의 사실 보존, 인용 정확도, 근거가 부족할 때의 응답 거부, 열린 질문의 다중 정답성, 대화가 누적되는 에이전트 환경은 직접 평가되지 않았다. 향후 연구에서는 같은 문서를 질의 유형별로 재사용하고 검색·종합·충돌 해결·부재 판정으로 과제를 분해해, 어느 단계에서 GEAR의 이득이 생기는지 보고해야 한다.

논문은 높은 10-gram overlap과 낮은 정확도, 긴 thinking trace가 함께 나타남을 보여 주고 요구 연산 수로 층화한 분석도 제공한다. 그럼에도 관찰 상관을 복사의 인과 효과로 곧바로 읽기 어렵다. 모델의 불확실성이나 주의 실패가 먼저 발생해 복사와 오답을 동시에 만들 수 있고, 토큰 예산 소진은 이 관계를 더 증폭할 수 있다. 같은 문제와 모델 상태에서 복사 구간만 강제로 제거하거나, 동일한 핵심 정보를 인용·요약·내부 상태 전달 방식으로 바꾸는 개입 실험이 있어야 복사 자체의 효과와 선행 실패의 효과를 분리할 수 있다.

GEAR 학습 결과 역시 기제에 관한 유력한 증거를 주지만, 완전한 인과 식별에는 미치지 않는다. grounding reward만 넣으면 Ruler에서 overlap이 35.7%에서 36.6%로 늘고 생각 길이가 2,808에서 5,727토큰으로 증가하며, distractor penalty까지 더하면 overlap은 27.0%, 길이는 2,066토큰으로 감소한다. 이 절제 실험은 두 보상 항의 결합 필요성을 지지하지만, 더 짧아진 출력, 달라진 탐색 엔트로피, GSPO의 정책 갱신 크기 중 무엇이 정확도 상승을 매개했는지는 확정하지 않는다. 토큰 길이를 강제로 맞춘 대조군, KL 변화와 행동 엔트로피 추적, 중간 체크포인트별 매개 분석을 추가하면 ‘선택적 근거화’라는 설명의 범위를 더 정확히 정할 수 있다.

보상 자체의 가장 뚜렷한 경계는 표면형 일치가 의미적 사용의 대리변수라는 점이다. 3-gram은 RL에 조밀한 신호를 제공하지만 흔한 구절과 문서 문체까지 포착할 수 있고, 10-gram은 의도적 전사를 더 잘 식별하는 대신 바꿔 쓴 근거와 계산을 거친 활용을 놓친다. 모델이 핵심 문장을 그대로 옮긴 뒤 잘못 추론해도 grounding 항은 커질 수 있으며, 정확한 근거를 압축·번역·기호화해 사용하면 보상이 작아질 수 있다. 의미 보존 paraphrase, entailment 기반 attribution, 인용 범위 정밀도처럼 서로 다른 검사를 함께 사용하고 n 값에 따른 정책 행동의 변화를 문장 단위로 감사할 필요가 있다.

key evidence와 distractor의 이분법도 실제 문서에서는 불안정하다. 합성 과제의 support index는 생성 과정에서 주어지지만, 자연어 파이프라인은 1,024자 청크 중 1~3개를 먼저 뽑아 질문을 만들고 그 영역만으로 답을 재검증하므로 지정된 근거 밖의 중복 단서가 남을 수 있다. 같은 사실이 다른 표현으로 나머지 문서에 존재하면 유효한 참조가 distractor overlap으로 벌점을 받고, 배경 지식이나 연결 문장이 답의 해석에 필요해도 주석에서는 제외될 수 있다. 다중 주석자의 충분성·최소성 판정, 문서 전체를 이용한 누출 검색, evidence set이 여러 개인 질문의 집합 주석을 도입해야 거짓 양성 벌점을 줄일 수 있다.

주석 파이프라인의 검증 방식에도 측정해야 할 오차가 있다. 제한된 constraint context만으로 생성 답을 다시 맞히는 절차는 답변 가능성을 검사하지만, 질문의 자연스러움, 증거의 유일성, 원문 전체에서의 모순 여부까지 보장하지는 않는다. 답을 숫자나 엔티티 구로 제한하고 yes/no를 제외한 선택은 자동 채점을 안정화하는 대신, 설명·비교·불확실성 표현이 필요한 질의를 축소한다. 사람이 검토한 층화 표본에서 질문 품질, 정답 정확성, 근거 완전성, distractor 오염률을 각각 보고하고 그 주석 오차가 보상과 최종 성능에 미치는 민감도를 계산해야 한다.

언어와 매체의 범위도 확장 과제로 남는다. 영어권 문서에서는 공백 기반 token n-gram이 비교적 직관적이지만 한국어의 조사·어미, 중국어의 분절, 형태 변화가 큰 언어, 코드 스위칭에서는 같은 의미의 overlap 분포가 달라진다. 표·차트·수식·이미지·오디오처럼 근거가 비텍스트 토큰에 있을 때는 문자열 일치가 셀 관계, 공간 배치, 시각 객체의 참조를 표현하지 못한다. 다국어 형태소·서브워드 기준과 비텍스트 attribution을 별도로 설계하고, 동일 의미를 언어와 모달리티만 바꾼 대응 표본에서 정확도와 선택성을 비교해야 한다.

PhantomWiki와 GraphWalks가 다중 단계의 엔티티 추적과 경로 추론을 포함해도, 복잡한 multi-hop 근거는 단일 key 집합 대 나머지 문맥의 구도로 다 설명되지 않는다. 어떤 홉은 중간 결론을 만든 뒤에만 관련성이 드러나며, 같은 문장이 한 추론 경로에서는 핵심이고 다른 경로에서는 불필요할 수 있다. 현재 보상은 최종 trace와 고정 evidence 영역의 overlap을 집계하므로 홉 순서, 누락된 연결, 모순 출처의 우선순위를 직접 채점하지 않는다. 향후에는 홉별 evidence graph와 단계별 정당화를 주석하고, 경로 완전성·불필요 홉·잘못된 연결을 분리한 process reward와 비교해야 한다.

비용 측면에서 n-gram lookup은 외부 verifier나 검색기를 매 rollout마다 호출하지 않아 보상 계산이 가볍다는 장점이 있다. 그러나 전체 절차의 비용에는 문서 분석, QA와 인용 생성, 제한 문맥 재답변, 긴 프롬프트의 8개 rollout, 16K 생성 한도, 사람 품질 감사가 포함되므로 보상 함수의 저비용과 시스템 총비용을 구분해야 한다. 논문은 세 Qwen3.5 모델을 약 100 optimizer step 학습한 효과를 보였지만 GPU 시간, 생성 토큰 총량, 데이터 한 건당 합성 비용, 정확도 1점당 추가 비용은 제시하지 않는다. 정확도·overlap·thinking token과 함께 학습 FLOPs, wall-clock, peak memory, API 또는 전력 비용을 공개하고, 길이 패널티·retrieval 전처리·SFT 같은 대안과 동일 예산에서 비교해야 실용적 선택이 가능하다.

실험의 통계적 보고 범위도 보강할 여지가 있다. 표의 평균은 세 모델과 여러 벤치마크에서 일관된 방향을 보여 주지만, 학습 seed별 분산, 평가 표본별 신뢰구간, 문제 단위 paired significance는 제시되지 않는다. 약 100번의 optimizer step처럼 짧은 RL에서는 rollout 표본과 초기 정책의 우연한 차이가 결과에 남을 수 있고, 벤치마크 평균은 큰 개선과 작은 퇴보를 한 숫자로 합칠 수 있다. 여러 seed의 비용 대비 분산과 과제별 paired bootstrap을 공개하면 +1.5점 같은 작은 차이와 +4.6점 같은 큰 차이를 같은 확신으로 읽는 오류를 피할 수 있다.

모델과 최적화기의 범위 역시 세 Qwen3.5 계열과 GSPO로 제한된다. dense 9B·27B와 MoE 35B-A3B의 비교는 규모 차이를 다루지만, 다른 tokenizer, 비공개 reasoning model, 명시적 thinking trace를 내지 않는 모델, SFT나 다른 RLVR 알고리즘으로의 이전성을 직접 보장하지 않는다. 같은 문자 구절도 tokenizer에 따라 token n-gram 경계가 달라지므로 보상 밀도와 최적 계수 α·β가 모델마다 바뀔 수 있다. 문자·token·형태소 overlap의 교차 tokenizer 비교와 GRPO·DAPO·SFT 대조를 수행해야 GEAR가 보편적 원리인지 특정 학습 조합의 효과인지 가를 수 있다.

마지막으로 이 방식은 학습 때 key/distractor annotation을 사용할 수 있다는 조건에 의존한다. 배포 시에는 주석이 필요 없더라도, 도메인이 바뀌면 어떤 증거를 핵심으로 정의했는지에 관한 학습 편향이 정책에 남고 악의적 문서가 보상 규칙을 흉내 내는 문구를 반복할 가능성도 있다. 여러 n과 계수에서 모두 accuracy-only GSPO를 웃돈 결과는 견고성의 일부를 보여 주지만, 주석 누락·경계 이동·중복 distractor·prompt injection에 대한 스트레스 테스트는 별도로 필요하다. 깨끗한 support index가 없는 조건에서의 성능 저하 곡선과 자동 주석의 신뢰도에 따른 보상 감쇠를 보고하는 것이 다음 단계다.

8. 내 해석: 복사 억제와 증거 사용을 분리해 검증하기

30대 AI 개발자이자 연구자인 내가 이 논문에서 한 가지로 좁혀 보는 약점은 n-gram overlap이 의미적 근거 사용과 verbatim copying을 같은 관측값에 섞는 식별 문제다. 핵심 문장을 그대로 복사하고 엉뚱한 결론을 내린 trace는 grounding 점수가 오를 수 있지만, 근거를 정확히 바꿔 쓰거나 수식으로 압축한 trace는 점수가 낮아질 수 있다. 이때 정확도 상승과 복사율 하락이 함께 나타나도 모델이 근거의 의미를 더 잘 사용했는지, 보상에 잘 잡히는 표면형을 학습했는지 분리되지 않는다. 기존 wiki의 ReContext·ScoreGate·HyLo와 연결하면, 증거 재생·문맥 선택·장문 보존 다음에 선택된 증거가 실제 결론을 지지했는지를 독립 검증하는 층이 필요하다.

내가 제안하는 후속 실험은 입력 문서와 질문·정답을 고정한 채 evidence paraphrase, evidence position, distractor similarity만 요인 설계로 조작하는 것이다. 각 조건에는 원문 표현과 무관하게 사람이 작성한 독립 근거 정답을 두고, 모델 출력의 정답 정확도와 thinking token 수, 근거 attribution 정밀도·재현율, confidence calibration을 함께 측정한다. 의미가 보존된 paraphrase에서 attribution과 정확도가 유지되고 위치 이동에도 안정적이며, 정답과 어휘가 비슷한 distractor가 늘 때 잘못된 귀속만 증가하는지를 교호작용으로 검정한다. 표면 overlap을 통제한 뒤에도 GEAR의 이득이 남는지 확인하면 복사 억제와 의미적 증거 사용을 별개의 효과로 추정할 수 있다.

9. 결론: 긴 문맥에서 선택적 근거화를 학습시키는 법

이 논문의 출발점은 긴 입력을 처리할 수 있다는 사양과 그 안에서 필요한 정보를 생산적으로 쓴다는 능력을 구분하는 데 있다. 일곱 thinking model 모두 문맥이 8K에서 64K로 길어질수록 prompt와의 overlap이 커졌고, 일부 모델의 reasoning trace에서는 10-gram 창 절반 이상이 직접 복사였다. 높은 overlap 구간은 낮은 정확도와 긴 출력에 결부되며, 토큰 예산이 추론보다 전사에 소모되는 실패를 드러냈다. 핵심 진단은 문맥 용량이 늘어날수록 근거 선택 정책의 품질이 더 중요해진다는 것이다.

GEAR는 이 진단을 accuracy reward의 대체가 아닌 보완 신호로 구현한다. 최종 정답 보상에 key evidence overlap을 더하고 distractor overlap을 빼서, 필요한 부분을 접촉하면서 불필요한 부분을 되풀이하지 않는 방향으로 GSPO 정책을 갱신한다. key와 distractor 양쪽에 나타나는 n-gram을 벌점 계산에서 제외하는 세부 규칙은 정당한 근거 참조가 중복 문구 때문에 손해 보지 않도록 한다. 끌어당기는 grounding 항과 밀어내는 distractor 항의 균형이 방법의 중심이다.

절제 결과는 이 균형을 명확히 보여 준다. grounding reward만 사용하면 입력 전체를 더 많이 복사하는 쉬운 전략이 생겨 정확도와 효율이 악화되고, distractor penalty만 사용하면 유용한 참조까지 억제해 accuracy-only 기준보다 낮아진다. 두 항을 함께 사용한 기본 계수 α=0.1, β=0.3이 9B의 32K 평균 81.3으로 가장 높았으며, n=3은 더 조밀한 학습 신호를 제공했다. 따라서 근거를 보라는 보상은 보지 말아야 할 문맥을 함께 지정할 때 작동한다.

데이터 구성도 같은 원칙을 따른다. GSM-Infinite와 PhantomWiki는 생성기가 support index를 제공하고, 자연어 문서는 먼저 1~3개 청크를 evidence로 정한 뒤 그 범위에서 질문·인용·짧은 답을 만들고 제한 문맥만으로 재검증한다. 이 역방향 구성 덕분에 1,000개씩의 합성 과제와 RedPajama-v2 기반 1,200개 QA를 합친 3,200개 학습 샘플에 근거 경계를 부여할 수 있었다. 보상 설계와 데이터 주석 설계가 맞물려야 evidence-aware RL이 임의 문서로 확장된다.

실험에서 full GEAR는 세 모델의 32K와 128K 조합 여섯 개 모두 평균 최고점을 기록했다. accuracy-only GSPO 대비 이득은 32K에서 1.5~2.8점, 128K에서 2.1~4.6점이었고, 학습 상한 32K를 넘어선 문맥에서 오히려 차이가 커졌다. Qwen3.5-35B-A3B 기준 Ruler의 overlap은 35.7%에서 27.0%로, 생각 길이는 2,808에서 2,066토큰으로 줄었으며 LongBench-v2에서도 두 지표가 함께 감소했다. 이는 더 긴 사고 흔적보다 관련 근거에 대한 선택적 접촉이 성능과 효율을 함께 높일 수 있음을 실증한다.

실제 적용에서는 학습과 평가의 계약을 먼저 고정할 필요가 있다. 문서마다 허용 evidence 단위, 여러 근거 집합의 처리, 답 부재 조건을 정의하고 그 계약에 맞춰 key/distractor를 생성해야 한다. 이후 accuracy-only 기준과 같은 추론 예산에서 정확도, 귀속, 길이, 비용을 함께 비교하고 주석이 흔들리는 표본은 별도 오류군으로 관리한다. 이 운영 절차가 있어야 낮은 overlap이 단순 침묵이나 근거 회피로 변하는 보상 해킹을 조기에 탐지할 수 있다.

다만 n-gram은 싸고 조밀한 대리 신호이므로, 의미적 충실성과 인과적 근거 사용의 최종 판정기로 취급하면 안 된다. 실제 적용에서는 도메인별 evidence annotation 품질을 감사하고, paraphrase와 중복 단서에 대한 강건성, attribution과 calibration, 정확도당 학습·추론 비용을 함께 측정해야 한다. 그 조건을 충족할 때 GEAR의 메시지는 특정 수식보다 넓게 확장된다. 긴 문맥 학습은 모든 내용을 기억하거나 재출력하는 능력을 넘어, 답에 필요한 증거를 선택하고 나머지를 억제하는 정책을 목표로 삼는다.

10. 요약 정리: GEAR의 핵심을 열 가지로 압축하기

• 첫째, 반복 복사는 장문 추론의 보편적 위험 신호다. 논문이 조사한 일곱 모델은 모두 8K에서 64K로 문맥이 길어질수록 입력과 reasoning trace의 overlap이 증가했다. 3-gram은 전반적 복사량을, 10-gram은 우연으로 보기 어려운 긴 연속 전사를 포착한다.
• 둘째, 많이 쓰는 것과 잘 추론하는 것은 같은 축이 아니다. DeepSeek-V3.2의 64K GSM-Infinite 분석에서 overlap 0.4 이하의 정확도는 55~64%였지만 이후 11%와 0%까지 급락했고, 생각 길이는 약 21K에서 58K 이상으로 늘었다. 요구 연산 수로 난도를 나눠도 같은 경향이 유지되어 단순한 문제 난도 효과만으로 설명되지는 않았다.
• 셋째, 복사량보다 복사 대상이 더 중요하다. 정답 표본은 오답 표본보다 key evidence overlap이 높고 distractor overlap이 낮아, 높은 grounding ratio를 보였다. 성공적인 장문 추론은 입력을 전혀 인용하지 않는 상태보다 관련 구간을 선택적으로 사용하는 상태에 가깝다.
• 넷째, GEAR는 정답 보상에 방향성을 더한다. 보상은 binary accuracy에 α×key overlap을 더하고 β×distractor overlap을 빼는 구조다. 양쪽 영역에 공통으로 나타난 n-gram은 distractor 항에서 제외해 정당한 참조에 대한 오벌점을 줄인다.
• 다섯째, 두 shaping 항은 함께 있어야 한다. grounding 항만 넣으면 key를 포함한 입력 전체를 베끼는 편법이 생기고, distractor 항만 넣으면 필요한 근거 접촉까지 약해진다. 기본 설정 α=0.1, β=0.3은 약한 벌점이나 큰 grounding 가중치보다 높은 평균을 기록했다.
• 여섯째, 학습용 n은 진단용 n과 목적이 다르다. 논문은 의도적 전사를 분석할 때 10-gram을 사용하고, RL에서는 더 조밀한 token-level 신호를 얻기 위해 3-gram을 사용했다. 3·5·10 모두 accuracy-only GSPO를 넘었지만 평균은 81.3, 80.0, 79.8 순으로 짧은 n이 높았다.
• 일곱째, evidence annotation은 생성 순서로 확보할 수 있다. 자연어 파이프라인은 문서를 1,024자 청크로 나누고 1~3개를 먼저 근거로 지정한 다음, 그 범위에서 질문·인용·단일값 답을 생성한다. 지정 근거만 본 독립 재답변이 기준 답과 일치한 사례만 남겨 key/distractor 경계를 구성한다.
• 여덟째, 작은 혼합 데이터에서도 길이 외삽 이득이 관찰됐다. 3,200개 샘플로 16K~32K에서 약 100 step 학습한 GEAR는 다섯 held-out 벤치마크의 128K 평가에서도 세 모델 모두 accuracy-only GSPO를 앞섰다. 9B의 평균 이득은 32K의 2.8점에서 128K의 4.6점으로 커져 문맥이 길수록 선택 보상의 가치가 커질 가능성을 보였다.
• 아홉째, 성능 이득은 출력 효율과 함께 읽어야 한다. Qwen3.5-35B-A3B에서 GEAR는 GSPO 대비 Ruler의 생각 길이를 2,808에서 2,066토큰으로, LongBench-v2는 4,677에서 3,989토큰으로 줄였다. 두 과제의 overlap도 각각 35.7%에서 27.0%, 27.2%에서 22.6%로 낮아져 정확도 향상이 장황한 계산 증가에 기대지 않았음을 보여 준다.
• 열째, 실전 확장의 관건은 대리 신호를 계속 검증하는 일이다. n-gram overlap은 저렴하지만 paraphrase, 다국어, 비텍스트 근거, 여러 유효 evidence path를 완전히 표현하지 못한다. 최종 시스템은 정확도와 토큰 수에 attribution·calibration·주석 오차·총비용을 더해 선택적 근거화가 실제 의미 사용으로 이어지는지 확인해야 한다.