ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning
https://arxiv.org/abs/2608.03972
Jinhe Bi, Chennan Zhou, Zengjie Jin, Aniri, Shuo Lu, Wenke Huang, Hu Cao, Xun Xiao, Zhihong Zhu, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua | National University of Singapore, LMU Munich, Technical University of Munich, Nanyang Technological University, Peking University, Huawei Heisenberg Research Center, Southeast University, Institute of Automation CAS, Munich Center for Machine Learning | arXiv:2608.03972 | 2026년 8월
1. 서론: 실패한 전문가 궤적에서 감독 신호를 되찾기
1.1 온폴리시 추론 학습이 멈추는 지점
대규모 언어 모델의 추론 능력을 높이는 후학습에서 온폴리시 학습은 현재 정책이 직접 생성한 응답 궤적을 다시 학습 신호로 사용한다. 입력 질의 q에 대해 정책이 여러 추론 응답을 샘플링하고, 검증기·보상 모델·분포 목적이 그 응답을 평가하며, 정책은 평가 결과를 바탕으로 갱신된다. RLVR(Reinforcement Learning with Verifiable Rewards)는 수학 정답 일치나 코드 테스트 통과처럼 명확히 검증할 수 있는 결과 보상을 쓰고, OPD(On-Policy Distillation)는 학생이 방문한 상태에서 교사와 학생의 다음 토큰 분포를 맞춘다. 두 계열 모두 오프라인 정답 시연만 반복하는 방식보다 현재 정책이 실제로 만드는 오류와 상태를 학습에 반영한다는 공통점이 있다.
이 장점은 동시에 병목을 만든다. 어려운 문제에서는 직접 샘플링한 궤적 대부분이 오답이어서 양의 결과 보상이 드물다. 한 질의에서 뽑은 응답이 전부 실패하면 어느 경로를 더 강화해야 할지 알려 주는 상대적 신호도 약해진다. OPD 역시 교사가 학생의 상태마다 유용한 목표 분포를 제공해야 하는데, 문제 자체가 교사에게도 어려우면 충분한 단계별 안내를 만들기 힘들다. 저자들이 출발점으로 삼은 문제는 모델이 이미 실패했다는 사실보다, 그 실패 집합 안에서 품질 차이를 식별하고 재사용할 학습 인터페이스가 없다는 데 있다.
1.2 정답 궤적 중심 지도의 사각지대
기존의 대표적 보완책은 DeepSeek-R1 같은 더 강한 전문가가 생성한 골든 추론 궤적을 가져오는 것이다. 전문가가 정답을 얻었다면 RLVR에서는 탐색을 유망한 추론 경로 쪽으로 유도하거나 높은 보상의 기준점으로 삼을 수 있다. OPD에서는 전문가 궤적을 특권 정보로 제공해 교사 분포의 품질을 높일 수 있다. 행동 복제나 지도 미세조정에서도 성공 궤적은 모방할 양의 시연으로 기능한다. 이 접근들은 전문가의 최종 답이 맞을 때 궤적 전체를 신뢰할 수 있다는 전제에 기대고 있다.
전문가도 더 어려운 문제에서는 실패한다. 최종 결과만 보는 필터는 이때 전문가 응답을 음성 표본으로 분류하고 버린다. RLVR의 관점에서 오답 전문가 궤적의 결과 보상은 0이므로, 같은 보상을 받은 대상 모델의 저품질 자기 실패와 구별되지 않는다. OPD의 관점에서 이를 그대로 모방 목표로 주면 잘못된 결론과 오류 단계를 학습시키게 된다. 따라서 정답 궤적에 맞춰 설계된 두 통로는 모두 구조가 좋은 전문가 실패를 감독 신호로 변환하지 못한다. ReflectRL은 폐기된 실패를 정답처럼 취급하지 않는다. 핵심 질문은 그 안의 유효한 추론과 국소 오류를 반성의 재료로 바꿀 수 있는지다.
1.3 Golden Negative Trajectory의 재정의
저자들은 강한 전문가가 생성했지만 최종 검증을 통과하지 못한 궤적을 Golden Negative Trajectory(GNT)라고 부른다. ‘Negative’는 결과 검증상 오답임을 뜻하고, ‘Golden’은 결론의 정확성을 보증하는 표현이 아니다. 강한 모델이 만든 까닭에 상당 구간에서 높은 과정 품질과 긴 유효 접두부를 유지하다가 특정 지점에서 오류가 생길 수 있다는 구조적 성격을 가리킨다. 그러므로 GNT는 복제해야 할 정답 시연도, 단순히 멀리해야 할 대조 표본도 아니다. 질의와 함께 제시한 뒤 오류를 찾고, 잘된 전개를 보존하고, 잘못된 부분을 고쳐 새 정답을 도출하게 하는 문맥적 발판이다.
Table 1. 실패 궤적 출처별 반성 신호의 차이
| 실패 출처 | 질의 대응 | 과정 구조 | 논문이 보고한 Reflection Gain |
|---|---|---|---|
| Golden Negative Trajectory | 동일 질의 | 긴 유효 접두부와 국소 오류 | 가장 크고 훈련 중 증가 |
| 대상 모델의 자기 실패 | 동일 질의 | 과정 품질이 상대적으로 낮음 | 제한적 이득 |
| 약한 모델의 실패 | 동일 질의 | 유효 접두부가 짧을 수 있음 | 음의 이득 |
| 길이 일치 불일치 GNT | 다른 질의 | 현재 문제와 의미적으로 불일치 | 음의 이득 |
이 비교는 ‘오답을 추가하면 반성이 촉진된다’는 단순 규칙을 지지하지 않는다. 질문과 궤적의 대응 관계, 오류 전까지의 유효한 전개, 실제로 수정할 수 있는 국소 오류가 함께 있을 때 GNT가 발판으로 기능한다. 따라서 데이터 선별은 최종 오답 여부만 확인하는 단계에서 끝나지 않고, 실패를 만든 모델의 역량과 문제 대응성을 보존해야 한다.
데이터 구성도 이 정의를 따른다. 저자들은 OpenR1-Math-220k의 일부에서 NuminaMath 1.5 프롬프트를 가져오고 DeepSeek-R1이 만든 후보 궤적 가운데 Math-Verify가 오답으로 판정한 것을 보존해 OpenR1-GNT-69k를 구성했다고 밝힌다. 69k라는 규모보다 중요한 선별 규칙은 ‘강한 전문가가 생성했으며 결과 검증에는 실패했다’는 결합이다. 대상 모델의 자기 실패, 약한 모델의 실패, 질의와 무관하게 길이만 맞춘 실패는 같은 범주로 간주되지 않는다.
1.4 Reflection Advantage: 처음부터 풀기보다 오류를 고치기
ReflectRL의 경험적 동기는 Reflection Advantage다. 동일한 어려운 질의에서 외부 궤적 없이 처음부터 직접 푸는 것보다, 해당 질의의 GNT를 보고 오류를 식별·수정하도록 했을 때 정답 기대값이 높아지는 현상을 뜻한다. 저자들은 이 차이를 Reflection Gain으로 측정하고, 값이 양수인 행동 패턴을 Reflection Advantage로 정의한다. 이는 ‘오답을 보면 언제나 도움이 된다’는 일반 명제가 아니다. 논문이 보고한 비교에서는 GNT가 가장 크고 훈련 중 증가하는 이득을 보였고, 자기 실패의 이득은 제한적이었으며, 약한 모델의 실패와 길이를 맞춘 불일치 GNT는 음의 이득을 보였다.
저자들의 과정 보상 모델 분석에 따르면 GNT는 다른 실패 출처보다 높은 과정 점수와 더 긴 유효 추론 접두부를 유지한 뒤 국소 오류 지점에서 점수가 떨어진다. 구성 요소 개입에서는 유효 접두부와 오류 구간이 모두 반성 이득에 기여했다. 순서를 섞어 구조를 훼손하거나 최종 답만 남기면 직접 추론 기준선보다 정확도가 낮아졌다. 저자들의 주장은 두 정보가 결합될 때 모델이 좋은 접두부를 이어 가는 능력과 구체적 오류에서 회복하는 능력을 함께 발휘한다는 것이다. 이를 학습 관점에서 해석하면 GNT의 가치는 오류의 존재 자체보다, 어느 부분을 보존하고 어디서 분기해야 하는지를 드러내는 대비 구조에 있다.
1.5 ReflectRL이 바꾸는 것과 보존하는 것
Figure 1: 실패한 전문가 궤적을 GNT로 삼아 반성 추론을 유도하고 직접 추론으로 전이하는 전체 구조
그림은 전문가가 문제를 맞히지 못했을 때도 궤적을 폐기하지 않고, 대상 정책이 오류를 찾아 수정된 응답을 생성하도록 조건화하는 흐름을 보여 준다. 초기에는 GNT가 있는 Reflective Reasoning 비중이 높지만 학습이 진행될수록 Direct Reasoning 비중이 커진다. 최종 정책은 외부 실패 궤적 없이 원래 질의만 받아 답하며, GNT는 훈련 중 오류 회피와 복구 행동을 유도하는 임시 발판으로만 쓰인다. 훈련 후반의 완전 직접 롤아웃은 배포 인터페이스와 학습 인터페이스를 다시 일치시킨다.
ReflectRL은 GNT를 이용해 Reflective Reasoning을 유도한 다음, 그 행동을 원래 질의만 받는 Direct Reasoning으로 옮기는 경량 플러그인 프레임워크다. 핵심 개입은 새로운 보상이나 보조 손실을 추가하는 데 있지 않다. 저자들이 명시한 설계 범위는 롤아웃을 구성하는 방식의 변경이다. RLVR에서는 직접 추론 응답과 반성 추론 응답을 같은 그룹에서 샘플링하고 같은 결과 검증기로 평가한 뒤 기존 정책 갱신을 적용한다. OPD에서는 GNT를 교사 쪽 특권 문맥으로만 제공하고 학생은 계속 직접 추론 입력에서 응답을 만든다.
훈련 초기에 GNT를 활용하는 반성 비중을 확보하되, 진행될수록 직접 추론 비중을 늘리는 Reflective-to-Direct Policy Transition이 두 인터페이스를 연결한다. 반성만 학습하면 추론 시점에 존재하지 않는 전문가 실패에 의존하는 노출 편향이 생긴다. 반대로 GNT를 너무 빨리 제거하면 오류 수정 행동을 파라미터에 내재화할 시간이 부족하다. 저자들이 제안하는 해법은 반성에서 획득한 오류 회피·복구 행동을 점진적으로 직접 경로에 컴파일하는 것이다. 따라서 추론 시 인터페이스와 기본 RLVR·OPD 목적은 유지되고, GNT는 훈련 단계의 조건부 발판으로 소진된다.
2. 배경 및 관련 연구: 온폴리시 학습과 궤적 지도의 사각지대
2.1 정책과 궤적 표기
데이터 집합 $D$는 질의와 정답의 쌍 $(q,a)$로 이루어지고, 정책 $\pi_\theta$는 질의 $q$에 조건화해 응답 롤아웃 $o=(o_1,\ldots,o_{|o|})$를 생성한다. 자기회귀 분해는 $\pi_\theta(o\mid q)=\prod_{s=1}^{|o|}\pi_\theta(o_s\mid q,o_{<s})$로 쓸 수 있다. 여기서 $\theta$는 학습할 정책 파라미터이며, $o_{<s}$는 $s$번째 토큰보다 앞선 접두부다. 이 표기는 정책이 답 전체를 한 번에 고르는 것이 아니라, 이미 생성한 토큰과 질의에 조건화해 다음 토큰 분포를 반복 계산한다는 점을 명시한다. 따라서 온폴리시 학습의 보상·비율·분포 발산 신호도 완성된 답의 덩어리에만 작용하는 것이 아니라 각 토큰 위치의 조건부 정책에 누적된다.
Direct Reasoning과 Reflective Reasoning의 차이도 정책 자체보다 조건 문맥에 있다. 전자는 $q$만 포함한 직접 프롬프트 $x^D(q)$를 사용하고, 후자는 $q$와 사전 생성된 오답 전문가 궤적 $o^-$를 포함한 반성 프롬프트 $x^R(q,o^-)$를 사용한다. 같은 $\pi_\theta$가 서로 다른 문맥에서 새 롤아웃을 만든다. GNT 토큰은 반성 응답이 생성되기 전에 주어지는 입력이며, 새로 생성할 정답 궤적과 구분된다. 이 구분이 오답 궤적을 모방 목표로 오해하지 않게 하는 수학적 토대다.
2.2 RLVR과 GRPO의 상대 이점
RLVR은 사람이 학습시킨 선호 보상 모델에만 의존하는 전통적 RLHF와 달리, 규칙 기반 검증이나 결정적 결과 신호를 사용할 수 있다. 수학에서는 정답 일치, 코드에서는 단위 테스트 통과가 대표적이다. GRPO(Group Relative Policy Optimization)는 별도 크리틱 없이 동일 질의에서 샘플링한 N개 응답의 보상을 그룹 내부에서 정규화한다. 동결한 롤아웃 정책 $\pi_{\theta_{\mathrm{old}}}$로 $\{o^{(i)}\}$를 만들고 각 보상 $r_i$를 얻으면, 상대 이점은 $\hat{A}_i=(r_i-\mu_r(q))/\sigma_r(q)$로 계산된다. $\mu_r$와 $\sigma_r$는 그 질의의 그룹 보상 평균과 표준편차이며, 하나의 $\hat A_i$가 해당 응답의 토큰 위치마다 전달된다.
이 구조는 그룹 안에 성공과 실패가 함께 있을 때 효과적이다. 정답 롤아웃은 평균보다 높은 보상으로 양의 이점을 받고 오답은 음의 이점을 받는다. 그러나 모든 롤아웃의 보상이 같으면 정규화된 비교 신호가 퇴화한다. 특히 어려운 질의에서 전부 0인 그룹이 반복되면 탐색이 정답 경로에 닿기 전까지 유용한 방향을 얻기 어렵다. 더 강한 전문가의 정답 궤적을 고보상 기준점으로 삽입하는 기존 궤적 지도는 이 문제를 완화하지만, 전문가 궤적마저 오답이면 동일한 0으로 합쳐져 구조적 품질을 표현하지 못한다.
ReflectRL의 혼합 그룹에서 보상을 받는 대상은 입력으로 붙인 $o^-$가 아니라 정책이 그 뒤에 새로 생성한 o다. GNT의 기존 정답 여부를 뒤집거나 그 오답에 임의의 양의 보상을 부여하지 않는다. 반성 문맥이 오류를 고친 새 응답의 발생 가능성을 높이면 그 응답이 검증기를 통과하고, 비로소 같은 그룹의 실패 응답과 대비되는 양의 $\hat A_i$가 생긴다. 목적식만 놓고 보면 반성 응답까지 전부 실패한 그룹의 이점 퇴화를 자동으로 없애 준다는 보장은 없다. 저자들이 제시한 Reflection Advantage는 이 보장 대신, 구조화된 전문가 실패를 조건으로 줄 때 성공 롤아웃을 발견하기 더 쉬워진다는 경험적 근거를 제공한다.
2.3 DAPO를 포함한 RLVR 계열과 롤아웃 개입
논문은 ReflectRL을 GRPO, DAPO, EchoRL을 포함한 온폴리시 기준선에 결합해 다룬다. 방법론 수식은 GRPO의 그룹 상대 목적을 대표 인스턴스로 전개하며, DAPO를 위한 별도 ReflectRL 손실을 새로 정의하지 않는다. 여기서 확인되는 결합 원칙은 기본 최적화기의 목적과 업데이트 규칙을 보존하고, 입력 인터페이스와 롤아웃 할당을 바꾼다는 것이다. 따라서 DAPO 결합도 GNT 기반 반성 롤아웃과 직접 롤아웃을 전이 스케줄에 따라 배치한 뒤 DAPO의 기존 온폴리시 갱신에 넘기는 롤아웃 측 플러그인으로 이해해야 한다.
이 해석은 ReflectRL과 EchoRL의 감독 신호 출처도 구별한다. 저자들의 설명에서 EchoRL은 검증에 성공한 롤아웃에서 엔트로피로 선택한 클립을 추출해, 이점이 퇴화한 그룹에 보조 감독으로 되먹임한다. ReflectRL은 사전에 생성된 전문가 실패를 반성 문맥으로 사용해 처음부터 성공 롤아웃이 희소한 상황을 겨냥한다. 둘은 온폴리시 학습의 신호 부족을 다루지만, 성공 궤적의 일부를 재활용하는 방식과 구조화된 실패를 오류 수정 발판으로 쓰는 방식이라는 차이가 있다.
2.4 OPD와 역방향 KL
OPD는 고정 교사 정책 $\pi_{\mathrm{teacher}}$의 지식을 학습 가능한 학생 $\pi_\theta$로 전달하되, 상태는 학생이 직접 생성한다. $q$에서 학생이 $o$를 샘플링하면 각 토큰 위치 $s$에서 학생의 예측 분포와 동일한 학생 접두부를 본 교사의 예측 분포를 비교한다. 기본 목적은 $\mathcal{L}_{\mathrm{OPD}}(\theta)=\mathbb{E}[\sum_s D_{\mathrm{KL}}(\pi_\theta(\cdot\mid q,o_{<s})\parallel\pi_{\mathrm{teacher}}(\cdot\mid q,o_{<s}))]$로 쓸 수 있다. 학생 분포에서 교사 분포로 향하는 역방향 KL을 학생이 방문한 상태에서 최소화하므로, 고정된 전문가 시연의 접두부에만 맞추는 방식보다 실제 추론 중 발생하는 분포 이동을 직접 다룬다.
오프라인 SFT는 고정된 전문가 시연의 상태만 보므로, 실제 추론 때 학생이 자신의 오류로 다른 상태에 들어가면 분포 이동과 노출 편향이 커질 수 있다. OPD는 학생 생성 접두부를 교사와 함께 평가해 이 간극을 줄인다. 다만 표준 OPD의 교사도 어려운 문제에 대해 맥락 없이 학생 경로만 보고 최적의 다음 토큰 분포를 만들기 어려울 수 있다. 성공한 골든 궤적을 교사 특권 정보로 주는 방법은 이때 유용하지만, 오답 궤적을 그대로 정답 시연처럼 넣을 수 없다는 사각지대가 남는다.
2.5 전문가 궤적 학습과 음성 예시의 한계
전문가 궤적을 이용한 전통적 접근은 성공 사례를 행동 복제로 모방하거나, 온폴리시 탐색의 초기 경로·고보상 앵커로 사용한다. 음성 예시나 자기 생성 실수를 학습하는 연구도 있었지만, 논문이 정리한 범위에서는 주로 단순 대조 목적이나 필터링 휴리스틱에 초점을 둔다. 이 계보에서는 오답 궤적이 ‘따르지 말아야 할 것’으로 표시될 뿐, 어느 접두부가 유효하고 어느 국소 단계가 실패했는지를 새 정답 생성에 직접 활용하기 어렵다.
ReflectRL의 위치는 실패의 라벨을 조건부 추론 과제로 바꾸는 데 있다. 정책에 GNT와 함께 “오류를 찾아 추론을 수리하고 수정된 해를 도출하라”는 인터페이스를 제공한다. 저자들의 실험적 근거는 모든 음성 예시가 같은 효과를 내지 않으며, 출처·질의 대응·내부 순서가 중요하다는 점을 보여 준다. 따라서 GNT를 일반적인 하드 네거티브나 답안 반례와 동일시하면 방법의 핵심을 놓친다. 유효 접두부는 탐색 범위를 줄이고, 오류 구간은 회복 방향을 찾을 진단 단서를 제공한다는 것이 저자들의 설명이다.
2.6 설계 제약: 모방하지 않고 추론 시 의존하지 않기
GNT를 온폴리시 학습에 넣으려면 두 위험을 동시에 피해야 한다. 첫째, 오답 토큰을 직접 최대우도 목표로 삼으면 전문가의 실수를 복제한다. 둘째, 훈련 내내 GNT가 있는 입력만 사용하면 배포 시 원문 질의만 주어지는 조건과 어긋난다. ReflectRL은 전자를 문맥 조건화 후 새 응답 생성으로, 후자를 반성 비중의 점진적 감소로 처리한다. RLVR에서 보상은 새 응답의 최종 정답 여부에 매겨지고, OPD에서 학생은 GNT를 보지 않는다.
이 때문에 ‘실패에서 배운다’는 표현은 실패 토큰에 양의 보상을 준다는 뜻이 아니다. 저자들의 목적식에서 GNT는 입력 분포를 바꾸며, 보상 함수·검증기·기본 KL 목적은 그대로다. 해석상 감독 신호는 GNT 안에 정답 라벨처럼 저장되어 있다기보다, 정책이 그 문맥을 이용해 새로 성공한 응답을 만들 때 기존 온폴리시 목적이 포착할 수 있는 형태로 변환된다. ReflectRL의 경량성은 바로 이 신호 변환과 최적화 목적의 분리에서 나온다.
3. 방법론: Golden Negative Trajectory를 Direct Reasoning으로 옮기기
3.1 두 추론 인터페이스
직접 프롬프트 템플릿을 Chat_Temp_D, 반성 프롬프트 템플릿을 Chat_Temp_R이라 두면 입력은 각각 $x^D(q)=\operatorname{Chat\_Temp}_D(q)$, $x^R(q,o^-)=\operatorname{Chat\_Temp}_R(q,o^-)$로 정의된다. Direct Reasoning은 원래 질의만 제공하고 외부 궤적 없이 처음부터 해를 구하게 한다. 이는 표준 온폴리시 훈련과 실제 추론에서 원하는 인터페이스다. Reflective Reasoning은 질의와 미리 생성된 GNT를 함께 제공하고, 그 궤적의 오류를 식별하고 추론 과정을 수리해 수정된 해를 만들도록 요구한다.
Table 2. ReflectRL이 사용하는 네 가지 입력·학습 인터페이스
| 경로 | 모델이 보는 문맥 | 학습 신호 | 추론 시 유지 여부 |
|---|---|---|---|
| RLVR Direct | 질의 | 새 응답의 검증 보상 | 유지 |
| RLVR Reflective | 질의와 GNT | 수리한 새 응답의 검증 보상 | 전이 후 제거 |
| OPD Student | 항상 질의만 | 교사 분포와의 역방향 KL | 유지 |
| OPD Teacher | 초기에는 질의와 GNT, 후반에는 질의 | 학생 접두부에 대한 목표 분포 | 특권 문맥만 제거 |
RLVR과 OPD는 GNT를 사용하는 위치가 다르다. RLVR에서는 같은 정책이 직접·반성 롤아웃을 모두 만들지만, OPD 학생은 한 번도 GNT를 입력으로 받지 않는다. 두 인스턴스의 공통점은 오답 궤적을 정답 토큰 목표로 복제하지 않고, 반성 문맥이 만든 새 성공 응답이나 개선된 교사 분포를 기존 온폴리시 목적이 흡수하게 한다는 점이다.
두 경우 모두 정책이 학습할 대상은 템플릿 뒤에서 새로 생성한 응답이다. GNT는 ‘정답’으로 선언되지 않고 참고 문맥으로 배치된다. OPD용 반성 지시도 교사에게 해당 궤적을 정답으로 보지 말고, 오류를 피하면서 학생이 맞출 올바른 해의 분포를 도출하라고 요구한다. 결과적으로 동일한 실패 궤적은 RLVR에서는 대상 정책의 반성 롤아웃을 유도하고, OPD에서는 교사 목표 분포의 문맥을 풍부하게 하는 서로 다른 역할을 맡는다.
3.2 Reflection Gain의 학습적 의미
Figure 2: GNT가 다른 실패 출처보다 큰 반성 이득을 만드는 세 종류의 근거
왼쪽 패널은 동일 문제의 GNT를 제시했을 때 Reflection Gain이 가장 크고 훈련 중 증가하는 반면, 자기 실패의 도움은 제한적이며 약한 모델 실패와 불일치 궤적은 손해를 낼 수 있음을 비교한다. 가운데는 GNT가 높은 과정 점수와 긴 유효 접두부를 유지하다 국소 오류에서 무너지는 모양을 보인다. 오른쪽 개입은 유효 접두부와 오류 구간을 제거하거나 순서를 섞으면 직접 풀이 기준선보다 낮아져 두 성분이 모두 필요함을 보여 준다. 따라서 반성 신호의 핵심은 실패 자체보다 수정 가능한 구조와 문제 대응성에 있다.
결과 보상 r(q,o)가 정답이면 1, 오답이면 0이라고 하자. 정책 $\pi_\theta$와 질의 q, 대응 GNT $o^-$에 대한 반성 이득은 $\Delta_{\mathrm{ref}}(\theta;q,o^-)=\mathbb{E}_{o\sim\pi_\theta(\cdot\mid x^R(q,o^-))}[r(q,o)]-\mathbb{E}_{o\sim\pi_\theta(\cdot\mid x^D(q))}[r(q,o)]$다. 첫 항은 GNT를 보고 반성해 생성한 응답의 기대 정확도, 둘째 항은 질의만 보고 직접 생성한 응답의 기대 정확도다. $\Delta_{\mathrm{ref}}$가 0보다 큰 경험적 상태를 저자들은 Reflection Advantage라고 정의한다.
이 정의는 별도의 advantage estimator를 정책 목적에 추가한 것이 아니다. GRPO의 $\hat A_i$와 이름은 비슷하지만 역할이 다르다. $\hat A_i$는 한 업데이트에서 그룹 보상을 정규화해 각 롤아웃의 gradient 방향과 크기에 쓰인다. $\Delta_{\mathrm{ref}}$는 두 입력 인터페이스의 기대 성공률 차이를 측정해 방법을 정당화하는 행동 지표다. ReflectRL은 $\Delta_{\mathrm{ref}}$ 자체를 미분해 최대화하지 않는다. 반성 문맥이 더 많은 성공 응답을 드러내면 기존 RLVR 보상이나 OPD 분포 정합이 그 응답을 학습한다.
3.3 Reflective-to-Direct Policy Transition
Figure 3: 학습 단계에 따른 반성 비율 스케줄과 검증 정확도 비교
왼쪽 곡선은 반성 입력 비율을 어떻게 줄이느냐에 따라 Qwen2.5-Math-7B의 검증 정확도 궤적이 달라지는 모습을 제시한다. 오른쪽은 각 곡선에 대응하는 일반화된 전이식을 나란히 놓는다. 논문의 기본 코사인 감쇠는 초기에 GNT 기반 반성 기회를 충분히 제공한 뒤 점진적으로 직접 입력으로 옮긴다. 이 비교는 반성 능력을 학습한 직후 갑자기 문맥을 제거하기보다, 직접 경로가 오류 복구 행동을 흡수할 시간을 주는 스케줄이 중요하다는 주장을 뒷받침한다. 종료 시 반성 할당은 0으로 반올림되어 외부 궤적 의존을 남기지 않는다.
훈련 단계 t에서 반성 추론의 목표 비율을 전이 커널 g(t)로 제어한다. 기본 코사인 감쇠는 $g(t)=p_l+\frac{p_h-p_l}{2}[1+\cos(\pi\tau(t))]$다. p_h와 p_l은 시작과 종료 비율이고, $\tau(t)$는 워밍업 뒤의 정규화된 전이 진행도이며 0에서 1 사이 값을 갖는다. 한 질의당 N개 롤아웃을 만들면 반성 롤아웃 수는 $K_t=\operatorname{round}(Ng(t))$, 직접 롤아웃 수는 $N-K_t$가 된다. 논문의 RLVR 설정에서는 종료 할당이 반올림되어 0이 되므로 마지막에는 그룹 전체가 직접 추론으로 구성된다.
전이의 역할은 단순한 연산 절감보다 크다. 초반의 높은 반성 비중은 유효 접두부와 오류 위치를 이용해 정책이 성공 경로를 경험하게 한다. 이후 같은 파라미터로 직접 응답을 계속 학습하면 GNT가 없는 조건에서도 오류 회피와 복구 패턴을 재현하도록 압력이 생긴다. 저자들은 부드러운 전이가 반성 전용 학습에서 생길 외부 문맥 의존을 줄이고, 반성으로 얻은 행동을 직접 경로에 보존한다고 설명한다. 갑작스러운 전환보다 점진적 이동이 필요하다는 주장이므로, 코사인 함수의 정확한 모양보다 안내를 충분히 유지한 채 제거하는 과정이 설계의 중심이다.
3.4 GRPO·RLVR에서의 혼합 그룹 목적
각 질의에서 동결 정책 $\pi_{\theta_{\mathrm{old}}}$는 N개 응답 $o^{(i)}$를 생성한다. $i\le K_t$이면 입력 $x_t^{(i)}$는 Chat_Temp_R(q,$o^-$), i>K_t이면 Chat_Temp_D(q)다. 반성과 직접 응답을 별도 그룹으로 분리하지 않고 같은 그룹에서 Math-Verify로 $r(q,o^{(i)})$를 평가한다. 이어 전체 N개 보상의 평균과 표준편차로 $\hat A_i$를 공동 계산한다. 따라서 반성 인터페이스가 발견한 성공과 직접 인터페이스가 발견한 성공이 동일한 상대 보상 공간에 놓인다.
토큰 $s$의 정책 비율은 $w_{i,s}(\theta)=\frac{\pi_\theta(o_s^{(i)}\mid x_t^{(i)},o_{<s}^{(i)})}{\pi_{\theta_{\mathrm{old}}}(o_s^{(i)}\mid x_t^{(i)},o_{<s}^{(i)})}$다. ReflectRL의 RLVR 목적은 반성 구간 $i=1,\ldots,K_t$와 직접 구간 $i=K_t+1,\ldots,N$ 각각에 대해 $\min(w_{i,s}\hat A_i,\operatorname{clip}(w_{i,s})\hat A_i)$를 토큰과 응답에 걸쳐 합하고 $N$으로 나눈 기대값을 최대화한다. 식이 두 합으로 나뉘는 이유는 두 인터페이스의 할당을 표시하기 위해서이며, 보상 함수나 PPO형 clipped update를 교체하기 위해서가 아니다.
이 공동 정규화가 직접 응답을 체계적으로 벌주는지도 확인해야 한다. 저자들의 설명에 따르면 이진 보상을 쓰는 비퇴화 그룹에서는 정규화가 이점의 크기를 바꿀 뿐 부호를 뒤집지 않는다. 인터페이스와 관계없이 정답 응답은 양의 이점, 오답 응답은 음의 이점을 유지한다. 반성 응답이 초기에 더 자주 성공하면 그 경로가 강화되지만, 직접 응답도 성공하는 즉시 같은 원칙으로 강화된다. 이후 K_t가 감소하면서 업데이트의 상태 분포가 직접 인터페이스 쪽으로 이동한다.
3.5 DAPO에 결합되는 방식
DAPO 결합에서도 ReflectRL의 책임 범위는 동일하다. 단계 t의 g(t)에 맞춰 반성·직접 입력을 할당하고, 두 종류의 온폴리시 응답을 기존 검증과 최적화 파이프라인에 전달한다. 저자들은 ReflectRL이 보조 손실을 도입하지 않고 기본 RLVR 목적을 보존한다고 명시한다. 그러므로 GRPO 수식에 등장한 혼합 프롬프트 구성과 공동 평가가 일반적인 롤아웃 측 개입이고, 실제 정책 갱신은 결합 대상인 DAPO의 규칙을 따른다.
이 구분은 플러그인이라는 표현을 엄밀하게 만든다. ReflectRL을 DAPO의 새로운 변형 목적함수로 보는 대신, DAPO가 학습할 온폴리시 상태와 응답의 조합을 바꾸는 전처리·스케줄 계층으로 보는 편이 원문에 가깝다. 반성 신호가 사라지는 후반에는 원래 직접 프롬프트 분포로 복귀하므로 추론 인터페이스 변경도 남지 않는다. 논문은 GRPO와 DAPO 모두에서 같은 GNT 발판을 사용할 수 있다는 결합 가능성을 제시하되, 두 최적화기를 하나의 알고리즘으로 동일시하지 않는다.
3.6 OPD에서 교사만 보는 특권 문맥
OPD는 질의당 롤아웃 하나를 생성하므로 g(t)를 N개 응답 그룹 대신 B개 질의의 배치에 적용한다. 반성 교사 문맥을 쓸 표본 수는 $K_t^{\mathrm{batch}}=\operatorname{round}(Bg(t))$다. 모든 표본 b에서 학생은 직접 입력 $x^D(q^{(b)})$만 보고 $o^{(b)}$를 생성한다. 교사의 입력 $\tilde{x}_t^{(b)}$만 K_t_batch개 표본에서 $x^R(q^{(b)},o^{-(b)})$가 되고, 나머지는 $x^D(q^{(b)})$가 된다.
학생 분포를 $p_{b,s}^{\mathrm{student}}=\pi_\theta(\cdot\mid x^D(q^{(b)}),o_{<s}^{(b)})$, 교사 분포를 $p_{b,s}^{\mathrm{teacher}}=\pi_{\mathrm{teacher}}(\cdot\mid \tilde{x}_t^{(b)},o_{<s}^{(b)})$라 하면, ReflectRL의 교사 목적은 $\mathcal{L}_{\mathrm{OPD}}^{\mathrm{ReflectRL}}(\theta)=\mathbb{E}[\frac{1}{B}\sum_b\sum_s D_{\mathrm{KL}}(p_{b,s}^{\mathrm{student}}\parallel p_{b,s}^{\mathrm{teacher}})]$로 쓸 수 있다. 교사는 학생이 실제로 만든 접두부를 보면서 GNT의 유효 전개와 오류 지점을 추가 단서로 사용해 다음 토큰 목표 분포를 만든다. 학생은 그 분포를 역방향 KL로 맞추지만 GNT 토큰을 입력으로 받은 적이 없다.
따라서 OPD의 reflective-to-direct 전이는 학생 입력을 바꾸는 절차가 아니다. 훈련 내내 학생 경로는 직접 추론이며, 시간에 따라 교사 쪽 특권 문맥의 비율만 줄어든다. 초반에는 반성하는 교사가 오류 회피·수정에 더 유용한 목표를 제공하고, 학생은 이를 직접 경로에 즉시 증류한다. 후반에는 교사도 직접 문맥으로 돌아가 배포 조건과 정렬된다. RLVR이 한 정책의 두 롤아웃 모드를 혼합하는 방식과 OPD가 교사 조건만 혼합하는 방식은 이 지점에서 구분된다.
3.7 추가 비용과 목적 보존
GNT는 오프라인에서 미리 생성되므로 훈련 중 전문가 API를 다시 호출하지 않는다. RLVR에서는 원래의 롤아웃 수와 검증기 예산을 유지하고, OPD도 기본 학생 롤아웃과 역방향 KL 구조를 유지한다. 추가되는 핵심 비용은 반성 프롬프트에 들어간 GNT 토큰을 prefill하고 그 문맥의 임시 KV 캐시를 보유하는 부분이다. 새 보조 모델, 학습 파라미터, gradient, optimizer state가 추가되는 구조는 아니다.
g(t)가 감소하면 반성 문맥의 비율도 줄어 추가 prefill과 KV 캐시 비용은 함께 사라진다. 최종적으로 남는 정책은 원래 질의에서 Direct Reasoning을 수행하며 별도 전문가 궤적을 요구하지 않는다. 방법을 압축하면 오답 전문가 궤적을 문맥으로 제시해 성공 롤아웃 또는 고품질 교사 분포를 만들고, 기존 온폴리시 목적이 그 신호를 흡수하게 한 뒤, 문맥을 점진적으로 제거한다는 세 단계다. GNT를 모방하지 않으면서도 그 구조를 감독 신호로 바꾸고, 추론 시점의 입력 계약을 보존하는 것이 ReflectRL의 방법론적 핵심이다.
4. 실험 설정: 9개 벤치마크와 4개 온폴리시 학습법
4.1 OpenR1-GNT-69k의 구축과 학습 분포
실험 데이터의 출발점은 OpenR1-Math-220k의 일부다. 질문은 NuminaMath 1.5에서 가져오고, 강한 전문가인 DeepSeek-R1이 각 질문의 후보 풀이 궤적을 생성한다. 연구진은 이 후보를 Math-Verify로 검사한 뒤 최종 답이 틀린 궤적만 남겨 6만 9천 개의 Golden Negative Trajectory로 구성된 OpenR1-GNT-69k를 만들었다. 여기서 ‘golden’은 정답 여부보다 강한 전문가가 만든 구조화된 실패라는 출처를 가리킨다. 따라서 학습 샘플은 짧은 오답 라벨을 넘어, 상당 구간은 타당하게 진행되다가 특정 지점에서 잘못된 결론으로 빠질 수 있는 완결된 추론 기록이다.
이 구축 절차는 비교의 해석 범위를 분명히 한다. ReflectRL이 접하는 문제 분포는 수학이며, GNT 생성기는 DeepSeek-R1 하나다. 목표 정책은 정답 전문가 궤적을 답안처럼 외우는 대신, 질문과 그 질문에 대응하는 GNT를 함께 보고 오류를 찾아 수리하는 반사 rollout을 만든다. 학습이 진행되면 반사 rollout 비율을 줄이고 원래 질문만 받는 직접 rollout으로 되돌아간다. 실험은 이 과정에서 얻은 교정 행동이 수학 평가에 남는지, 더 나아가 학습 분포 밖 과제에도 옮겨 가는지를 분리해 확인하도록 설계됐다.
Math-Verify의 역할도 구분할 필요가 있다. 데이터 구축 시에는 DeepSeek-R1 궤적의 최종 답이 틀렸음을 판정해 GNT를 선별하고, RLVR 학습 시에는 목표 정책이 새로 만든 rollout의 정오를 이진 보상으로 바꾼다. 과정의 어느 단계가 틀렸는지를 Math-Verify가 직접 감독하는 구성은 아니다. ReflectRL은 최종 오답이라는 약한 라벨과 궤적 전체를 문맥으로 제공하고, 실제 오류 위치의 진단은 정책이 수행하게 한다. 과정 보상 모델은 이 구조를 사후 분석하는 도구이지 학습 때 매 토큰에 보상을 주는 별도 critic이 아니다.
4.2 여섯 개 ID와 세 개 OOD 벤치마크
평가 과제는 모두 아홉 개다. 분포 내 수학 벤치마크는 AIME 2024, AIME 2025, AMC, MATH-500, Minerva, OlympiadBench의 여섯 종이다. 경쟁 수학, 정량 추론, 올림피아드형 문제를 함께 두어 단순한 한 데이터셋 적합으로 결과를 설명하기 어렵게 했다. AIME 2024·2025와 AMC는 시험 문항 수가 작으므로 32회 표본의 평균인 avg@32를 보고하고, MATH-500·Minerva·OlympiadBench를 포함한 나머지 평가는 한 번의 생성 성공률인 pass@1을 쓴다. 서로 다른 집계 방식을 섞은 만큼 개별 열의 절대값을 직접 합성하기보다, 동일 지표 안에서 기준법과 ReflectRL의 변화를 보는 것이 맞다.
Table 3. 9개 평가 벤치마크의 분포 구분
| 구분 | 벤치마크 | 평가 초점 |
|---|---|---|
| ID 수학 추론 | AIME 2024, AIME 2025, AMC, MATH-500, Minerva, OlympiadBench | 학습 데이터와 가까운 정량·경시 수학 추론 |
| OOD 일반화 | ARC-c, GPQA, MMLU-Pro | 과학 지식, 논리 일관성, 강한 distractor 거부 |
저자들은 ID 평균과 OOD 평균을 따로 보고해 수학 문제의 풀이 패턴을 더 잘 외운 효과와, 오류를 진단하고 복구하는 행동이 다른 영역으로 이동한 효과를 분리한다. 특히 OpenR1-GNT-69k와 겹치지 않는 ARC-c는 수학 외 전이를 점검하는 핵심 축으로 사용되며, 문제 선택지를 섞어 오염 가능성을 낮추는 평가 절차도 함께 적용된다.
분포 밖 평가는 ARC-Challenge, GPQA-Diamond, MMLU-Pro로 구성된다. 이 세 과제는 수학 GNT로 학습한 정책이 과학 상식, 대학원 수준의 과학 추론, 광범위한 지식과 난도가 높은 선택지 판별로 능력을 옮기는지 묻는다. 연구진은 객관식 선택지 순서를 섞어 고정된 위치나 오염 신호에 기대는 위험을 낮췄다. 특히 논문은 OpenR1-GNT-69k와 ARC-c 사이에 데이터 중복이 없다고 명시한다. 따라서 ARC-c 변화는 수학 문항의 재현보다 인과·논리 일관성을 점검하고 매력적인 오답 선택지를 배제하는 교정 절차의 전이로 해석할 근거가 있다.
아홉 과제의 평균은 여섯 ID 열과 세 OOD 열로 따로 계산된다. 이 분리는 수학 훈련 성능이 높아졌다는 사실만으로 일반화를 주장하지 않게 한다. 반대로 OOD 평균 하나만 보면 ARC-c의 큰 변화가 GPQA-Diamond나 MMLU-Pro의 정체를 가릴 수 있으므로 세부 열도 확인해야 한다. 논문은 작은 대회형 세트에 avg@32를 적용하지만 반복 학습 시드의 분산이나 신뢰구간은 본문에 따로 제시하지 않는다. 정확한 수치는 동일한 평가 프로토콜 안의 상대 비교로 읽고, 작은 차이보다 여러 방법과 백본에서 반복되는 방향에 더 무게를 두는 편이 타당하다.
4.3 네 백본과 네 온폴리시 학습법
모델 축은 Qwen2.5와 LLaMA-3.1 계열의 1.5B부터 8B까지 네 백본이다. 본문과 상세 결과를 함께 보면 Qwen2.5-Math-7B, Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Llama-3.1-8B-Instruct를 포괄한다. 한 크기나 한 모델군에서만 나타나는 현상을 피하고, 작은 지시형 모델부터 수학 특화 7B와 다른 계열 8B까지 같은 rollout 개입이 작동하는지 본 구성이다. OPD에서는 역할을 더 명확히 고정해 Qwen2.5-3B-Instruct를 학생으로, Qwen2.5-7B-Instruct를 전문가 교사로 사용한다.
결합 대상인 네 온폴리시 방법은 GRPO, DAPO, EchoRL, OPD다. GRPO는 같은 질문에서 뽑은 응답 그룹의 상대 보상으로 이점을 추정하는 대표 RLVR이고, DAPO는 그 계열의 강한 학습법이다. EchoRL은 그룹의 보상이 모두 같아 상대 이점이 퇴화하는 경우, 검증에 성공한 rollout에서 엔트로피로 고른 클립을 추출해 보조 감독으로 되먹이는 방법이다. OPD는 학생이 방문한 온폴리시 상태에서 고정 교사와 학생의 토큰 분포를 맞춘다. 이 선택은 ReflectRL이 특정 목적함수를 새로 제안한 방법인지, 기존 RLVR과 증류의 rollout 조건을 바꾸는 플러그인인지 검증한다.
비교군에는 온폴리시 계열만 놓지 않았다. 동일한 양의 검증된 정답 궤적으로 수행한 SFT와 KL 제약을 넣은 SFT-KL을 포함하고, 기존 zero-RL 계열인 SimpleRL-Zero, OpenReasoner-Zero, PRIME-Zero의 보고값도 함께 제시한다. 다만 이 세 선행법은 학습 표본 수와 출처, PPO·GRPO 여부, 과정 보상 사용이 서로 다르다. 그러므로 이 비교는 완전히 통제된 순위전보다 가벼운 학습 레시피가 기존 수준과 어느 정도 경쟁하는지를 보여 주는 참고축이다. 가장 직접적인 인과 비교는 같은 백본과 설정에서 GRPO·DAPO·OPD에 ReflectRL을 붙이기 전후다.
SFT 비교는 ‘정답 궤적이면 항상 더 좋은 감독인가’라는 질문의 또 다른 축이다. 검증된 정답 궤적을 같은 양 사용한 SFT는 Qwen2.5-Math-7B에서 ID 평균 36.4와 OOD 평균 27.2를 기록하고, SFT-KL은 26.8과 22.1이다. ReflectRL을 결합한 GRPO와 DAPO의 ID 평균은 각각 42.4와 43.5이고 OOD 평균은 40.0과 37.0이다. 데이터와 목적이 완전히 같은 대조는 아니지만, 정답 시범을 오프라인에서 복제하는 것보다 현재 정책이 만든 상태에서 실패를 진단하고 보상받는 온폴리시 과정이 더 넓은 개선을 낸다는 결과 방향을 제공한다.
4.4 verl 구현, 표본 예산과 하드웨어
구현은 오픈소스 verl 프레임워크를 기반으로 한다. 기본 rollout batch는 128, 정책 update batch는 64이며, 각 온폴리시 질문마다 응답 8개를 표본화한다. 부록의 상세 설정에서는 전역 학습 배치 128, 검증 배치 512, PPO micro-batch와 mini-batch 64를 명시한다. 프롬프트와 응답의 최대 길이는 각각 2048토큰이고, vLLM 생성의 tensor parallel size는 2다. 학습 표본 온도는 탐색을 위해 1.0, 검증 온도는 안정된 비교를 위해 0.6으로 둔다.
Table 4. 핵심 학습·평가 구성
| 항목 | 설정 | 해석상 역할 |
|---|---|---|
| 구현 프레임워크 | verl | 기존 온폴리시 파이프라인에 결합 |
| rollout / update batch | 128 / 64 | 탐색과 정책 갱신 예산 |
| 질의당 온폴리시 응답 | 8개 | 직접·반성 응답의 혼합 그룹 |
| 평가 temperature | 0.6 | 비교 모델의 샘플링 조건 통제 |
| OPD | reverse KL, rollout batch 1024 | 학생 방문 상태에서 교사 분포 증류 |
| 하드웨어 | H200 GPU 16장 | 전체 실험의 계산 환경 |
ReflectRL은 온라인 전문가 호출이나 추가 검증기 예산을 요구하지 않는다. GNT는 오프라인에서 준비되며, 학습 중 늘어나는 부분은 반성 프롬프트의 prefill과 임시 KV 캐시다. 전이 커널이 반성 비율을 낮추면 이 비용도 줄어들므로, 표의 rollout과 verifier 예산은 기준선과 같은 범위에서 비교된다는 것이 논문의 계산 효율 주장이다.
최적화에서는 GRPO advantage estimator를 쓰고 actor learning rate는 $1\times 10^{-6}$, entropy coefficient는 0.001이다. KL penalty coefficient는 0.0으로 설정해 초기 참조 정책으로부터의 이동을 따로 억제하지 않으며, 논문은 이것이 반사에서 직접 정책으로 옮겨 가는 전이를 방해하지 않게 하기 위한 선택이라고 설명한다. 분산 학습은 DeepSpeed와 gradient checkpointing을 사용하고 Ulysses sequence parallel size는 1이다. 전체 실험은 NVIDIA H200 GPU 16장에서 수행됐다.
OPD는 RLVR과 표본 구조가 다르다. 질문당 하나의 학생 rollout을 생성하므로 반사 비율을 배치의 질문들에 걸쳐 적용한다. rollout batch는 1024로 키우고, 학생 분포에서 교사 분포로 향하는 reverse KL을 최소화한다. 학생은 학습 내내 원 질문만 받으며 GNT를 직접 보지 않는다. GNT는 교사에게만 특권 문맥으로 주어지고, 교사는 해당 실패를 반성한 토큰 분포로 학생을 지도한다. 이 통제는 추론 시 학생에게 GNT가 없어도 되는지 시험하는 동시에, 단순한 입력 복제와 오류 회피 능력의 증류를 구분한다.
RLVR에서는 질문마다 생성하는 여덟 응답을 반사와 직접의 두 그룹으로 따로 최적화하지 않는다. 전이 함수가 정한 수만 GNT 포함 prompt를 받고 나머지는 원 질문만 받지만, 모두 같은 혼합 그룹에서 이진 보상과 상대 이점을 계산한다. 보상이 모두 같지 않은 그룹에서는 인터페이스와 무관하게 정답 rollout이 양의 이점, 오답 rollout이 음의 이점을 유지한다. 반사 응답이 초기에 더 자주 성공해도 직접 응답이 구조적으로 벌을 받는 설계가 아니며, 직접 경로의 성공도 같은 정책 업데이트에 남는다. 이것이 후기의 완전한 직접 rollout으로 능력을 옮길 수 있는 실험적 기반이다.
계산 예산도 기준법과 맞췄다. GNT는 사전에 생성되어 온라인 전문가 질의가 없고, rollout 수·검증기 예산·정책 업데이트율은 원래 방법과 같다. 추가되는 연산은 반사 프롬프트에 포함된 GNT 토큰의 prefill과 그 문맥을 위한 일시적 KV cache다. 반사 비율이 감쇠하면 이 비용도 줄어들어 RLVR 말기에는 직접 rollout만 남는다. 따라서 효율성 평가는 ‘문맥이 공짜’라는 가정을 버리고, 저렴한 병렬 문맥 처리 비용과 비싼 자기회귀 continuation 감소를 같은 단계 시간 안에서 비교한다.
5. 주요 실험 결과: 정확도·효율·전이 효과의 동시 비교
5.1 Qwen2.5-Math-7B에서의 핵심 정확도 변화
주요 결과에서 가장 선명한 패턴은 RLVR의 분포 내 평균과 분포 밖 평균이 함께 상승한다는 점이다. Qwen2.5-Math-7B에서 GRPO의 여섯 수학 과제 평균은 37.0이고 세 OOD 과제 평균은 20.9다. ReflectRL을 더하면 각각 42.4와 40.0으로 올라, 논문이 표시한 증분은 +5.4와 +19.1이다. DAPO도 38.4에서 43.5, 25.3에서 37.0으로 변해 +5.1과 +11.7의 평균 향상을 보인다. 반사 학습은 수학 정확도를 유지·개선하면서 일반화까지 얻어, 학습 분포의 성능과 전이 성능을 동시에 높였다.
Table 5. Qwen 계열에서 ReflectRL 결합 전후의 평균 정확도
| 방법 | ID 평균 | OOD 평균 | 기준선 대비 변화 |
|---|---|---|---|
| GRPO | 37.0 | 20.9 | 기준 |
| GRPO + ReflectRL | 42.4 | 40.0 | +5.4 / +19.1 |
| DAPO | 38.4 | 25.3 | 기준 |
| DAPO + ReflectRL | 43.5 | 37.0 | +5.1 / +11.7 |
| OPD (3B student) | 26.7 | 21.6 | 기준 |
| OPD + ReflectRL | 29.0 | 39.1 | +2.3 / +17.5 |
표의 핵심은 OOD 평균의 상승폭이 ID 평균보다 크게 나타난다는 점이다. GRPO 결합은 ID에서 5.4점, OOD에서 19.1점 높아졌고, DAPO와 OPD에서도 같은 방향이 관찰된다. 다만 평균은 세부 벤치마크의 난도와 기반 성능을 압축한 값이므로, 모든 개별 과제에서 동일한 폭의 개선이 있었다는 뜻으로 확대하면 안 된다.
OPD에서도 방향은 유지된다. Qwen2.5-3B-Instruct 학생의 표준 OPD는 ID 평균 26.7, OOD 평균 21.6이고, ReflectRL의 교사 측 GNT 안내를 적용하면 29.0과 39.1이 된다. 표시된 증분은 각각 +2.3과 +17.5다. 학생은 GNT를 한 번도 입력으로 받지 않으므로 이 증가는 ‘시험 때도 실패 풀이를 보여 줬기 때문’으로 설명할 수 없다. GNT를 본 7B 교사가 학생의 온폴리시 접두부마다 더 나은 오류 회피 분포를 제공하고, 학생이 reverse KL로 이를 직접 경로에 흡수했다는 설계와 부합한다.
기본 Qwen2.5-Math-7B 자체의 ID 평균은 19.0, OOD 평균은 15.4이고 지시 튜닝된 Qwen2.5-Math-7B-Instruct는 37.6과 43.0이다. 후자는 별도의 강한 참조점이며 ReflectRL 학습의 동일 초기 모델로 간주해서는 안 된다. ReflectRL-GRPO의 ID 평균 42.4는 이 지시형 참조점을 넘어서는 반면 OOD 평균 40.0은 조금 낮다. 이 교차는 방법이 한 종류의 점수에 편중되지 않았다는 점과 함께, 초기 모델·지시 튜닝·온폴리시 학습의 효과를 분리해서 비교해야 함을 보여 준다.
세부 열은 평균을 무조건적인 전 항목 우위로 읽지 말아야 함도 보여 준다. GRPO 결합은 AIME24·AIME25·AMC·Minerva·Olympiad와 세 OOD 과제에서 상승하고 MATH-500은 77.2로 같았다. DAPO 결합에서는 GPQA-Diamond가 16.2에서 14.7로 내려갔지만 다른 큰 증가가 평균을 끌어올렸다. OPD 결합에서도 MMLU-Pro가 41.6에서 38.1로 낮아진 반면 ARC-c의 큰 변화가 OOD 평균을 높였다. 일관성은 방법·백본·평균 수준의 반복되는 개선 방향이며, 모든 셀의 단조 증가를 뜻하지 않는다.
5.2 모델 크기와 계열을 가로지르는 재현
Figure 4: LLaMA-3.1과 Qwen2.5 여러 크기에서 GRPO와 ReflectRL 결합 성능
그림은 LLaMA-3.1-8B-Instruct, Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct를 대상으로 학습 전 기준선, 표준 GRPO, GRPO에 ReflectRL을 결합한 결과를 9개 ID·OOD 벤치마크에서 비교한다. 저자들은 특정 7B 수학 모델에만 개선이 집중되지 않고 모델 계열과 크기를 바꿔도 결합형이 GRPO를 일관되게 앞선다고 보고한다. 따라서 GNT 기반 롤아웃 개입은 하나의 백본에 맞춘 손실 설계보다 여러 온폴리시 파이프라인에 붙는 데이터·문맥 계층으로 해석된다.
상세 백본 비교도 효과가 Qwen2.5-Math-7B 하나에 갇히지 않음을 보여 준다. Qwen2.5-1.5B-Instruct에서 GRPO의 ID 평균 20.47과 OOD 평균 6.66은 ReflectRL 결합 후 21.78과 14.76이 된다. Qwen2.5-3B-Instruct에서는 27.15와 14.43이 28.84와 20.86으로 오른다. 두 소형 모델 모두 수학 평균의 증가는 비교적 작고 OOD 증가가 더 크다. 이는 GNT가 정답 공식만 전달하기보다, 이미 존재하는 추론을 검사하고 잘못된 선택지를 버리는 절차를 강화했다는 논문의 전이 해석과 맞닿는다.
Llama-3.1-8B-Instruct는 더 까다로운 사례다. 이 모델의 기본 ID 평균은 7.05인데 표준 GRPO 뒤에는 3.89로 악화된다. ReflectRL 결합은 13.60에 도달해 기준 GRPO를 크게 웃돌고 기본 모델도 넘어선다. OOD 평균은 GRPO 8.02에서 ReflectRL 8.95로 소폭 증가하며 GPQA-Diamond는 두 조건 모두 0이다. 이 결과는 모든 계열에서 같은 크기의 지식 전이가 생겼다고 말하기보다, 직접 RL 탐색이 불안정한 백본에서 구조화된 실패가 학습을 복구하는 효과까지 포함한다고 해석해야 정확하다.
EchoRL과의 비교도 학습 신호의 출처를 드러낸다. Qwen2.5-Math-7B의 GRPO에 EchoRL을 더한 결과는 ID 평균 38.5, OOD 평균 25.8로 표준 GRPO보다 좋지만, ReflectRL의 42.4와 40.0에는 미치지 못한다. DAPO에서도 EchoRL은 39.8과 28.1, ReflectRL은 43.5와 37.0이다. EchoRL이 성공 rollout 내부의 고엔트로피 클립을 재활용한다면 ReflectRL은 강한 전문가의 실패 안에 남아 있는 유효한 접두부와 오류 영역을 새 반사 문맥으로 쓴다. 두 접근 모두 희소·퇴화 보상을 보완하지만 사용 가능한 정보의 원천이 다르다.
5.3 ARC-c가 보여 주는 분포 밖 전이
ARC-c는 전이 효과를 가장 분명하게 분리하는 열이다. GRPO는 22.5에서 ReflectRL 결합 후 65.4, DAPO는 30.8에서 57.4로 상승한다. OPD 학생도 22.5에서 77.6으로 크게 변한다. 수학 GNT와 ARC-c 사이에 데이터 중복이 없다는 논문의 확인을 전제로 하면, 이 폭은 정답 암기보다 다른 문제에 적용 가능한 절차의 이동을 가리킨다. ARC-c에서 요구되는 것은 지문과 선택지 사이의 인과 관계를 일관되게 유지하고, 그럴듯하지만 조건을 위반하는 distractor를 제거하는 능력이다.
GNT 기반 반사는 바로 이 순서를 반복한다. 먼저 주어진 풀이의 전제를 읽고, 어느 중간 단계까지 유효한지 보존한 뒤, 국소 오류가 이후 결론을 어떻게 오염시켰는지 진단하고, 수정된 경로로 답을 다시 계산한다. 이 검사–수리–해결 행동은 수학 기호 자체보다 넓은 제어 절차다. GPQA-Diamond와 MMLU-Pro의 세부 결과가 방법마다 엇갈리는 점은 전이가 모든 지식 과제에 균일하지 않음을 보여 주지만, 데이터 비중복 ARC-c에서 여러 학습법이 같은 큰 방향을 보인 사실은 도메인 일반 추론이라는 해석을 강하게 지지한다.
ARC-c의 변화가 특히 설득력 있는 또 하나의 이유는 학습 패러다임이 달라도 반복된다는 점이다. GRPO와 DAPO에서는 목표 정책이 직접 반사 rollout을 생성하고 검증 보상을 받지만, OPD에서는 학생이 GNT를 전혀 보지 않은 채 반사한 교사의 토큰 분포만 받는다. 입력 경로와 목적함수가 다른 세 조건에서 ARC-c가 같은 방향으로 크게 오르면 특정 prompt를 평가 때 재사용한 효과로 설명하기 어렵다. 공통분모는 오류를 예상하고 일관되지 않은 다음 단계를 억제하는 정책 업데이트이며, 그 행동이 distractor rejection으로 옮겨 갔다는 해석이 가장 직접적이다.
5.4 응답 길이와 actor update 속도의 동시 개선
Figure 5: GRPO와 ReflectRL의 학습 단계별 평균 추론 길이 비교
응답 길이 곡선에서 GRPO는 step 500 무렵 평균 응답이 800토큰을 넘지만 ReflectRL은 약 420토큰 부근에 머문다. 동시에 ReflectRL의 정확도가 더 높다는 본문 결과를 함께 보면, 짧아진 길이를 단순한 출력 절단이나 탐색 부족으로 해석하기 어렵다. 저자들은 반성 단계에서 유효 접두부와 오류 위치를 이용해 선택적인 해결 행동을 익힌 뒤 이를 직접 경로로 옮겼기 때문에, 후반 정책이 장황한 시행착오를 반복하지 않고 더 간결한 성공 궤적을 생성한다고 설명한다.
Figure 6: 검색 비용을 GNT prefill로 이동했을 때의 정책 갱신 효율
이 패널은 같은 Qwen2.5-Math-7B 학습에서 시간에 따른 actor update 진행 속도를 비교한다. ReflectRL은 온라인에서 전문가를 다시 호출하거나 롤아웃 수를 늘리지 않고, 사전에 만든 GNT를 반성 프롬프트에 prefill한다. 저자들은 비싼 생성 탐색의 일부를 상대적으로 저렴한 문맥 처리로 바꾸면서 기준 GRPO보다 높은 업데이트 효율을 얻는다고 설명한다. 반성 비율은 전이 커널에 따라 줄어들기 때문에 추가 prefill과 임시 KV 캐시 비용도 후반으로 갈수록 감소한다.
정확도 상승이 더 긴 탐색의 대가인지 확인하려면 응답 길이를 함께 봐야 한다. 학습 500단계에서 표준 GRPO의 응답은 800토큰을 넘지만 ReflectRL은 약 420토큰 수준을 유지하면서 더 높은 정확도를 낸다. 초기의 GNT는 풀이 공간 전체를 무작정 다시 탐색하게 하기보다 유효 접두부를 발판으로 오류 부근에 계산을 집중시킨다. 이후 Reflective-to-Direct Policy Transition이 이 선택적 수리 행동을 직접 인터페이스로 옮기므로, GNT가 줄어든 뒤에도 답에 이르는 경로가 짧게 유지된다는 설명이다.
actor update 시간도 같은 동역학을 반영한다. ReflectRL은 전이가 진행될수록 단계 시간이 감소해 약 13초에서 안정되고, GRPO는 약 20초 수준이다. 반사 prompt는 GNT 토큰을 먼저 읽어야 하므로 prefill과 KV cache 비용을 추가한다. 그러나 prefill은 문맥 토큰을 병렬 처리할 수 있는 반면 긴 continuation은 토큰을 하나씩 생성해야 한다. 약 420토큰의 간결한 rollout이 비싼 자기회귀 decoding을 줄여 추가 문맥 비용을 상쇄하고도 남은 것이다. 논문이 말하는 효율의 핵심은 비싼 탐색 생성에서 저렴한 문맥 처리로 연산을 이동한 결과다.
이 비교에는 지속 메모리 비용도 포함되지 않는다. ReflectRL은 보조 모델, 새 학습 파라미터, 별도 gradient, optimizer state를 추가하지 않는다. GNT도 오프라인에서 만들어져 학습 중 DeepSeek-R1을 호출하지 않는다. 일시적 추가 자원은 반사 문맥의 KV cache이며, 코사인 전이가 반사 비율을 낮추면 함께 감소해 마지막에는 0이 된다. 같은 rollout·verifier·update 예산 아래에서 정확도가 높고 응답이 짧으며 단계 시간도 줄었다는 세 지표가 서로 맞물리므로, 단순한 점수 향상보다 학습 경로의 질적 변화라는 해석이 가능하다.
다만 단계당 13초와 20초는 논문이 사용한 16장 H200, 최대 2048토큰 문맥, 해당 백본과 생성 엔진에서 관찰한 값이다. GNT를 처음 생산하고 Math-Verify로 거르는 오프라인 비용은 actor update 시간에 들어가지 않는다. 논문의 효율성 결론은 이 조건에서 온라인 학습 비용이 줄었다는 주장으로 한정해야 한다. 그 범위 안에서는 rollout 수를 줄이거나 응답을 강제로 잘라 얻은 속도가 아니며, 전이와 함께 실제 continuation이 짧아지고 반사 KV cache도 사라지는 동역학이 측정값을 뒷받침한다.
5.5 엔트로피 보존과 지속 학습
Figure 7: 훈련 중 GRPO의 조기 엔트로피 붕괴와 ReflectRL의 탐색 유지 비교
엔트로피 곡선에서 기준 GRPO는 step 250 부근까지 약 0.97에서 0.03 미만으로 급격히 내려가지만 ReflectRL은 같은 구간에서 약 0.15 수준을 유지한다. 저자들은 이를 반성 문맥이 초기에 성공 가능한 경로를 공급하면서도 하나의 표면 패턴으로 정책을 고정하지 않는 증거로 해석한다. 엔트로피가 높다는 사실만으로 성능이 보장되지는 않지만, 정확도 상승과 더 짧은 응답이 함께 관찰되므로 여기서는 지속 탐색과 선택적 추론이 병행된 학습 동역학을 보여 주는 보조 지표가 된다.
표준 GRPO의 정책 엔트로피는 0.97에서 시작해 250단계 무렵 0.03 아래로 떨어진다. 응답 분포가 소수 패턴에 조기에 집중되면서 새 풀이를 탐색하기 어려워지는 entropy collapse다. 같은 시점 ReflectRL의 엔트로피는 약 0.15로, 논문이 비교한 값 기준 GRPO의 약 다섯 배다. 더 높은 엔트로피가 무작위성을 늘리기만 했다면 정확도와 함께 오르기 어렵다. 여기서는 유효한 실패를 교정하는 다양한 성공 rollout이 계속 생기고, 그 신호가 직접 정책에 흡수되면서 탐색 여지가 보존된 방향으로 보고된다.
정확도, 길이, 엔트로피를 함께 읽으면 ReflectRL의 개선 경로가 정리된다. GNT 문맥은 처음부터 정답 경로를 발견해야 하는 탐색 부담을 낮추고, 반사 rollout에서 양의 보상을 얻을 가능성을 높인다. 혼합 그룹의 성공·실패가 상대 이점을 되살리며, 정책은 오류를 고치는 여러 경로를 강화한다. 반사 비율이 완만하게 줄어드는 동안 이 행동은 직접 질문 조건에서도 재현되고, 더 짧은 정답 경로가 rollout 시간을 줄인다. 성능 향상, 탐색 유지, 계산 절감이 각각 독립된 주장으로 흩어지지 않고 하나의 전이 동역학으로 연결된다.
6. 추가 분석 및 Ablation Study: 왜 반성이 직접 지도보다 안정적인가
6.1 모든 실패가 같은 반사 신호는 아니다
첫 ablation은 반사의 효과가 단순히 긴 추가 문맥을 넣은 데서 오는지 묻는다. Qwen2.5-Math-7B에서 강한 전문가 GNT를 본 조건의 Reflection Gain은 가장 크고 학습이 진행될수록 꾸준히 증가한다. 목표 모델 자신의 실패를 다시 보여 주면 이득이 제한적이며, 약한 모델이 만든 실패 또는 길이만 맞춘 다른 문제의 GNT는 음의 gain을 낸다. 즉 오답을 읽고 다시 쓰라는 형식만으로는 충분하지 않다. 실패 궤적이 현재 질문에 정렬되어 있고, 목표 정책보다 강한 생성기의 추론 구조를 담아야 수리 가능한 발판이 된다.
과정 보상 모델 Qwen2.5-Math-PRM-7B로 궤적을 위치별로 평가한 분석은 이 차이의 내부 구조를 보여 준다. GNT는 다른 실패 원천보다 높은 점수의 유효 접두부를 더 오래 유지하다가 국소 오류 지점에서 점수가 떨어진다. 목표 모델의 자기 실패나 약한 모델의 실패는 처음부터 추론 골격이 빈약할 수 있어 무엇을 보존하고 어디부터 고쳐야 하는지가 흐리다. 강한 전문가의 실패는 거의 맞은 풀이와 명확한 교정 표적을 한 문맥에 결합한다. 반사는 이 구조를 이용해 전체 해법 탐색을 오류 위치 탐색과 국소 재계산으로 바꾼다.
Reflection Gain은 같은 질문에서 GNT를 본 반사 조건의 기대 이진 보상과 질문만 본 직접 조건의 기대 이진 보상의 차이다. 따라서 양의 값은 외부 문맥을 받은 응답이 길거나 그럴듯한 수준을 넘어 실제 정답 도달 확률이 높다는 뜻이다. 출처 비교에서 자기 실패, 약한 모델 실패, 길이를 맞춘 불일치 GNT를 함께 둔 이유도 문맥량과 실패 라벨을 통제하기 위해서다. GNT 조건의 gain만 크게 자라난 결과는 정책이 학습 과정에서 강한 전문가 실패의 구조를 점점 더 잘 읽고 활용하게 됐음을 행동 수준에서 보여 준다.
6.2 유효 접두부와 오류 영역의 구성요소 개입
두 번째 ablation은 GNT 안의 어떤 부분이 실제 원인인지 분해한다. 오류 이전의 유효 접두부는 올바른 문제 표현, 중간 계산과 다음 단계의 후보를 제공하는 추론 scaffold다. 오류 영역은 정책이 비판하고 바꿀 수 있는 구체적 학습 표적이다. 원문의 구성요소 개입에서는 둘을 함께 제공할 때 Reflection Gain이 가장 크고, 각각도 효과에 기여하는 방향이 확인된다. 이 결과는 유용한 감독이 ‘좋은 부분만 남겨 모방하기’와 ‘나쁜 부분만 보고 피하기’ 중 하나로 환원되지 않음을 뜻한다.
궤적의 순서를 섞은 Shuffled GNT와 최종 답만 남긴 Answer Only 조건은 직접 추론 기준선보다도 정확도가 낮아진다. 셔플은 같은 토큰과 비슷한 길이를 유지해도 단계 사이의 인과적 연결을 파괴하고, 답만 제공하면 오류가 발생한 위치와 복구 방법을 없앤다. 따라서 반사 이득을 추가 토큰 수, 전문가 문체, 오답 정답 라벨로 설명하기 어렵다. 정책이 유효한 앞부분을 식별하고 국소 오류를 수정한 뒤 이후 단계를 재구성할 수 있도록 일관된 과정 순서가 보존되어야 한다.
6.3 GT 지도와 GNT 반사의 policy drift
Figure 8: 지도 출처별 정확도와 KL policy drift의 학습 동역학
왼쪽은 GNT 기반 ReflectRL, 정답 궤적을 직접 지도하는 GT Guidance 등 서로 다른 조건의 정확도 변화를 비교하고, 오른쪽은 기준 정책과의 KL 발산으로 policy drift를 추적한다. 논문은 step 70~130의 강조 구간에서 GT Guidance의 큰 KL 이동과 급격한 성능 붕괴가 함께 나타난다고 보고한다. 반면 GNT는 오답 토큰을 모방하지 않고 새 응답을 검증받게 하므로 업데이트가 더 안정적이다. 이 결과는 강한 정답 시연도 온폴리시 상태와 맞지 않으면 정책을 과도하게 끌 수 있음을 시사한다.
가장 중요한 안정성 비교는 정답 전문가 궤적, 즉 GT Guidance와 GNT Guidance를 맞붙인다. 직관적으로는 완전한 정답 풀이가 오답보다 우월한 교사처럼 보인다. 실제로 GT 지도는 학습 초기에 정확도를 빠르게 올린다. 그러나 원문의 정확도와 KL 동역학에서는 70단계부터 130단계 사이 GT 조건의 policy drift가 심해지고, 그 구간과 catastrophic collapse가 맞물린다. 반면 GNT를 반성하는 ReflectRL 조건은 학습 내내 더 안정적인 정책 이동과 성능을 유지한다.
차이는 정책이 감독을 소비하는 방식에서 나온다. 정답 궤적은 이미 완성된 행동을 강하게 제시하므로 현재 정책 분포와 먼 전문가 모드를 직접 따라가게 만들 수 있다. 초반에는 즉시 쓸 수 있는 정답 패턴 덕분에 점수가 오르지만, 모방 압력이 누적되면 온폴리시 상태에서 형성된 기존 분포가 급격히 이동하고 탐색 다양성이 무너질 수 있다. 특히 이 실험의 KL penalty coefficient가 0.0이므로 참조 정책으로의 별도 고정 장치가 결과를 가리지 않는다. 관찰된 KL 증가는 GT 지도와 붕괴 사이의 시간적·기제적 연결을 드러낸다.
GNT는 전문가와 학생 사이에 하나의 진단 과제를 둔다. 정책은 전문가 출력을 그대로 복제해도 정답 보상을 얻을 수 없고, 반드시 오류를 찾고 자신의 토큰으로 수정해야 한다. 유효 접두부는 탐색을 시작할 위치를 좁히지만 결론을 대신 주지 않으며, 오류 영역은 정책의 현재 능력으로 수행할 수 있는 국소 개입을 요구한다. 그래서 업데이트가 전문가 모드로 한 번에 끌려가기보다 현재 정책 주변의 수리 행동을 강화한다. 직접 지도보다 반성이 안정적이라는 결론은 오답이 더 정확해서가 아니라, 오답이 정책에 적당한 거리의 능동적 학습 문제를 만들기 때문이다.
초기 정확도만 관찰했다면 GT Guidance를 더 좋은 방법으로 잘못 선택할 수 있다. ablation의 핵심은 성능 곡선과 기준 정책 대비 KL을 같은 시간축에서 추적했다는 데 있다. GT 조건의 큰 KL 이동이 나타난 강조 구간과 정확도 붕괴 구간이 겹치고, GNT 조건에서는 이런 동조가 나타나지 않는다. 이는 최종 점수 차이에 붙인 사후 설명을 넘어 지도 원천, 정책 이동, 붕괴의 순서를 연결한 증거다. 완전한 정답의 정보량보다 정책이 그 정보를 흡수하는 업데이트 경로가 안정성을 결정한다.
이 비교는 ‘부정 예시는 벌점, 정답 예시는 모방’이라는 이분법도 바꾼다. ReflectRL은 GNT 자체의 토큰에 gradient를 주거나 그 오답을 선호하도록 훈련하지 않는다. RLVR에서는 GNT를 입력 문맥으로 받은 뒤 새로 생성한 continuation만 검증하고, 정답 rollout에는 양의 상대 이점, 오답 rollout에는 음의 상대 이점을 준다. OPD에서도 GNT는 교사만 보며 학생은 자신의 직접 접두부 위에서 교사의 교정 분포를 맞춘다. 실패는 학습 목표 대신 오류 진단을 유발하는 조건으로 쓰이므로 잘못된 결론을 강화하는 모순을 피한다.
6.4 전이 커널 ablation과 직접 정책의 내재화
반사 안내를 언제 거둘지도 안정성을 좌우한다. 논문은 초기 반사 확률 0.5, 말기 확률 0.05를 기본 범위로 두고 warm-up 50단계와 decay horizon 250단계를 사용하는 여러 스케줄을 비교한다. cutoff 변형에서는 300단계 이후 확률을 0으로 만든다. 평가한 커널은 UFT cosine과 cutoff의 결합, linear, cosine, plateau와 linear의 결합, plateau와 cutoff의 결합, inverse sigmoid의 여섯 종류다. RLVR에서 질문당 응답이 8개이므로 실제 반사 rollout 수는 확률에 8을 곱해 반올림되며, 작은 말기 확률은 결과적으로 0개가 되어 완전한 직접 그룹으로 돌아간다.
비교 결과는 부드러운 전이가 급격하거나 지나치게 빠른 전이보다 강하고 안정적이라는 방향을 보고한다. cosine이 최종 정확도에서 가장 좋고 inverse sigmoid도 비슷한 추세를 보인다. 핵심은 특정 함수식의 이름보다, 초기에는 GNT로 교정 행동을 충분히 연습하고 그 비율을 연속적으로 줄여 직접 질문에서 재현할 시간을 주는 데 있다. 반사 안내를 너무 일찍 제거하면 정책이 행동을 파라미터에 내재화하기 전에 scaffold가 사라지고, 계속 유지하면 추론 시 존재하지 않는 GNT에 의존하는 노출 편향이 생긴다.
세부 스케줄은 이 절충을 다르게 구현한다. linear는 처음부터 일정하게 반사 확률을 낮추고, plateau 계열은 warm-up 동안 높은 비율을 유지한 뒤 선형 감쇠한다. cutoff 계열은 정한 단계에서 GNT를 완전히 제거하며, inverse sigmoid는 중간 지점을 중심으로 완만하게 비율을 바꾼다. cosine은 warm-up 뒤 변화율을 부드럽게 조절해 시작과 끝에서 갑작스러운 배분 변화를 줄인다. 최종 성능에서 cosine이 우세하고 inverse sigmoid가 유사했다는 결과는 ‘정확히 코사인이어야 한다’보다 정책의 습득 속도에 맞춘 연속적 비계 회수가 중요하다는 결론을 지지한다.
OPD의 전이는 같은 원리를 배치 축에서 구현한다. 학생 rollout은 처음부터 끝까지 직접 인터페이스에 머물고, 배치 중 일부 샘플의 교사만 GNT를 본다. 시간이 지날수록 반사 교사가 담당하는 샘플 수를 줄이면 학생은 오류를 미리 파악한 교사의 분포에서 배운 뒤, 점차 일반 교사의 직접 분포로 이어진다. 이 구조에서 높은 OOD 평균이 유지된 것은 반사 효과가 외부 궤적을 시험 입력에 붙인 일시적 context effect를 넘어 학생 파라미터의 직접 경로로 전달됐다는 증거다.
6.5 Case Study: 0점 실패를 수리 가능한 학습 신호로 바꾸기
부록의 사례는 비교적 단순한 산술 문제에서도 직접 탐색이 어떻게 막히는지 보여 준다. Direct Reasoning 궤적은 계산 단계를 일관되게 조직하지 못하고, 지정된 think 구조를 여러 개의 분리되고 중첩된 블록으로 조각낸다. 형식 위반과 논리 단절이 겹치며 최종 답을 얻지 못한다. 표준 RLVR에서 이 rollout은 보상 0을 받을 뿐이고, 같은 그룹까지 모두 실패하면 상대 이점도 퇴화해 어느 형식과 계산을 고쳐야 하는지 알려 주지 못한다. 희소 보상 환경에서 이런 실패가 반복되면 정책은 낮은 품질의 모드에 조기 수렴하기 쉽다.
같은 정책에 GNT를 문맥 anchor로 주면 행동이 달라진다. 반사 궤적은 이전 시도에 오류가 있었음을 명시적으로 인정하고 다시 계산하겠다고 선언한 뒤, 하나의 일관된 think 구조 안에서 산술 연산을 단계별로 재평가해 정답에 도달한다. 중요한 점은 GNT의 틀린 결론을 복사하지 않고, 그 과정에서 보존할 단계와 다시 계산할 단계를 나눈다는 것이다. 결과 검증기는 이 새 continuation에 양의 보상을 주며, 막다른 0점 탐색은 형식 준수·오류 인식·재계산이 결합된 성공 신호로 전환된다.
사례와 집계 실험은 같은 기제를 서로 다른 해상도에서 보여 준다. 사례에서는 반사 문맥이 조각난 직접 풀이를 일관된 수리 절차로 바꾸고, 구성요소 ablation에서는 유효 접두부와 오류 영역이 모두 필요함을 확인한다. 학습 곡선에서는 GNT가 GT보다 policy drift와 붕괴를 줄이며, 최종 평가에서는 GNT가 사라진 직접 인터페이스에서도 정확도와 ARC-c 전이가 남는다. 이 연결이 ReflectRL의 핵심 근거다. 강한 실패를 정답처럼 직접 주입하지 않고, 현재 정책이 진단하고 복구할 수 있는 구조화된 과제로 바꾸면 안정적인 온폴리시 업데이트를 계속 만들 수 있다.
7. 한계점 및 향후 연구 방향: 실패 궤적의 품질과 일반화 경계
7.1 논문이 직접 인정하거나 기제 분석에서 시사한 한계
ReflectRL의 출발점은 모든 오답이 학습에 유익하다는 명제가 아니다. 논문의 소스 비교에서 Golden Negative Trajectory, 즉 강한 전문가가 만든 실패 궤적은 크고 점차 증가하는 Reflection Gain을 보였지만, 목표 모델 자신의 실패는 이득이 제한적이었다. 약한 모델의 실패와 길이를 맞춘 다른 문제의 GNT는 오히려 음의 gain을 냈다. 추가 문맥이 길수록 좋거나 오류를 보여 주기만 하면 교정 능력이 생긴다는 해석은 이 결과와 맞지 않는다. 질문에 정렬된 추론 구조, 오류 전까지의 유효한 접두부, 고칠 지점이 되는 국소 오류가 함께 있어야 한다는 조건이 붙는다. 따라서 실패 데이터를 늘리는 일보다 어떤 실패가 현재 정책에 해석 가능한 발판인지 판별하는 일이 선행되어야 한다.
구성요소 개입도 이 경계를 더 분명히 한다. GNT의 유효 접두부는 풀이의 방향과 중간 상태를 제공하고, 오류 영역은 정책이 진단하고 복구할 구체적 표적을 제공한다. 두 요소를 함께 둘 때 이득이 가장 컸다. 궤적 순서를 섞거나 최종 답만 남기면 직접 추론 기준선보다 성능이 낮아졌다. 즉 정답이 틀렸다는 최종 라벨만으로는 GNT의 품질을 설명할 수 없다. OpenR1-GNT-69k의 실제 구축 규칙은 DeepSeek-R1 후보 중 Math-Verify가 오답으로 판정한 궤적을 보존하는 방식이다. 과정 보상 모델 분석은 이 집합이 평균적으로 더 긴 유효 접두부와 높은 과정 점수를 지닌다는 근거를 주지만, 개별 궤적을 채택할 때 접두부 품질과 오류 국소성을 보증하는 별도 선별 규칙까지 제시하지는 않는다.
반사 입력에 계속 의존할 위험도 설계 자체가 인정하는 문제다. 학습 내내 GNT를 보며 푼 정책은 추론 시 외부 실패 궤적이 사라질 때 노출 편향을 겪을 수 있다. Reflective-to-Direct Policy Transition이 반사 rollout 비율을 점진적으로 줄이는 이유가 여기에 있다. 전이 커널 비교에서는 코사인과 역 시그모이드처럼 완만한 이동이 강하고 안정적이었고, 급격하거나 지나치게 빠른 이동은 정책이 교정 행동을 내재화하기 전에 안내를 제거해 성능을 약화했다. 이 결과는 전이가 단순한 구현 세부값이 아니며, 문제 난도와 학습 속도가 달라질 때 고정 스케줄이 최선이라는 보장이 없음을 시사한다.
올바른 전문가 궤적도 자동으로 더 안전한 안내가 되지 않았다. 정답 궤적을 넣은 조건은 초기에 좋아졌지만 학습 단계 70에서 130 사이 정책의 KL 이동이 커지며 결국 붕괴했고, GNT 안내는 더 안정적이었다. ReflectRL의 유용성은 강한 해답을 그대로 모사하는 데서 나오기보다, 정책이 부분적으로 좋은 실패를 진단하고 수리하도록 만드는 난도 조절에서 나온다는 해석과 부합한다. 동시에 이 현상은 전문가 정답, 전문가 오답, 직접 탐색 사이의 적절한 배합이 모델과 시점에 따라 달라질 수 있다는 경고다. 논문은 코사인 감쇠를 기본값으로 검증했지만 그 배합을 온라인 상태에 맞춰 판정하는 규칙까지 학습하지는 않는다.
Reflection Advantage의 지위도 제한해서 이해해야 한다. 논문은 이를 반사 조건의 기대 이진 보상에서 직접 조건의 기대 이진 보상을 뺀 값이 0보다 큰 경험적 행동으로 정의한다. 특정 정책, 질문, GNT에 조건화된 차이이므로 모든 전문가 실패에 적용되는 이론적 보장이나 단조 증가 법칙은 아니다. 학습이 진행되며 GNT 조건의 gain이 커진 관찰은 정책이 반사를 활용하게 된다는 설명을 지지하지만, gain의 증가가 그 자체로 직접 추론 능력의 이전을 뜻하지는 않는다. 이전 여부는 GNT가 없는 직접 평가에서 따로 확인해야 하며, 이 때문에 반사 비율을 줄인 뒤에도 성능이 유지되는지가 핵심 검증 항목이 된다. 기대값을 유한한 rollout으로 추정하면 질문별 gain에는 표본 변동도 생긴다. 작은 양의 차이를 실제 라우팅 신호로 쓸 임계값과 필요한 표본 예산은 논문에서 정하지 않았으므로, 평균 곡선과 개별 GNT의 채택 기준 사이에는 추가 검증이 필요하다.
7.2 논문 밖으로 일반화할 때 남는 실험 범위의 한계
가장 큰 범위 제약은 데이터 생성 축이다. 6만 9천 개 GNT는 OpenR1-Math-220k의 일부이며, 질문은 NuminaMath 1.5에서 오고 후보 궤적은 DeepSeek-R1 하나가 생성한다. 학습 분포는 수학에 집중되어 있다. 평가에는 수학 여섯 종 외에 ARC-c, GPQA-Diamond, MMLU-Pro가 들어가고, 특히 학습 데이터와 겹치지 않는 ARC-c의 증가는 논리 일관성 점검과 오답 선택지 배제 능력이 옮겨 갔다는 근거가 된다. 그러나 이는 여러 실패 원천에서 같은 기제가 재현됐다는 검증과는 다르다. 코드 실행, 도구 사용, 장기 에이전트 작업, 다중 턴 상호작용처럼 오류가 환경 상태를 바꾸는 영역에서는 유효 접두부와 국소 오류라는 구조가 같은 형태로 유지되는지 시험되지 않았다.
모델 범위도 제한적이다. 실험은 Qwen2.5와 Llama-3.1 계열의 1.5B에서 8B까지 네 백본을 다루며, OPD 설정은 Qwen2.5-3B-Instruct 학생과 Qwen2.5-7B-Instruct 교사 한 쌍이다. RLVR에서는 GRPO, DAPO, EchoRL 결합을, 증류에서는 OPD를 검증했으므로 알고리즘 호환성의 폭은 확인된다. 반면 훨씬 큰 정책, 전문가와 목표 모델의 격차가 거의 없는 조건, 전문가가 서로 다른 오류 습관을 가진 조건은 결과 범위에 포함되지 않는다. Reflection Advantage의 행동·과정·개입 분석도 주로 Qwen2.5-Math-7B에서 제시된다. 네 백본의 최종 점수 향상과 특정 백본에서 확인한 기제 증거를 동일한 수준의 인과 검증으로 읽어서는 안 된다.
백본별 상세 결과는 효과의 크기가 초기 정책 상태에 민감할 가능성도 보여 준다. Qwen2.5-1.5B-Instruct에서 GRPO 대비 ReflectRL의 분포 내 평균은 20.47에서 21.78로 소폭 올랐지만 분포 밖 평균은 6.66에서 14.76으로 더 크게 변했다. 3B 모델에서는 각각 27.15에서 28.84, 14.43에서 20.86이었다. Llama-3.1-8B-Instruct는 기본 모델의 분포 내 평균 7.05가 GRPO 후 3.89로 낮아졌는데, ReflectRL 결합은 13.60에 도달했다. 이 경우에는 이미 안정적인 RL을 더하는 효과와 기준 GRPO의 악화를 복구하는 효과가 함께 섞여 있다. 분포 밖 평균은 8.02에서 8.95로 증가 폭이 작았고 GPQA-Diamond는 모두 0이었다. 따라서 모델군마다 동일한 지식 전이가 일어났다고 단정하기보다, 직접 탐색의 취약성·반사 활용 능력·평가 바닥 효과를 나눠 분석해야 한다.
‘일관된 향상’은 평균과 방법 단위의 경향으로 해석해야 한다. Qwen2.5-Math-7B에서 GRPO에 ReflectRL을 더하면 분포 내 평균은 37.0에서 42.4, 분포 밖 평균은 20.9에서 40.0으로 올랐고, DAPO에서는 각각 38.4에서 43.5와 25.3에서 37.0으로 상승했다. OPD도 분포 내 평균 26.7에서 29.0, 분포 밖 평균 21.6에서 39.1로 높아졌다. 하지만 모든 세부 항목이 증가한 것은 아니다. DAPO의 GPQA-Diamond는 16.2에서 14.7로, OPD의 MMLU-Pro는 41.6에서 38.1로 내려갔다. 소형 Qwen의 일부 AIME 항목도 감소하거나 정체했다. 작은 AIME와 AMC에는 avg@32를, 나머지에는 pass@1을 썼고, 본문에 반복 시드에 따른 분산이나 신뢰구간은 보고되지 않았다. 평균 개선을 모든 난도와 도메인에 대한 보장으로 확장하기 어려운 이유다.
검증 신호의 경계도 남는다. 학습 GNT는 Math-Verify로 최종 오답을 판정하고, RLVR의 새 rollout도 같은 종류의 검증 가능한 결과 보상을 받는다. 이 설정은 정답 판정이 명확한 수학에서 잘 맞지만, 부분적으로 옳은 설명이나 여러 해법이 가능한 과제, 검증기가 잘못 판정하는 사례에서는 ‘실패’의 지위 자체가 흔들릴 수 있다. 과정 보상 모델은 유효 접두부와 오류 위치를 설명하는 분석 도구로 쓰였을 뿐, 모든 학습 샘플에 대해 참된 오류 경계를 확정하는 장치는 아니다. 검증기 불일치와 라벨 노이즈가 GNT 선택 및 Reflection Gain에 미치는 민감도는 별도로 측정되지 않았다.
효율성 주장 역시 측정 조건을 붙여 읽어야 한다. 논문은 GNT를 오프라인에서 미리 생성해 온라인 전문가 질의를 없애고, rollout 수와 검증기 예산 및 정책 업데이트율을 기준선과 같게 유지한다. 추가 비용은 반사 문맥 토큰의 prefill과 일시적 KV cache이며, 전이가 진행되면 0으로 줄어든다. Qwen2.5-Math-7B 실험에서는 더 짧은 continuation 덕분에 단계당 시간이 약 20초에서 13초 수준으로 내려갔고, 500단계에서 응답 길이도 GRPO의 800토큰 초과에 비해 약 420토큰에 머물렀다. 다만 전체 실험은 16대 H200에서 수행됐고 프롬프트와 응답 길이는 각각 2048토큰으로 제한됐다. DeepSeek-R1의 GNT를 생산·검증·저장한 오프라인 원가는 단계당 시간에 들어가지 않으므로, 더 긴 문맥이나 다른 하드웨어에서의 총비용은 별도 회계가 필요하다.
학습 동역학의 설명과 인과 결론도 구분할 필요가 있다. GRPO의 엔트로피가 0.97에서 250단계 이전 0.03 아래로 감소한 반면 ReflectRL은 같은 시점 약 0.15를 유지했고, 이 차이는 지속적인 성능 증가와 함께 나타났다. 그러나 높은 엔트로피가 향상을 만들었는지, 더 좋은 반사 rollout이 성능과 엔트로피를 함께 보존했는지는 해당 비교만으로 분리되지 않는다. 응답 길이 약 420토큰과 높은 정확도의 결합도 더 선택적인 풀이를 시사하지만, 짧음 자체가 추론 품질의 직접 척도는 아니다. 엔트로피 계수, 전이 스케줄, 반사 문맥을 각각 조작하는 요인 실험이 있어야 탐색 유지와 간결성의 원인을 독립적으로 추정할 수 있다.
7.3 실패 품질과 전이 시점을 함께 다루는 향후 연구
우선 GNT를 단일한 오답 범주로 묶지 말고 오류 유형과 과정 구조로 층화할 필요가 있다. 계산 실수, 잘못된 정리 선택, 조건 누락, 목표 오해처럼 오류를 나누고, 유효 접두부 길이와 오류의 국소성, 과정 점수, 최종 검증 결과를 함께 기록하면 어느 조합에서 양의 Reflection Gain이 생기는지 측정할 수 있다. 같은 질문에 대해 강한 전문가 여러 명, 약한 모델, 목표 모델의 실패를 길이와 난도까지 맞춰 비교하면 ‘전문가 출처’ 효과와 ‘수리 가능한 구조’ 효과도 분리할 수 있다. 이때 셔플과 답만 제공하는 개입처럼 구성요소를 제거하는 실험을 오류 유형별로 반복해야 품질 기준이 상관관계를 넘어설 수 있다.
다음으로 고정 코사인 감쇠를 상태 의존 전이로 확장할 수 있다. 학습 단계만 보고 반사 비율을 줄이는 대신 최근 직접 rollout의 성공률, 반사와 직접 모드의 보상 차이, 정책 엔트로피, KL 이동, 문제별 난도를 관측해 안내를 유지하거나 회수하는 방식이다. 직접 성공률이 충분히 올라가고 두 모드의 격차가 줄어들 때만 GNT를 제거하면 조기 전환을 피할 수 있고, 정책 이동이 급격할 때 반사 비율을 다시 높이는 안전장치도 만들 수 있다. 평가는 최종 정확도와 함께 직접 추론만 남긴 뒤의 유지율, 전이 후 재의존 여부, 토큰 및 prefill을 포함한 총연산량을 보고해야 한다.
일반화 검증은 데이터와 검증기를 동시에 바꾸는 방향이 적절하다. 여러 전문가가 만든 수학 GNT로 출처 편향을 확인하고, 실행 결과가 있는 코드, 정답 문자열이 없는 과학 설명, 도구 호출의 상태 전이가 있는 에이전트 과제로 범위를 넓힐 수 있다. 단일 판정 대신 독립 검증기들의 합의와 불일치를 기록하고, 사람이 표본 오류 경계를 주석해 자동 판정과 대조하면 잘못 분류된 GNT의 영향을 추정할 수 있다. 마지막으로 모델 크기와 교사·학생 격차를 교차한 반복 실험, 시드별 분산과 신뢰구간, 오프라인 GNT 생산비를 포함한 비용 보고가 더해져야 ReflectRL의 적용 경계를 재현 가능한 형태로 정할 수 있다.
평가 단위도 데이터셋 평균에서 질문별 반사 가치로 내려갈 필요가 있다. 같은 정책 체크포인트에서 질문마다 직접 rollout과 해당 GNT를 본 반사 rollout을 동일한 횟수로 짝지어 표본화하면 gain의 분포, 음수인 질문의 비율, 난도 구간별 변화를 얻을 수 있다. 여기에 GNT를 제거한 직후와 여러 업데이트 뒤의 직접 성공률을 측정하면 일시적인 문맥 효과와 파라미터에 남은 이전 효과를 분리할 수 있다. 최종 평균만 높이는 방법보다 음의 gain 표본을 줄이면서 직접 성능을 유지하는 방법이 실제 라우팅과 데이터 선별에 더 유용한 기준이 된다.
8. 내 해석: Reflection Advantage를 검증 가능한 학습 신호로 만들기
30대 AI 개발자이자 연구자인 내가 보기에 핵심 약점은 Reflection Advantage가 언제 성립하는지를 실행 전에 직접 판별할 기준이 부족하다는 점이다. 논문은 전문가 GNT가 자기 실패나 약한 모델의 실패보다 유리하고, 유효 접두부와 국소 오류가 함께 중요하다는 사후 증거를 제시한다. 그러나 expert 출처, 목표 모델의 현재 역량, 문제 난도가 달라질 때 개별 궤적의 Reflection Gain이 양수가 될지 바로 결정하지 못한다. 평균적으로 좋은 데이터셋이라는 사실만으로는 음의 gain을 내는 표본까지 같은 반사 예산을 배정하는 문제를 막기 어렵다.
내가 제안하는 후속 실험은 trajectory 오류 유형·정책 confidence·복수 verifier disagreement를 입력으로 쓰는 adaptive reflective/direct routing 하나다. 동일 문제와 동일 샘플링 예산에서 반사 경로와 직접 경로를 쌍으로 생성하는 counterfactual 실험을 수행하고, 실제 보상 차이를 라우터의 표적으로 삼는다. 계산 실수처럼 국소 수리가 가능한 오류, 낮은 직접 confidence, 검증기 의견이 안정적으로 모이는 경우에만 반사를 선택하고 나머지는 직접 탐색에 남긴다. 고정 코사인 스케줄과 정확도·토큰·잘못된 라우팅률을 함께 비교하면 Reflection Advantage를 관찰된 평균에서 검증 가능한 문제별 학습 신호로 바꿀 수 있다.
9. 결론: 실패 데이터의 지위를 바꾼 온폴리시 학습
9.1 버리는 오답에서 수리 가능한 문맥으로
기존 궤적 유도형 온폴리시 학습에서 전문가의 가치는 주로 정답을 만들 때 발생했다. RLVR에서는 올바른 전문가 궤적이 양의 보상으로 탐색을 이끌고, OPD에서는 교사가 학생 상태 위에서 더 나은 토큰 분포를 제공한다. 어려운 문제에서 전문가마저 틀리면 이 공급망이 끊겼다. 최종 보상 0인 전문가 실패는 그룹 상대 이점에서 목표 모델의 조악한 실패와 구별되지 않았고, 모방 대상으로 쓰기에도 모순이 있었다. ReflectRL은 이 오답을 정답 시범으로 위장하지 않고, 오류를 찾아 고쳐야 하는 조건부 문맥으로 재배치했다.
이 전환을 가능하게 한 관찰이 Reflection Advantage다. 질문만 보고 처음부터 푸는 성공 확률보다 구조화된 전문가 실패를 보고 진단·수리한 뒤 정답에 도달할 확률이 높다면, 둘의 기대 보상 차이는 양수가 된다. 강한 전문가의 GNT에는 오류 전까지 이어지는 유효 접두부와 특정한 오류 영역이 공존했고, 정책은 전자에서 풀이 발판을 얻고 후자에서 교정 과제를 얻었다. 자기 실패, 약한 모델의 실패, 다른 문제에서 가져온 궤적, 순서를 섞은 궤적, 최종 답만 남긴 입력이 같은 효과를 내지 못한 결과는 학습 신호가 ‘실패’라는 라벨보다 내부 구조에 있음을 보여 준다.
9.2 기존 목적함수를 보존한 연결 방식
ReflectRL의 구현상 특징은 새 보상이나 보조 손실을 만들지 않고 rollout의 조건을 바꾼 데 있다. RLVR에서는 한 질문에 대한 여덟 rollout 가운데 일부가 GNT를 본 반사 인터페이스를, 나머지가 원문 질문만 보는 직접 인터페이스를 사용한다. 두 종류를 같은 그룹에 넣고 Math-Verify의 이진 보상으로 공동 상대 이점을 계산한다. 비퇴화 그룹에서는 정답 rollout이 양의 이점, 오답 rollout이 음의 이점을 유지하므로 직접 모드가 인터페이스만으로 체계적인 벌을 받지 않는다. OPD에서는 학생이 끝까지 직접 입력에서 rollout하고 GNT는 교사에게만 특권 문맥으로 제공된다. 학생은 반사한 교사의 분포를 reverse KL로 따라가면서도 GNT 자체를 관측하지 않는다.
학습과 추론의 인터페이스 차이는 Reflective-to-Direct Policy Transition이 닫는다. 초기에는 반사 rollout을 충분히 배정해 수리 행동을 끌어내고, 이후 코사인 감쇠로 그 비율을 낮춰 RLVR의 말기 그룹을 완전한 직접 추론으로 돌린다. 완만한 커널이 급격한 전환보다 안정적이었던 결과는 교정 행동을 파라미터에 옮길 시간이 필요하다는 설명을 지지한다. GNT는 영구 보조 입력이 아니라 학습 초기에 놓는 비계가 되고, 최종 정책은 원래 질문 인터페이스로 돌아간다.
9.3 성능·탐색·비용을 함께 바꾼 결과
수학 중심의 OpenR1-GNT-69k로 학습한 결과는 GRPO, DAPO, OPD와 두 모델 계열의 여러 크기에서 평균 정확도를 높였다. Qwen2.5-Math-7B의 GRPO 결합에서는 분포 내 평균이 5.4점, 분포 밖 평균이 19.1점 상승했고, DAPO에서는 각각 5.1점과 11.7점 올랐다. OPD 학생도 각각 2.3점과 17.5점 개선됐다. ARC-c의 큰 증가는 수학 데이터와 겹치지 않는 평가에서 반사·수리·해결 행동이 전이된 사례다. 다만 일부 GPQA-Diamond, MMLU-Pro, AIME 세부 점수의 하락은 평균 향상과 보편적 우위를 구분해야 함을 남긴다.
정확도 외의 동역학도 방법의 성격을 드러낸다. 기준 GRPO의 엔트로피는 250단계에 0.03 아래로 떨어졌지만 ReflectRL은 같은 시점 약 0.15를 유지해 탐색이 조기에 좁아지는 현상을 늦췄다. 500단계의 응답은 약 420토큰으로, 800토큰을 넘긴 GRPO보다 짧으면서 정확도는 높았다. 오프라인 GNT의 prefill은 추가되지만 비싼 자기회귀 decoding이 줄어 단계당 시간이 약 20초에서 13초로 낮아졌다. 이 수치는 특정 하드웨어와 모델 조건의 결과이지만, 실패 궤적을 읽는 비용이 무작정 더 긴 탐색을 줄이는 데 쓰일 수 있음을 보여 준다.
결국 ReflectRL이 바꾼 것은 오답의 보상값이 아니다. 최종 오답은 여전히 보상 0이고, 새 rollout의 정답 여부도 기존 검증기가 판정한다. 바뀐 것은 그 오답이 다음 rollout을 생성하는 구조화된 조건이 된다는 점이다. 전문가 실패의 좋은 접두부와 잘못된 국소 결정을 분리해 읽고, 반사에서 얻은 행동을 직접 정책으로 서서히 이전함으로써 희소 보상 구간에 성공 표본을 다시 만든다. 이 결론의 적용 범위는 수리 가능한 고품질 실패, 신뢰할 수 있는 검증기, 적절한 전이 속도라는 세 조건과 함께 이해해야 한다.
이 관점에서 ReflectRL은 실패를 직접 강화하지 않는다. 반사 인터페이스가 실패를 새로운 성공 rollout을 샘플링할 수 있는 상태로 바꾸고, 기존 RLVR이나 OPD가 그 성공에서 학습하도록 연결한다. 그래서 핵심 질문은 ‘오답에도 보상을 줄 것인가’가 아니라 ‘어떤 오답을 보면 현재 정책이 정답을 더 자주 만들 수 있는가’가 된다. 이 질문의 변화가 실패 데이터의 지위를 바꾼다. 폐기 대상이던 전문가 오답은 품질과 정렬 조건을 충족할 때 탐색 공간을 좁히는 계산 자원이 되며, 전이가 끝난 뒤에는 그 자원 없이도 작동해야 학습 신호로서의 역할이 완성된다.
10. 요약 정리: ReflectRL의 핵심을 열 가지 안에 압축하기
- 문제 설정: 기존 궤적 유도형 RLVR과 OPD는 강한 전문가가 정답 궤적을 만들 때 유용하지만, 어려운 문제에서 전문가도 실패하면 구조화된 추론 전체를 보상 0의 음성 샘플로 버리는 문제가 있다.
- GNT의 정의: Golden Negative Trajectory는 강한 전문가가 생성했으나 최종 검증에서 틀린 궤적이다. OpenR1-GNT-69k는 NuminaMath 1.5 질문에 대한 DeepSeek-R1 후보를 Math-Verify로 걸러 6만 9천 개를 구성했다.
- Reflection Advantage: 동일한 문제에서 GNT를 보고 오류를 진단·수리해 얻는 기대 정답률이 질문만 보고 처음부터 푸는 기대 정답률보다 높을 때 Reflection Gain이 양수가 되며, 논문은 이를 핵심 행동 현상으로 정의한다.
- 유효 신호의 위치: GNT의 장점은 긴 추가 문맥에 있지 않다. 높은 품질의 유효 접두부가 풀이 발판을 제공하고 국소 오류가 교정 표적을 제공한다. 셔플된 궤적이나 최종 답만 있는 입력은 직접 추론보다도 나빴다.
- RLVR 결합: 한 그룹 안에 반사 rollout과 직접 rollout을 섞고 같은 이진 검증 보상으로 공동 상대 이점을 계산한다. 새 보조 손실이나 별도 보상 모델 없이 GRPO·DAPO 계열의 원래 정책 업데이트를 유지한다.
- OPD 결합: 학생은 원문 질문만 보고 자신의 rollout을 만들며, GNT는 교사에게만 특권 문맥으로 주어진다. 학생은 오류를 반사한 교사의 토큰 분포를 reverse KL로 증류해 추론 시 외부 GNT에 의존하지 않는다.
- Reflective-to-Direct 전이: 초기 반사 비율을 점진적으로 낮춰 학습 말기에 직접 추론으로 돌아간다. 코사인·역 시그모이드 같은 완만한 전이가 급격한 제거보다 안정적이어서 수리 행동을 정책 파라미터에 옮길 시간이 중요했다.
- 관측된 효과: 9개 벤치마크, 4개 백본, 4개 온폴리시 방법 범위에서 평균 정확도가 개선됐고, Qwen2.5-Math-7B에서는 더 짧은 응답, 더 높은 정책 엔트로피, 더 낮은 단계당 학습 시간이 함께 관측됐다.
- 적용 경계: 자기 실패의 이득은 제한적이었고 약한 모델 실패나 다른 문제의 GNT는 음의 gain을 냈다. 수학 중심 단일 전문가 데이터, 일부 세부 점수 하락, 검증기 의존성 때문에 실패 품질과 일반화를 자동 보장할 수 없다.
- 핵심 결론: ReflectRL은 실패의 보상값을 바꾸지 않고 실패 데이터의 역할을 바꾼다. 전문가 오답을 모방 대상에서 수리 가능한 문맥으로 전환하고, 그 교정 행동을 직접 정책에 이전해 희소 보상 구간의 학습 기회를 되살린다.