[arXiv 2607.26057] Relay-OPD: 실패 접두부에서 교사가 바통을 넘겨받는 온정책 증류

Pass the Baton: Trajectory-Relayed On-Policy Distillation

https://arxiv.org/abs/2607.26057

Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen | Zhejiang University; Yuvion Team, Alibaba Group | arXiv:2607.26057v1 | 2026년 7월 28일

---

1. 서론: 잘못된 접두부가 증류 신호를 망치는 순간

1.1 학생 분포를 따라간다는 약속과 그 대가

강한 언어 모델의 추론 능력을 작은 모델로 옮길 때 온정책 증류(On-Policy Distillation, OPD)가 주는 핵심 이점은 학생이 실제로 방문하는 상태에서 교사의 토큰별 지도를 받는다는 점이다. 지도 미세조정이나 오프라인 지식 증류가 미리 생성된 교사 응답을 학습하는 것과 달리, OPD에서는 학생이 자신의 정책으로 궤적을 만들고 교사가 그 접두부를 평가한다. 따라서 훈련 중 문맥과 추론 시 학생이 마주치는 문맥 사이의 분포 차이를 줄이는 방향으로 감독이 놓인다. 논문은 이 분포 일치가 강한 모델에서 약한 모델로 능력을 이전할 때 OPD가 보여 온 효율의 근거라고 정리한다.

그러나 학생 분포를 충실히 따른다는 장점은 학생의 실패까지 그대로 훈련 분포에 들여온다. 특히 긴 사고 사슬에서 학생이 초반에 잘못된 풀이 방향을 택하면 이후 토큰은 모두 그 결정을 전제로 생성되며, 논문은 이를 접두부 실패(prefix failure)라고 부른다. 이미 잘못된 문맥 위에서 교사가 매 토큰을 채점하더라도 그 감독은 정상적인 풀이 상태에서의 지도와 같지 않고, 뒤로 갈수록 신뢰하기 어려워진다. 결국 긴 오답 연속 구간은 유해할 수 있는 학습 신호와 불필요한 생성 비용을 동시에 만든다.

이 문제의 초점은 학생이 틀렸다는 결과 판정만이 아니라 어느 순간부터 감독을 받는 접두부 자체가 어긋났는가에 있다. 최종 답이 틀린 뒤 전체 궤적을 버리면 앞부분의 유용한 상태도 잃고, 고정 길이에서 자르면 실제 실패 위치와 무관하게 정보를 제거한다. 반대로 아무 개입 없이 끝까지 생성하면 처음의 작은 방향 오류가 긴 합리화로 증폭된다. Relay-OPD는 이 세 선택지 대신 생성 도중 실패 징후를 포착해 짧게 수정하고 학생에게 다시 생성을 맡기는 방식을 택한다.

Figure 1: 실패한 학생 접두부에서 교사가 짧게 이어 쓰는 Relay-OPD의 동작 사례와 성능 요약.

그림 1은 논문이 제시한 사과·망고·파파야 사례, 표준 OPD와 Relay-OPD의 궤적 차이, 전체 성능을 한 화면에 묶는다. 왼쪽에서 교사는 잘못된 결론 다음에 ‘But’을 74.4%로 선택하지만 학생은 ‘So’를 50.6%로 선호하며, 짧은 교사 구간 뒤 학생이 정답 15로 복귀한다. 가운데는 실패 접두부를 끝까지 끌고 가는 OPD와 실패 순간에만 배턴을 넘기는 Relay-OPD를 대비하고, 오른쪽은 두 학생 규모에서의 평균 향상을 요약한다. 오른쪽 막대는 1.7B 학생에서 Relay-OPD 평균 정확도 46.96이 비교군 중 가장 높았다는 결과까지 함께 제시한다.

1.2 같은 실패 접두부에서 갈라지는 다음 토큰

저자들이 포착한 신호는 단순히 교사와 학생의 전체 확률분포가 다르다는 사실보다 구체적이다. 실패한 접두부에서 교사는 멈추고 재검토하거나 방향을 바꾸는 반면, 학생은 현재 방향을 계속 밀고 나가는 경향이 나타난다. 이 교사–학생 연속 생성의 비대칭은 정답 레이블, 외부 검증기, 과정 보상 모델 없이도 다음 토큰 분포에서 관찰할 수 있다. 논문은 교사가 성찰 토큰을 원하지만 학생 후보에는 그런 토큰이 없는 위치를 핸드오프 트리거로 정의한다.

부록의 구체적 사례에서 학생은 개당 3 RM인 사과 15개를 사면 5 RM이 남는데도, 최소 한 개씩 사야 하는 4 RM짜리 망고와 5 RM짜리 파파야를 모두 살 수 있다고 잘못 판단한다. 학생 단독 궤적은 이 모순을 “So”로 이어 받아 과일 수가 17개라는 오답을 합리화한다. 같은 접두부를 본 교사는 “But”과 “Wait”에 높은 확률을 주어 남은 5 RM으로 최소 9 RM이 필요한 두 과일을 살 수 없음을 지적한다. 교사가 세 문단을 이어 쓴 뒤 학생은 12개 사과, 1개 망고, 2개 파파야의 합계 15개라는 올바른 조합을 찾는다.

다음 표는 이 핸드오프 위치에서 논문 부록 표 8이 보고한 상위 다섯 후보를 옮긴 것이다. 교사 쪽에는 방향 전환을 나타내는 “But”과 “Wait”가 합계 82% 이상을 차지하지만, 학생 상위권은 “So”, “Now”, 하이픈처럼 기존 계산을 연장하는 토큰으로 구성된다. 따라서 트리거는 교사의 불확실성 자체가 아니라 교사는 반성하려 하고 학생은 반성 후보를 지지하지 않는 구성 차이를 읽는다.

순위	교사 다음 토큰 분포	학생 다음 토큰 분포	구성 해석
1	But 74.4084%	So 50.6288%	방향 전환 대 기존 결론 연장
2	So 10.0701%	Now 21.1052%	교사의 차선 연장 후보 대 학생의 진행 후보
3	Wait 7.8426%	- 16.4368%	재검토 신호 대 목록·계산 연장
4	We 4.1978%	Total 5.3362%	새 설명 시작 대 합계 산출
5	- 1.2027%	Then 2.8563%	학생은 계속 전개하는 후보를 유지

이 분포에서 교사의 최빈 토큰 “But”은 학생 상위 5개에 없고, 학생의 최빈 토큰 “So”는 교사에게 10.0701%인 두 번째 후보일 뿐이다. 즉 두 모델이 모든 토큰에 완전히 반대하는 것이 아니라, 지금 멈춰 방향을 바꿀지에 관한 우선순위가 갈린다. Relay-OPD는 이 국소적 비대칭을 사용하므로 정답 15를 미리 알거나 “17은 오답”이라는 보상을 받을 필요가 없다. 교사 구간의 역할도 답을 대신 완성하기보다 오류가 고착되기 전에 문맥을 수선하는 데 한정된다.

1.3 얼마나 짧고 얼마나 일찍 개입해야 하는가

저자들은 핸드오프를 발견하는 것과 별개로, 교사가 얼마나 오래 이어 달려야 하는지를 128개의 DAPO-Math-17K 영어 표본에서 조사했다. 교사는 Qwen3-4B-Instruct-2507, 학생은 Qwen3-1.7B-Non-Thinking이며 각 설정의 정확도는 mean@4로 계산했다. 트리거마다 성찰 토큰 하나만 교사 토큰으로 바꾸는 $L=0$ 설정에서도 전체 생성 토큰 중 교사 비율은 단지 0.35%였다. 그런데 정확도는 학생 단독의 27.73에서 34.96으로 7.23%포인트 상승해, 접두부 수정이 매우 국소적이어도 효과가 있음을 보였다.

Figure 2: 교사 개입 길이와 위치가 정확도·교사 토큰 비율에 미치는 예비 실험.

그림 2는 128개 수학 표본에서 교사 구간 길이 $L$과 개입 지연 $r$을 바꾼 예비 실험을 나타낸다. 왼쪽은 성찰 토큰 하나만 바꿔도 정확도가 27.73에서 34.96으로 오르고, $L=3$ 이후에는 교사 토큰 비율 증가에 비해 정확도 이득이 포화함을 보여 준다. 논문 본문의 오른쪽 분석은 응답 위치가 뒤로 갈수록 교사–학생 토큰 이점 차이가 좁아져, 늦은 인계가 이미 굳어진 문맥을 되돌리기 어렵다는 근거를 제공한다. 교사 토큰 비율 증가와 정확도 포화를 한 쌍으로 제시해 제한된 릴레이 예산의 실험적 근거를 만든다.

개입 길이를 늘리면 처음에는 더 좋아지지만 이득은 계속 선형으로 커지지 않는다. 논문은 $L=3$에서 $L=6$으로 늘릴 때 교사 토큰 비율이 17.52%에서 28.52%로 증가하는 동안 정확도가 대략 41~44 구간에서 포화한다고 보고한다. $L=6$의 개입 정확도도 43.55로, 교사가 독립적으로 전체 궤적을 생성했을 때의 60.55보다 낮다. 이는 실패한 학생 문맥을 이어 받은 교사가 언제나 자신의 정상 궤적과 같은 이상적 감독을 제공하는 것은 아니며, 더 긴 교사 점유가 자동으로 더 좋은 릴레이가 아님을 뜻한다.

시점에 관한 결과는 더 분명하다. 같은 길이의 교사 개입을 가장 이른 유효 트리거에 적용했을 때 정확도는 41.99였지만, 앞선 트리거들을 주기적으로 건너뛰어 개입을 늦추면 33.98, 다시 29.49로 떨어졌다. 논문의 위치별 분석에서는 학생이 혼자 계속 생성하든 교사가 나머지를 완성하든 응답이 길어질수록 교사–학생 격차가 좁아졌다. 접두부가 길어질수록 교사도 학생이 만든 문맥에 끌려가므로, 가치 있는 개입은 초반에 집중되고 오래 점유하기보다 짧게 방향을 바꿔야 한다는 설계 원리가 나온다.

1.4 Relay-OPD가 해결하려는 두 질문

예비 결과가 남기는 첫 질문은 외부 정답 없이 언제 교사에게 배턴을 넘길 것인가이고, 둘째는 교사 개입이 학생 정책의 온정책 성질을 훼손하지 않도록 얼마나 제한할 것인가이다. Relay-OPD는 교사의 성찰 토큰과 학생의 상위 후보가 갈리는 상태를 첫 질문의 답으로 삼는다. 두 번째 질문에는 인계 횟수 $M$과 교사가 이어 쓰는 문단 수 $L$을 묶은 릴레이 예산으로 답한다. 개입이 끝나면 학생이 수정된 접두부에서 다시 생성하므로, 교사는 전체 응답의 저자라기보다 실패 구간을 연결하는 주자다.

논문의 기여는 이 연속 생성 비대칭을 레이블 없는 트리거로 바꾸고, 학생 구간과 교사 구간이 섞인 궤적 전체를 역방향 KL 계열 목표로 학습한 데 있다. 구현에서는 학생을 초안 모델, 교사를 목표 모델로 둔 단일 추측 디코딩 엔진 안에서 감지와 생성을 통합해 두 파이프라인 사이의 반복 전환을 피한다. Qwen3-1.7B 학생에서 여덟 수학 벤치마크 평균은 표준 OPD보다 5.73%포인트, 가장 강한 비교 기준 FastOPD보다 1.49%포인트 높았다고 논문은 보고한다. 또한 평균 훈련 궤적 길이는 1.7B에서 OPD의 4,658토큰에서 2,296토큰으로 50.7% 줄어, 방법의 문제 설정이 성능과 생성 비용을 함께 겨냥함을 보여 준다.

2. 배경 및 관련 연구: 학생 궤적의 분포 일치와 접두부 실패

2.1 표준 OPD의 궤적과 토큰별 이점

훈련 프롬프트를 $x\sim\mathcal D$, 현재 학생 정책을 $\pi_\theta$, 궤적을 수집한 이전 학생 정책을 $\pi_{\bar\theta}$, 고정된 교사를 $\pi_T$라고 하자. 표준 OPD는 먼저 이전 학생 정책에서 길이 $N$의 궤적 $y$를 표본 추출한다. 이때 교사가 만든 모범 응답으로 학생을 끌어가기보다 학생이 실제 생성한 토큰과 접두부가 감독의 좌표가 된다. 온정책이라는 이름은 바로 이 학생 방문 상태의 사용에서 나온다.

$$y=(y_1,\ldots,y_N)\sim\pi_{\bar\theta}(\cdot\mid x),\qquad h_t=(x,y_{1:t-1}).$$

위치 $t$에서 표준 OPD는 학생이 뽑은 실제 토큰 $y_t$에 대한 역방향 KL의 단일 표본 추정치를 사용한다. 논문의 표기에서 그 음수는 $A_t^{\mathrm{OPD}}$라는 이점이 되며, 같은 접두부에서 교사가 그 토큰에 준 로그확률과 이전 학생이 준 로그확률의 차이다. 값이 양수면 현재 학생이 해당 토큰의 확률을 높이도록 하고, 음수면 낮추도록 한다. 따라서 조밀한 토큰별 신호를 얻으면서도 감독 위치는 학생이 방문한 궤적에 유지된다.

$$\widehat D_{\mathrm{RKL}}^{(t)}=\log\pi_{\bar\theta}(y_t\mid h_t)-\log\pi_T(y_t\mid h_t),$$

$$A_t^{\mathrm{OPD}}=-\widehat D_{\mathrm{RKL}}^{(t)}=\log\pi_T(y_t\mid h_t)-\log\pi_{\bar\theta}(y_t\mid h_t).$$

이 식은 교사의 평가가 항상 이상적인 상태에서 이루어진다고 보장하지 않는다. 초반 $h_t$가 잘못된 추론으로 이탈하면 이후의 모든 $h_{t+1},h_{t+2},\ldots$는 그 오류를 포함하고, 표준 OPD는 그 긴 연속 구간도 그대로 학습에 넣는다. 논문은 교사와 학생의 추론 패턴이 맞지 않거나 학생 접두부가 교사가 잘 지지하는 상태에서 멀어질수록 증류 이득과 감독 신뢰도가 감소한다는 관련 연구를 접두부 실패의 배경으로 든다. 즉 상태 분포 일치는 필요한 장점이지만, 실패 상태를 끝까지 보존해야 한다는 뜻은 아니다.

2.2 기존 궤적 개입법이 놓치는 실패 위치

ESR과 FastOPD는 응답 후반의 낮은 가치 신호를 줄이기 위해 학생 롤아웃을 고정 길이에서 자른다. 계산량을 직접 줄일 수 있지만 실제 오류가 절단점 이전에 생겼는지 이후에 생겼는지를 보지 않으며, 실패 뒤 어떻게 방향을 회복하는지도 보여 주지 않는다. TRD는 학생 응답이 끝난 뒤 교사에게 전체 궤적을 오프라인으로 다시 쓰게 하므로 온라인 실패 시점을 놓치고, 논문 실험에서는 재작성 과업을 드러내는 표현이 궤적의 18.96%에서 발견됐다. 이 방식은 학생이 추론 시 접근할 수 없는 원래 응답을 교사 문맥에 추가한다는 비대칭도 가진다.

SKD는 학생 초안이 교사의 상위 $K$ 후보에 들어가면 받아들이고 그렇지 않으면 교사 토큰으로 바꾸는 추측 증류 방식이다. 그러나 기준이 추론 방향의 실패 대신 일반적인 분포 합의이므로, 학생이 반복 패턴을 굳힌 뒤에도 반복 토큰이 교사의 상위 후보 안에만 있으면 계속 승인될 수 있다. 논문 부록 사례에서는 교사가 종료 토큰에 73.7035%를 주는데도 학생이 선호한 두 줄바꿈 토큰이 교사 분포의 2위인 16.4455%여서 반복되는 최종 답 블록이 승인됐다. Relay-OPD의 트리거는 이런 포괄적 불일치 대신 교사는 방향 전환 토큰을 최우선으로 보지만 학생 상위 지지집합에는 전환 토큰이 전혀 없는가를 검사한다.

다음 비교표는 원문의 방법 비교 표와 본문 정의를 토대로, 표준 OPD와 Relay-OPD를 중심에 두고 기존 개입법의 구조적 차이를 정리한다. 여기서 정책 유형보다 중요한 열은 궤적이 어디서 오고, 개입 위치가 무엇으로 결정되며, 실패 뒤 수정된 문맥이 학생에게 돌아오는지이다. Relay-OPD는 학생 롤아웃을 출발점으로 유지하면서 상태 기반 위치에서만 교사 구간을 삽입한다.

방법	훈련 궤적	개입 위치	손실	접두부 실패 처리
표준 OPD	학생 단독 롤아웃	개입 없음	RKL	실패 뒤 연속 구간도 그대로 학습
FastOPD	고정 길이로 자른 학생 롤아웃	1,024·2,048·4,096·8,192토큰	RKL	후반 제거, 실제 실패 위치와 무관
TRD	교사가 오프라인 재작성한 학생 궤적	롤아웃 완료 뒤 전체 재작성	FKL	수정 가능하나 재작성 흔적과 문맥 비대칭
SKD	추측 디코딩 혼합 롤아웃	일반적 상위 $K$ 분포 합의	FKL	방향 실패보다 토큰 수용 여부에 반응
Relay-OPD	학생·교사 구간의 릴레이 롤아웃	성찰 토큰 기반 핸드오프	RKL 계열	실패 순간 짧게 수정한 뒤 학생 재개

표준 OPD와 Relay-OPD는 모두 역방향 KL 계열 신호를 쓰고 학생이 방문한 상태를 훈련의 출발점으로 삼지만, 학습할 문맥을 구성하는 방식이 다르다. 표준 OPD는 잘못된 접두부 뒤의 학생 전용 궤적을 보존하고, Relay-OPD는 감지된 위치에서 교사 문단을 삽입해 이후 학생 구간이 수정된 문맥을 방문하게 한다. FastOPD처럼 위치를 미리 고정하지 않고 TRD처럼 끝난 뒤 다시 쓰지 않으며, SKD처럼 모든 토큰의 일반적 합의를 개입 근거로 삼지도 않는다. 따라서 릴레이의 개입 위치와 종료 위치는 모두 현재 추론 상태와 남은 예산에 의해 정해진다.

2.3 온정책 성질을 보존하는 제한적 교사 개입

교사가 실패 이후의 나머지 응답을 모두 생성하면 궤적은 점차 교사 정책의 산물이 되어 OPD의 분포 일치 이점을 잃는다. 반대로 성찰 토큰 하나만 바꾸는 최소 개입도 정확도를 올렸다는 예비 결과는 전체 교사 답안을 복제할 필요가 없음을 시사한다. Relay-OPD가 도입한 릴레이 예산은 이 두 극단 사이에서 교정의 범위를 제한한다. 핵심은 학생 궤적을 버리는 것이 아니라, 교사가 짧은 국소 시범으로 접두부를 수선한 뒤 학생이 그 상태를 이어서 방문하게 하는 것이다.

3. 방법론: 실패 지점에서 교사가 잠깐 이어 달리는 Relay-OPD

3.1 학생 구간, 교사 구간, 그리고 배턴의 흐름

Relay-OPD의 롤아웃은 학생 상태 $\mathsf S$에서 시작해 학생 정책으로 토큰을 생성하면서 매 위치의 접두부를 검사한다. 핸드오프 조건이 참이고 인계 횟수가 예산보다 작으면 상태를 $\mathsf T$로 바꾸고, 교사의 최빈 성찰 토큰으로 교사 구간을 연다. 교사는 정해진 수의 완결된 문단을 생성한 뒤 학생에게 제어권을 돌려주며, 마지막 허용 교사 구간이 끝나면 현재 롤아웃을 종료한다. 이렇게 얻은 $z=(z_1,\ldots,z_N)$ 전체가 증류에 사용되는 릴레이 궤적이다.

Figure 3: handoff trigger, state-switched relay trajectory, 통합 speculative decoding 엔진.

그림 3의 위쪽 OPD는 실패 뒤에도 학생 전용 궤적을 이어 가지만, 가운데 Relay-OPD는 학생 구간 사이에 짧은 교사 구간을 넣고 다시 학생에게 생성을 돌려준다. 아래쪽 트리거는 교사의 최빈 토큰이 성찰 집합에 속하면서 학생 상위 $K$에는 성찰 토큰이 없을 때만 인계를 연다. 오른쪽은 학생을 초안 모델, 교사를 목표 모델로 둔 하나의 추측 디코딩 엔진이 감지·교사 검증·학생 복귀를 함께 처리하는 구현을 나타낸다. 하단 trigger 예시는 학생 상위 후보에 reflection 단어가 없고 교사 최빈값에는 있을 때 상태가 전환됨을 표시한다.

문단을 토큰 수 대신 교사 구간의 단위로 삼는 이유는 중간 사고를 임의 위치에서 끊지 않기 위해서다. 논문의 설정에서 한 문단은 평균 23.2토큰이며, 기본 실험은 핸드오프 상위 후보 크기 $K=5$와 릴레이 예산 $(M,L)=(2,3)$을 사용했다. 이는 최대 두 번 인계하고 각 성찰 토큰 뒤에 교사가 세 문단을 더 생성한다는 뜻이다. 외부 검증기, 과정 감독 레이블, 답의 정오 레이블은 트리거와 롤아웃 구성에 사용하지 않았다.

3.2 성찰 토큰으로 정의한 레이블 없는 핸드오프

어휘집합을 $\mathcal V$, 방향 재검토에 쓰이는 성찰 토큰 집합을 $\mathcal R\subseteq\mathcal V$라고 하자. 논문이 공개한 기본 단어는 Wait, But, Hmm, Actually, Hold, However, Yet, Oh, Alternatively, No, Ah, Oops, Well이며, 실제 집합에는 대소문자와 선행 공백 변형도 포함된다. 현재 접두부 $h$에서 교사의 최빈 다음 토큰 $a^T(h)$와 이전 학생 정책의 상위 $K$ 지지집합 $\mathcal K_S(h)$를 계산한다. 이때 성찰 단어가 단지 존재하는지만 보지 않고 두 모델의 방향 전환 의도 차이를 동시에 요구한다.

$$a^T(h)=\mathop{\arg\max}_{v\in\mathcal V}\pi_T(v\mid h),\qquad \mathcal K_S(h)=\operatorname{TopK}_K\!\left(\pi_{\bar\theta}(\cdot\mid h)\right).$$

핸드오프 함수 $\phi(h)$는 교사의 최빈 토큰이 $\mathcal R$에 속하고 학생 상위 $K$ 집합과 $\mathcal R$의 교집합은 비어 있을 때만 1이다. 첫 조건은 교사가 “잠깐, 하지만, 실제로는”처럼 현재 방향을 되돌리려 함을 나타낸다. 둘째 조건은 학생도 비슷한 반성 후보를 상당히 지지하는 사소한 차이를 제외하고, 학생이 현재 방향을 계속할 가능성이 큰 경우를 남긴다. 두 조건의 곱이므로 일반적인 확률분포 거리나 토큰 하나의 불일치보다 선택적인 신호가 된다.

$$\phi(h)=\mathbf 1[a^T(h)\in\mathcal R]\cdot\mathbf 1[\mathcal K_S(h)\cap\mathcal R=\varnothing].$$

$K$는 트리거 민감도를 조절하는 문턱이다. $K$가 너무 작으면 학생이 약간의 성찰 가능성을 갖고 있어도 집합 밖으로 밀려 과도하게 인계할 수 있고, 너무 크면 드물게 지지하는 성찰 토큰 때문에 실제 방향 차이를 놓칠 수 있다. 논문의 민감도 실험에서 $K=1,5,10$의 평균 정확도는 각각 44.27, 46.96, 43.14였고, 표준 OPD에 해당하는 $K=|\mathcal V|$는 41.23이었다. 주 실험의 $K=5$ 선택은 단순한 차이를 넘어 충분히 뚜렷한 연속 생성 비대칭을 골라내려는 절충이다.

3.3 릴레이 예산과 상태 기반 궤적 구성

릴레이 예산 $(M,L)$에서 $M$은 한 궤적의 최대 교사 인계 횟수이고, $L$은 성찰 토큰 이후 교사가 추가로 생성할 문단 수다. 학생은 $\pi_{\bar\theta}$에서 자기회귀적으로 생성하며 매 위치에서 $\phi(h)$를 계산하고, 조건이 참이면서 사용한 인계가 $M$보다 적을 때 교사가 $a^T(h)$로 구간을 시작한다. $L$개 문단이 끝났을 때 예산이 남아 있으면 수정된 접두부에서 학생이 재개하고, 방금 구간이 $M$번째라면 롤아웃을 끝낸다. 따라서 고정 토큰 절단과 달리 실제 개입점과 종료점이 현재 추론 상태에 맞춰진다.

두 경계 사례는 표준 OPD와의 관계를 분명히 한다. 모든 접두부에서 $\phi(h)=0$이면 교사 상태로 전환하지 않아 $z$는 학생 단독 궤적과 같고, $L=0$이면 각 교사 구간은 최빈 성찰 토큰 하나만 포함한다. 예비 실험에서 이 최소 교정이 0.35%의 교사 토큰만으로 7.23%포인트 정확도 향상을 낸 것이 짧은 구간 설계의 직접 근거다. 반대로 너무 자주 또는 오래 인계하면 궤적이 학생의 현재 정책에서 멀어지므로 예산은 단순한 비용 제한을 넘어 온정책 성질을 보호한다.

논문의 민감도 결과도 중간 수준의 개입을 지지한다. $L$을 0에서 4로 늘릴 때 평균 정확도는 44.31에서 47.10으로 상승하지만 $L=5$에서는 46.47로 낮아졌고, $L=3$과 $L=4$가 모두 강한 결과를 보였다. $M=1$과 $M=2$는 각각 46.25와 46.96이지만 $M=4$는 44.01로 떨어졌다. 즉 교정 신호는 필요하지만 교사 점유율을 최대화하는 것이 목표가 아니며, 이른 실패 몇 곳에 완결된 짧은 시범을 배치하는 것이 설계의 중심이다.

3.4 실제 릴레이 토큰을 학습하는 목적함수

교사가 학생의 실패 접두부를 이어 쓸 때 주는 분포는 교사가 자기 궤적에서 제공할 이상적 감독과 다를 수 있다. 실제로 $L=6$에서 교사 토큰 비율이 28.52%까지 늘어도 정확도는 43.55이며, 교사 단독 생성의 60.55에 이르지 못했다. 그래서 저자들은 교사 분포 전체를 순방향 KL로 맞추기보다 릴레이에서 실제로 관측된 토큰을 선택적으로 흡수하는 역방향 KL식 단일 표본 목표를 채택한다. 교사 구간도 예외로 빼지 않고 학생 구간과 함께 궤적 전체의 실제 토큰 $z_t$를 학습한다.

릴레이 접두부를 $h_t^z=(x,z_{1:t-1})$라고 하면, 실제 생성된 $z_t$의 이점은 같은 문맥에서 교사와 이전 학생이 부여한 로그확률 차이다. 현재 학생과 이전 학생의 확률비 $\rho_t(\theta)$는 정책 업데이트가 궤적 수집 정책에서 지나치게 멀어지는지를 나타낸다. 교사 토큰이라도 분모는 이전 학생이 그 수정 토큰에 부여했던 확률이므로, 학생이 원래 놓친 교정 방향을 얼마나 학습해야 하는지가 신호에 반영된다. 학생 구간의 토큰 역시 동일한 형태로 계산되어 하나의 궤적 목표 안에 들어간다.

$$A_t^{\mathrm{Relay}}=\log\pi_T(z_t\mid h_t^z)-\log\pi_{\bar\theta}(z_t\mid h_t^z),\qquad \rho_t(\theta)=\frac{\pi_\theta(z_t\mid h_t^z)}{\pi_{\bar\theta}(z_t\mid h_t^z)}.$$

최종 손실은 PPO식 클리핑으로 확률비를 $1-\epsilon$과 $1+\epsilon$ 주변에 제한하고, 클리핑 전후 항 중 보수적인 값을 취한다. 논문의 훈련 하이퍼파라미터에서 클리핑 범위는 0.2이며, 궤적 길이 $N$으로 평균을 내어 응답 길이에 따른 규모 차이를 줄인다. 이 목적은 교사 구간이 만든 수정 문맥에서 학생이 이어 가는 효과와, 교사 구간의 실제 수정 토큰을 직접 배우는 효과를 동시에 포함한다. 따라서 릴레이는 데이터 생성만 바꾸는 전처리로 머물지 않고 궤적 구성과 업데이트 대상을 일치시킨 방법이다.

$$\mathcal L_{\mathrm{Relay}}=-\mathbb E_{x,z}\left[\frac{1}{N}\sum_{t=1}^{N}\min\left(\rho_tA_t^{\mathrm{Relay}},\operatorname{clip}(\rho_t,1-\epsilon,1+\epsilon)A_t^{\mathrm{Relay}}\right)\right].$$

원문의 절제 실험은 실제 릴레이 토큰을 쓰는 선택을 뒷받침한다. 기본 릴레이 토큰 목표의 평균 정확도는 46.96이었지만, 교사 구간에서 학생의 원래 초안 토큰으로 업데이트하면 44.56, 교사 상위 128개 분포에 순방향 KL을 적용하면 44.08이었다. 또한 첫 트리거에서 바로 멈추는 Trigger-stop은 43.48인 반면 교사 세 문단을 생성한 뒤 멈추면 46.25로 2.77%포인트 높았다. 이는 동적 절단만으로는 부족하고 수정된 문맥과 국소적 교사 시범을 실제 토큰으로 학습하는 것이 성능 차이를 만든다는 논문의 근거다.

3.5 하나의 추측 디코딩 엔진으로 구현하기

학생과 교사가 별도 생성 파이프라인을 가지면 매 트리거에서 인계 시점을 조율하고 엔진을 바꾼 뒤 다시 학생으로 복귀해야 한다. Relay-OPD는 학생을 초안 모델, 교사를 목표 모델로 두는 단일 추측 디코딩 엔진으로 이 전환을 통합한다. 각 위치의 상태는 학생 $\mathsf S$, 교사 $\mathsf T$, 종료 $\bot$ 중 하나이며, 인계 횟수와 현재 교사 구간에서 끝난 문단 수를 함께 추적한다. 종료 토큰이나 길이 제한에 도달해도 흡수 상태 $\bot$로 들어간다.

학생 상태에서는 목표 정책 자체가 이전 학생 정책이므로 학생 초안의 수용확률은 항상 1이고, 생성은 보통의 학생 디코딩으로 환원된다. 교사 상태에서는 학생 초안을 교사 목표분포에 대해 표준 추측 거부 표본추출로 검증하며, 거절되면 두 분포의 양의 잔차를 정규화한 분포에서 대체 토큰을 뽑는다. 유일한 예외는 교사 구간의 첫 위치로, 여기서는 트리거에서 이미 계산한 $a^T(h)$를 검증 없이 직접 방출한다. 이 구조 덕분에 성찰 토큰 감지, 교사 구간 검증, 학생 구간 생성이 같은 엔진의 상태 전이로 표현된다.

$$\alpha_t=\min\left(1,\frac{\pi_t^{\mathrm{tgt}}(a_t^S\mid h_t^z)}{\pi_{\bar\theta}(a_t^S\mid h_t^z)}\right),\qquad \pi_t^{\mathrm{tgt}}=\begin{cases}\pi_{\bar\theta},&s_t=\mathsf S,\\\pi_T,&s_t=\mathsf T.\end{cases}$$

추측 표본추출의 정확성에 따라 검증된 교사 위치는 접두부가 주어졌을 때 교사가 직접 이어 생성한 분포와 같고, 학생 위치는 보통의 학생 표본분포와 같다. 따라서 단일 엔진은 두 모델을 번갈아 호출하는 개념적 릴레이 과정을 분포 수준에서 재현하면서, 교사 구간에서는 학생 초안을 묶어 검증해 직렬 교사 디코딩을 줄인다. 검증 중 얻은 교사 로짓은 교사 최빈 토큰과 $\phi(h)$ 계산에도 함께 쓰이므로 별도 트리거용 교사 호출이 필요하지 않다. 매개변수 업데이트 뒤 최신 학생 가중치를 초안 모델에 동기화하고 교사는 훈련 내내 고정한다.

4. 실험 설정: 두 학생 규모와 여덟 수학 벤치마크

실험은 하나의 4B 교사에서 서로 다른 두 규모의 학생으로 능력이 얼마나 안정적으로 전달되는지를 검증하도록 구성된다. 교사는 Qwen3-4B-Instruct-2507이고, 학생은 사고 모드를 쓰지 않는 Qwen3-0.6B-Non-Thinking과 Qwen3-1.7B-Non-Thinking이다. 훈련 자료는 DAPO-Math-17K의 영어 부분집합이며, 정답 판정기나 과정 레이블을 Relay-OPD의 인계 판단에 넣지 않는다. 따라서 결과의 핵심 비교 대상은 모델 크기와 함께 동일한 학생 분포 위에서 궤적을 어떻게 만들고 어느 토큰으로 증류하는가이다.

4.1 모델, 데이터, 평가 범위

평가는 경시형 단답 문제와 상대적으로 폭넓은 수학 문제를 함께 포함한다. 벤치마크는 AIME 2024·2025·2026, MATH500, AMC 2023, OlympiadBench, HMMT February 2026, HMMT November 2025의 총 여덟 개다. 연도와 대회가 다른 세 AIME 및 두 HMMT를 나란히 두었기 때문에, 특정 시험 한 세트에 국한된 개선인지도 확인할 수 있다. 논문은 각 벤치마크의 문제별 채점 결과를 합쳐 평균 정확도를 보고한다.

평가 생성에서는 temperature와 top-$p$를 모두 $1.0$으로 두고 최대 응답 길이를 32,768토큰으로 설정한다. 표본 수는 문제군의 크기에 따라 달라서 AIME·AMC·HMMT는 문제당 32회, MATH500·OlympiadBench는 문제당 4회 생성한다. 그러므로 표의 정확도는 단일 greedy 응답의 성패 대신 확률적 샘플링을 반복한 mean accuracy다. HMMT의 별도 Pass@$k$ 분석은 이 반복 생성 설정에서 샘플 예산이 늘 때 적어도 한 번 맞힐 가능성을 비교한다.

표 1. 모델·데이터·평가 및 Relay-OPD 기본 설정

구분	원문 설정	해석 시 유의점
교사	Qwen3-4B-Instruct-2507	훈련 중 파라미터 고정
학생	Qwen3-0.6B / 1.7B Non-Thinking	두 규모를 독립 비교
훈련 데이터	DAPO-Math-17K 영어 부분집합	수학 추론 프롬프트
평가 벤치마크	AIME24·25·26, MATH500, AMC23, OlympiadBench, HMMT Feb26·Nov25	총 8개
평가 샘플 수	AIME·AMC·HMMT 32회, MATH500·OlympiadBench 4회	문제당 반복 횟수
평가 디코딩	temperature $=1.0$, top-$p=1.0$	확률적 생성
평가 최대 길이	32,768토큰	훈련 최대 응답 길이와 구분
Relay-OPD	$K=5$, $(M,L)=(2,3)$	최대 2회 인계, 교사 leg당 추가 3문단
외부 감독	검증기·과정 레이블·정답 레이블 없음	인계 신호에 사용하지 않음

기본 릴레이 예산 $(M,L)=(2,3)$에서 $M$은 한 궤적에 허용할 최대 교사 인계 횟수이고, $L$은 반성 토큰 뒤에서 교사가 추가로 생성할 문단 수다. 인계 top-$K$는 $K=5$이며, 이는 교사의 최선 다음 토큰이 학생 분포의 상위 5개 밖에 놓이는 방향 차이를 선별하는 기준이다. 교사 leg를 고정 토큰 수보다 문단 단위로 재는 까닭은 추론 단위를 중간에서 끊지 않기 위해서이며, 논문 설정에서 한 문단은 평균 23.2토큰이다. 이 기본값의 타당성은 6절의 $M$, $L$, $K$ 민감도 결과로 따로 검증된다.

4.2 공통 훈련 프로토콜과 계산 조건

모든 방법은 verl과 vLLM 0.21.0 위에 구현되며, 8장의 H100 GPU에서 훈련된다. 온라인 증류 계열은 한 epoch만 학습하고 최대 프롬프트 길이 2,048, 최대 응답 길이 16,384토큰을 공유한다. rollout의 temperature와 top-$p$는 각각 $1.0$이고, 프롬프트당 rollout은 1개다. 평가 최대 길이 32,768과 훈련 최대 응답 길이 16,384를 혼동하면 표의 Train Len을 해석할 때 실제 제한보다 긴 궤적을 가정하게 된다.

최적화에서는 global batch와 PPO mini-batch를 모두 128로 두고, PPO epoch는 1회, clipping 범위는 $0.2$다. 학습률은 $1\times10^{-6}$의 constant schedule이며 전체 훈련도 1 epoch다. GRPO만 outcome reward를 위해 프롬프트당 8개 rollout을 사용하고, 다른 공통 항목은 표의 값과 같다. 이 통제는 Relay-OPD의 이득을 더 많은 샘플 수보다 궤적 구성과 증류 목적의 차이로 읽게 한다.

표 2. 훈련 하이퍼파라미터와 구현 조건

항목	온라인 증류	GRPO
최대 프롬프트 길이	2,048	2,048
최대 응답 길이	16,384	16,384
rollout temperature / top-$p$	$1.0$ / $1.0$	$1.0$ / $1.0$
프롬프트당 rollout $n$	1	8
global batch / PPO mini-batch	128 / 128	128 / 128
PPO epoch / clipping	1 / $0.2$	1 / $0.2$
학습률	$1\times10^{-6}$, constant	$1\times10^{-6}$, constant
훈련 epoch	1	1
구현·하드웨어	verl, vLLM 0.21.0, H100 8장

Train Len은 최대 길이와 다르며, 훈련 시작부터 최적 체크포인트까지 수집된 rollout 응답의 평균 길이다. 따라서 같은 16,384토큰 상한을 쓰더라도, 실패 접두부 뒤에서 길게 헤매는 빈도와 최적점에 도달한 step에 따라 방법별 평균은 달라진다. 또한 Relay-OPD의 교사 토큰이 포함된 훈련 궤적 길이와, 학습된 학생이 평가 시 생성한 inference response length는 서로 다른 측정량이다. 5절에서는 두 종류의 길이 개선을 표와 그림으로 분리해 읽는다.

4.3 비교 방법: 정적 데이터에서 상태 기반 개입까지

기준선은 세 층으로 구성된다. 참조 기준선에는 초기 Student, 교사 궤적을 쓰는 SFT와 token-level KD, 정답 보상으로 학습하는 GRPO가 들어간다. 표준 OPD는 학생이 실제 방문한 접두부와 학생 rollout을 유지하면서 교사의 token-level 신호를 받는 핵심 비교군이다. 이 비교는 일반 미세조정의 이득과 on-policy 증류 자체의 이득을 분리한다.

궤적 개입 기준선인 TRD는 학생 궤적을 교사가 오프라인으로 다시 쓰고, SKD는 speculative decoding으로 학생·교사 생성을 섞는다. FastOPD는 학생 rollout의 앞부분에 훈련 신호를 집중하도록 최대 길이를 1,024·2,048·4,096·8,192 중 하나로 고정 절단한다. 본표에는 두 학생 모두 평균 정확도가 가장 높았던 4,096 설정을 싣지만, 이는 문제 풀이 상태와 무관하게 같은 위치에서 자르는 방식이다. Relay-OPD는 그와 달리 교사와 학생의 다음 방향이 갈라지는 상태에서만 짧게 개입한다.

손실과 궤적 출처도 결과 해석에 중요하다. SFT는 교사 궤적의 cross-entropy, KD와 TRD는 forward KL, OPD와 FastOPD는 학생 rollout의 reverse-KL 계열 목적을 사용한다. SKD는 혼합 rollout과 forward KL을 결합하며 acceptance top-$K=5$로 구현된다. Relay-OPD는 혼합 릴레이 궤적을 만들되 실제 생성된 relay token에 reverse-KL식 단일 표본 신호를 주며, 6절 ablation은 이 선택을 별도로 검증한다.

비교의 공정성을 읽을 때는 이름이 비슷한 증류법도 궤적 출처·손실·개입 시점을 분리해야 한다. 논문 부록은 FKL 계열의 support를 top-$k=128$로 통일하고, SKD는 원 논문의 acceptance top-$K=25$가 이 teacher–student 조합에서 학생 초안을 거의 거르지 못해 $K=5$를 사용했다고 밝힌다. FastOPD는 1,024·2,048·4,096·8,192 토큰 절단을 모두 비교한 뒤 두 학생에서 평균이 가장 높았던 4,096 설정을 본표에 올렸다. 다음 항목은 결과표를 읽을 때 고정해야 할 비교 축이다.

• SFT·KD: 교사 생성 궤적을 쓰는 off-policy 기준선으로, 학생 방문 상태를 직접 따르지 않는다.
• OPD·FastOPD: 학생 rollout과 reverse-KL을 공유하지만 FastOPD만 고정 길이에서 응답을 자른다.
• TRD·SKD: 각각 사후 재작성과 token-level 혼합으로 궤적을 바꾸며, Relay-OPD의 상태 기반 짧은 teacher leg와 개입 단위가 다르다.
• Relay-OPD: handoff top-$K$와 예산 $(M,L)$이 개입 위치·횟수·길이를 함께 제한하고 실제 relay token을 학습한다.

공통 최적화 조건도 비교 해석의 경계를 정한다. 온라인 증류법은 global batch와 PPO mini-batch가 모두 128, PPO epoch 1, clipping 0.2, 학습률 $1 imes10^{-6}$의 constant schedule, 전체 훈련 1 epoch를 쓴다. GRPO만 프롬프트당 rollout이 8개이고 온라인 증류는 1개이므로, 결과는 동일한 rollout 수를 소비한 outcome-RL 대 dense distillation 비교로 읽어서는 안 된다. 반면 OPD 계열 내부에서는 rollout 온도, top-$p$, 길이 상한과 배치 조건이 정렬돼 trajectory intervention의 영향을 비교하기에 더 직접적이다.

5. 주요 실험 결과: 정확도와 궤적 길이를 함께 개선하다

주요 결과는 평균 정확도, 최적 체크포인트 step, 그 시점까지의 평균 훈련 응답 길이를 함께 보고한다. 정확도 표의 숫자는 모두 퍼센트 단위의 mean accuracy이므로 두 방법의 차이는 % 대신 %포인트로 서술해야 한다. 반면 궤적 길이 감소율은 토큰 수를 기준으로 계산한 상대 변화이므로 %로 표현한다. 이 구분을 따르면 Relay-OPD가 더 잘 맞히는 동시에 더 짧은 훈련 궤적을 썼다는 두 주장을 같은 단위로 뒤섞지 않게 된다.

5.1 0.6B 학생: 작은 모델에서도 일관된 상승

표 3. Qwen3-0.6B-Non-Thinking 주요 결과: mean accuracy(%)

방법	AIME24	AIME25	AIME26	MATH	AMC23	Olymp.	HMMT F26	HMMT N25	평균
Teacher 4B	60.42	46.04	52.19	94.20	93.83	70.62	31.25	41.88	61.30
Student	1.77	2.40	0.73	44.10	24.45	16.36	0.76	3.85	11.80
SFT	4.90	7.60	4.06	59.45	34.92	26.74	1.89	3.02	17.82
KD	4.17	7.19	4.79	57.75	35.23	27.15	2.94	2.71	17.74
GRPO	8.23	15.21	10.00	68.60	46.56	35.42	7.86	6.04	24.74
OPD	13.44	17.92	11.98	75.30	51.25	41.32	7.39	5.62	28.03
TRD	4.58	8.54	3.96	57.60	36.33	26.93	3.79	2.81	18.07
FastOPD	15.83	20.10	13.54	75.30	53.67	44.81	11.55	8.54	30.42
SKD	8.44	16.98	9.79	66.65	43.67	35.76	8.14	5.62	24.38
Relay-OPD	15.94	20.94	14.06	76.80	55.55	45.03	11.17	8.85	31.04

0.6B 학생의 초기 평균은 11.80이고 표준 OPD가 이를 28.03까지 끌어올린다. Relay-OPD는 31.04로 OPD보다 3.01%포인트, 가장 강한 개입 기준선 FastOPD의 30.42보다 0.62%포인트 높다. 여덟 벤치마크 중 HMMT February 2026만 FastOPD의 11.55가 Relay-OPD의 11.17보다 높고, 나머지 일곱 개에서는 Relay-OPD가 최고다. 이는 평균 상승이 MATH500처럼 원래 점수가 높은 한 데이터셋에만 의존하지 않았음을 보여준다.

OPD 대비 차이는 AIME24·25·26에서 각각 2.50·3.02·2.08%포인트이고, AMC23과 OlympiadBench에서는 4.30·3.71%포인트다. HMMT Feb26과 Nov25에서도 각각 3.78·3.23%포인트 높아, 초기 학생이 특히 약했던 대회형 세트에서도 개선이 남는다. TRD의 평균 18.07과 SKD의 24.38은 오히려 OPD 28.03에 못 미친다. 따라서 교사를 궤적에 섞는다는 사실만으로는 충분하지 않고, 실패 상태를 골라 자연스러운 교정 문맥을 제공하는 방식이 중요하다.

5.2 1.7B 학생: 평균 46.96과 어려운 대회 문제의 개선

표 4. Qwen3-1.7B-Non-Thinking 주요 결과: mean accuracy(%)

방법	AIME24	AIME25	AIME26	MATH	AMC23	Olymp.	HMMT F26	HMMT N25	평균
Student	12.60	9.58	7.40	71.95	47.89	38.54	6.34	4.38	24.84
SFT	23.33	19.48	16.15	81.40	59.45	46.62	12.59	6.56	33.20
KD	23.54	21.15	15.31	81.45	60.23	48.07	12.78	7.50	33.75
GRPO	24.58	22.08	15.62	80.35	60.16	48.74	14.49	9.38	34.42
OPD	35.83	25.52	23.33	85.70	70.08	55.27	20.08	14.06	41.23
TRD	19.27	19.69	12.71	77.70	55.47	44.18	11.93	4.58	30.69
FastOPD	42.29	30.42	26.35	87.95	74.30	58.16	23.58	20.73	45.47
SKD	33.12	30.73	28.85	87.35	72.42	54.41	20.08	11.88	42.35
Relay-OPD	42.71	32.81	30.52	89.50	76.88	58.79	24.72	19.79	46.96

1.7B 학생에서 Relay-OPD 평균은 46.96으로 OPD 41.23보다 5.73%포인트, FastOPD 45.47보다 1.49%포인트 높다. AIME 2025와 2026의 OPD 대비 이득은 각각 7.29와 7.19%포인트이고, AIME 2024도 6.88%포인트 상승한다. AMC23에서는 6.80%포인트, HMMT Feb26에서는 4.64%포인트 개선된다. HMMT Nov25에서는 FastOPD 20.73이 최고이고 Relay-OPD 19.79가 두 번째여서, 논문의 ‘최고 또는 차상위’ 요약과 일치한다.

궤적 개입 방식 사이의 격차도 두 규모에서 같은 방향이다. TRD는 1.7B에서 30.69로 OPD보다 10.54%포인트 낮고, 논문은 교사가 다시 쓴 궤적에 자연스러운 문제 풀이와 다른 rewrite artifact가 보인다고 보고한다. SKD는 42.35로 OPD를 1.12%포인트만 앞서며, 부록 분석에서는 이미 형성된 반복 생성 패턴을 끊기 어렵다고 관찰한다. 반면 Relay-OPD는 반성 방향이 갈린 실제 접두부에 교정 시범을 붙여, 단순 절단이나 무차별 혼합이 주지 못한 복구 문맥을 제공한다.

5.3 Pass@$k$와 평가 시 추론 길이

Figure 4: HMMT Feb26·Nov25의 Pass@$k$에서 Relay-OPD와 표준 OPD 비교.

두 HMMT 패널에서 Relay-OPD 곡선은 여러 샘플 예산 $k$에 걸쳐 OPD보다 위에 놓인다. 이는 본표의 mean accuracy 한 점의 개선에 더해, 여러 번 답을 생성할 때 적어도 하나의 정답을 얻는 범위도 넓어졌다는 뜻이다. 샘플 수가 달라져도 두 곡선의 상대적 순서가 유지되므로 개선이 특정한 한 번의 추출 조건에만 매달리지 않는다. 다만 논문 본문은 그림의 모든 $k$별 원시 수치를 표로 제시하지 않으므로, 여기서는 곡선의 우위만 해석하고 임의의 수치를 덧붙이지 않는다.

Pass@$k$는 $k$번 중 하나 이상 성공할 확률이므로 mean accuracy와 동일한 지표가 아니다. 특히 HMMT Nov25의 단일 평균에서는 FastOPD가 Relay-OPD보다 높지만, 그림 4의 직접 비교 대상은 Relay-OPD와 표준 OPD다. 따라서 이 그림은 FastOPD에 대한 전 구간 우위를 주장하는 근거로 쓸 수 없다. 이 그림은 Relay-OPD가 OPD보다 다양한 표본에서 정답 후보를 확보한다는 보조 근거로 읽어야 한다. 정확한 방법 간 평균 비교는 표 3과 표 4가 담당한다.

Figure 5: Relay-OPD와 FastOPD의 평가 시 inference response length.

FastOPD와 비교하면 Relay-OPD의 평균 추론 응답 길이는 AIME25에서 17.9%, AIME26에서 14.2%, HMMT Feb26에서 28.3% 짧다. 같은 세 벤치마크의 정확도는 각각 2.39·4.17·1.14%포인트 높다. 세 막대군 모두 길이와 정확도의 변화 방향이 일치해, 특정 대회 하나에서만 나타난 절충 관계가 아니다. 즉 고정 절단으로 짧은 훈련 샘플을 만드는 데 그치지 않고, 학습된 학생 자체가 평가에서 더 짧게 추론하면서 더 자주 정답에 도달한다.

길이 감소는 답을 강제로 일찍 끊어 얻은 수치로 해석하기 어렵다. 만약 필요한 풀이까지 잘렸다면 정확도와 응답 길이가 함께 내려가야 하지만, 세 데이터셋에서는 길이가 줄면서 정확도가 상승한다. 논문의 설명대로라면 교사가 실패 접두부 직후 방향을 되돌리는 예를 제공해, 학생이 잘못된 분기를 길게 전개하는 습관을 줄인 결과다. 이 비교에서 정확도 차이는 %포인트이고 길이 차이는 상대 감소율 %라는 단위 차이를 다시 확인할 필요가 있다.

5.4 더 짧은 훈련 궤적과 더 이른 최적 체크포인트

표 5. OPD·FastOPD·Relay-OPD의 최적 step과 평균 훈련 rollout 길이

학생	방법	평균 정확도(%)	최적 step	Train Len(토큰)	OPD 대비 길이
0.6B	OPD	28.03	110	6,900	기준
	FastOPD	30.42	100	3,302	—
	Relay-OPD	31.04	75	2,490	63.9% 감소
1.7B	OPD	41.23	55	4,658	기준
	FastOPD	45.47	45	2,709	—
	Relay-OPD	46.96	35	2,296	50.7% 감소

1.7B에서 Relay-OPD는 35 step에 최적 평균 46.96에 도달하며, OPD의 55 step과 FastOPD의 45 step보다 이르다. 그때까지의 평균 rollout 길이는 2,296토큰으로 OPD 4,658보다 50.7% 감소했고 FastOPD 2,709보다도 짧다. 0.6B에서도 최적점은 Relay-OPD 75 step, FastOPD 100 step, OPD 110 step 순이다. 작은 학생의 Relay-OPD Train Len 2,490은 OPD 6,900보다 63.9% 감소한다.

이 결과는 계산 효율을 FLOPs나 wall-clock으로 직접 측정한 표는 아니다. 원문이 제공하는 근거는 최적 체크포인트까지 필요한 update step과 그 구간의 평균 응답 토큰 수이며, 둘 모두 Relay-OPD가 작다는 것이다. 교사 추론 비용과 speculative decoding의 실제 처리량까지 포함한 전체 시스템 속도는 이 표만으로 확정할 수 없다. 다만 긴 실패 continuation을 훈련 데이터에서 줄였다는 주장은 두 학생의 Train Len 감소로 직접 뒷받침된다.

6. 추가 분석 및 Ablation Study: 얼마나 자주, 얼마나 오래 넘겨줄 것인가

추가 분석은 성능 향상이 단순 조기 종료 때문인지, 실제 교사 leg와 그 학습 목적에서 오는지를 분해한다. 이어 훈련 중 교사 개입량이 어떻게 변하는지 추적하고, 최대 인계 횟수 $M$, 교사 leg 길이 $L$, 인계 민감도 $K$를 한 번에 하나씩 바꾼다. 모든 ablation과 민감도 실험의 학생은 Qwen3-1.7B-Non-Thinking이고 교사는 동일한 Qwen3-4B-Instruct-2507이다. 기본점은 $K=5$, $(M,L)=(2,3)$의 평균 정확도 46.96이다.

6.1 훈련이 진행될수록 줄어드는 교사 개입

Figure 6: 처음 60 step의 릴레이 예산 소진율, 교사 토큰 비율, 정책 엔트로피.

초기에는 궤적 약 75~85%가 릴레이 예산을 모두 쓰지만, 이후 약 50~60%로 감소한다. 유효 응답 토큰 중 교사 토큰 비율도 약 13%에서 빠르게 내려가 20 step 뒤에는 2~3%에 안정된다. 두 하락 곡선은 학생이 개선되면서 실제 takeover 수요도 줄어드는 상태 적응적 개입을 보여준다. 오른쪽 패널에서는 Relay-OPD의 정책 엔트로피가 첫 60 step 동안 OPD와 FastOPD보다 계속 높게 유지된다. 세 패널은 개입 빈도 감소와 상대적으로 높은 정책 엔트로피가 같은 학습 구간에서 나타났음을 보여 준다.

예산 소진율과 교사 토큰 비율은 서로 관련되지만 동일한 측정량은 아니다. 전자는 허용된 인계 횟수를 끝까지 쓴 궤적의 비중이고, 후자는 모든 유효 응답 토큰 가운데 실제 교사가 생성한 토큰의 비중이다. 두 값이 함께 하락한다는 관찰은 훈련이 진행될수록 교사와 학생의 방향 차이 및 개입이 필요한 접두부가 줄어든다는 논문의 해석을 지지한다. 처음부터 끝까지 일정 비율로 교사 토큰을 섞는 방식과 달리 개입량이 학생 상태에 맞춰 자동 조절되는 셈이다.

정책 엔트로피가 높은 현상은 정확도 그 자체와 같은 결과가 아니다. 저자들은 교사 개입이 학생이 방문하는 접두부와 그 뒤의 생성 방향을 바꾸어 탐색 범위를 넓힌 결과로 해석한다. 적어도 그림 6은 Relay-OPD가 짧은 궤적을 얻기 위해 분포를 일찍 수축시키는 방식만으로 설명되지 않는다는 근거를 제공한다. 다만 엔트로피와 각 벤치마크 정확도의 인과관계는 별도 통제 실험보다 동역학 관찰에 근거한다.

6.2 교사 leg는 조기 종료 이상의 정보를 주는가

Trigger-Stop은 첫 인계 신호가 발생하면 교사 토큰을 생성하지 않고 즉시 궤적을 끝낸다. 비교를 공정하게 만들기 위해 Trigger-Stop과 Relay-OPD 모두 최대 인계 횟수를 $M=1$로 고정하며, Relay-OPD만 길이 $L=3$의 교사 leg를 만든 뒤 종료한다. 따라서 두 변형의 차이는 실패가 의심되는 위치에서 멈추는 것과, 그 위치에 교정 문맥 및 짧은 추론 시범을 실제로 덧붙이는 것이다. 이 설계는 동적 절단 효과와 교사 takeover 효과를 분리한다.

표 6. 교사 leg와 teacher-leg 학습 목적 ablation: mean accuracy(%)

변형	AIME24	AIME25	AIME26	MATH	AMC23	Olymp.	HMMT F26	HMMT N25	평균
Trigger-Stop, $M=1$	39.48	28.75	24.48	87.00	71.56	55.27	23.11	18.23	43.48
Relay-OPD, $M=1,L=3$	42.40	31.98	29.69	88.55	75.47	58.38	23.30	20.21	46.25
Student Draft Token	38.54	27.60	26.25	88.10	75.94	57.42	23.67	18.96	44.56
Teacher FKL, $k=128$	41.77	28.96	26.56	88.20	72.73	55.68	21.69	17.08	44.08
Relay Token	42.71	32.81	30.52	89.50	76.88	58.79	24.72	19.79	46.96

$M=1$ 조건에서 Trigger-Stop의 평균은 43.48이고 교사 leg를 넣은 Relay-OPD는 46.25다. 차이인 2.77%포인트는 단지 실패 이후의 긴 토큰을 버리는 것만으로 전체 이득을 설명할 수 없음을 보여준다. AIME26에서는 24.48에서 29.69로 5.21%포인트, AMC23에서는 71.56에서 75.47로 3.91%포인트 상승한다. 여덟 벤치마크 모두 교사 leg가 있는 변형의 숫자가 높아, 교정된 접두부와 지역적 추론 시범이 일관된 추가 정보를 제공한다.

6.3 교사 leg의 어떤 토큰을 어떤 목적으로 학습할 것인가

기본 Relay Token 목적은 takeover 뒤 실제 릴레이 궤적에 기록된 토큰 $z_t$를 이용한다. Student Draft Token 변형은 교사가 검증하거나 교체하기 전에 엔진이 저장한 학생 초안 $a_t^S$로 teacher-leg 위치의 업데이트를 계산한다. 이때 advantage는 $$A_t^{\mathrm{draft}}=\log\pi_T(a_t^S\mid h_t^z)-\log\pi_{\bar\theta}(a_t^S\mid h_t^z)$$ 로 바뀐다. 즉 교사가 실제로 제시한 교정 토큰을 강화하기보다, 학생이 원래 내려던 토큰을 얼마나 억제할지에 주로 신호를 준다.

Teacher FKL 변형은 교사 분포의 상위 $k=128$ 지지집합 $\mathcal K_t$를 취하고 그 안에서 확률을 다시 정규화한다. 정규화 분포는 $$q_T^k(v\mid h_t^z)=\frac{\pi_T(v\mid h_t^z)}{\sum_{u\in\mathcal K_t}\pi_T(u\mid h_t^z)}$$ 이다. teacher-leg 위치의 손실은 $$\mathcal L_{\mathrm{FKL}}^{\mathrm{teacher}}(t)=\sum_{v\in\mathcal K_t}q_T^k(v\mid h_t^z)\left[\log q_T^k(v\mid h_t^z)-\log\pi_\theta(v\mid h_t^z)\right]$$ 로 계산한다. 학생 leg에는 이 변경을 적용하지 않고 표준 OPD 목적을 그대로 유지한다.

평균은 Student Draft Token 44.56, Teacher FKL 44.08, 실제 Relay Token 46.96 순이다. Relay Token은 두 대안보다 각각 2.40·2.88%포인트 높고, 특히 AIME25에서는 5.21·3.85%포인트 높다. 저자 해석에서 단일 표본 reverse-KL식 목적은 mode-seeking 성격으로 실패 접두부의 특정 교정 신호를 선택적으로 흡수한다. 반대로 mode-covering인 FKL은 해당 릴레이 문맥에서 교사 분포 전체를 맞추도록 요구하므로, 교사 자체 궤적이 아닌 곳에서의 덜 신뢰할 만한 확률까지 넓게 반영할 수 있다.

이 ablation은 교사 생성과 교사 학습 신호를 구분한다. 같은 teacher leg를 보더라도 학생 초안만 업데이트하거나 teacher top-128 분포를 덮는 방식은 실제 takeover 토큰을 학습하는 기본 목적보다 낮다. 따라서 성능 향상의 구성요소는 인계 위치 탐지, 짧은 교사 leg 생성, 실제 relay token에 대한 목적이 결합된 것이다. 표 6의 위쪽 비교가 ‘무엇을 생성할 것인가’를 검증한다면 아래쪽 비교는 ‘그 생성 결과를 어떻게 증류할 것인가’를 검증한다.

6.4 민감도: 중간 수준의 인계가 만드는 균형

Figure 7: 릴레이 예산 $(M,L)$과 handoff top-$K$의 평균 정확도 민감도.

왼쪽은 $L$과 $M$, 오른쪽은 인계 top-$K$를 한 번에 하나씩 바꾼 결과다. $L$은 4에서 평균 47.10으로 최고이고, $M$과 $K$는 기본값 2와 5에서 46.96을 기록한다. 특히 $M=4$와 $K=10$에서 평균이 각각 44.01과 43.14로 내려가 개입량과 판정 기준의 단조 증가가 해답이 아님을 확인한다. 너무 길거나 잦은 takeover, 너무 둔감하거나 과민한 신호 모두 기본점보다 낮아, 교정과 on-policy 궤적 유지 사이에 중간 영역이 있음을 보여준다.

표 7. Relay-OPD 하이퍼파라미터 민감도: Qwen3-1.7B 평균 정확도(%)

변경 축	설정	평균	기본값 대비 차이(%포인트)	조건
교사 leg 길이	$L=0$	44.31	-2.65	$M=2,K=5$
	$L=1$	45.56	-1.40	$M=2,K=5$
	$L=2$	45.81	-1.15	$M=2,K=5$
	$L=3$ 기본	46.96	0.00	$M=2,K=5$
	$L=4$	47.10	+0.14	$M=2,K=5$
	$L=5$	46.47	-0.49	$M=2,K=5$
최대 인계 횟수	$M=1$	46.25	-0.71	$L=3,K=5$
	$M=2$ 기본	46.96	0.00	$L=3,K=5$
	$M=3$	45.94	-1.02	$L=3,K=5$
	$M=4$	44.01	-2.95	$L=3,K=5$
handoff top-$K$	$K=1$	44.27	-2.69	$M=2,L=3$
	$K=5$ 기본	46.96	0.00	$M=2,L=3$
	$K=10$	43.14	-3.82	$M=2,L=3$
	$K=|\mathcal V|$	41.23	-5.73	표준 OPD에 해당

길이 $L$을 0에서 4로 늘리면 평균은 44.31에서 47.10으로 상승하지만, 5에서는 46.47로 다시 낮아진다. $L=0$도 반성 위치의 교체 토큰은 포함하는 최소 교정이고, 교사가 추가 문단을 생성하지 않는 설정이다. $L=3$과 $L=4$의 차이는 0.14%포인트에 불과해 둘 다 강한 구간이며, 더 긴 leg가 단조롭게 좋아지는 것은 아니다. 초기 개입 실험에서도 teacher token 비율 증가에 비해 정확도 이득이 포화됐다는 관찰과 방향이 같다.

횟수 $M$은 1에서 46.25, 2에서 46.96, 3에서 45.94, 4에서 44.01을 기록한다. 최대 인계를 2회에서 4회로 늘리면 오히려 2.95%포인트 하락한다. 교사의 방향 수정이 유용하더라도 자주 이어받으면 궤적이 현재 학생 정책의 방문 분포에서 멀어져 on-policy 증류의 장점이 약해진다는 설명과 부합한다. 따라서 예산은 가능한 한 크게 잡는 안전장치라기보다 개입을 앞쪽의 중요한 실패에 집중시키는 제한이다.

민감도 $K$는 1·5·10에서 각각 44.27·46.96·43.14이며 모두 표준 OPD 41.23보다 높다. 원문의 기준에서 $K=|\mathcal V|$는 선택적 인계를 하지 않는 표준 OPD에 해당하고, 기본 $K=5$와의 차이는 5.73%포인트다. $K=1$은 사소한 차이에도 과도하게 발화할 수 있고, $K=10$은 실제 방향 발산을 놓칠 수 있어 어느 쪽도 최적이 아니다. 결국 핵심은 교사를 오래 또는 자주 쓰는 데 있지 않다. 학생이 스스로 이어갈 수 없는 접두부를 적당한 문턱으로 찾아 짧게 넘겨주는 것이다.

민감도 표는 한 축씩 바꾼 실험이므로 서로 다른 $M$, $L$, $K$를 임의로 조합한 성능을 예측하는 전수 탐색 결과는 아니다. 그럼에도 $L=4$의 47.10을 제외하면 기본 $(M,L)=(2,3)$과 $K=5$가 각 축의 최상점이며, $L=3$도 최고와 0.14%포인트 차이다. 학습 동역학에서 교사 토큰 비율이 2~3%로 내려간 사실까지 합치면, 방법의 이득은 지속적인 대규모 교사 대체보다 상태 기반의 희소한 교정과 연결된다. 교사 leg·목적 함수·예산·신호 문턱의 ablation이 모두 이 결론을 서로 다른 측정으로 지지한다.

ablation을 합쳐 읽으면 어느 한 요소의 단독 승리보다 개입 신호·교사 구간·학습 토큰·예산의 결합이 중요하다는 결론이 나온다. Trigger-Stop은 평균 43.48, 실제 teacher leg를 붙인 $M=1,L=3$은 46.25였고, 목적함수에서는 relay token 46.96이 student draft 44.56과 teacher FKL 44.08을 앞섰다. 민감도에서는 $L=4$의 47.10이 최고였지만 $L=5$는 46.47로 낮아졌고, $M=4$는 44.01까지 하락했다. 이 계보는 개입을 늘리는 방향이 자동으로 더 강한 감독을 뜻하지 않음을 수치로 보여 준다.

• 위치: 응답 앞부분에서 교사–학생 gap이 더 크므로 늦은 takeover보다 이른 trigger가 유리하다.
• 구간: reflection token만 쓰는 $L=0$도 OPD보다 높지만, 짧은 문단 시범이 Trigger-Stop 이상의 정보를 더한다.
• 복귀: 교사 구간 뒤 학생이 다시 생성해야 수정된 접두부가 학생 정책의 새로운 방문 상태로 남는다.
• 선택적 업데이트: full-distribution FKL보다 실제 relay token 기반 reverse-KL이 실패 문맥의 교정 모드를 더 잘 보존했다.

다만 표에는 seed별 분산이나 신뢰구간이 없으므로 FastOPD 대비 1.49%포인트 같은 차이는 재현 실험으로 폭을 확인해야 한다. AIME·AMC·HMMT는 문제당 32개 표본을 생성하지만 MATH500·OlympiadBench는 4개이므로, 평균 안에 들어가는 샘플링 오차 구조도 벤치마크마다 다르다. 저자 표의 여러 소수점은 계산 정밀도를 보여 주지만 그 자체로 통계적 유의성을 보장하지 않는다. 따라서 전체 OPD 대비 큰 격차와 두 학생 규모에서 반복된 방향은 강한 근거로 읽되, 가까운 trajectory-intervention 기준선 간 순위는 보수적으로 해석하는 편이 맞다.

7. 한계점 및 향후 연구 방향: 수학·Qwen 조합 밖에서 남는 검증

먼저 저자가 직접 밝힌 한계와 실험에서 추가로 읽히는 한계를 분리할 필요가 있다. 저자들이 명시한 범위는 DAPO-Math-17K의 영어 수학 문제, Qwen3-4B 교사와 Qwen3-0.6B·1.7B 학생 조합이며, 코드 생성과 도구 사용 에이전트는 향후 연구로 남는다. 또한 모델 계열이 바뀌면 reflection token 집합을 조정해야 하고, 교사와 학생의 능력 차가 작아질수록 relay의 이득이 줄 수 있으며, 1.7B에서 고른 예산을 0.6B에 그대로 썼다는 점도 논문이 인정한다. 반면 아래의 trigger 오검출, 실제 시스템 비용, 교차 계열 전이 문제는 보고된 설계와 수치로부터 도출한 리뷰어의 판단이지 저자의 실증 결론은 아니다.

Figure 8: 응답 위치가 뒤로 갈수록 교사와 학생의 token-level advantage 격차가 좁아지는 경향.

이 그림은 $L=3$ 개입에서 응답 토큰 위치 구간별 평균 advantage의 절댓값을 비교하며, 앞쪽 구간에서 교사와 학생의 차이가 가장 크고 뒤로 갈수록 좁아짐을 보여 준다. 즉 긴 실패 접두부가 굳은 뒤보다 방향이 갈라지는 초기에 교사를 투입해야 한다는 relay budget의 근거다. 다만 128개 영어 수학 표본의 위치별 평균이므로, 개별 trigger가 실제 오류였다는 정밀도나 다른 과제에서도 같은 감소 곡선이 재현된다는 보장은 아니다. 학생 단독 궤적에서도 후반 gap이 줄기 때문에 앞쪽 trigger에 예산을 먼저 쓰는 설계를 뒷받침한다.

적용 가능성을 판단할 때는 “알고리즘이 task-agnostic하다”는 구조적 주장과 “해당 과제에서 trigger가 유효하다”는 경험적 주장을 같게 보면 안 된다. Relay 상태 전환 자체는 어떤 autoregressive rollout에도 넣을 수 있지만, 현재의 $\mathcal R$은 Wait, But, Hmm, Actually, However, Oops 같은 영어 표지를 전제로 한다. 수학 장문 풀이에서는 이 말들이 재검토의 시작을 나타내기 쉽지만, 코드에서는 예외 처리나 주석 문법이, 도구 에이전트에서는 관찰 결과와 action schema가 방향 전환의 단위가 될 수 있다. 다음 표는 논문이 실제로 지지한 범위와 아직 열려 있는 검증을 나누어 정리한 것이다.

축	논문이 직접 지지한 적용 범위	남는 한계와 확인 질문
과제	DAPO-Math-17K 영어 학습과 AIME·MATH500·AMC·OlympiadBench·HMMT의 여덟 수학 평가	코드, 다국어 추론, 검색, 장기 도구 사용에서도 reflection 표지가 실패 지점과 일치하는가
모델 조합	Qwen3-4B-Instruct-2507 교사와 Qwen3-0.6B·1.7B-Non-Thinking 학생	서로 다른 tokenizer·모델 계열, thinking 학생, 폐쇄형 logit 교사에도 동일한 $\phi(h)$를 만들 수 있는가
Trigger	교사 top-1이 $\mathcal R$에 있고 학생 top-$K$에 $\mathcal R$이 없을 때의 label-free 비대칭	문체 차이를 오류로 오인하는 false positive와, 표지 없이 조용히 고치는 오류를 놓치는 false negative는 얼마인가
교사 전제	실패 접두부에서 학생보다 더 자주 재검토하고 방향을 돌리는 강한 단일 교사	능력 차가 좁거나 교사가 같은 오류에 끌릴 때, 또는 전문 교사끼리 판단이 충돌할 때 누가 baton을 받을 것인가
예산	$K=5$, $(M,L)=(2,3)$을 기본값으로 사용하고 두 학생 크기에서 일관된 향상 확인	과제 길이·난도·학생 숙련도에 따라 고정된 takeover 횟수와 문단 수를 온라인으로 바꿔야 하는가
효율	1.7B에서 평균 학습 rollout 4,658→2,296 token, 0.6B에서는 OPD 대비 63.9% 감소	교사 검증 forward, 통신, batch 폐기까지 포함한 wall-clock·GPU-hour·유효 token 처리량도 실제로 줄어드는가

표에서 가장 중요한 공백은 trajectory 길이 감소와 end-to-end 비용 감소가 동일하지 않다는 점이다. 논문은 단일 speculative-decoding engine으로 두 생성 파이프라인의 전환 비용을 피하고, 이미 계산한 교사 logit으로 trigger를 얻는다고 설명하지만, wall-clock 속도나 GPU-hour 비교표는 제시하지 않는다. 학생 leg에서는 draft가 전부 수락되어 가볍더라도 trigger 판단을 위한 교사 측 검증과 block 전환 뒤 draft 폐기에는 비용이 남는다. 따라서 “50% 이상 짧은 학습 trajectory”는 강한 token-efficiency 근거이지만, 같은 비율의 훈련비 절감으로 확대 해석해서는 안 된다.

Trigger는 오류 판별기라기보다 continuation asymmetry의 규칙이라는 점도 핵심 한계다. 정의 $\phi(h)=\mathbf 1[a^T(h)\in\mathcal R]\mathbf 1[\mathcal K_S(h)\cap\mathcal R=\varnothing]$은 정답, verifier, 과정 label을 요구하지 않는 대신 “교사가 되돌아보려 한다”와 “현재 풀이가 틀렸다”를 등치하지 않는다. 교사가 맞는 풀이를 장황하게 재확인하거나 학생이 reflection word 없이 즉시 수정하면 각각 과개입과 미검출이 생길 수 있고, teacher top-1 한 토큰에 의존하므로 작은 logit 변동도 상태 전환을 바꿀 수 있다. 본문 사례의 But 74.4084% 대 학생 So 50.6288%는 직관을 잘 보여 주지만, 사례 하나가 trigger precision·recall의 집계 평가를 대신하지는 못한다.

교사의 독립 생성 정확도가 60.55인데 실패 접두부에서 $L=6$까지 개입해도 43.55였다는 예비 실험은 또 다른 경계를 드러낸다. 강한 교사도 이미 형성된 학생 문맥에 조건화되면 자신의 원래 능력을 온전히 발휘하지 못하며, 그래서 relay는 teacher trajectory를 복원하는 방식보다 손상된 학생 상태를 국소적으로 구조하는 방식에 가깝다. 이 사실은 교사 leg의 full-distribution FKL이 44.08로 relay token 목적함수의 46.96보다 낮았던 결과와도 맞물리지만, 저자들이 말한 mode-covering 설명을 인과적으로 확정하려면 seed 반복과 loss별 gradient·coverage 분석이 더 필요하다. 현재 표에는 신뢰구간이나 다중 seed 분산이 없어 1% 안팎의 baseline 차이는 특히 조심해서 읽어야 한다.

후속 연구는 단순히 코드와 에이전트 benchmark를 하나씩 추가하는 데 그치지 않고, 어떤 비대칭이 실제 구조적 회복을 예측하는지를 측정해야 한다. trigger가 뜬 동일 접두부에서 학생 계속, reflection token 하나, 짧은 teacher leg, 독립 teacher 재시작을 counterfactual branch로 생성하면 trigger의 발생률 대신 실제 rescue gain을 추정할 수 있다. 여기에 무작위 조기 개입과 빈도 일치 가짜 reflection token을 대조군으로 넣어야 “앞에서 교사가 말했기 때문”과 “실패 방향을 정확히 찾았기 때문”을 분리할 수 있다. 아래 설계는 논문이 제안했다고 인용하는 목록으로 제시하는 것이 아니다. 현재 근거의 빈칸을 메우기 위한 리뷰어의 제안이다.

후속 검증	비교 조건	핵심 지표	판별하려는 주장
Counterfactual trigger audit	학생 지속 vs token-only vs $L=3$ teacher leg vs 무작위 위치 개입	trigger precision, rescue@budget, 개입당 정답 증가	reflection 비대칭이 단순 조기 개입보다 실패 지점을 더 잘 찾는가
도메인 전이	수학·코드·검색·도구 사용, 영어·비영어의 과제별 signal 집합	성공률, syntax 오류, tool recovery, 평균 leg 길이	문단 단위 teacher leg와 영어 token 사전이 어디까지 이동하는가
교차 계열 전이	동일 계열 vs 다른 tokenizer·architecture의 teacher–student	trigger rate, logit calibration, 평균 정확도, KL 안정성	Qwen 내부의 표현·어휘 정렬이 성능의 숨은 전제인가
교사 격차 sweep	약한·동급·강한 교사와 specialist 다중 교사 routing	teacher rescue advantage, 잘못된 takeover 비율	능력 차가 줄 때의 손익분기점과 교사 선택 규칙은 무엇인가
적응형 예산	고정 $(M,L)$ vs 위치·entropy·rescue 예측에 따른 동적 예산	정확도–teacher token–길이 Pareto 곡선	초기 개입의 이득을 유지하면서 불필요한 teacher leg를 줄일 수 있는가
시스템 계측	OPD·FastOPD·SKD·Relay-OPD의 동일 hardware·batch 조건	wall-clock, GPU-hour, verifier 호출, discard token, peak memory	token 길이 이득이 실제 학습 throughput과 비용 이득으로 이어지는가

이 검증에서 성공 기준은 평균 정확도 하나에 머물지 않고 정확도–교사 개입량–분포 충실도–시스템 비용의 Pareto 개선이어야 한다. 특히 코드나 agentic tool use에서는 정답 문자열보다 실행 성공, 잘못된 tool call 뒤 회복, 같은 오류의 재발 여부가 더 직접적인 prefix-failure 지표다. 다중 교사 환경에서는 이전 위키의 Multi-teacher OPD처럼 prompt마다 specialist 하나를 고르는 수준을 넘어, trigger가 가리키는 실패 유형에 맞춰 교사를 고르는 routing 실험도 가능하다. 다만 이러한 확장은 본 논문의 결과와 구분해야 하며 Relay-OPD의 state-switched 구조에서 파생한 연구 가설로 남겨 두는 편이 정확하다.

8. 내 해석: trigger의 의미와 운영 검증의 빈칸

내가 운영자라면 이 trigger를 오류 경보라기보다 “현재 접두부에서 어느 정책에 다음 짧은 구간을 맡길지”를 정하는 불완전한 routing 신호로 본다. 이전 OPD 리뷰가 teacher의 강함보다 학생이 방문한 상태에서 신호가 exploitable한지를 물었고, SDAR가 multi-turn drift 속에서 token-level gate로 교사 신뢰도를 제한했으며, PlanPhys가 기존 planning pattern의 effective region 밖에서는 dense reverse-KL도 지식을 만들지 못할 수 있음을 보인 흐름과 정확히 이어진다. Relay-OPD는 그 세 질문을 접두부 수준의 개입 시점으로 옮겼지만, 구체적인 약점은 영어 reflection word와 teacher top-1에 오류 의미를 너무 많이 맡겨 문체적 “But”과 실제 방향 수정 “But”을 구별하지 못한다는 것이다. 따라서 나는 trigger 횟수 감소만 보고 학생이 나아졌다고 판단하지 않고, 미검출 실패·불필요 takeover·개입 뒤 재실패를 함께 계측하겠다.

내가 추가할 독창적 운영 실험은 shadow-relay counterfactual audit이다. 실제 학습 trajectory는 기존처럼 한 갈래만 채택하되 $\phi(h)=1$인 접두부의 작은 표본에서 학생 지속, token-only 수정, 세 문단 교사 leg를 speculative engine 안에서 병렬 shadow branch로 만들고, 최종 rescue 차이로 trigger의 온라인 calibration curve를 누적하겠다. 이는 이전 speculative rollout 흐름의 “draft 속도보다 target distribution integrity를 보라”는 원칙을 확장해, 학생 leg와 교사 leg 각각의 조건부 분포가 정확하다는 구현 보장과 state-switch 결정 자체가 유익하다는 운영 보장을 분리한다. 이후에는 이 rescue 예측치로 $(M,L)$을 동적으로 배분하고, Multi-teacher OPD의 specialist pool이 있다면 실패 유형별 예상 rescue가 가장 큰 교사에게 baton을 넘겨 고정 사전과 고정 단일 교사를 동시에 넘어설 수 있는지 검증하겠다.

9. 결론: 적은 교사 개입으로 실패 접두부를 되돌리다

Relay-OPD의 핵심은 학생 trajectory를 버리고 교사 정답으로 교체하기보다 학생이 잘못된 방향을 계속 밀어붙이는 순간에만 교사가 짧게 이어 달리도록 만드는 데 있다. 교사 argmax가 reflection token 집합 $\mathcal R$에 속하고 학생 top-$K$에는 그 집합이 없을 때 handoff를 켜며, 기본 예산 $(M,L)=(2,3)$이 개입의 횟수와 문단 길이를 제한한다. 이후 실제 relay token 전체에 $A_t=\log\pi_T(z_t\mid h_t)-\log\pi_{\bar\theta}(z_t\mid h_t)$를 적용하므로, teacher leg는 수정된 문맥을 제공하고 직접 학습 신호가 된다. 이 설계는 실패 뒤의 긴 저가치 supervision을 고정 길이로 자르는 FastOPD와 달리, 상태가 요구하는 지점에서 교정 방법까지 보여 준다.

결과를 한 문장으로 압축하면 적고 이른 교사 개입이 더 길고 잦은 개입보다 낫다는 것이다. 예비 개입, 본 실험, ablation과 sensitivity가 모두 같은 방향을 가리키지만 각각 답하는 질문은 다르다. 아래 수치는 accuracy point와 token 비율을 원문 표기대로 옮겼으며, 상대 향상률과 절대 percentage-point를 혼동하지 않도록 비교 대상을 함께 적었다.

근거 장면	핵심 수치	이 수치가 지지하는 해석
최소 국소 수정	reflection token만 바꿔 teacher token 0.35%, 정확도 27.73→34.96	한 토큰의 방향 전환도 +7.23 point의 회복을 만들 수 있다
개입 시점	이른 trigger 41.99, 지연 조건 33.98와 29.49	동일 길이 개입이어도 뒤로 미루면 접두부 고착 때문에 가치가 급감한다
1.7B 본 결과	Relay 46.96, OPD 41.23, FastOPD 45.47	OPD 대비 +5.73 point, 가장 강한 baseline 대비 +1.49 point다
1.7B 학습 길이	Relay 2,296 token, OPD 4,658 token	최고 checkpoint까지 평균 rollout 길이가 50.7% 감소한다
0.6B 본 결과	Relay 31.04, OPD 28.03, FastOPD 30.42	작은 학생에서도 각각 +3.01 point와 +0.62 point로 방향이 유지된다
Teacher leg 기여	Trigger-Stop 43.48, $M=1,L=3$ Relay 46.25	동적 조기 종료를 넘어 수정 문맥과 국소 시범이 +2.77 point를 더한다
목적함수	relay token 46.96, student draft 44.56, teacher FKL 44.08	실제로 생성된 수정 token의 선택적 RKL 신호가 full-distribution 모사보다 낫다
예산 민감도	$L=0$ 44.31, $L=4$ 47.10, $L=5$ 46.47, $M=4$ 44.01	교사 구간을 늘리면 포화 뒤 하락해 on-policy 성질과의 절충이 필요하다
Trigger 민감도	$K=1$ 44.27, $K=5$ 46.96, $K=10$ 43.14	사소한 차이에 과반응하거나 진짜 차이를 놓치지 않는 중간 문턱이 중요하다

이 표가 보여 주는 것은 Relay-OPD의 이득이 단순한 조기 종료 하나로 설명되지 않는다는 점이다. Trigger-Stop보다 teacher leg가 낫고, teacher FKL보다 실제 relay token 목적함수가 낫고, 무작정 $M$과 $L$을 늘리면 오히려 성능이 떨어진다. 즉 유효 성분은 상태 기반 발견, 짧은 교정 시범, 학생으로의 복귀, 관찰된 relay token에 대한 선택적 업데이트의 결합이다. 다만 baseline 대비 +1.49 point 같은 좁은 차이를 보편적 우위로 확정하기 전에 seed 분산, 교차 계열, wall-clock 비용을 확인해야 한다는 결론도 함께 남는다.

연구 맥락으로 보면 Yongliang Shen과 Zhejiang University가 참여한 이번 작업은 위키에서 추적한 SDAR의 agent 후학습 축을 long-chain 수학의 trajectory routing 문제로 확장한다. SDAR가 신뢰할 token을 골랐다면 Relay-OPD는 신뢰할 continuation 주체와 구간을 고르고, 기존 OPD의 학생 상태 분포는 유지하되 실패 접두부 자체를 교정 가능한 학습 표면으로 바꾼다. speculative decoding도 여기서는 단순 inference 가속기를 넘어 student draft, teacher verification, handoff 감지, teacher leg 생성을 한 engine에서 묶는 training primitive가 된다. 이 조합이 논문의 가장 설득력 있는 기여이며, 다음 단계는 그 primitive가 수학·Qwen 밖에서도 같은 구조적 이득을 내는지 증명하는 일이다.

10. 요약 정리: Relay-OPD의 핵심 결과

마지막으로 논문의 주장, 직접 근거, 남은 검증을 한 목록에 묶어 정리한다. 수치는 Qwen3 교사–학생과 여덟 수학 benchmark에서 얻은 결과이며 다른 도메인의 보장으로 읽어서는 안 된다. 특히 label-free trigger의 편의성과 오류 검출 정확도, token 길이와 실제 시스템 비용을 각각 분리해 기억해야 한다.

• 문제 정의: 표준 OPD는 학생이 일찍 잘못된 방향을 택해도 그 실패 접두부 뒤의 긴 continuation을 계속 만들고 학습해 supervision 신뢰도와 계산을 함께 낭비한다.
• Handoff trigger: 교사 top-1이 reflection 집합 $\mathcal R$에 속하고 학생 top-$K$에 reflection token이 없을 때, 교사는 재검토하지만 학생은 계속 전진하려는 continuation asymmetry로 판단한다.
• Relay trajectory: 기본 $(M,L)=(2,3)$에서 교사가 최대 두 번, 매번 세 문단을 이어 쓴 뒤 학생에게 생성을 돌려주며 마지막 예산을 쓰면 rollout을 끝낸다.
• 학습 신호: 학생 draft나 teacher full distribution이 아니라 실제 생성된 relay token에 reverse-KL 계열 advantage와 clipped policy update를 적용한다.
• 성능: 1.7B 학생의 평균은 46.96으로 OPD 41.23보다 +5.73 point, FastOPD 45.47보다 +1.49 point 높고, 0.6B도 OPD보다 +3.01 point 높다.
• 효율: 1.7B의 평균 학습 trajectory는 4,658에서 2,296 token으로 50.7% 줄고, 0.6B에서는 OPD 대비 63.9% 감소하지만 wall-clock과 GPU-hour 절감은 별도 검증이 필요하다.
• Ablation: Trigger-Stop 43.48보다 teacher leg 46.25가 높고 relay token 목적함수 46.96이 student draft 44.56과 teacher FKL 44.08보다 높아, 종료가 아닌 교정 시범과 선택적 흡수가 중요하다.
• 민감도: $K=5$와 중간 relay budget이 가장 안정적이며 $M=4$, 지나치게 긴 leg, 너무 작거나 큰 $K$는 on-policy 성질 또는 trigger 선별력을 훼손한다.
• 남은 과제: 코드·agentic tool use·다국어·교차 모델 계열에서 counterfactual rescue와 trigger 오검출을 측정하고, 적응형 예산·다중 교사 routing·실제 처리량까지 검증해야 일반화가 성립한다.