[arXiv 2607.24720] The Physics of Multi-Turn Long-Horizon Planning: 단일·다중 교사 온정책 에이전트 증류

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

https://arxiv.org/abs/2607.24720

Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao | Institute of Automation, Chinese Academy of Sciences; University of Chinese Academy of Sciences | arXiv:2607.24720 | 2026년 7월

---

1. 서론: 통제 가능한 환경으로 장기 계획 능력을 분해하다

1.1 긴 궤적의 성공률만으로는 보이지 않는 것

멀티턴 장기 계획은 한 번의 정답 생성보다 훨씬 복합적인 능력을 요구한다. 에이전트는 목표를 하위 목표로 분해하고, 매 행동 뒤 달라진 상태를 추적하며, 이전에 습득한 원자적 기술을 긴 순서로 결합해야 한다. 초반의 작은 오류가 뒤의 모든 전제와 재고를 바꾸므로, 짧은 과제에서 그럭저럭 작동한 정책도 긴 과제에서는 급격히 무너질 수 있다.

저자들이 문제 삼는 것은 성능 부족과 더불어 원인 식별의 어려움이다. 기존 파운데이션 모델은 구성과 품질을 알 수 없는 인터넷 말뭉치로 사전학습되므로, 성공한 계획이 사전학습에서 획득된 것인지 후학습에서 새로 형성된 것인지 분리하기 어렵다. 더구나 사전학습, 강화학습 기반 후학습, 여러 교사 모델의 통합이 서로 다른 기제를 건드리는데도 최종 성공률 하나로만 관찰되기 쉽다.

연구는 이 불투명성을 줄이기 위해 과제 길이, 궤적 품질, 계획 지식, 추론 패턴을 독립적으로 바꿀 수 있는 합성 멀티턴 환경을 만든다. 핵심 질문은 계획 능력이 사전학습에서 어떻게 획득되고, GRPO와 단일 교사 OPD에서 어떻게 형성되며, 다중 교사 MOPD에서 어떻게 통합되는가이다. 같은 구조의 환경에서 변인만 조절하므로 학습 단계 사이의 인과적 비교가 가능해진다.

Figure 1: 사전학습의 능력 획득, GRPO·OPD의 능력 형성, MOPD의 다중 교사 통합을 잇는 전체 분석 틀.

도식의 가로축은 단순한 학습 파이프라인과 구분되는, 서로 다른 질문을 배치한 실험 순서다. 사전학습에서는 세계 모델 표현·난이도 분포·궤적 품질을 바꾸고, 단일 교사 후학습에서는 희소한 결과 보상과 조밀한 교사 분포를 대조한다. 마지막에는 도메인별 교사를 순차 적용해 공유 패턴의 전이와 충돌 패턴의 망각을 분리한다. 각 단계는 앞 단계의 성공률을 반복 측정하는 대신 능력의 원천과 갱신 방향을 서로 다른 통제 변인으로 묻는다. 이 배치는 동일한 평가 환경을 유지하면서 획득·형성·통합의 효과를 단계별 처치와 연결한다.

1.2 제목의 ‘physics’를 읽는 정확한 범위

제목의 ‘Physics’는 실제 세계의 물리 법칙이나 물리 시뮬레이터를 학습한다는 뜻이 아니다. 저자들이 말하는 범위는 합성 스킬 그래프와 통제된 데이터 분포에서 장기 계획의 작동 조건과 경계를 체계적으로 측정하는 synthetic controlled study다. 따라서 결과는 장기 계획 학습의 기제를 해부하는 증거이지만, 곧바로 개방형 웹·로봇·운영체제 환경 전체의 보편 법칙으로 확대해서는 안 된다.

이 제한은 오히려 실험 설계의 장점과 맞닿아 있다. Fantasy Alchemy, Livestock Farming, Electronic Assembly라는 세 도메인은 의미 표면은 다르지만 동일한 계층 구조와 합성 논리를 공유하므로, 의미 변화와 구조 변화를 나누어 볼 수 있다. 저자들은 실제 환경의 다양성을 재현하기보다 숨은 전이 규칙, 방해 항목, 미관측 조합을 엄격히 통제해 어느 신호가 계획 성능을 바꾸는지 추적한다.

1.3 세 단계로 나눈 연구 질문

첫 단계는 사전학습 데이터의 형식·분포·품질을 다룬다. 행동만 바로 예측하는 형식과 상태 전이를 CoT로 전개하는 세계 모델 형식을 비교하고, 짧은 원자 기술만으로 새로운 긴 조합이 생기는지 확인한다. 동시에 최적·준최적 궤적의 혼합 비율을 조절해 초기 오류가 긴 상호작용에서 누적되는 양상을 측정한다.

둘째 단계는 일반적인 계획 패턴과 과제별 계획 지식을 구분해 GRPO와 OPD의 적용 경계를 묻는다. 셋째 단계는 도메인 전문가들을 한 학생에게 순차 증류할 때 공통 패턴이 전이되는 조건과 충돌이 파괴적 망각으로 바뀌는 조건을 살핀다. 이 구분 덕분에 ‘후학습이 계획을 개선한다’는 포괄적 주장 대신 무엇을 선택하고 무엇을 새로 주입하기 어려운지가 분석 단위가 된다.

2. 배경 및 관련 연구: 월드 모델·희소 보상·증류의 교차점

2.1 계획, 기술, 세계 모델의 형식화

계획 문제는 초기 상태 $s_0$와 목표 $g$가 주어졌을 때 실행 가능한 행동열 $A=\{a_1,\ldots,a_T\}$로 최종 상태 $s_T$가 목표를 만족하게 만드는 순차 의사결정으로 정의된다. 기술 $k=(d,P)$에서 $d$는 자연어 과제 설명이고, $P=\langle p_1,\ldots,p_m\rangle$은 자연어로 적힌 순서 있는 하위 단계다. 기술 라이브러리를 외부 문맥으로 붙일 수도 있지만, 연구의 초점은 이를 모델의 CoT와 파라미터에 암묵적으로 내재화하는 경우다.

세계 모델은 현재 상태와 행동으로 다음 상태를 정하는 $T(s_t,a_t)\rightarrow s_{t+1}$를 학습한다. 여기서는 절차적 기술을 별도 도구로 분리하지 않고 전이 함수의 규칙으로 흡수해, 행동의 결과를 내부에서 예측하도록 한다. 즉 계획은 정답 행동열 암기를 넘어 가능한 상태를 시뮬레이션하고 목표에 이르는 분기를 탐색하는 문제가 된다.

2.2 세계 모델 CoT와 원자 기술 조합

사전학습의 세계 모델 CoT는 목표부터 필요한 재료를 펼치는 후위 순회, 항목 합성의 상태 전이 규칙, 추상 카테고리를 실제 재고 인스턴스에 연결하는 grounding을 행동 전에 출력한다. 논문은 이를 내부 상태 공간에 대한 깊이 우선 탐색으로도 기술한다. 각 원자 기술을 $f_k:\mathcal{S}\rightarrow\mathcal{S}$라 하면 선택한 기술열의 누적 효과는 $s_{t+1}=f_{k_{t,m_t}}\circ\cdots\circ f_{k_{t,1}}(s_t)$이며, 탐색과 전이는 외부 시행 대신 CoT 안에서 수행된다.

원자 기술은 한 번의 유효한 합성을 수행하는 능력이고, 조합 일반화는 따로 배운 $f$와 $g$를 완전한 긴 궤적 없이 $h(x)=g(f(x))$로 연결하는 능력이다. 저자들의 실험에서는 짧은 과제만 100% 본 모델의 pass@8이 짧은 구간 93.12%였지만 중간 0.83%, 긴 구간 0.00%로 떨어졌다. 중간 궤적을 5% 넣자 중간 pass@8은 51.88%로, 긴 궤적을 5% 넣자 긴 구간은 11.46%로 상승해 소량의 긴 예시가 연결 방식 자체를 활성화한다는 해석을 뒷받침한다.

2.3 계획 패턴과 계획 지식의 정보량 차이

계획 패턴(planning pattern)은 CoT의 구조적·알고리즘적 골격이다. 목표 카테고리 확인, 필요한 기술 회상, 추상 카테고리와 재고 항목 연결, 최종 행동 생성처럼 여러 과제에 재사용되는 순서를 뜻하며, 직접 답변이나 불완전한 추론도 별도 패턴이 될 수 있다. 반면 계획 지식(planning knowledge)은 어떤 두 재료가 무엇을 만드는지처럼 특정 스킬 그래프의 상태 전이와 레시피를 지정한다.

저자들은 입력 과제 $T$, 패턴 $P$, 지식 $K$에 대해 $I(T;P)=H(P)-H(P|T)$와 $I(T;K)=H(K)-H(K|T)$를 둔다. 반성·백트래킹 같은 패턴은 여러 샘플이 공유해 입력 의존성이 상대적으로 낮지만, 필요한 레시피 지식은 현재 상태와 목표에 강하게 묶인다. 그래서 상대적으로 $I(T;P)<I(T;K)$이며, 후학습은 저정보량 패턴의 선택에는 유리해도 샘플별 고정보량 지식의 대규모 주입에는 불리하다는 가설이 나온다.

2.4 희소 결과 보상과 GRPO의 신용 할당

GRPO 실험은 한 프롬프트에서 여러 멀티턴 궤적을 rollout하고 그룹 내 상대 성과로 정책을 갱신하되, 보상은 목표를 최종 합성했는지를 나타내는 이진 결과 하나만 사용한다. 짧은 궤적에서는 성공한 샘플의 행동들을 강화하는 신호가 비교적 명확하다. 그러나 긴 궤적에는 올바른 단계와 잘못된 단계가 함께 들어가므로 동일한 종단 보상을 모든 토큰과 턴에 돌려주는 신용 할당이 거칠어진다.

논문은 패턴 간 성능 차이가 거의 없어 RL이 불필요한 영역 A, 더 나은 패턴을 안정적으로 선택하는 유효 영역 B, 좋은 패턴이 있어도 알고리즘이 발견하지 못하는 비지원 영역 C를 구분한다. 비최적 사전학습 궤적이 늘고 후학습 과제가 길어질수록 결과 보상 기반 GRPO는 잘못된 갱신 방향이나 소실된 기울기를 보였다. 이 결과로 GRPO 자체가 장기 계획에 무용하다고 단정할 수는 없고, 희소한 최종 보상만 사용한 해당 통제 조건에서 유효 영역이 좁아진다는 결론이다.

2.5 OPD의 학생 온정책 궤적과 reverse KL

On-Policy Agentic Distillation은 교사의 정답 궤적을 그대로 모사하는 오프라인 증류와 달리, 학생이 실제로 방문한 접두사에서 교사에게 질의한다. 턴 $k$의 누적 문맥 $H_k$에서 학생이 추론과 행동이 섞인 $\hat{Y}_k$를 생성하면, 각 토큰 위치에서 학생 분포 $p_{k,t}$와 교사 분포 $q_{k,t}$를 같은 학생 접두사로 계산한다. 목표는 $\mathbb{E}_{\tau\sim\pi_\theta}[\sum_{k,t}D_{KL}(p_{k,t}\Vert q_{k,t})]$라는 reverse KL을 줄이는 것이다.

이 목적은 최종 성공 여부에 더해 추론과 행동의 모든 토큰에 조밀한 감독을 제공한다. sampled-token OPD는 학생이 뽑은 토큰의 로그비 또는 국소 근사만 쓰고, Top-k OPD는 학생 확률 상위 집합에서 양쪽 분포를 재정규화하며, full-vocabulary OPD는 어휘 전체의 정확한 KL을 계산한다. 핵심 비교 실험은 $k=100$인 Top-k OPD를 사용해 계산량을 줄이면서 학생이 실제 방문한 상태에서 교사의 방향을 받는다.

2.6 증류가 넓히는 경계와 남는 한계

이상적인 교사가 있을 때 OPD는 긴 궤적에서도 GRPO보다 일관된 세분화 신호를 주어 저품질 사전학습 조건의 유효 영역을 넓혔다. 다만 reverse KL은 학생 질량을 교사가 선호하는 모드로 모으는 성향이 있어 출력 엔트로피와 패턴 다양성을 낮출 수 있다. 따라서 교사 패턴의 정확성이 중요하며, 충분한 샘플링에서 GRPO가 보일 잠재적 다양성과 OPD의 높은 pass@1은 같은 장점이 아니다.

더 중요한 한계는 교사와 학생의 절차 지식이 다를 때 드러난다. 학생이 레시피 A로 세계를 모델링하고 완벽한 교사가 다른 레시피 B를 따르더라도, OPD는 초기에 일반 패턴을 맞춘 뒤 후반의 샘플별 지식을 충분히 주입하지 못해 기존 지식까지 훼손할 수 있다. 연구에서 불일치 교사 B를 쓴 학생의 전체 pass@8은 36.60으로 기본 instruct 모델의 44.03보다 낮았으므로, 높은 교사 정확도만으로 지식 이전 성공을 보장할 수 없다.

3. 방법론: Controllable Planning Gym과 세 단계 학습 지도

3.1 AND/OR 스킬 그래프로 만든 합성 세계

Controllable Planning Gym은 LLM으로 카테고리 트리와 구체 항목 이름을 만든 뒤, 낮은 계층에서 높은 계층으로 향하는 추상 스킬 그래프를 구성한다. 높이 $H$의 각 계층에는 $W$개 카테고리가 있고 각 카테고리는 $N$개의 구체 인스턴스를 가진다. 목표 노드에 이르는 전이 규칙을 명시적으로 숨겨 두기 때문에 에이전트는 자연어 관측과 상호작용을 통해 레시피를 내재화해야 한다.

목표 $v$에 여러 독립 레시피가 있으면 레시피 사이는 OR, 한 레시피 안에서 동시에 필요한 재료들은 AND다. 형식적으로 $v\Leftrightarrow(u_{1,1}\land\cdots\land u_{1,k_1})\lor\cdots\lor(u_{m,1}\land\cdots\land u_{m,k_m})$이며, 각 AND 블록이 하나의 유효 경로다. 저자들은 선행 합성 단계가 적은 항목을 우선 결합하는 탐욕적 최소화로 단계 폭발을 억제하고, 도메인마다 서로 겹치지 않는 Graph A와 Graph B 레시피를 생성한다.

Figure 2: 계층형 AND/OR 스킬 그래프를 구체 항목, 초기 재고, 목표, 멀티턴 합성 행동으로 인스턴스화하는 Planning Gym.

왼쪽의 추상 그래프는 어떤 전제 묶음이 상위 노드를 만드는지 정의하고, 인덱스 맵은 같은 구조를 서로 다른 구체 이름의 환경으로 바꾼다. 에이전트는 ID 대신 항목과 카테고리의 자연어 설명을 받고, 방해 재료가 섞인 재고에서 유효한 재료 조합을 차례로 선택한다. 이 분리는 레시피 구조의 학습과 보지 못한 엔티티 조합에 대한 일반화를 따로 측정하게 한다. 따라서 논리 구조를 고정한 채 이름과 조합만 바꾼 테스트가 가능하다. Graph A와 B는 항목 이름을 공유하되 레시피를 분리해 절차 지식 불일치도 같은 틀에서 비교한다.

3.2 난이도, 규모, 분할을 독립적으로 통제하기

난이도는 초기 재고에서 목표를 만드는 데 필요한 최소 행동 수로 정한다. Short는 1~5단계, Middle은 6~8단계, Long은 9단계 이상이며 시작 계층의 관련 재료와 같은 계층에서 2~4개의 방해 항목을 섞는다. 목표와 시작 계층을 바꿀 때마다 정확한 최단 단계 수를 다시 계산하므로 ‘긴 과제’는 문장 길이보다 전이 깊이를 뜻한다.

아래 규모는 세 의미 도메인에 동일한 구조적 예산을 적용한다. 각 도메인은 5개 계층, 계층당 40개 카테고리, 카테고리당 20개 인스턴스로 구성되어 200개 추상 항목 노드와 4,000개 구체 이름을 갖는다. 동일한 크기에서 표면 의미만 바뀌므로 도메인 전이는 구조 공유 여부를 검증하는 장치가 된다.

Table 1. 세 합성 도메인과 단계 기반 난이도·스키마 규모

구분	설정	난이도 또는 규모	통제 목적
도메인	Fantasy Alchemy	5계층·200노드·4,000이름	환상 연금술 의미 표면
도메인	Livestock Farming	5계층·200노드·4,000이름	축산 의미 표면
도메인	Electronic Assembly	5계층·200노드·4,000이름	전자 조립 의미 표면
스키마	각 계층 40카테고리	카테고리당 20인스턴스	동일 구조·다른 구체 매핑
Short	최소 합성 행동 수	1~5단계	원자·근거리 계획
Middle	최소 합성 행동 수	6~8단계	중간 길이 연결
Long	최소 합성 행동 수	9단계 이상	오류 누적·장기 계획

추상 노드는 인덱스 맵으로 구체 환경에 대응되고, 카테고리별 일부 인덱스 조합은 테스트용으로 예약된다. 나머지 조합은 사전학습과 더 작은 고품질 후학습 풀에 배분되며, 테스트는 익숙한 항목의 새로운 조합만 사용해 매핑 누출을 막는다. 평가는 Graph A의 예약 설정에서 단계 수별 과제를 균등 표집하고, 독립 $K$회 실행의 평균 성공률 Avg@$K$와 한 번이라도 성공한 과제 비율 Pass@$K$를 함께 보고한다.

3.3 1단계: 사전학습에서 세계 모델과 연결 규칙 획득

저자들은 기존 모델의 사전학습 이력을 통제할 수 없기 때문에 Qwen2.5 계열 구조를 무작위 초기화하고 합성 말뭉치용 byte-level BPE 토크나이저도 처음부터 학습한다. 학생 사전학습에는 1.2B 규모 말뭉치를 사용하며, 직접 행동 예측과 세계 모델 CoT 조건을 대조한다. 전자는 매 턴 행동을 바로 내고, 후자는 카테고리 수준 레시피를 재귀적으로 펼치고 현재 재고의 구체 인스턴스에 접지한 다음 행동한다.

이 단계의 조작 변수는 데이터 형식과 함께 난이도 분포와 궤적 품질이다. 최적 패턴의 표현만 여러 개로 늘리는 것은 일반화를 크게 해치지 않았지만, 직접 답변과 잘못된 행동을 포함한 준최적 궤적이 많아지면 중·장기 성능이 거의 붕괴했다. 한편 세계 모델 조건은 직접 예측보다 초기에 느리고 토큰을 더 쓰지만 최종 일반화 상한이 높아, 상태 전이의 명시적 내재화가 단순 행동 모방과 다르게 작동함을 보여준다.

3.4 2단계와 3단계: 단일 교사 형성에서 다중 교사 통합으로

단일 교사 후학습은 같은 Fantasy Alchemy 데이터 3,000개를 하향 표집해 Short·Middle·Long 조건을 만들고, 최종 이진 보상의 멀티턴 GRPO와 Top-100 OPD를 비교한다. GRPO는 환경 성공으로 학생이 이미 가진 패턴을 탐색적으로 선택하고, OPD는 학생 온정책 접두사에서 교사의 토큰 분포를 조밀하게 따라간다. 둘 다 주로 기존 분포 안의 저상호정보량 패턴을 형성하며, 보지 못한 대규모 절차 지식을 안정적으로 새로 쓰는 수단으로 해석해서는 안 된다.

MOPD는 여러 교사를 동시에 섞어 추론하는 방식의 인프라 비용을 피하고 cascaded 방식을 택한다. $m$번째 교사에 대해 학생 rollout에서 $\mathcal{L}^{(m)}=\mathbb{E}_{\tau\sim\pi_\theta}[\sum_{k,t}D_{KL}(p_{k,t}\Vert q^{(m)}_{k,t})]$를 최소화한 뒤 $m=1,\ldots,M$ 순서로 다음 교사로 넘어간다. 실험 순서는 FA→LF→EA이며, 세 도메인 전문가의 능력을 한 학생에 축적하면서 앞선 능력의 보존 여부를 추적한다.

Table 2. GRPO, 단일 교사 OPD, 다중 교사 MOPD의 학습 신호와 역할 비교

방법	rollout 주체	핵심 감독	신호 입도	주된 역할	논문이 확인한 경계
GRPO	학생 정책	그룹 상대화된 최종 이진 성공	궤적 수준 희소 보상	고보상 계획 패턴 선택	긴 궤적·비최적 행동에서 신용 할당 불안정
OPD	학생 정책	단일 교사와 $D_{KL}(p\Vert q)$	턴·토큰 수준 조밀 감독	계획 패턴 형성 및 정렬	reverse KL의 모드 추구, 불일치 지식 이전 실패
MOPD	학생 정책	교사별 reverse KL의 순차 최소화	교사 단계별 토큰 감독	도메인·단계 능력 통합	공유 지지집합 부재와 충돌 시 파괴적 망각

세 방법의 차이는 보상 밀도 외에도 어떤 분포를 목적지로 삼는가에 있다. GRPO는 환경이 준 성공 신호 안에서 학생의 여러 모드를 비교하지만, OPD와 MOPD는 교사가 부여한 확률을 학생이 방문한 상태에서 목적지로 사용한다. 그러므로 OPD 계열의 장점은 이상적 교사의 세밀한 방향이고, 동시에 교사 오류·지식 불일치·과도한 모드 수축에 민감하다는 점이 비용이다.

3.5 MOPD를 지배하는 공유성과 호환성

다중 교사 분석의 두 축은 도메인 사이에 공유 계획 패턴이 있는지, 그 패턴이 각 환경에서 호환되는지다. 공유되고 호환되는 패턴이 있으면 한 도메인 교사의 증류가 보지 않은 도메인도 개선하며, 순차 reverse KL은 모든 교사 모드를 덮기보다 공통 고품질 모드로 수렴한다. 다만 학생의 해당 도메인 사전학습 지지집합에 없던 패턴은 다른 도메인 교사가 가르쳐도 안정적으로 새로 활성화되지 않는다.

일부 충돌이 있어도 공유된 안전 패턴이 남아 있으면 학생은 그 패턴으로 도메인별 함정을 피하며 지속학습할 수 있다. 반대로 공유 패턴을 제거하고 남은 템플릿이 환경별 잘못된 지름길과 충돌하면, 마지막 교사에 맞춘 단일 모드가 이전 도메인에까지 적용되어 심각한 망각이 발생한다. 따라서 MOPD의 통합 능력은 교사 수 자체보다 학생이 이미 가진 공통 패턴의 지지와 환경 간 호환성에 의해 제한된다.

3.6 통제 실험이 제공하는 학습 지도

전체 방법론은 사전학습에서 상태 전이와 최소한의 긴 연결 예시를 확보하고, 단일 교사 후학습에서 공유 가능한 계획 패턴을 선택·정렬한 뒤, 다중 교사 단계에서 호환되는 공통 패턴을 중심으로 능력을 합치는 순서를 제안한다. 고상호정보량 레시피가 빠져 있다면 SFT 같은 직접 주입이 우선이고, 희소 보상으로 긴 궤적의 모든 단계를 설명하려 해서는 안 된다. 교사끼리 공통 지지집합이 없는 경우에는 순차 MOPD가 자동으로 충돌을 해결한다고 가정하지 말고 망각 가능성을 별도 검증해야 한다.

3.7 한 턴이 실제로 직렬화되는 방식

세계 모델 조건은 단순히 답 앞에 긴 설명을 붙이는 설정이 아니다. 입력은 과제와 관측 상태를 분리한 구조로 직렬화된다. 논문의 예시에서 question 구간에는 합성할 구체 목표명, 목표 카테고리, 현재 재고, 각 재고 항목이 속한 카테고리의 자연어 설명, 이전 상호작용 이력이 들어간다. 에이전트에게는 내부 노드 ID나 레시피 그래프가 노출되지 않으며, 처음 이력은 빈 배열이다. 따라서 모델은 구체 이름을 카테고리 수준 규칙에 연결하면서 현재 턴의 실행 가능성을 판단해야 한다.

출력도 추론과 실행 명령을 구분한다. 한 턴의 $\hat{Y}_k$ 안에서 solution 구간은 목표 카테고리에서 필요한 전제 카테고리로 재귀적으로 내려가고, 현재 재고에 실제 인스턴스가 있는지 확인한다. 이어 answer 구간은 {"type":"process","materials":[...]} 형태로 사용할 구체 재료를 지정한다. 즉 후위 순회는 필요한 중간 항목의 순서를 정하고, 합성 규칙은 카테고리 사이의 전이를 정하며, grounding은 그 규칙의 인자를 현재 재고의 구체 이름으로 치환한다. 이 세 부분이 모두 맞아야 텍스트로 계획한 다음 상태와 시뮬레이터가 돌려주는 다음 관측이 일치한다.

환경 응답은 다음 턴의 상태를 명시적으로 갱신한다. 유효한 재료 묶음이면 새 구체 항목과 그 카테고리를 알려 주고, 유효하지 않은 묶음이면 논문의 예시처럼 “You get nothing”을 반환한다. 모델의 내부 탐색은 CoT에서 이루어지지만, 실행된 행동의 결과는 외부 환경 관측으로 다시 문맥에 들어온다. 그러므로 학습되는 세계 모델은 정적인 레시피 설명을 넘어 $p_{k,t}=\pi_\theta(\cdot\mid H_k,\hat{Y}_{k,<t})$가 매 턴 달라진 재고와 이력에 조건화되는 폐루프 형식이다.

3.8 그래프에서 한 과제를 뽑아내는 생성 절차

스키마의 입력 차수에도 고정된 구조적 사전분포가 있다. 각 도메인에서 항목의 30%는 하나의 입력에 의존하고 70%는 두 입력의 합성을 요구한다. Level 1 원료까지 역추적했을 때 필요한 원자 구성요소의 평균은 Level 2 목표에서 1.82개, Level 3에서 3.08개, Level 4에서 4.17개, Level 5에서 5.78개로 증가한다. 따라서 계층 번호와 실제 행동 수를 동일시하지 않고, 생성된 의존성을 재귀적으로 펼친 gold plan의 행동 수를 별도 필드로 계산해 난이도를 정한다.

데이터 빌더는 각 구체 인스턴스화마다 모든 비기저 목표와 목표보다 낮은 모든 가능한 시작 계층을 열거한다. 선택한 시작 계층에서 Graph A와 Graph B가 각각 요구하는 원료를 재귀적으로 수집하고, 두 집합의 합집합에 같은 계층에서 뽑은 방해 항목 2~4개를 더해 초기 재고를 만든다. 목표, 초기 재고, 필수 재료, 방해 재료, gold plan을 하나의 샘플로 저장하며, gold plan은 목표를 해당 그래프의 레시피로 계속 전개해 필요한 중간 항목을 모두 만드는 순서다. 이 절차 때문에 과제 길이는 프롬프트의 표면 길이보다 실제로 실행해야 하는 합성 전이 수로 고정된다.

A와 B는 같은 추상 항목의 구체 이름을 공유하지만 레시피 그래프는 다르다. 구체 인스턴스화 인덱스 0~19는 테스트 풀, 20~219는 후학습 풀, 나머지는 사전학습 풀에 배정된다. 테스트가 익숙한 이름의 새로운 조합을 쓰는 동시에, Graph A와 B를 분리한 실험은 이름 기억과 절차 규칙 기억을 서로 다른 축으로 조작한다. 교사용 teacher_all은 한 도메인·한 그래프에서 모든 인스턴스 범위와 모든 길이의 생성 샘플을 포함하는 별도 데이터 원천이다.

3.9 성공 판정기와 학습 보상은 같은 정보량이 아니다

평가의 성공 판정은 gold 행동열과의 문자열 일치를 채점하는 대신, 제한된 턴 안에 숨은 규칙을 지키며 목표 항목을 실제로 합성했는지를 시뮬레이터 상태로 확인한다. OR 관계가 허용하는 어느 유효 경로를 택하더라도 최종 상태가 목표를 만족하면 성공이며, 잘못된 재료 조합은 상태를 진전시키지 않는다. 논문의 공통 추론 설정은 궤적당 최대 20단계를 허용하고, 이를 넘기면 단계 예산 초과 관측으로 종료한다.

GRPO에 전달되는 값은 이 판정기의 최종 이진 결과뿐이다. 이를 $R(\tau)=\mathbf{1}\{s_K\text{가 목표 }g\text{를 만족}\}$로 쓰면, 그룹 상대 최적화는 같은 프롬프트에서 얻은 궤적들의 $R(\tau)$를 비교해 성공 확률을 높인다. 중간 항목을 여러 개 올바르게 만든 실패 궤적과 첫 행동부터 틀린 실패 궤적은 모두 종단 보상 0이므로, 판정기는 실행의 정오를 알고 있어도 GRPO 목적에는 어느 토큰이나 턴에서 어긋났는지가 직접 들어가지 않는다. 긴 궤적에서 말하는 거친 신용 할당은 바로 이 정보 손실을 뜻한다.

3.10 OPD 목적함수에서 ‘온정책’과 ‘조밀함’의 정확한 위치

OPD의 궤적은 $\tau=(g,s_0,\hat{Y}_1,s_1,\ldots,\hat{Y}_K,s_K)\sim\pi_\theta$이며, rollout 주체는 교사가 아닌 학생이다. 교사는 별도의 gold 접두사에서 다음 토큰을 예측하지 않는다. 학생이 실제로 만든 동일 접두사 $(H_k,\hat{Y}_{k,<t})$를 받아 $q_{k,t}=\pi_{\mathrm{teacher}}(\cdot\mid H_k,\hat{Y}_{k,<t})$를 계산한다. 따라서 교사 신호는 성공 궤적과 더불어 학생이 방문한 오류 상태에도 정의될 수 있고, 목적함수 $\mathbb{E}_{\tau\sim\pi_\theta}\sum_{k,t}D_{\mathrm{KL}}(p_{k,t}\Vert q_{k,t})$는 추론 토큰과 행동 토큰 모두에 지역적인 방향을 준다.

논문이 구분한 PG-style OPD는 학생이 뽑은 토큰에 대해 $A_{k,t}\approx\log q_{k,t}(\hat y_{k,t})-\log p_{k,t}(\hat y_{k,t})$를 조밀한 이점으로 삼고, $-\mathrm{sg}(A_{k,t})\log p_{k,t}(\hat y_{k,t})$ 형태로 표본 확률을 재가중한다. 반면 GKD-style은 이미 방문한 접두사에서 분포 사이의 KL을 직접 미분하며 전역 궤적 표집 확률은 목적에서 무시한다. 본문의 핵심 비교에 쓰인 Top-100 OPD는 후자 계열의 절단 분포 정렬이다.

구체적으로 $\mathcal{V}_{k,t}$를 학생 확률 상위 100개 토큰 집합이라 하면 $\tilde p(v)=p(v)/\sum_{w\in\mathcal{V}_{k,t}}p(w)$와 $\tilde q(v)=q(v)/\sum_{w\in\mathcal{V}_{k,t}}q(w)$로 양쪽을 같은 집합에서 다시 정규화한다. 최적화값은 $\mathcal{L}_{\mathrm{Top-}100}=\mathbb{E}_{\tau\sim\pi_\theta}\sum_{k,t}D_{\mathrm{KL}}(\tilde p_{k,t}\Vert\tilde q_{k,t})$다. GRPO가 환경의 종단 판정으로 궤적 사이를 선택한다면, 이 OPD는 학생이 현재 놓은 확률 질량을 교사 분포의 가까운 모드 쪽으로 이동시킨다는 점에서 목적 자체가 다르다.

3.11 순차 교사 합성은 공동 앙상블이 아니다

cascaded MOPD의 한 단계를 갱신 연산자 $\Phi_m$로 쓰면 $\theta_m=\Phi_m(\theta_{m-1})$이고 최종 학생은 $\theta_M=(\Phi_M\circ\cdots\circ\Phi_1)(\theta_0)$다. 각 $\Phi_m$은 현재 학생이 새로 rollout한 접두사에서 오직 $m$번째 교사의 $D_{\mathrm{KL}}(p\Vert q^{(m)})$를 줄인다. 따라서 모든 교사의 KL을 한 번에 더하거나 교사 로짓을 평균하는 공동 목적과 구분되며, 앞 단계가 바꾼 정책은 다음 단계의 초기값뿐 아니라 다음 교사가 평가할 학생 방문 상태의 분포까지 바꾼다.

실험에서는 세 도메인 각각의 gold 사전학습·후학습 궤적으로 FA, LF, EA 전문가를 따로 만들고, 학생을 FA→LF→EA 순서로 Middle 후학습 데이터에서 증류한다. 교사들은 네 가지 세계 모델 계획 템플릿 중 하나를 공통으로 공유하면서도 각자 세 템플릿을 균등하게 보도록 구성되어, 정답 궤적의 품질과 계획 표현의 분포가 분리된다. 이 설계에서 각 단계 뒤 세 도메인을 다시 평가하는 것은 마지막 교사 정확도 확인에 그치지 않고, 순차 목적이 공통 모드를 보존하는지 또는 앞선 정책을 덮어쓰는지를 측정하는 절차다.

3.12 Avg@8과 Pass@8이 답하는 서로 다른 질문

기본 평가에서는 세 도메인과 세 난이도의 각 부분집합에서 160개씩, 체크포인트당 총 1,440개 과제를 사용한다. 각 과제는 temperature 0.4에서 독립적으로 8회 실행되고 각 실행은 최대 20단계이므로, 한 체크포인트 평가는 최대 11,520회 멀티턴 추론으로 구성된다. 단계 수별 과제를 균등 표집하고 예약된 Graph A 테스트 설정을 사용하므로, 전체 평균이 쉬운 1단계 과제의 빈도에 과도하게 좌우되지 않게 한다.

과제 $i$의 실행 $j$ 성공 여부를 $z_{ij}\in\{0,1\}$라 하면 $\mathrm{Avg@8}=\frac{1}{8M}\sum_{i=1}^{M}\sum_{j=1}^{8}z_{ij}$이고 $\mathrm{Pass@8}=\frac{1}{M}\sum_{i=1}^{M}\mathbf{1}\{\max_j z_{ij}=1\}$이다. 전자는 임의의 단일 rollout이 성공할 평균 확률, 후자는 과제당 여덟 번의 표집 예산을 주었을 때 적어도 한 번 해법을 찾는 범위를 나타낸다. 그러므로 Pass@8만 높고 Avg@8이 낮다면 가능한 해법이 전혀 없다는 뜻은 아니지만, 한 번의 실행에서 안정적으로 재현되는 정책이라고도 볼 수 없다.

장기 과제에서는 이 구분에 추가 주의가 필요하다. 저자들은 RL 이전 Pass@$k$가 거의 0이어도 사전학습 분포 안의 성공 패턴이 매우 낮은 확률로 남아 있을 수 있으므로, 유한한 $k$의 Pass@$k$를 모델 능력의 절대 상한으로 해석하지 않는다. 반대로 OPD가 pass@1을 높이면서 엔트로피를 낮출 수 있고 GRPO가 더 큰 $k$에서 높은 값을 보일 수 있으므로, 두 지표의 차이는 학습 신호뿐 아니라 출력 분포의 집중도, 표집 예산을 함께 반영한다.

4. 실험 설정: 100M 모델과 11,520회 평가의 통제 조건

이 논문의 장점은 거대 상용 모델의 불투명한 사전학습 이력을 그대로 받아들이지 않고, 약 100M 파라미터 모델을 무작위 초기화해 원인과 결과를 통제했다는 데 있다. 저자들은 Fantasy Alchemy, Livestock Farming, Electronic Assembly라는 세 합성 도메인을 만들고, 동일한 항목 이름에 서로 다른 레시피 그래프 A와 B를 부여했다. 따라서 월드 모델, horizon별 데이터 비율, 궤적 품질, 후속 GRPO와 OPD의 효과를 같은 모델 계열과 평가 규약 안에서 비교할 수 있다.

4.1 모델 아키텍처와 full-parameter SFT

모델과 학습 설정은 Appendix의 값을 기준으로 아래처럼 정리할 수 있다. 본문이 부르는 Qwen2.5-100M은 구현상 Qwen2ForCausalLM 사양을 따르며, 토크나이저도 각 실험의 전체 사전학습 말뭉치에서 새로 학습한다. 실험 장마다 말뭉치가 조금 달라 별도 tokenization을 수행하지만, 저자들은 이것이 전체 결론을 바꾸지 않는다고 명시한다.

Table 3. 모델 아키텍처와 SFT 학습 설정

구분	항목	source 값
Qwen2.5-100M	Hidden layers	12
	Hidden size $d_{model}$	768
	FFN intermediate size $d_{ff}$	3,072
	Attention heads / head dimension	12 / 64
	Key-Value heads	2, Grouped-Query Attention
	Vocabulary / max positions	3,000 / 2,048
	Activation / attention dropout	SiLU / 0.0
	RMSNorm epsilon / RoPE theta	$1\times10^{-6}$ / 1,000,000.0
	Embedding tie / dtype	True / bfloat16
	Tokenizer	byte-level BPE+regex, 최소 빈도 2
Full-parameter SFT	GPU 수	2
	Per-device batch / gradient accumulation	128 / 2
	Learning rate / scheduler	$1.0\times10^{-4}$ / cosine
	Training steps	9,000
	Warmup ratio / precision	0.1 / bf16
	Student CoT 전체 비율 말뭉치	1,078,200 samples, 평균 출력 223.20 tokens
	Teacher CoT	도메인별 622,960 samples, 평균 출력 214.34~229.51 tokens

12개 attention head에 KV head는 2개뿐이므로, 작은 모델에서도 GQA를 사용해 키·값 표현을 공유한다. 어휘 크기는 3,000이고 word embedding을 묶으며, attention dropout은 0.0으로 두어 실험 간 확률적 차이를 줄였다. SFT는 LoRA 대신 동일 base model 전체 파라미터를 9,000 step 업데이트하므로, 이후 성능 차이를 어댑터 용량 차이로 설명할 여지가 작다.

4.2 데이터 생성, horizon, 평가 지표

각 도메인은 5개 level, level당 40개 item category, category당 20개 instance로 구성되고, 전체 node는 200개이며 구체 item name은 4,000개다. 레시피의 입력 차수는 한 입력 30%, 두 입력 70%이고, L1 원자에서 목표를 재귀적으로 만들 때 평균 원자 수는 L2 1.82, L3 3.08, L4 4.17, L5 5.78로 증가한다. 초기 inventory에는 필요한 재료의 합집합과 같은 시작 level에서 뽑은 distractor 2~4개가 함께 들어가므로, 단순 문자열 대응보다 구성 규칙과 상태 전이를 복원해야 한다.

평가 규약은 Figure 3의 source caption에 수치로 고정되어 있다. 각 checkpoint는 세 도메인과 세 난이도의 조합마다 160개 instance를 평가하며, 한 문제에서 독립 rollout 8개를 생성한다. 아래 표는 avg@8과 pass@8을 혼동하지 않기 위한 핵심 통제 조건이다.

Table 4. checkpoint당 평가 프로토콜

항목	설정	해석
도메인 × 난이도	3 × 3	FA, LF, EA × Short, Middle, Long
조합별 instance	160	checkpoint당 총 1,440 instances
Instance별 rollout	8	독립 sample 8개
총 inference run	11,520	1,440 instances × 8 rollouts
Sampling temperature	0.4	모든 후속 실험의 기본값
Trajectory step budget	최대 20	예산 초과 시 실패
Short / Middle / Long	1~5 / 6~8 / 9 이상	gold plan action 수 기준
avg@8	8개 rollout의 평균 성공률	전형적 단일 sample 품질
pass@8	8개 중 하나라도 성공한 instance 비율	sampling이 찾는 성공 가능성

따라서 11,520은 test instance 수와 구별되는 한 checkpoint 평가의 최대 inference run 수다. avg@8은 모든 rollout 성공 여부를 평균하므로 한 instance 안의 반복 실패에 민감하지만, pass@8은 여덟 번 중 한 번만 성공해도 그 instance를 성공으로 센다. 두 값의 차이가 커질수록 정책의 평균적 신뢰도보다 sampling 다양성이 더 크게 기여한다고 읽어야 하며, 퍼센트 값의 차이는 이하에서 percentage point, 즉 pp로 표기한다.

4.3 분할 단위가 규정하는 ‘일반화’의 범위

이 실험의 분할 단위는 개별 문장이나 궤적보다 상위인 concrete instantiation이다. Appendix에 따르면 처음 20개 instantiation은 test pool, index 20부터 219까지는 post-training pool, 나머지는 pre-training pool로 배정된다. 하나의 instantiation은 모든 abstract item node를 구체 item name에 매핑하므로, 이 분할은 같은 매핑에서 파생된 target·starting layer·trajectory가 train과 test에 동시에 들어가는 누수를 막는다. 따라서 학생의 test 성능은 적어도 이미 본 완전한 환경 설정의 재생을 넘어, 익숙한 항목을 새 조합으로 배치한 entity mapping에 대한 조합 일반화를 측정한다.

다만 main evaluation은 reserved configuration의 Graph A에서만 수행된다. A와 B는 item name을 공유하면서 recipe graph가 다른 별도 환경이지만, A의 train과 A의 test는 같은 합성 스키마와 생성 절차를 따른다. 그러므로 여기서의 OOD는 새로운 자연언어 도메인, 새로운 graph topology, 또는 전혀 보지 못한 skill vocabulary까지 포함하는 강한 의미의 분포 이동이 아니다. 정확한 외삽 범위는 “같은 합성 문법과 Graph A 안에서 보지 못한 구체 매핑 및 더 긴 조합”이다. Graph B는 주로 procedural mismatch를 만드는 통제축이며, main score 자체가 A에서 B로의 graph transfer를 검증하는 것은 아니다.

샘플 생성 시 builder는 A와 B 각각에서 필요한 재료를 재귀적으로 수집한 뒤 그 합집합을 initial inventory에 넣고, 같은 starting layer의 distractor 2~4개를 추가한다. 이 설계는 두 recipe 조건에서 자원 가용성을 맞춰 “필요 재료가 애초에 없어서 실패한 경우”를 줄이고, 어느 recipe rule을 적용했는지를 비교하게 한다. 즉 A/B 통제는 절차 지식의 차이를 식별하는 데 유리하다. 반대로 현실 환경의 resource acquisition, 부분 관측, inventory scarcity까지 검증한 결과로 확대해서는 안 된다.

4.4 원시 궤적 분포와 균형 평가의 서로 다른 estimand

Appendix의 원시 pool은 horizon별로 크게 불균형하다. 각 domain에서 A pretrain은 120,000개, gold plan 길이 평균 3.00, 범위 1~12이고, B도 120,000개, 평균 3.01, 범위 1~13이다. post-training pool은 graph별·domain별로 Short 67,000개, Middle 9,200개, Long 3,800개이며, A의 평균 길이는 각각 2.14, 6.41, 9.79, B는 2.13, 6.50, 10.11이다. test pool은 같은 비율의 6,700개, 920개, 380개다. 따라서 자연 발생 빈도로 전체 accuracy 하나를 계산하면 Short가 결과를 압도한다.

논문은 이 불균형을 그대로 평가하지 않고 difficulty cell마다 같은 수를 뽑고, task formulation에서는 서로 다른 정확한 step count에 걸쳐 균일하게 sample한다고 명시한다. 이 통제 덕분에 Short의 높은 빈도가 Middle·Long 실패를 가리는 현상을 막고 horizon 효과를 식별할 수 있다. 대신 보고된 세 horizon 평균은 생성 pool의 실제 빈도에 대한 micro-average와 달리 난도에 동일 가중치를 준 macro-style 성능이다. 배포 환경의 길이 분포가 Short 중심이라면 논문의 평균을 그대로 기대 성공률로 사용할 수 없다. 또한 평가에 선택된 고정 instance ID와 sampling seed는 보고되지 않아, 동일 pool에서 어떤 160개가 뽑혔는지까지는 재현할 수 없다.

4.5 데이터 비율 ablation에서 함께 변하는 것

0%·5%·50%·100% ablation은 training step을 9,000으로 고정하지만 corpus 크기와 token 분포까지 고정하지는 않는다. 실제 Student CoT corpus는 Short 50% 조건의 322,711 samples와 평균 출력 186.53 tokens에서 S/M/L 100% 조건의 1,078,200 samples와 223.20 tokens까지 변한다. 그러므로 이 축은 “긴 궤적 비율만 바꾸고 총 sample·token 수를 같게 한” 순수 처치로 보기 어렵고, horizon mixture, 고유 sample 수, 평균 sequence length가 함께 달라지는 처치다. 같은 optimizer step 수는 update 횟수를 맞추지만 작은 corpus의 반복 노출 횟수나 총 학습 token을 맞추지 않는다.

이 차이는 결과의 인과 해석을 제한한다. 5% 노출의 활성화 효과는 긴 연결 궤적이 필요하다는 근거가 되지만, 50%와 100%의 비단조 차이를 데이터 양 자체의 법칙으로 단정하려면 equal-token 또는 equal-sample 재실험이 필요하다. 논문은 epoch 수, dataloader shuffle·replacement 방식, 조건별 실제 소진 sample 수를 보고하지 않는다. 특히 post-training도 3,000개를 downsample하지만 training step과 batch 제약 때문에 전부 사용되지 않을 수 있다고 저자들이 직접 적었으므로, “pool에 포함된 수”와 “실제로 update에 쓰인 수”를 구분해야 한다.

4.6 Teacher 통제와 contamination 경계

Appendix는 모든 full-parameter SFT가 같은 Qwen2.5-100M base를 사용한다고 설명하며, 별도의 거대 teacher architecture는 제시하지 않는다. 각 domain teacher corpus는 622,960 samples이고 학생은 세 domain mixture를 학습한다. 따라서 teacher–student 차이는 주로 parameter scale보다는 domain specialization, gold trajectory coverage, planning pattern rendering에서 온다. 이는 더 큰 모델의 용량 이득을 절차 정렬 효과로 오인하는 혼입을 줄이는 통제다. 다만 teacher와 student의 독립적인 parameter count를 각각 다시 명시한 표는 없으므로, “모든 실험이 같은 base model”이라는 Appendix 문구보다 강한 크기 동일성 주장은 피하는 편이 안전하다.

누수 해석에는 한 가지 중요한 예외가 있다. Appendix는 teacher_all을 해당 graph·domain에서 생성된 모든 instantiation range, 즉 train과 test를 포함하는 full teacher data source로 정의한다. 그러므로 teacher의 100% 성능은 독립 held-out generalization 점수라기보다 oracle에 가까운 reference로 읽어야 한다. 학생 pretraining pool과 test pool의 분리는 유지되지만, test range를 본 teacher가 distillation에 쓰이는 경우 teacher parameter를 통한 간접 정보 경로가 완전히 배제되었다고 말할 수는 없다. 논문은 teacher_all에서 test range를 제거한 대조 실험을 보고하지 않는다. 따라서 학생 자체의 mapping generalization, 완벽한 teacher를 둔 알고리즘 비교, teacher의 일반화 능력은 서로 다른 주장이다.

4.7 성공률의 통계 단위와 보고되지 않은 불확실성

한 task i의 rollout r 성공 여부를 y(i,r)라 두면 avg@8은 모든 y(i,r)의 평균이고, pass@8은 task별 max 값의 평균이다. 여기서 성공은 제한된 turn 안에 unseen rule을 따라 target item을 실제로 합성했는지로 결정되는 binary final outcome이며, 중간에 valid action을 몇 개 만들었는지는 최종 성공을 대체하지 않는다. 이 때문에 avg@8은 rollout 수준의 전형적 성공 확률을, pass@8은 온도 0.4에서 여덟 번 탐색했을 때 task 수준에서 한 번이라도 맞힐 확률을 추정한다. pass@k는 k와 sampling temperature에 종속되므로 다른 k 또는 decoding policy의 수치와 능력 상한처럼 직접 비교할 수 없다.

여덟 rollout은 같은 checkpoint와 같은 task에 조건부인 sampling 반복이지, 모델을 처음부터 다시 학습한 독립 반복이 아니다. 논문에는 training seed 수, 독립 학습 run 수, run 간 표준편차, confidence interval, hypothesis test가 보고되지 않고 주요 표도 point estimate 중심이다. 따라서 160 task에서 생기는 test-sampling uncertainty와 random initialization·minibatch 순서에서 생기는 training variance가 분리되어 있지 않다. 특히 avg@8의 1,280 rollout을 모두 독립 표본처럼 취급하면 같은 task를 공유하는 cluster correlation을 무시하게 된다. 주장 식별 측면에서 현재 프로토콜은 큰 horizon 격차와 일관된 방향을 보여 주는 데는 강하지만, 작은 percentage-point 차이의 재현성이나 알고리즘 순위의 통계적 유의성을 확정하기에는 부족하다.

최적화 재현성도 단계별로 다르다. SFT에는 GPU 수, batch와 accumulation, cosine learning-rate schedule, warmup, bf16, full-parameter update가 명시되어 비교적 잘 통제되어 있다. 반면 GRPO·OPD에는 binary outcome 대 Top-100 token signal, 3,000개 candidate pool, 최대 75-step 분석 같은 핵심 구조는 제시되지만 optimizer 종류, post-training learning rate, effective batch 또는 GRPO group size, clipping·regularization 값은 본문과 Appendix에 보고되지 않는다. 따라서 동일 데이터에서 두 알고리즘을 완전히 재현하거나 성능 차이가 objective와 미공개 hyperparameter 중 어디서 왔는지 분해하는 데에는 한계가 있다.

5. 주요 실험 결과: 월드 모델에서 OPD까지의 성능 경계

5.1 내부 월드 모델이 만드는 성능 상한

저자들의 월드 모델은 환경을 외부에서 매번 조회하는 장치와 달리 CoT 내부의 상태 전이 함수다. 현재 상태 $s_t$와 action $a_t$에서 $s_{t+1}=\mathcal{T}(s_t,a_t)$를 예측하고, atomic skill $f_k$들을 순서대로 합성해 DFS의 한 node를 확장한다. 직접 답변 모델은 매 turn의 action만 내지만, 월드 모델 모델은 post-order traversal, category-level 합성 규칙, category와 구체 instance의 grounding을 먼저 서술한 뒤 행동한다.

동일 평가에서 얻은 최종 평균은 Table 3과 같다. 표의 증가는 상대 퍼센트 대신 두 성공률의 pp 차이이며, source prose와 Figure 3의 막대 수치를 함께 따른다. 난도가 길어질수록 직접 답변의 상한이 급락하는 반면 월드 모델의 이득은 더 커진다.

Table 5. 월드 모델 유무에 따른 최종 성능

평가 horizon	지표	w/o World Model	w/ World Model	차이
Short	avg@8	89.5	98.9	+9.4 pp
	pass@8	92.1	99.0	+6.9 pp
Middle	avg@8	46.6	85.9	+39.3 pp
	pass@8	55.4	88.3	+32.9 pp
Long	avg@8	22.7	68.5	+45.8 pp
	pass@8	29.0	71.9	+42.9 pp
세 horizon 평균	avg@8	52.9	84.4	Figure 3 값
	pass@8	58.8	86.4	Figure 3 값

Short에서는 두 방식 모두 이미 높지만, Long avg@8은 22.7에서 68.5로 45.8 pp 상승한다. 반면 direct answering은 teacher curve에서 대략 1,800~5,400 step 구간에 더 빨리 오르고 토큰 예산도 적게 쓰므로, 이 결과는 월드 모델이 언제나 더 효율적이라는 뜻이 아니다. 정확한 결론은 직접 답변이 기억에는 빨리 수렴하지만, 보지 못한 긴 구성 경로에 대한 최종 일반화 상한은 더 낮다는 것이다.

Figure 3: 월드 모델을 내재화한 학생과 직접 답변 학생의 최종 성능 비교

막대에서 먼저 볼 것은 짧은 문제의 포화보다 horizon이 길어질수록 벌어지는 간격이다. Short avg@8의 격차는 9.4 pp지만 Middle과 Long에서는 각각 39.3 pp와 45.8 pp이며, pass@8도 같은 순서로 6.9 pp, 32.9 pp, 42.9 pp 벌어진다. 즉 상태 전이를 CoT 안에서 재현하는 비용은 늘지만, 연쇄 행동에서 오류가 누적될 때 그 비용이 더 높은 일반화율로 상환된다. 다만 이 비교는 동일한 합성 문법 안의 수치이므로 개방형 환경의 절대 성능으로 옮겨 읽어서는 안 된다.

5.2 Atomic skill은 저절로 긴 계획이 되지 않는다

Atomic skill composition은 학습한 단일 합성 $f(x)$와 $g(x)$를 완전한 장기 궤적을 보지 않고도 $h(x)=g(f(x))$로 연결하는 능력이다. 저자들은 Short 1~5, Middle 6~8, Long 9 이상 구간의 데이터 포함률을 0%, 5%, 50%, 100%로 바꾸되 모든 모델을 9,000 step 학습했다. Long interval의 완전한 문제는 하위 구간의 구성 요소를 포함하지만, Short 데이터에는 상위 문제 전체가 없다는 점이 이 ablation의 핵심이다.

Table 4는 각 비율에서 세 도메인 평균 avg@8과 pass@8을 함께 적은 것이다. S, M, L은 훈련 말뭉치의 Short, Middle, Long 포함 비율이고, 평가 열은 해당 horizon의 성공률이다. 데이터 양이 늘면 항상 좋아진다는 가정과 달리 마지막 두 행에서 뚜렷한 비단조성이 나타난다.

Table 6. Horizon별 훈련 데이터 조성과 평가 평균

S/M/L 비율	avg@8			pass@8
	Short	Middle	Long	Short	Middle	Long
50% / 0% / 0%	83.07	0.26	0.00	86.88	0.62	0.00
100% / 0% / 0%	89.84	0.39	0.00	93.12	0.83	0.00
100% / 5% / 0%	92.50	45.13	0.78	93.75	51.88	1.25
100% / 50% / 0%	91.28	48.65	0.83	93.75	54.58	1.46
100% / 100% / 0%	97.97	87.66	1.74	98.33	90.42	2.71
100% / 100% / 5%	88.26	41.59	9.48	91.25	47.29	11.46
100% / 100% / 50%	98.20	88.07	74.84	98.54	90.00	78.54
100% / 100% / 100%	98.91	85.86	68.52	98.96	88.33	71.88

Short 100%만 학습하면 pass@8은 Short 93.12지만 Middle 0.83, Long 0.00이어서 원자 행동의 숙달이 자동 구성 일반화를 보장하지 않는다. Middle 5% 노출만으로 Middle pass@8이 51.88까지 뛰고, S/M 100%에 Long 5%를 넣으면 Long이 2.71에서 11.46으로 상승한다. 그러나 Long 50%의 pass@8 78.54가 Long 100%의 71.88보다 6.66 pp 높다는 비단조성 때문에, 이 실험을 단순 data scaling law로 읽어서는 안 된다.

Figure 4: Horizon별 사전학습 데이터 비율과 계획 성능의 scaling

여덟 설정의 곡선은 두 가지 전이를 동시에 보여 준다. Short 100%만으로는 Middle과 Long이 사실상 0에 머물지만, Middle 5%가 Middle pass@8을 51.88로 활성화하고 Long 5%도 Long 신호를 만든다. 다만 Long 비율을 50%에서 100%로 늘릴 때 pass@8이 78.54에서 71.88로 내려가므로, 소량의 연결 궤적은 촉매지만 추가 데이터는 분포와 최적화 상호작용에 따라 역효과도 낼 수 있다. 조건마다 전체 샘플 수와 평균 토큰 길이도 함께 달라져 순수한 비율 효과로만 해석하기는 어렵다.

5.3 궤적 품질과 planning pattern

저자들은 planning pattern을 목표 식별, 관련 skill 회상, category-instance 연결, 최종 action 생성으로 이어지는 CoT의 구조적 골격으로 정의한다. planning knowledge는 특정 재료 조합이나 상태 전이처럼 sample에 결박된 절차 지식이며, 같은 pattern에 서로 다른 knowledge가 들어갈 수 있다. 실험은 복잡하고 최적인 4개 template과 직접적이고 suboptimal한 4개 template을 중심으로 총 8개 quality distribution을 만들고, rendering 외 metadata와 데이터 규모, 9,000 training step을 통제했다.

Figure 5: 사전학습 planning pattern의 다양성과 suboptimal 궤적 품질 효과

최적 template을 1개에서 4개로 늘리는 것만으로는 세 도메인의 성공률이 크게 변하지 않아, 고품질 골격 사이의 다양성 자체는 치명적 간섭이 아니다. 반면 4 Opt.:8 Sub.처럼 잘못된 선택을 많이 섞으면 Short 능력은 일부 남아도 Middle과 Long은 거의 0으로 붕괴한다. 한 번의 나쁜 행동이 뒤의 inventory와 상태를 바꾸는 multi-turn 환경에서는 국소 오류가 연쇄적으로 증폭되므로, 단순히 rollout 수를 늘려도 긴 궤적의 구조적 실패를 쉽게 복구하지 못한다.

5.4 GRPO와 OPD의 적용 영역

후속 학습은 4 Opt., 4 Opt.:4 Sub., 4 Opt.:8 Sub. 세 base model에서 비교하며, post-training 데이터는 Fantasy Alchemy의 Short, Middle, Long subset에서 3,000개를 downsample한다. Multi-turn GRPO는 마지막 binary outcome reward를 사용하고, multi-turn OPD는 teacher의 token 분포를 따르는 Top-k 방식에서 $K=100$을 쓴다. 저자들의 구분에서 Region A는 pattern 성능 차이가 작아 RL이 불필요한 영역, Region B는 더 나은 pattern을 선택할 수 있는 유효 영역, Region C는 좋은 pattern이 있어도 긴 horizon과 낮은 데이터 품질 때문에 알고리즘이 찾지 못하는 미지원 영역이다.

Figure 6: GRPO와 OPD의 적용 경계 및 post-training 성능 상한

왼쪽 두 panel은 RL horizon과 비최적 action 비율을 축으로 Region A, B, C를 가른다. 4 Opt.:4 Sub.에서 Long의 전체 avg@8 개선은 GRPO +12.3 pp, OPD +15.1 pp지만, 4 Opt.:8 Sub.에서는 GRPO -1.6 pp와 OPD +18.6 pp로 경계가 크게 벌어진다. 오른쪽 pass@k 곡선은 OPD가 teacher mode를 좁게 따라 entropy를 줄이는 대신, 더 큰 $k$에서 GRPO가 드러내는 다양한 성공 경로의 상한을 항상 넘지는 못함을 보여 준다.

전체 horizon 평균을 사용하면 알고리즘의 평균 성공과 sampling 상한을 한 표에서 대조할 수 있다. 괄호의 변화량은 같은 pattern mix의 Instruct 대비 pp이며, train horizon은 Long으로 고정한 행을 골랐다. 특히 4 Opt.와 4 Opt.:4 Sub.의 pass@8은 OPD 우위라는 단순 명제를 직접 반박한다.

Table 7. Long-horizon post-training에서 OPD와 GRPO 비교

Pattern mix	모델	S/M/L 평균 avg@8	Instruct 대비	S/M/L 평균 pass@8	Instruct 대비
4 Opt.	Instruct	79.29	0.00 pp	82.29	0.00 pp
	Long OPD	78.20	-1.09 pp	80.97	-1.32 pp
	Long GRPO	79.20	-0.09 pp	83.19	+0.90 pp
4 Opt.:4 Sub.	Instruct	26.13	0.00 pp	44.03	0.00 pp
	Long OPD	41.25	+15.12 pp	46.39	+2.36 pp
	Long GRPO	38.47	+12.34 pp	54.72	+10.69 pp
4 Opt.:8 Sub.	Instruct	15.19	0.00 pp	22.29	0.00 pp
	Long OPD	33.78	+18.59 pp	38.26	+15.97 pp
	Long GRPO	13.61	-1.58 pp	21.60	-0.69 pp

OPD는 평균 성능에서 낮은 품질의 4 Opt.:8 Sub.를 크게 회복하지만, pass@8에서 항상 우월한 것은 아니다. 반례로 4 Opt.:4 Sub.의 Long GRPO는 54.72로 Long OPD 46.39보다 8.33 pp 높고, 4 Opt.에서도 GRPO 83.19가 OPD 80.97을 앞선다. 반대로 4 Opt.:8 Sub.에서는 OPD 38.26이 GRPO 21.60보다 높으므로, 결론은 보편적 순위가 아니라 teacher 품질, policy entropy, horizon에 따른 적용 경계다.

Figure 7: 4 Opt., 4 Opt.:4 Sub., 4 Opt.:8 Sub.에서 OPD와 GRPO의 학습 동역학

75 training step 동안 reward, valid-action ratio, large-batch success rate와 entropy·loss·길이 지표를 함께 추적한다. 품질이 낮고 horizon이 길수록 최종 outcome 하나를 궤적 전체에 배분하는 GRPO 신호는 약해지지만, OPD는 token-level teacher 신호로 안정된 갱신을 유지한다. 다만 entropy와 응답 길이의 이동은 OPD가 새 해법을 만들었다기보다 사전학습의 고보상 pattern을 mode-seeking했을 가능성도 시사한다.

5.5 결과 수치를 읽기 전에: 비교 대상과 지표의 경계

월드 모델 실험을 “vanilla CoT 대 world-model CoT”로 부르면 원문의 통제가 흐려진다. 원문에서 비교군은 매 turn의 action을 바로 예측하는 direct-answering 모델이고, 부록의 데이터셋 이름도 Student w/o CoT다. 완전한 S/M/L 말뭉치에서 두 학생은 모두 정확히 1,078,200개 sample을 쓰지만, 평균 출력 길이는 w/o CoT 29.85 token, world-model CoT 223.20 token으로 후자가 약 7.48배 길다. 그러므로 98.9/85.9/68.5의 Short/Middle/Long avg@8을 89.5/46.6/22.7과 비교한 결과는 명시적 상태 전이 서술을 포함한 형식의 정확도 이득인 동시에 큰 출력-token 비용을 수반한다. 같은 token budget으로 맞춘 vanilla CoT와의 비교 결과로 확장해서는 안 된다.

sampling 의존도도 두 지표를 나눠 보면 다르게 보인다. direct-answering의 pass@8−avg@8 간격은 Short/Middle/Long에서 정확히 2.6/8.8/6.3 pp인 반면, world-model CoT에서는 0.1/2.4/3.4 pp다. 이는 후자의 우위가 여덟 번 중 드문 한 번만 맞히는 현상에만 기대지 않는다는 정황이다. 다만 avg@8은 여덟 rollout 성공 여부의 평균으로 단일 rollout 성공률을 추정하는 값이지, 표에 명시된 pass@1 열은 아니다. pass@1을 논할 때는 Figure의 $k=1$ 지점을, pass@8을 논할 때는 “한 번이라도 성공한 instance 비율”을 사용해야 한다.

5.6 5% 주입은 전체 말뭉치의 5%가 아니다

Middle 5%의 효과를 더 엄격히 비교하면, S100/M0/L0에서 S100/M5/L0로 갈 때 Middle avg@8은 0.39에서 45.13으로 44.74 pp, pass@8은 0.83에서 51.88로 51.05 pp 상승한다. 같은 변경에서 Long은 avg@8 0.00→0.78, pass@8 0.00→1.25에 그친다. 즉 관측된 급상승은 주입된 길이 구간에 가장 강하게 나타났고, 아직 보지 않은 다음 Long 구간으로의 전이는 매우 작았다. Short/Middle/Long을 하나의 연속적인 “조합 능력”으로 묶기보다, 어느 연결 길이를 실제 trajectory로 제공했는지를 함께 적어야 하는 이유다.

또한 5%는 해당 horizon subset의 포함률이다. 부록의 corpus count로 보면 Middle 5% 주입은 645,300개에서 658,591개로 13,291개가 늘어난 경우라 기존 전체 대비 약 2.06% 증가이고, Long 5% 주입은 910,800개에서 919,146개로 8,346개, 약 0.92% 증가다. 이처럼 전체 sample 수로는 작은 변화가 큰 분포 이동과 동반되므로, “전체 데이터의 5%만 추가하면 된다”는 처방으로 바꾸어 말할 수 없다.

Long 5% 행에는 순방향 이득과 이전 구간 손실이 동시에 있다. S100/M100/L0 대비 S100/M100/L5에서 Long avg@8과 pass@8은 1.74→9.48(+7.74 pp), 2.71→11.46(+8.75 pp)로 늘지만, Short는 97.97→88.26(−9.71 pp)와 98.33→91.25(−7.08 pp), Middle은 87.66→41.59(−46.07 pp)와 90.42→47.29(−43.13 pp)로 내려간다. 따라서 이 한 행만으로는 5% trajectory가 기존 능력을 보존한 채 Long만 “활성화”했다고 할 수 없다. 이후 Long 50% 행에서 세 구간이 다시 98.20/88.07/74.84 avg@8까지 회복되는 사실은 분포·학습 동역학의 비단조성을 보여 주지만, seed별 분산이 없어 5% 행의 급락 원인은 확정할 수 없다.

5.7 GRPO와 OPD: 최종값, 학습 step, teacher를 분리한 해석

4 Opt.:4 Sub.의 Long post-training에서는 avg@8이 OPD 41.25, GRPO 38.47로 OPD가 2.78 pp 높지만, pass@8은 OPD 46.39, GRPO 54.72로 순서가 뒤집혀 GRPO가 8.33 pp 높다. avg@8을 pass@1과 동일한 표기처럼 쓰지 않더라도, 전자는 전형적인 한 rollout의 성공률 추정치이고 후자는 여덟 sample의 탐색 폭을 포함한다. 반면 더 열악한 4 Opt.:8 Sub.에서는 Long OPD가 GRPO보다 avg@8 20.17 pp(33.78 대 13.61), pass@8 16.66 pp(38.26 대 21.60) 높아 $k=8$에서도 역전이 없다. 따라서 “OPD는 pass@1, GRPO는 pass@8”이라는 고정 순위보다 base distribution의 품질에 따라 교차점 자체가 달라진다.

75-step training curve는 sample 효율의 차이를 최종 표보다 일찍 드러내지만, 곡선에서 읽은 값은 근사치로 취급해야 한다. 4 Opt.:8 Sub.에서 Middle·Long GRPO reward는 약 75 step 내내 0 부근에 머무는 반면, OPD는 대략 step 10~15부터 0에서 벗어나고 마지막에는 각각 약 0.19와 0.05에 이른다. 이는 같은 step budget에서 token-level teacher 신호가 update를 발생시킨 범위가 더 넓었다는 관측이지, Long 문제가 이미 해결됐다는 뜻은 아니다. 실제 Long evaluation mean은 이 조건의 OPD에서도 avg@8 5.29, pass@8 7.71이므로, 학습 reward의 조기 상승과 held-out 장기 성공을 구분해야 한다.

teacher 차이도 step 축에서 보면 최종 평균만으로는 보이지 않는 전환점이 있다. Figure의 smoothed reward를 근사해 읽으면 matched Teacher A는 step 25~30에 약 0.30까지 오른 뒤 step 75에도 비슷한 수준을 유지하지만, mismatched Teacher B는 step 20~25에 약 0.20으로 정점을 찍은 뒤 마지막에 약 0.06으로 후퇴한다. 최종 exact 값에서도 matched OPD는 전체 avg@8을 26.13→41.37(+15.24 pp), pass@8을 44.03→46.74(+2.71 pp)로 바꾸는 반면, mismatched OPD는 31.50(+5.37 pp)와 36.60(−7.43 pp)다. 두 teacher 자체의 100.00 성공률이 같아도 학생의 Recipe A와 절차가 맞는지에 따라 후기 동역학과 retention이 달랐다는 결과이며, 불일치가 하락의 유일한 원인이라고 단정하려면 추가 통제가 필요하다.

6. 추가 분석 및 Ablation Study: 지식 불일치와 최적화 동역학

6.1 Gradient와 Top-5 SVD가 드러낸 credit assignment

성능표만으로는 왜 Long GRPO가 무너지는지 알기 어려워 저자들은 checkpoint $t$의 layer weight 변화 $\Delta W_{\ell}^{(t)}=W_{\ell}^{(t)}-W_{\ell}^{(b)}$를 SVD한다. 각 FFN과 attention matrix에서 상위 $k=5$ left singular vector를 남기고, 중간 checkpoint와 final checkpoint의 대응 vector cosine similarity 절댓값을 layer와 5개 방향에 걸쳐 평균한다. 이 점수 $S^{(5)}(t,f)$는 0과 1 사이이며, 클수록 현재 update subspace가 최종 update 방향과 일찍 정렬됐다는 뜻이다.

분석은 4 Opt.:4 Sub.에서 GRPO와 OPD의 Short, Middle, Long을 pairwise 비교하고, Long에서는 4 Opt., 4 Opt.:4 Sub., 4 Opt.:8 Sub. 세 품질 조건을 다시 비교한다. 최대 75 step, 초기 checkpoint step 1, 균등하게 뽑은 중간 checkpoint 10개를 사용한다. Horizon과 비최적 action이 늘수록 GRPO 곡선은 더 낮고, 일부 조건에서는 초기에 정확히 0인 채 평평해 gradient update가 사라지는 반면 OPD의 top-5 subspace alignment는 전 조건에서 상대적으로 높게 유지된다.

이는 binary final reward가 긴 궤적의 올바른 action과 잘못된 action에 같은 결과 credit을 돌리면서 gradient 방향을 noisy하게 만든다는 해석과 맞는다. OPD는 teacher token마다 더 세밀한 신호를 주므로 이상적인 teacher 아래에서는 directional consistency가 높다. 그러나 다음 ablation은 안정적인 방향이 곧 올바른 지식 전이를 뜻하지 않으며, teacher와 student가 다른 절차를 알면 그 안정성이 오히려 기존 지식을 덮을 수 있음을 보여 준다.

6.2 Matched teacher와 mismatched teacher

Knowledge-gap 실험은 4 Opt.:4 Sub. student가 Recipe A로 사전학습됐다고 두고, FA Middle 데이터에서 Teacher A 또는 Teacher B로 OPD한다. 두 teacher 모두 같은 목표를 100.00으로 완수하지만 재료와 중간 절차가 다르다. 예시에서 A는 water, grass seed, lamb으로 wool을 만들고 B는 water, cotton seed, spinning으로 같은 wool을 만들기 때문에, 결과 reward는 같아도 내부 world model의 procedural path는 일치하지 않는다.

Figure 8: 같은 목표를 향한 서로 다른 Recipe에서 발생하는 teacher-student knowledge gap

두 경로는 모두 wool이라는 같은 목표에 도달하지만, A의 grass seed와 lamb 경로와 B의 cotton seed와 spinning 경로는 중간 상태가 겹치지 않는다. 초기에는 공통 planning pattern을 맞추며 reward가 오르지만, 후반에 B의 sample-specific knowledge를 A student에 강제하면 FA in-distribution 성능이 크게 붕괴한다. Figure의 요약값에서도 ID avg@8은 matched 42.1 부근에서 mismatched 6.0 부근으로 내려가는 반면, 직접 덮어쓰지 않은 OOD 쪽 손상은 상대적으로 작다.

Table 6은 source의 전체 표에서 horizon 평균과 FA Middle을 추려 mismatch의 위치를 분리해 보여 준다. 모든 수치는 avg@8과 pass@8을 별도 열로 유지했으며, Teacher B의 자체 점수 100.00이 학생 개선을 보증하지 않는다는 점이 중요하다. A→A는 matched, A→B는 mismatched procedural distillation이다.

Table 8. Matched와 mismatched teacher의 OPD 결과

모델	Short avg/pass	Middle avg/pass	Long avg/pass	S/M/L 평균 avg/pass	FA Middle avg/pass
Instruct Student A	68.12 / 89.38	9.32 / 36.67	0.94 / 6.04	26.13 / 44.03	12.97 / 45.62
Teacher A	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00
Teacher B	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00	100.00 / 100.00
Student A + Teacher A	80.86 / 85.00	33.18 / 40.83	10.08 / 14.38	41.37 / 46.74	42.19 / 51.25
Student A + Teacher B	71.61 / 78.12	17.94 / 23.75	4.95 / 7.92	31.50 / 36.60	6.09 / 7.50
Mismatch − Match	-9.24 / -6.88 pp	-15.23 / -17.08 pp	-5.13 / -6.46 pp	-9.87 / -10.14 pp	-36.09 / -43.75 pp

Matched OPD는 전체 avg@8을 26.13에서 41.37로 높이지만 mismatched OPD는 31.50에 그치며, 전체 pass@8은 46.74와 36.60으로 10.14 pp 벌어진다. 더 심각하게 FA Middle에서는 mismatch가 match보다 avg@8 36.09 pp, pass@8 43.75 pp 낮다. Student A + Teacher B의 전체 pass@8 36.60은 원래 Instruct의 44.03보다도 7.43 pp 낮으므로, 완벽한 teacher라도 student의 선행 procedural knowledge와 불일치하면 순손실을 낼 수 있다.

6.3 Token-level reverse KL과 후기 붕괴

KL 분석은 FA Middle rollout에서 student와 비교 teacher가 같은 prefix에 할당한 next-token 분포를 기록한다. Top-100 token과 나머지 tail mass를 합쳐 trajectory 평균 reverse KL $D_{KL}(P_{student}\parallel Q_{teacher})$를 계산하고, trajectory 정답 여부와 현재 step 정답 여부의 조합 CC, CI, IC, II 네 유형으로 나눈다. 측정 checkpoint는 0, 25, 50, 75이며, 분포 간 Gaussian KDE overlap과 유형별 mean KL을 함께 본다.

Figure 9: Matched 또는 crossed teacher와 student 사이의 token-level KL 동역학

Matched A→A에서는 네 유형의 mean KL이 step 0의 6.47, 9.83, 7.15, 8.92에서 step 75의 0.01, 0.08, 0.02, 0.06으로 거의 사라진다. Mismatched A→B가 자기 Teacher B와 비교될 때는 같은 시점 값이 7.91, 10.45, 8.56, 9.82에서 1.31, 1.47, 1.39, 1.57까지만 내려가 높은 잔차가 남는다. 특히 step 75 mismatch의 CI 표본은 1개뿐이어서, gold 궤적만으로는 오류 상태에서 회복하는 분포를 학습하기 어렵다는 진단도 수치로 뒷받침된다.

초기 KL 하강은 여러 sample에 재사용되는 낮은 상호정보량 planning pattern을 먼저 맞추는 단계로 해석할 수 있다. 이후에는 입력에 강하게 종속된 planning knowledge를 token별로 옮겨야 하는데, 서로 다른 유효 경로가 존재하면 teacher가 보지 못한 student의 정답 경로에도 높은 KL penalty가 걸릴 수 있다. 실제로 여러 correct step의 mean KL이 incorrect step보다 큰 경우가 있고, mismatch에서는 mean KL과 환경 reward의 상관도 더 약해져 단순 KL 최소화가 task correctness의 대리변수가 되지 못한다.

종합하면 사전학습에서는 명시적 상태 전이와 소량의 긴 연결 궤적이 계획 능력의 기반을 만들고, post-training에서는 그 기반 안에 이미 존재하는 저상호정보량 pattern을 선택할 때 RL이 가장 잘 작동한다. GRPO는 outcome-level 다양성을 보존하지만 긴 horizon의 credit assignment가 거칠고, OPD는 이상적인 teacher에서 방향이 안정적이지만 entropy를 줄이며 teacher의 절차 오류나 knowledge mismatch까지 정밀하게 추종한다. 따라서 실용적 설계 원칙은 더 강한 teacher 하나를 고르는 데 머물지 않고 student와 teacher의 world model support를 맞추고, error-state prefix와 복수의 유효 절차를 포함한 supervision으로 KL 신호가 정답 경로를 잘못 억압하지 않게 하는 것이다.

6.4 순차 MOPD의 retention과 “mixture”라는 말의 주의점

논문은 multi-teacher OPD를 simultaneous mixture와 cascaded 방식으로 정의하지만, 인프라 비용을 이유로 실제 정량 실험은 FA→LF→EA 순서의 cascaded MOPD에 집중한다. 더구나 표의 Form (a)가 말하는 mixed distribution은 학생 SFT에서 도메인별 normal template 노출을 섞은 설정이지, 여러 teacher를 동시에 호출한 mixture-MOPD가 아니다. 따라서 아래 수치로 입증되는 것은 순차 증류의 조건부 전이와 보존이며, simultaneous mixture보다 효율적이거나 우월하다는 비교 결론은 아니다.

shared-compatible Form (a)의 S/M/L 전체 mean은 avg@8 기준 Instruct 42.77→After FA 56.50→After LF 57.93→After EA 53.64다. 마지막 checkpoint도 시작보다 10.87 pp 높지만 중간 최고점보다는 4.29 pp 낮다. 더 엄격한 pass@8은 66.25→67.43→65.07→62.08로, 최종값이 시작보다 4.17 pp 낮고 최고점보다 5.35 pp 낮다. 즉 평균 rollout 성공은 상당 부분 남았어도 여덟 번 sampling으로 닿을 수 있는 instance 범위까지 완전히 보존됐다고 말할 수는 없다. 이 차이는 reverse-$D_{\mathrm{KL}}$의 mode seeking 해석과 양립하지만, 두 지표만으로 entropy 감소가 원인임을 확정하지는 못한다.

초기 품질이 더 낮은 4 Opt.:8 Sub.에서는 같은 순차 과정의 전체 avg@8이 14.95→33.85→33.41→31.00, pass@8이 22.22→39.51→38.96→36.74로 변한다. 최종 checkpoint가 첫 FA 단계의 peak보다 각각 2.85 pp, 2.77 pp 낮아 일부 후퇴는 있지만, Instruct 대비로는 정확히 +16.05 pp와 +14.52 pp가 남는다. 따라서 retention은 “마지막 성능이 상승했는가”와 “앞 단계 peak를 얼마나 유지했는가”를 별도로 보고해야 한다.

집계 평균은 심한 국소 망각도 가릴 수 있다. shared escape pattern이 있는 Form (c)는 전체 avg@8 17.86→63.64, pass@8 26.81→68.96으로 끝나지만, shared normal template을 제거한 Form (d)도 전체만 보면 16.28→39.28과 22.15→44.44로 상승한다. 그럼에도 Form (d)의 Short FA는 After LF에서 After EA로 갈 때 avg@8 90.00→15.62, pass@8 93.12→25.62로 무너진다. 새 EA 능력의 획득이 전체 평균을 끌어올려 초기 FA의 손실을 상쇄한 것이므로, MOPD retention 주장은 최종 macro mean에 더해 교사 순서별·도메인별 checkpoint를 함께 제시할 때만 성립한다.

7. 한계점 및 향후 연구 방향: 통제 실험에서 실제 에이전트로 넘어갈 때

이 논문의 장점은 변수를 떼어 볼 수 있는 통제력이고, 가장 큰 한계도 바로 그 통제력에서 나온다. 세 도메인은 Fantasy Alchemy, Livestock Farming, Electronic Assembly라는 이름은 다르지만, 모두 같은 희소한 합성 그래프 위에서 항목을 AND/OR 규칙으로 조합하는 synthetic domain이다. 도메인별 노드 수, 계층 깊이, 1입력 30%와 2입력 70% 비율까지 같으므로, 여기서 관찰한 전이는 실제로는 서로 다른 작업 사이의 전이라기보다 동일한 생성 문법의 표면 치환 사이 전이일 수 있다. 웹 탐색의 비결정적 페이지, 코딩 에이전트의 컴파일 오류, 권한·시간 제한, 도구 API 변화까지 포함하는 실제 환경으로 결론을 확장하려면 별도 검증이 필요하다.

모델 축도 제한적이다. 모든 핵심 비교가 약 100M 파라미터의 단일 Qwen2.5 계열 backbone에서 수행되어, 규모가 커질 때 나타나는 in-context 복구, 장기 문맥 유지, 도구 사용 prior가 같은 경계를 만드는지는 알 수 없다. 데이터의 최대 gold plan은 split B 기준 13단계이고, 평가 rollout은 trajectory당 최대 20단계에서 잘린다. 따라서 논문이 말하는 long-horizon은 이 벤치마크 내부의 상대적 장기이며, 수십~수백 번의 행동과 재계획을 요구하는 운영 환경의 장기성과 동일시해서는 안 된다.

7.1 MOPD가 보여 준 세 경우와 그 경계

저자들이 제시한 MOPD 분류는 두 축, 즉 교사들 사이에 shared pattern이 있는지와 그 pattern이 각 환경에서 compatible한지에 기반한다. Type I에서는 공유되고 호환되는 패턴이 한 교사의 신호를 보지 못한 도메인으로 옮기는 통로가 된다. Type II의 shared but conflicting setting에서는 도메인별 함정이 있어도 T1 Goal 같은 공통의 안전한 패턴이 남아 있어 sequential distillation이 continual learning으로 작동한다. 반대로 공유 영역도 없고 남은 패턴이 서로 충돌하는 Type III에서는 마지막 교사의 모드가 앞선 환경에 덮어써지며 catastrophic forgetting이 발생한다.

Figure 10: 여러 교사의 planning pattern을 공유 여부와 환경 간 호환 여부로 나누는 MOPD 분석 프레임워크.

이 도식의 핵심은 교사 수 자체보다 학생이 이미 지닌 pattern support의 교집합이다. 공통 패턴이 있고 각 환경의 행동 규칙과 양립하면 한 교사의 업데이트가 다른 환경에도 전달된다. 일부 충돌이 있어도 공유된 안전 모드가 남으면 순차 학습이 가능하지만, 교집합이 사라진 상태에서 패턴까지 충돌하면 새 교사에 맞춘 mode seeking이 이전 능력을 지운다. 즉 MOPD는 능력을 무조건 합치는 장치라기보다 공유 지지집합을 탐색하는 조건부 통합법이다. 후속 교사 순서와 각 checkpoint의 도메인별 성능을 함께 봐야 이 조건을 식별할 수 있다.

수치는 이 구분을 선명하게 만들지만 동시에 해석의 주의점도 드러낸다. compatible한 Form (a)의 중간 난도에서 FA 교사만 증류해도 LF avg@8은 34.92에서 52.58로 상승했고, 저품질 비중이 큰 4 Opt.:8 Sub.의 중간 난도 평균도 0.03에서 22.99로 회복했다. shared escape pattern이 남은 Form (c)는 마지막 EA 학습 뒤 단기 avg@8이 FA 91.88, LF 88.98, EA 89.77로 유지된다. 이는 새 지식을 큰 폭으로 주입했다기보다 이미 학생 분포에 있던 공통 모드를 찾아 증폭했다는 저자 해석과 잘 맞는다.

Figure 11: 공유 패턴의 존재 여부에 따라 달라지는 conflicting planning pattern 분포와 순차 MOPD의 간섭.

Form (c)에서는 도메인별 wrong shortcut이 있어도 T1 Goal이라는 공통 정상 템플릿으로 세 환경이 함께 수렴해 이전 성능을 보존한다. Form (d)는 그 T1을 사전학습에서 제거하자 마지막 EA 교사의 T3 Planning이 모든 환경에서 확률 1.00의 단일 모드가 된다. 같은 문장 형식의 reasoning pattern이라도 환경별 행동 의미가 충돌하면 보편 적용이 함정을 작동시키며, continual learning이 catastrophic forgetting으로 바뀐다는 과정 증거다.

여기서 원문의 수치 서술 오류를 바로잡아야 한다. Table 7 본문은 “Livestock Farming 90.00→15.62”라고 쓰지만, 표의 단기 열 순서는 FA, LF, EA이고 Form (d)의 After LF 행은 90.00, 84.69, 18.59, After EA 행은 15.62, 83.83, 87.58이다. 따라서 90.00에서 15.62로 폭락한 도메인은 Livestock Farming으로 잘못 지목됐고 실제로는 Fantasy Alchemy이며, LF는 같은 비교에서 84.69에서 83.83으로만 감소한다. catastrophic forgetting이라는 정성 결론은 남지만, 어떤 이전 교사가 희생되었는지에 관한 본문 설명은 수정되어야 한다.

다음 표는 서로 다른 난도나 집계치를 무리하게 한 줄로 평균내기보다, 각 주장에 직접 쓰인 조건과 지표를 함께 보존한다. 특히 Form (d)의 오류를 교정한 열 독해와 parameter dynamics의 규모 차이를 분리해 적었다. 숫자는 모두 원표의 특정 행·열에 한정해 읽어야 한다.

Table 9. MOPD 전이·간섭과 파라미터 변화의 핵심 수치

조건	비교	관측값	해석 범위
Shared + compatible, Form (a)	FA만 증류 전후, 중간 난도 LF avg@8	34.92 → 52.58	공유 패턴의 cross-environment transfer
Shared escape, Form (c)	After EA, 단기 FA/LF/EA avg@8	91.88 / 88.98 / 89.77	공통 T1 모드가 continual learning을 지지
No shared + conflicting, Form (d)	After LF→After EA, 단기 FA avg@8	90.00 → 15.62	실제 폭락 대상은 FA이며 catastrophic forgetting 발생
Parameter dynamics	Instruct–MOPD1 대 Instruct–teachers L2	$4.82\times10^{-1}$ 대 약 $7.10\times10^{1}$–$7.36\times10^{1}$	작은 국소 업데이트이며 큰 신규 지식 주입의 증거는 아님

이 표에서 가장 중요한 대조는 작은 이동도 호환 구조가 없으면 기능적으로 큰 붕괴를 만들 수 있다는 점이다. Form (c)와 Form (d)의 차이는 업데이트 크기만으로 설명되지 않고, 어느 pattern basin을 선택했는지와 그 모드가 각 환경의 규칙에 맞는지까지 함께 봐야 한다. 그러므로 성능 보존과 파라미터 거리 사이의 인과는 아직 확정되지 않았다.

Figure 12: Instruct, 교사, 순차 MOPD checkpoint 사이의 PCA 위치·L2 거리·업데이트 방향 cosine similarity.

세 MOPD checkpoint는 PCA에서 Instruct 주변의 작은 국소 영역에 남고, 첫 단계의 L2 거리는 $4.82\times10^{-1}$에 불과하다. 반면 Instruct와 세 교사의 거리는 대략 $7.10\times10^{1}$에서 $7.36\times10^{1}$이며, 단계별 업데이트 방향의 cosine similarity도 낮다. 이는 각 교사를 복제하지 않고 서로 다른 작은 방향을 더한다는 증거지만, PCA 투영과 전역 L2만으로 어떤 회로나 기능이 보존됐는지는 판정할 수 없다.

7.2 재현성과 평가 설계에서 남은 빈칸

보고 방식도 결론의 강도를 제한한다. 표에는 단일 소수점 이하 수치가 촘촘하지만 random seed 반복 횟수와 confidence interval이 없어, 작은 차이가 초기화·샘플링 변동보다 큰지 판단할 수 없다. 부록은 SFT에 대해 2 GPU, batch, learning rate, 9000 steps를 적지만, 핵심 GRPO·OPD·MOPD의 RL-specific hyperparameter, rollout batch, KL 계수, optimizer, teacher 호출량을 충분히 제시하지 않는다. 총 GPU-hour, wall-clock, 토큰 수, 교사 inference 비용도 빠져 있어 compute-matched 비교와 실제 배포 비용 평가가 어렵다.

데이터 분할 기술에는 더 직접적인 모순이 있다. 부록은 첫 20개 instantiation을 test pool로 두고 이를 held-out evaluation이라고 부르는 한편, teacher_all은 “all instantiation ranges”를 포함하며 “both train and test datasets”를 가진 full teacher data source라고 설명한다. 교사가 test trajectory를 직접 학습했는지, 학생이 교사 분포를 통해 그 정보를 간접 전달받았는지, 아니면 문서의 명칭만 잘못된 것인지 구분되지 않는다. teacher_all의 정확한 파일 목록, 중복 해시, 교사와 학생 각각의 접근 범위를 공개해 train/test leakage 가능성을 해소해야 한다.

마지막으로 avg@8과 pass@8은 최종 성공을 요약하지만 실패 과정은 거의 진단하지 못한다. 특히 pass@k는 여러 번 중 하나만 성공하면 높아져, 첫 오류 위치, 잘못된 중간 상태의 복구율, 유효 행동 비율, 불필요한 도구 호출, 계획 수정 횟수와 비용을 가린다. 저자도 pass@k가 장기 계획 능력의 상한을 정확히 나타내지 않을 수 있다고 인정하지만, MOPD 표에서는 여전히 결과 지표가 중심이다. 단계 정확도, state-consistency, recovery-after-error, 계획 길이 대비 성공률을 함께 보고해야 pattern 선택이 실제 과정 개선인지 단순 샘플 다양성 효과인지 판별할 수 있다.

아래 표는 논문을 부정하기 위한 목록으로 그치지 않고, 통제 실험의 주장을 실제 에이전트 명제로 바꾸기 위한 검증 계약이다. 각 행은 저자 주장, 현재 증거가 넘지 못하는 경계, 그 경계를 시험할 최소 설계를 대응시킨다. 검증 항목은 서로 독립적인 선택지들의 단순 나열보다 재현 가능한 결론을 위한 묶음이다.

Table 10. 주장–한계–필요 검증 대응표

논문이 지지하는 주장	현재 한계	필요한 후속 검증
compatible pattern은 도메인 간 전이를 만든다	동일 AND/OR 생성 문법의 합성 도메인	웹·코딩·GUI에서 관측과 행동 공간이 다른 교사 조합
shared pattern은 continual learning을 안정화한다	단일 100M backbone, seed와 CI 부재	규모별 다중 backbone, 5회 이상 seed와 신뢰구간
작은 MOPD 이동은 기반 모델을 안정적으로 보존한다	PCA·전역 L2와 기능 보존 사이 인과 미확인	layerwise drift, activation·회로 변화, retention probe
OPD/MOPD가 효율적인 pattern 통합법이다	RL hyperparameter와 teacher inference 비용 부족	compute·token·teacher-call matched SFT/GRPO/OPD 비교
평가 성능은 held-out 일반화를 반영한다	teacher_all의 train/test 포함 기술 모순	완전 분리된 교사 데이터와 중복 감사, process metric 공개

우선순위는 더 큰 표를 만드는 데 있지 않고 세 가지 혼동을 제거하는 데 있다. 데이터 접근 경로를 봉인하고, 동일 compute에서 baseline을 맞추며, 최종 성공과 과정 품질을 동시에 측정해야 한다. 그 뒤에야 shared support가 규모와 환경을 넘어 재현되는 구조적 원리인지, 이 벤치마크의 생성 규칙에 특화된 현상인지 말할 수 있다.

8. 내 해석: 외적 타당성과 다음 검증 설계

내가 운영자 관점에서 꼽는 핵심 약점은 외적 타당성 하나다. 같은 팀의 PEEU post 436은 GUI planning data의 구성 문제를, OPD post 158은 thinking-pattern consistency와 high-probability token alignment를 다뤘고, Solar Open 2 post 560은 12 specialist MOPD, MIRROR post 568은 view-conditioned OPD로 적용 폭을 넓혔다. 이 prior들을 연결하면 이번 결과는 “좋은 planning pattern이 이미 support에 있고 관측 관점이 맞을 때 증류가 그것을 증폭한다”는 일관된 가설로 읽힌다. 다만 이번 AND/OR 세계의 성공만으로 웹·코딩 에이전트에서도 shared pattern이 같은 기능적 의미를 가진다고 보기는 어렵다.

내가 다음으로 돌릴 실험은 하나의 compute-matched 실제 환경 검증이다. 웹 탐색과 저장소 코딩에서 SFT, GRPO, 단일 OPD, 순차 MOPD에 같은 학습 토큰·rollout 수·teacher call 예산을 주고, 최소 5개 seed를 반복해 평균과 95% CI를 보고한다. 결과 metric은 pass@k와 함께 첫 실패 단계, 유효 도구 호출률, 상태 일관성, 오류 뒤 복구율, 계획 수정 횟수와 성공당 비용을 함께 기록한다. 교사별 train/test 자원을 완전히 격리한 뒤 shared·conflicting 조합을 교차시키면, 관찰된 이득이 진짜 pattern transfer인지 더 많은 추론 비용이나 테스트 노출의 부산물인지 한 번에 가를 수 있다.

9. 결론: planning pattern의 지지 범위를 다시 그리다

논문의 결론은 장기 계획을 단일한 능력으로 취급하지 않고 획득–형성–통합의 세 단계로 분해했다는 데 가치가 있다. 사전학습에서는 explicit world model, 제한적이더라도 실제 long-horizon trajectory, 높은 행동 품질이 기반 분포를 만든다. RL post-training에서는 일반 planning pattern과 task-specific planning knowledge를 구분하며, OPD가 GRPO보다 저품질·장기 조건에서 넓은 effective region을 보인다고 주장한다. 마지막 MOPD에서는 여러 교사를 평균내기보다 학생이 이미 지닌 공통 고품질 모드로 수렴하는 현상을 통합 메커니즘으로 제시한다.

그러나 지지 범위는 명확히 좁혀 읽어야 한다. 실험이 직접 지지하는 것은 “동일한 합성 전이 문법, 100M backbone, 최대 gold 13단계와 rollout 20단계에서 shared compatible support가 존재하면 sequential reverse-KL distillation이 그 모드를 강화한다”는 조건부 명제다. support에 없는 특정 패턴은 다른 도메인에서 새로 만들어지지 않았고, 공유 모드가 제거된 Form (d)에서는 작은 파라미터 이동에도 초기 FA 능력이 무너졌다. 따라서 planning pattern은 어디서나 이식 가능한 추상 기술이라기보다, 학생 분포와 환경 의미론이 동시에 허용할 때만 재사용되는 행동 basin에 가깝다.

저자 해석과 리뷰어 해석도 구분할 필요가 있다. 저자들은 낮은 update-direction cosine similarity를 각 단계가 새로운 task signal을 안정적으로 더한다는 근거로 보고, 작은 L2 이동을 기반 모델 보존과 연결한다. 내가 보기에는 이 결과가 강하게 보여 주는 것은 교사 파라미터 복제와 구분되는 국소적 재가중이라는 점까지이며, 기능 보존은 compatible case에서만 경험적으로 성립했다. incompatible case의 붕괴는 거리보다 parameter direction, 활성화되는 패턴, 환경별 action semantics가 중요하다는 반례다.

그래서 이 연구의 실용적 메시지는 “MOPD를 쓰면 전문가를 합칠 수 있다”가 아니다. 먼저 학생의 pattern support를 측정하고, 교사 간 공유 모드가 실제 환경에서 호환되는지 검사하며, 충돌 시 rehearsal·routing·adapter·regularization 같은 보호 장치를 넣어야 한다. 동시에 seed, CI, 데이터 격리, compute와 process metric을 공개해야 일반화와 간섭을 재현 가능한 공학 판단으로 바꿀 수 있다. 이 조건을 붙일 때 논문은 장기 계획 학습의 물리학을 완성한 이론이라기보다, 어디에서 다음 실험을 시작해야 하는지를 잘 그린 통제 지도라고 평가할 수 있다.

10. 요약 정리: 장기 계획 학습의 세 단계

• 획득: 사전학습에서 명시적 world model과 상태 전이 reasoning은 직접 행동 예측보다 장기 일반화의 높은 상한을 만든다.
• 데이터 구성: atomic skill만으로 조합 계획이 자동 발생하지 않으며, 소량이라도 long-horizon gold trajectory가 필요하고 suboptimal action은 상한을 크게 낮춘다.
• 형성: RL은 없는 지식을 대규모로 주입하기보다 학생 support 안의 planning pattern을 재가중하며, OPD의 effective region은 통제 조건에서 GRPO보다 넓다.
• 통합: MOPD는 여러 교사를 그대로 평균내지 않고 reverse-KL의 mode seeking을 통해 공유되는 고품질 planning pattern으로 수렴한다.
• 호환 조건: shared하고 compatible한 패턴은 cross-environment transfer를, 충돌 속에서도 공통 escape pattern이 남은 경우는 continual learning을 지지한다.
• 실패 조건: shared support가 없고 패턴 의미가 충돌하면 마지막 교사가 이전 행동을 덮어쓰며 catastrophic forgetting이 발생하고, 실제 90.00→15.62 폭락 도메인은 FA다.
• 파라미터 해석: MOPD checkpoint는 Instruct 가까이에 머물고 단계별 방향은 다르지만, 작은 L2 이동만으로 기능 보존이나 지식 통합의 인과를 보장할 수 없다.
• 다음 검증: 실제 웹·코딩 환경에서 데이터 격리, compute matching, 다중 seed와 95% CI, 오류 복구·상태 일관성·성공당 비용 같은 process metric을 함께 확인해야 한다.