[arXiv 2606.26080] Progress Advantage: LLM 에이전트의 진행도를 읽는 사후학습 신호

Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

https://arxiv.org/abs/2606.26080

Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick, Sharon Li | University of Wisconsin--Madison, Argonne National Laboratory | arXiv:2606.26080v1 | 2026년 6월

---

1. 서론: 에이전트의 중간 진행도를 어디서 읽을 것인가

LLM 에이전트는 단일 답변을 생성하는 모델과 다르게, 도구 호출·웹 탐색·파일 조작·사용자와의 재대화가 뒤섞인 긴 궤적을 만든다. 이 환경에서 최종 성공 여부만 보는 outcome reward는 어느 단계가 실제로 작업을 진전시켰는지 설명하지 못한다. 반대로 단계별 품질을 알려 주는 process reward model은 인간 주석이나 재시뮬레이션이 필요해 비용이 크다. 이 논문은 그 병목을 다른 방향에서 푼다. 이미 사후학습(post-training) 과정에서 만들어진 RL 정책과 기준 정책의 확률 차이를 읽으면, 별도 보상 모델을 학습하지 않아도 에이전트 행동의 상대적 진전도를 계산할 수 있다는 주장이다.

핵심 용어는 progress advantage다. 저자들은 RL로 학습된 정책 $\tilde{\pi}^{*}$와 기준 정책 $\pi_{\rm ref}$가 같은 상태에서 실제 토큰 $a$에 부여하는 로그확률의 비율, 즉 $\beta\log(\tilde{\pi}^{*}(a|s)/\pi_{\rm ref}(a|s))$가 확률적 MDP에서도 최적 advantage를 회수한다고 보인다. 여기서 중요한 점은 절대 보상을 복원하려는 시도가 실패할 수 있다는 점을 먼저 인정한다는 데 있다. 에이전트 환경은 사용자의 답변, API 결과, 도구 출력처럼 다음 상태가 확률적으로 달라지는 요소를 포함하므로 deterministic reasoning에서 쓰던 implicit reward 해석이 그대로 이어지지 않는다. 논문은 reward 대신 advantage로 목표를 바꾸면, 전이 확률을 알지 못해도 행동의 상대적 가치를 얻을 수 있다고 정리한다.

이 관점은 실용적으로 꽤 매력적이다. 대형 모델 개발 파이프라인에는 RL 이전 checkpoint, SFT checkpoint, 혹은 base model 같은 기준 모델이 이미 남아 있는 경우가 많다. 만약 두 checkpoint의 로그확률만으로 단계별 신호를 만들 수 있다면, 주석 없는 PRM, test-time scaling scorer, 런타임 실패 감시기를 한꺼번에 얻는 셈이다. 논문은 BFCLv4-MT, WebShop, AgentDojo, $\tau^2$-bench, Who & When에 걸쳐 best-of-8 선택, 불확실성 정량화, failure attribution을 검증하고, Progress Advantage가 Self-Certainty, DeepConf, WildReward, ThinkPRM, 일부 task-specific PRM보다 안정적으로 높게 나온다고 보고한다.

Figure 1: Framework overview. RL 학습 정책과 reference 정책의 로그확률 차이를 토큰·스텝·궤적 단위의 progress signal로 바꾸는 전체 흐름.

Figure 1은 논문의 문제 설정을 가장 압축적으로 보여 준다. 왼쪽은 RL 사후학습이 끝난 정책과 기준 정책의 쌍에서 토큰별 로그확률 차이를 꺼내는 단계이고, 오른쪽은 이 신호를 스텝 점수와 궤적 점수로 집계해 best-of-N 선택, 모니터링, failure attribution에 쓰는 흐름이다. 그림이 강조하는 지점은 새 PRM을 훈련하는 경로를 택하기보다 이미 존재하는 checkpoint pair를 재사용하는 경로다. 즉 평가 신호의 원천을 데이터셋 구축에서 checkpoint lineage로 옮긴다.

논문 제목의 “free lunch”는 과장된 마케팅 문구처럼 보일 수 있지만, 본문이 실제로 겨냥하는 것은 비용이 0인 마법의 보상이 아니다. 정확히는 사후학습 과정에서 이미 지불한 계산과 데이터 비용을, 배포 이후의 trajectory scoring 자산으로 재활용하자는 제안이다. 그래서 이 논문을 볼 때는 새 reward model 하나를 제안했다는 식보다, RL post-training artifact의 재해석으로 읽는 편이 맞다. 특히 에이전트가 환경과 상호작용하면서 중간에 되돌릴 수 없는 행동을 하는 경우, step-level annotation 없이도 단계별 경고 신호를 얻는 방법은 운영상의 가치가 있다.

1.1 문제의식: PRM이 가장 필요한 곳에서 PRM을 만들기 어렵다

수학 추론 PRM은 중간 풀이 단계가 비교적 텍스트 안에 닫혀 있고, Monte Carlo rollout이나 step label을 구성하기가 그나마 가능하다. 반면 LLM 에이전트는 웹페이지, 예약 시스템, 쇼핑 환경, 사내 도구 같은 외부 상태에 의존한다. 어떤 action은 실제 이메일을 보내거나 파일을 삭제할 수 있고, 한 번 발생한 tool observation은 같은 조건으로 되감기 어렵다. 저자들이 강조하는 병목은 바로 이 지점이다. 에이전트의 어느 단계가 좋았는지 알고 싶지만, 그 단계마다 사람에게 라벨을 붙이거나, 같은 상태에서 여러 행동을 반복 실행해 기대값을 추정하는 방식은 확장성이 떨어진다.

기존 대안도 한계가 있다. Self-Certainty나 DeepConf처럼 행동 정책의 자체 confidence를 쓰면 별도 학습은 필요 없지만, 목표 달성에 도움이 되는 낮은 빈도의 tool-call 문자열이 낮게 평가될 수 있다. WildReward나 ThinkPRM 같은 일반 reward model은 학습된 지식이 풍부하더라도, 장기 상호작용의 상태 전이를 정확히 반영한다고 보기 어렵다. AgentPRM처럼 task-specific PRM을 만들면 성능은 나올 수 있지만, 새 도메인마다 데이터와 학습이 필요하다. Progress Advantage는 이 세 갈래 사이에서 “별도 학습 없이, 그래도 목표 지향적 차이를 보는” 중간 지점을 노린다.

문제 축	기존 접근의 어려움	Progress Advantage의 관점
Step-level annotation	긴 에이전트 궤적마다 어느 행동이 옳았는지 사람이 판단해야 하며 비용이 커진다.	RL 정책과 reference 정책의 로그확률 차이를 토큰 단위 신호로 사용한다.
Monte Carlo estimation	환경 상태가 되돌릴 수 없거나 stochastic observation 때문에 반복 rollout이 현실적이지 않다.	전이 모델을 직접 추정하지 않고 advantage 형태로 목표를 바꾼다.
Confidence scoring	정답에 필요한 tool-call이나 domain constraint token이 낮은 확률을 받을 수 있다.	기준 정책 대비 얼마나 더 강화되었는지를 보아 일반 언어 빈도 효과를 상쇄한다.
Task-specific PRM	새 benchmark나 실제 서비스 환경마다 별도 학습 데이터가 필요하다.	공개 checkpoint pair가 있으면 별도 reward training 없이 적용한다.

위 표는 논문이 해결하려는 병목을 네 가지 축으로 정리한 것이다. 가장 중요한 차이는 “좋은 행동의 절대 확률”을 보지 않고, 사후학습 이후 해당 행동이 기준 모델 대비 얼마나 상대적으로 강화되었는지를 본다는 점이다. 예를 들어 항공 예약 에이전트가 정책상 필요한 도구 호출 문자열을 생성할 때, 최종 정책도 그 문자열의 절대 확률을 높게 두지 않을 수 있다. 하지만 기준 모델보다 그 문자열을 더 선호하게 되었다면, 로그확률 비율은 해당 행동이 목표 달성 과정에서 강화된 흔적을 드러낼 수 있다.

2. 배경 및 관련 연구: implicit reward에서 agent process signal로

논문은 배경을 두 층으로 쌓는다. 첫 번째 층은 KL-regularized RL에서 나오는 implicit reward 해석이다. DPO 계열 논문을 통해 널리 알려진 것처럼, 최적 정책과 reference 정책의 로그확률 비율은 어떤 reward를 최대화한 결과로 해석될 수 있다. 결정론적 텍스트 완성 환경에서는 이 해석이 비교적 깔끔하게 이어진다. 두 번째 층은 agentic setting의 확률적 전이다. 사용자의 답변, API 반환값, 도구 실행 결과, 웹 상태 변화가 다음 state에 들어오면, deterministic MDP에서 사라지던 value residual이 남는다. 저자들은 이 residual 때문에 “로그확률 비율이 exact reward다”라는 단순 주장을 포기한다.

이 선택은 논문의 설득력을 높인다. agent 환경을 deterministic reasoning으로 억지로 축소하지 않고, 확률적 전이에서 exact reward 복원이 깨지는 식을 먼저 보여 준다. 그 다음 advantage function으로 목표를 바꾼다. Advantage는 상태 자체의 난이도와 행동의 상대적 품질을 분리한다. 같은 reward라도 쉬운 상태에서 받은 reward와 어려운 상태에서 받은 reward는 의미가 다를 수 있는데, advantage는 “그 상태에서 평균적 행동보다 얼마나 나은가”를 묻는다. 에이전트 궤적 점수화에서는 이 상대성이 매우 중요하다. 여러 단계가 서로 다른 context와 환경 관찰을 포함하기 때문이다.

관련 연구와의 거리는 크게 세 가지다. 첫째, 수학 추론 PRM은 단계별 reasoning correctness를 다루지만 주로 닫힌 텍스트 문제에 초점을 둔다. 둘째, AgentPRM류는 에이전트 도메인에 맞춘 process supervision을 학습하지만 task-specific data가 필요하다. 셋째, confidence 기반 scorer는 별도 학습이 없다는 장점이 있으나 goal progress와 generic fluency를 분리하기 어렵다. Progress Advantage는 implicit reward 문헌의 수학적 도구를 가져오되, 확률적 MDP에서 reward 대신 advantage를 회수한다는 식으로 에이전트 설정에 맞게 변형한다.

2.1 KL-regularized RL의 고정점과 로그확률 비율

저자들은 LLM post-training을 일반적인 KL-regularized reward maximization 문제로 적는다. 정책 $\pi_\theta$는 reward를 크게 만들되 reference policy $\pi_{\rm ref}$에서 너무 멀어지지 않도록 제한된다. 이때 목적함수는 대략 $\sum_t r(s_t,a_t)-\beta\log(\pi_\theta(a_t|s_t)/\pi_{\rm ref}(a_t|s_t))$ 형태를 가진다. Maximum entropy RL의 고정점에서는 최적 정책의 확률이 soft Q-value와 value의 차이에 의해 결정된다. 따라서 최적 정책과 reference 정책의 로그비는 reward 또는 advantage와 연결될 수 있다.

다만 이 연결은 어떤 양을 복원하려 하느냐에 따라 달라진다. 결정론적 환경에서 reward reparameterization은 value term이 telescoping되며 간결해진다. 하지만 agent 환경에서는 $s_{t+1}$이 외부 관찰로 확률적으로 바뀌므로 $V^*(s_t)-\mathbb{E}_{s_{t+1}}[V^*(s_{t+1})]$ 항이 남는다. 이 항은 정책 쌍의 로그확률만으로는 알 수 없다. 그래서 논문은 exact reward recovery를 실전 목표로 삼지 않는다. 대신 policy improvement에서 본래 중요한 advantage를 대상으로 삼으면, 로그확률 비율이 상태별 상대 행동 가치로 해석될 수 있음을 proposition으로 정리한다.

2.2 에이전트 PRM의 공백

Process reward modeling은 reasoning model에서는 이미 큰 흐름을 만들었다. 하지만 실제 LLM agent에서는 상황이 다르다. 에이전트가 tool call을 생성하면 그 다음 observation은 모델 내부 텍스트가 아닌 외부 환경에서 온다. 예를 들어 WebShop에서 상품 검색 결과가 바뀌거나, Airline task에서 고객 조건이 대화 중 드러나거나, AgentDojo에서 도구 호출이 보안 정책과 충돌할 수 있다. 이런 상호작용은 step-level correctness를 정적인 텍스트 라벨로 환원하기 어렵게 만든다.

또 하나의 공백은 범용성이다. task-specific PRM은 특정 benchmark에서는 강력할 수 있지만, 다른 domain으로 옮기면 annotation schema와 failure mode가 달라진다. 이 논문이 다양한 benchmark를 묶어 검증한 이유도 여기에 있다. BFCLv4-MT는 multi-turn function calling, WebShop은 온라인 쇼핑, AgentDojo는 도구 기반 일반 작업, $\tau^2$-bench는 고객 서비스 대화형 에이전트, Who & When은 multi-agent failure attribution을 본다. 이 정도로 다른 환경에서 같은 scoring principle이 작동한다면, 단일 도메인 PRM보다 더 재사용 가능한 운영 신호가 될 가능성이 있다.

2.3 이전 리뷰들과 연결되는 지점

이전에 다룬 test-time scaling, process reward, agent benchmark 계열 논문들과 연결해 보면 이 연구의 위치가 더 분명해진다. 다수의 후보 답을 뽑아 scorer로 고르는 best-of-N 방식은 inference compute를 결과 품질로 바꾸는 대표적 전략이지만, scorer가 잘못되면 추가 샘플링은 비용만 늘린다. Progress Advantage는 best-of-N scorer를 새로 학습하지 않고 post-training checkpoint pair에서 꺼내려 한다는 점에서, inference-time scaling의 병목을 reward engineering 쪽에서 줄이는 시도다.

또한 agent monitoring 관점에서는 uncertainty quantification과 failure attribution이 함께 중요하다. 성공 가능성이 낮은 trajectory를 조기에 표시하고, 어느 단계에서 결정적 오류가 났는지 찾을 수 있어야 사람이 개입할 위치를 정할 수 있다. 논문은 이 두 문제를 하나의 progress signal로 연결한다. 같은 로그확률 비율 신호가 trajectory-level AUROC에도, step-level decisive error localization에도 쓰인다는 점이 후속 연구에서 확장 가능한 포인트다.

3. 방법론: Progress Advantage가 정의되는 방식

방법론의 출발점은 token-level MDP다. 상태 $s_t$는 지금까지 생성·관찰된 토큰 시퀀스 전체이고, action $a_t$는 다음 토큰이다. EOS나 tool boundary 같은 지점에서 외부 환경이 새로운 observation을 돌려줄 수 있으므로 전이 함수 $f(\cdot|s_t,a_t)$는 확률적이다. 이때 RL fine-tuned policy를 $\tilde{\pi}^{*}$, 기준 정책을 $\pi_{\rm ref}$라고 하면 Progress Advantage는 다음처럼 계산된다.

$$\tilde{A}^{*}(s,a)=\beta\log\frac{\tilde{\pi}^{*}(a|s)}{\pi_{\rm ref}(a|s)}$$

이 수식의 직관은 간단하다. 어떤 토큰이 최종 정책에서 높고 reference에서 낮다면, 사후학습이 그 토큰을 특정 상태에서 더 선호하도록 만들었다는 뜻이다. 그 차이가 task reward에 의해 형성되었다면, 로그비는 해당 행동이 평균적 행동보다 더 유리하다는 방향의 정보를 담는다. 반대로 최종 정책과 reference가 비슷하게 보는 토큰은 post-training이 특별히 강화하지 않은 일반 언어 패턴일 가능성이 크다. 이 차이를 누적하면 특정 step이나 trajectory가 목표를 향해 얼마나 진행했는지 scoring할 수 있다.

3.1 exact reward 대신 advantage를 회수한다

논문의 가장 중요한 수학적 분기점은 reward와 advantage를 구분하는 데 있다. 확률적 MDP에서 implicit reward는 $\beta\log(\pi^*/\pi_{\rm ref})$에 value residual이 더해진다. 이 residual은 transition model과 value function을 알아야 계산할 수 있으므로 checkpoint pair만으로는 접근할 수 없다. 그러나 advantage는 상태 $s$ 안에서 action $a$의 상대적 효용을 묻기 때문에, soft Bellman의 per-state optimization 해를 통해 로그확률 비율과 정확히 연결된다.

이 구분은 실험 해석에서도 중요하다. 어떤 trajectory의 총점이 실제 환경 reward와 완전히 같다고 주장하면 반례가 많을 수 있다. 하지만 “이 상태에서 이 행동이 정책이 학습한 목표 관점에서 평균 행동보다 얼마나 나은가”라는 신호로 쓰면 훨씬 현실적이다. 실패 감지나 best-of-N 선택에서는 절대 reward의 단위보다 후보 간 순위와 나쁜 step의 위치가 더 중요하다. Progress Advantage는 바로 이 순위 기반 사용처와 잘 맞는다.

3.2 reference policy의 선택

실전 구현에서는 reference policy가 핵심 hyperparameter처럼 작동한다. 너무 먼 reference를 쓰면 로그비가 task progress보다 모델 family·pretraining distribution의 차이를 크게 반영할 수 있다. 너무 가까운 reference를 쓰면 좋은 action과 나쁜 action을 구분할 만큼 신호가 나오지 않는다. 논문은 Qwen3.5-9B와 Qwen3.5-9B-Base, Qwen3-14B와 Qwen3-14B-Base, Gemma4 instruction model과 base model, Olmo3 instruction model과 DPO 이전 checkpoint 같은 공개 가능한 쌍을 사용한다.

이 선택은 논문의 장점이면서 동시에 운영상의 제약이다. closed model 제공자가 intermediate checkpoint를 공개하지 않으면, 외부 사용자는 같은 방식으로 progress advantage를 계산하기 어렵다. 반대로 open-weight 모델 생태계에서는 checkpoint lineage가 투명할수록 이 방법의 활용도가 커진다. 저자들이 appendix에서 “fully opened intermediate artifacts”의 중요성을 언급하는 것도 이 때문이다. Progress Advantage는 모델 공개 방식과 평가 가능성이 직접 연결되는 사례다.

Model family	Behavior policy	Reference policy	의미
Qwen3.5	Qwen3.5-9B	Qwen3.5-9B-Base	RL/post-training 이후 모델과 base checkpoint의 대비
Qwen3	Qwen3-14B	Qwen3-14B-Base	더 큰 Qwen 계열에서 같은 원리 검증
Qwen2.5	Qwen2.5-7B-Instruct	Qwen2.5-7B	WebShop task-specific 비교와 GRPO variant에 활용
Gemma4	gemma-4-E4B-it	gemma-4-E4B	instruction-tuned 모델을 scorer로 사용
Olmo3	Olmo-3-7B-Instruct	Olmo-3-7B-Instruct-DPO	공개 중간 checkpoint를 활용한 비교

3.3 token score를 step과 trajectory로 집계한다

Progress Advantage는 기본적으로 토큰 단위 값이다. 하지만 에이전트 운영에서 필요한 것은 대개 step-level 또는 trajectory-level 점수다. 논문은 token aggregation과 step aggregation을 조합한다. 단순 합은 additive trajectory advantage에 가깝고, 평균은 길이 정규화를 제공한다. min이나 max는 특정 step 내부의 최악 또는 최선 토큰을 강조한다. position-weighted sum은 작업 지식에 따라 초반/후반 행동에 더 큰 가중치를 줄 수 있다.

Aggregation	수식적 형태	해석	적합한 사용처
Sum	$\sum_{t\in\mathcal{I}}\tilde{A}^{*}(s_t,a_t)$	구간 전체의 누적 진전도	짧고 길이가 비슷한 sub-trajectory 비교
Mean	$|\mathcal{I}|^{-1}\sum_t\tilde{A}^{*}(s_t,a_t)$	토큰 길이 정규화된 평균 품질	trajectory 길이가 다른 후보 비교
Weighted sum	$\sum_t w_t\tilde{A}^{*}(s_t,a_t)$	위치별 중요도를 반영한 합산	도메인 지식이 있는 모니터링
Extreme	$\min$ 또는 $\max$ 기반 집계	구간 안의 치명적 저점 또는 강한 긍정 신호	failure attribution, UQ, best-of-N 선택

집계 전략은 논문에서 단순한 구현 세부가 아니다. Figure 4와 appendix heatmap은 downstream application마다 잘 맞는 조합이 다르다는 점을 보여 준다. 예를 들어 best-of-N에서는 step-level min이 나쁜 행동 하나를 강하게 벌주는 방식으로 유리할 수 있고, uncertainty quantification에서는 특정 성공 단서가 되는 token-level max와 step 평균이 더 나을 수 있다. 따라서 Progress Advantage를 서비스에 붙일 때는 “로그비를 계산했다”에서 끝내지 말고, 어떤 실패 비용을 줄이고 싶은지에 맞춰 집계 방식을 검증해야 한다.

3.4 왜 advantage가 에이전트 점수화에 더 맞는가

에이전트 궤적에서는 state 자체의 난이도가 매우 불균일하다. 항공 예약 예시를 보면, 사용자가 단순한 일정 변경을 요청하는 상태와 여러 조건이 충돌하는 상태는 같은 행동을 해도 성공 확률이 다르다. reward만 보면 어려운 상태에서 합리적으로 수행한 행동이 낮게 보일 수 있고, 쉬운 상태에서 평범한 행동이 높게 보일 수 있다. Advantage는 같은 state 안에서 평균 행동 대비 얼마나 나은 action인지를 묻기 때문에 이런 난이도 차이를 줄인다. 이 성질은 multi-turn agent에서 step을 서로 비교할 때 중요하다.

또 하나의 장점은 credit assignment다. 최종 성공 여부는 trajectory 끝에서만 관찰되지만, 운영자는 중간에 어느 action이 궤적을 좋은 방향으로 틀었는지 알고 싶다. Progress Advantage는 token-level 로그비에서 시작하므로 tool name, argument value, domain constraint phrase 같은 작은 단위의 변화까지 표시할 수 있다. 이후 step aggregation을 거치면 개별 action의 품질을 볼 수 있고, trajectory aggregation을 거치면 후보 전체의 순위를 매길 수 있다. 같은 원천 신호를 해상도만 바꾸어 여러 운영 문제에 쓰는 구조다.

논문에서 clipping surrogate RL까지 포괄하려는 시도도 실무적으로 의미가 있다. 실제 LLM post-training은 항상 명시적 KL penalty만 쓰지 않는다. PPO, GRPO, DAPO, Dr. GRPO처럼 구현 세부가 다른 알고리즘이 섞이고, 일부는 clipping으로 policy ratio를 제한한다. 저자들은 작은 clipping threshold가 국소적으로 KL constraint와 비슷한 효과를 낸다고 정리해, Progress Advantage가 특정 학습 알고리즘 하나에 묶인 부산물보다 regularized policy improvement 전반에서 나타날 수 있는 신호라고 주장한다.

4. 실험 설정: 다섯 benchmark와 세 가지 응용

실험은 세 가지 응용으로 나뉜다. 첫째, test-time scaling에서는 같은 task prompt에 대해 8개 trajectory를 샘플링하고, scorer가 가장 높은 후보를 선택한다. 둘째, uncertainty quantification에서는 greedy trajectory가 성공할지 실패할지를 trajectory-level score로 예측하며 AUROC를 측정한다. 셋째, failure attribution에서는 multi-agent trajectory 안에서 결정적 오류가 발생한 step을 찾는다. 이 세 응용은 각각 선택, 감시, 진단이라는 운영 문제를 대표한다.

benchmark 구성도 의도적으로 넓다. BFCLv4-MT는 multi-turn tool calling, WebShop은 온라인 상품 탐색, AgentDojo는 도구 기반 일반 작업과 보안 제약, $\tau^2$-bench는 항공·소매 고객 서비스 에이전트, Who & When은 multi-agent 시스템의 decisive error step을 다룬다. 모델 family는 Gemma4-4B, Qwen3.5-9B, Qwen3-14B, Olmo3-7B가 중심이고, 일부 WebShop 비교에는 Qwen2.5-7B-Instruct가 들어간다.

4.1 데이터셋 및 벤치마크

Benchmark	Split / 규모	Temperature	측정 대상
BFCLv4-MT	Multi-turn base split, 200 tasks	0.4	multi-turn function calling 성공률
WebShop	First 100 tasks subset with items_shuffle_1000.json	0.7	온라인 쇼핑 task 성공률
AgentDojo	Workspace 40, Slack 21, Banking 16, Travel 20	0.4	도구 기반 작업 수행과 정책 준수
$\tau^2$-bench Airline	50 tasks	0.7	대화형 항공 고객 서비스 성공률 및 UQ
$\tau^2$-bench Retail	114 tasks	greedy for UQ	소매 고객 서비스 trajectory 성공 예측
Who & When	multi-agent failure trajectories	pre-extracted	decisive error step localization

best-of-8 설정은 Pass@N, Mean-of-N, Greedy Decoding을 함께 제시한다. Pass@N은 8개 후보 중 하나라도 성공한 비율이므로 scorer가 도달할 수 있는 상한에 가깝고, Mean-of-N은 무작위로 하나를 고른 평균적 품질에 가깝다. 좋은 scorer라면 Mean-of-N보다 높고 Pass@N에 가까운 결과를 내야 한다. Progress Advantage는 특히 WebShop과 $\tau^2$-Airline처럼 높은 temperature 탐색이 실제로 쓸모 있는 환경에서 큰 폭의 이득을 보인다.

4.2 비교 방법

비교군은 크게 학습 기반 reward model과 학습 없는 confidence method로 나뉜다. WildReward-8B는 대규모 user-chatbot interaction을 기반으로 학습된 outcome reward model이고, ThinkPRM-7B/14B는 수학 reasoning 데이터 중심의 process verifier다. AgentPRM은 WebShop task에 맞춘 task-specific PRM으로, Qwen2.5-7B-Instruct backbone에 SFT와 LoRA 기반 reward head를 붙인다. 반면 Self-Certainty와 DeepConf는 behavior policy의 token probability만 이용해 trajectory confidence를 계산한다.

이 비교 설계는 Progress Advantage의 장점을 드러내기에 적절하다. 학습 기반 모델보다 높으면 task-specific supervision 없이도 실용적이라는 뜻이고, confidence 기반 모델보다 높으면 단순 fluency나 certainty 이상의 goal-directed signal을 담는다는 뜻이다. 특히 Claude Sonnet 4.6 judge가 UQ 비교에 포함된 점도 눈에 띈다. proprietary LLM-as-a-Judge는 강한 baseline이지만 비용과 API 의존성이 있으므로, checkpoint pair 기반 scorer가 비슷하거나 높은 AUROC를 내면 운영 비용 측면에서 의미가 크다.

4.3 구현 세부사항

Progress Advantage 계산은 behavior policy와 reference policy가 같은 trajectory token에 부여한 log probability를 비교하는 절차로 시작한다. 이후 task별 aggregation을 선택한다. TTS에서는 후보 trajectory마다 score를 계산해 argmax를 선택하고, UQ에서는 trajectory score를 성공/실패 binary label의 ranking score로 사용해 AUROC를 계산한다. Failure attribution에서는 step별 reward 또는 advantage의 최솟값 위치를 decisive error step 예측으로 본다. 이 단순한 pipeline 덕분에 논문은 별도 reward head나 classifier 학습 없이 세 응용을 모두 처리한다.

실험상의 또 다른 세부사항은 greedy trajectory success rate다. $\tau^2$-bench Airline에서 Gemma4-4B는 34.0, Qwen3.5-9B는 60.0, Qwen3-14B는 12.0, Olmo3-7B는 30.8의 성공률을 보인다. Retail에서는 각각 45.6, 64.9, 50.0, 16.7이다. 즉 UQ task는 단순히 강한 모델 하나를 맞히는 문제가 아니며, 성공률과 실패률이 서로 다른 backbone 전체에서 trajectory score가 일관되게 작동하는지를 보는 문제다.

4.4 평가 프로토콜을 운영 관점으로 읽기

best-of-N 프로토콜은 실제 서비스의 후보 생성 구조와 닮아 있다. 하나의 사용자 요청에 대해 여러 계획이나 여러 tool-call sequence를 병렬로 만들고, 그중 하나만 실행해야 하는 상황이 많다. 이때 scorer가 잘못 고르면 sampling budget은 오히려 위험을 키운다. 논문이 Pass@N과 Mean-of-N을 함께 둔 이유는 scorer의 역할을 분리하기 위해서다. Pass@N이 높고 Mean-of-N이 낮은 환경은 좋은 후보가 존재하지만 찾기 어려운 환경이며, Progress Advantage가 이 간극을 줄일 수 있는지 보는 것이 핵심이다.

UQ 프로토콜은 배포 후 모니터링과 직접 연결된다. trajectory가 이미 생성되었을 때, 이 trajectory가 성공할 가능성이 낮다고 판단되면 사람 검수, 재시도, 더 강한 모델 호출, 안전한 fallback으로 넘길 수 있다. 여기서 AUROC는 threshold를 고정하지 않은 ranking 성능을 말하므로, 실제 운영에서는 성공/실패 로그를 더 모아 threshold를 정해야 한다. 그래도 AUROC가 높다는 것은 모니터링 점수의 방향성이 있다는 뜻이며, Progress Advantage가 그런 후보 신호가 될 수 있음을 보여 준다.

failure attribution 프로토콜은 debugging과 사고 분석에 가깝다. agent가 실패했다는 사실만 알면 모델 개선이나 운영 대응이 어렵다. 어느 step에서 결정적 오류가 발생했는지 알면, prompt policy, tool schema, retrieval context, 사람 승인 위치를 조정할 수 있다. Progress Advantage가 step-level 최저점으로 decisive error를 맞히는 실험은, 이 신호가 단순히 성공 후보를 고르는 score를 넘어 trajectory forensics에도 활용될 수 있음을 보여 준다.

5. 주요 실험 결과: best-of-N과 UQ에서 나타난 차이

가장 먼저 볼 결과는 best-of-8 test-time scaling이다. Progress Advantage는 Gemma4-4B 평균 성공률 38.8, Qwen3.5-9B 평균 성공률 62.1을 기록한다. 같은 표에서 Greedy Decoding은 각각 33.4와 54.6, Mean-of-N은 33.1과 54.7이다. 즉 단순히 여러 trajectory를 뽑는 것만으로는 충분하지 않고, 어떤 후보를 선택할지 결정하는 scorer가 중요하다. Progress Advantage는 Gemma4에서 평균 5.4포인트, Qwen3.5에서 평균 7.5포인트 수준으로 greedy 대비 이득을 만든다.

Scoring method	Training	Gemma4-4B 평균	Qwen3.5-9B 평균	해석
Pass@N oracle	없음	45.4	67.5	8개 후보 중 성공 후보가 존재하는 상한에 가까운 값
Greedy Decoding	없음	33.4	54.6	temperature 0의 기본 trajectory
Mean-of-N	없음	33.1	54.7	후보를 scoring하지 않고 평균적으로 본 성능
WildReward-8B	있음	33.1	54.8	일반 reward model의 cross-domain 한계
ThinkPRM-14B	있음	33.6	54.9	reasoning PRM의 agentic transfer 한계
Self-Certainty	없음	29.0	51.5	behavior confidence만으로는 낮은 성능
DeepConf B10	없음	27.4	55.8	일부 task에서 좋지만 평균 안정성은 낮음
Progress Advantage	없음	38.8	62.1	별도 학습 없이 가장 높은 평균 성공률

세부적으로는 WebShop과 $\tau^2$-Airline에서 차이가 크다. Gemma4 WebShop에서 Progress Advantage는 45.0으로 Greedy 32.0, Mean-of-N 41.6, ThinkPRM-14B 43.0보다 높다. Qwen3.5 WebShop에서는 42.0으로 Greedy 21.0과 Mean-of-N 26.4를 크게 넘는다. $\tau^2$-Airline에서도 Gemma4 기준 48.0으로 Greedy 34.0, Mean-of-N 34.5를 앞선다. 이 결과는 exploratory sampling이 실제로 유효한 후보를 만들 때, Progress Advantage가 그 후보를 더 잘 골라낸다는 해석을 가능하게 한다.

Figure 2: Who & When step-level accuracy. Progress Advantage와 confidence 기반 방법, AgenTracer를 decisive error step 예측에서 비교한다.

Figure 2는 failure attribution 결과를 압축한다. Who & When benchmark에서 모델은 전체 trajectory 중 어느 step이 결정적 오류였는지를 맞혀야 한다. Progress Advantage는 별도 task-specific training 없이도 confidence 기반 방법보다 높은 step-level accuracy를 보이고, hand-crafted split에서는 AgenTracer에 가까운 성능을 낸다. 이는 로그확률 비율이 단순 궤적 총점과 함께 나쁜 step의 위치를 찾는 데도 쓸 수 있음을 보여 준다.

5.1 Uncertainty Quantification 결과

UQ에서는 trajectory-level score가 성공/실패 label을 얼마나 잘 구분하는지 AUROC로 본다. $\tau^2$-Airline에서 Progress Advantage는 Gemma4-4B 0.865, Qwen3.5-9B 0.720, Qwen3-14B 0.739, Olmo3-7B 0.799를 기록한다. Claude Sonnet 4.6 judge는 각각 0.615, 0.726, 0.519, 0.715이고, Self-Certainty는 Gemma4에서 0.840으로 강하지만 다른 backbone에서는 낮아진다. 즉 Progress Advantage는 특정 backbone 하나에서만 우연히 강한 수준을 넘어 네 backbone 전반에서 높은 값을 보인다.

Scoring method	$\tau^2$ Airline Gemma4	Airline Qwen3.5	Airline Qwen3	Airline Olmo3	Retail Gemma4	Retail Qwen3.5
Claude Sonnet-4.6 judge	0.615	0.726	0.519	0.715	0.852	0.899
WildReward-8B	0.312	0.540	0.314	0.514	0.643	0.468
ThinkPRM-14B	0.426	0.655	0.292	0.708	0.573	0.610
Self-Certainty	0.840	0.642	0.663	0.486	0.397	0.366
DeepConf Tail	0.581	0.588	0.682	0.472	0.382	0.344
Progress Advantage	0.865	0.720	0.739	0.799	0.690	0.678

Retail 도메인에서는 결과가 조금 더 섞인다. Claude judge가 Gemma4 0.852, Qwen3.5 0.899, Qwen3 0.864로 매우 강하고, Progress Advantage는 Gemma4 0.690, Qwen3.5 0.678, Qwen3 0.650, Olmo3 0.664다. 하지만 논문이 강조하는 지점은 Progress Advantage가 모든 칸에서 최고라는 단순한 메시지가 아니다. 별도 API judge나 task-specific training 없이 checkpoint pair만으로 많은 backbone에서 경쟁력 있는 AUROC를 얻는다는 점, 특히 Airline처럼 행동 제약과 도구 사용이 중요한 도메인에서 confidence baseline을 안정적으로 앞선다는 점이 핵심이다.

5.2 다른 정책이 만든 trajectory도 scoring할 수 있는가

논문은 Gemma4-4B를 scorer로 사용해 Qwen3.5-9B와 Qwen3-14B가 만든 $\tau^2$-Airline trajectory를 평가하는 off-policy UQ도 수행한다. 여기서 Progress Advantage는 Qwen3.5 trajectory에 대해 0.754, Qwen3 trajectory에 대해 0.727 AUROC를 기록한다. Self-Certainty는 각각 0.587과 0.648이고, DeepConf Tail은 0.482와 0.610이다. 이 결과는 progress signal이 반드시 자기 정책이 생성한 trajectory에만 갇히지 않을 수 있음을 시사한다.

Scoring method	Qwen3.5-9B trajectory AUROC	Qwen3-14B trajectory AUROC
Self-Certainty	0.587	0.648
DeepConf Tail	0.482	0.610
DeepConf B10	0.563	0.636
Progress Advantage	0.754	0.727

off-policy 결과는 실제 운영에서 중요하다. 서비스 환경에서는 여러 model family가 생성한 trajectory를 하나의 monitor가 평가해야 할 수 있고, 모든 모델에 대해 완전한 reference checkpoint pair를 갖고 있지 않을 수도 있다. Gemma4 pair로 다른 Qwen trajectory를 scoring했을 때 AUROC가 높게 나오는 것은, Progress Advantage가 특정 behavior model의 내부 confidence를 넘어 action sequence의 품질을 어느 정도 외부적으로 읽을 수 있음을 보여 준다. 다만 이 결과만으로 임의의 모델 조합에 일반화된다고 단정하기는 어렵고, reference와 behavior의 tokenization, tool schema, instruction style 차이를 더 넓게 검증해야 한다.

Figure 3: Qualitative analysis on token-level signals. 정책 로그확률과 Progress Advantage가 같은 tool-call 및 domain constraint token을 다르게 평가하는 사례.

Figure 3은 수치표보다 직관적인 근거를 제공한다. 항공 예약 취소 요청에서 domain-specific constraint를 지키는 tool-call 문자열은 일반 언어 빈도 관점에서는 낮은 확률을 받을 수 있지만, Progress Advantage는 reference 대비 강화된 token을 양의 신호로 본다. 특히 “change of plan”이나 “business class” 같은 조건 관련 표현이 목표 달성에 중요할 때, 단순 정책 로그확률보다 로그비가 더 목표 지향적으로 반응한다.

5.3 수치가 말하는 선택기의 성격

TTS 표를 자세히 보면 Progress Advantage가 모든 dataset에서 oracle에 가까운 것은 아니다. BFCLv4-MT에서는 Gemma4가 19.0, Qwen3.5가 42.5로 WildReward와 비슷하거나 공동 최고 수준이고, AgentDojo에서는 Qwen3.5 91.8로 매우 높지만 Greedy 자체가 94.8인 특이한 조건도 있다. 이 차이는 scorer가 항상 sampling을 이긴다는 뜻보다, exploration이 실제 성공 후보를 만들고 기존 confidence가 그 후보를 놓치는 환경에서 더 큰 가치를 낸다는 뜻이다. 따라서 적용 대상은 high-temperature 후보 생성이 의미 있는 agent task로 좁혀 읽는 편이 정확하다.

WebShop 결과는 특히 해석할 만하다. 쇼핑 환경에서는 정답 상품을 찾기 위해 여러 검색·필터링·상세페이지 탐색 action이 필요하고, 표면적으로 확률이 높은 자연어 응답보다 목표 조건에 맞는 도구 사용이 중요하다. Progress Advantage가 WebShop에서 좋은 결과를 보인 것은 reference 대비 강화된 tool-use preference가 실제 성공 후보 선택에 도움이 되었기 때문일 수 있다. 반면 pure confidence scorer는 모델이 익숙한 표현을 높게 평가할 가능성이 있어, 목표 조건을 만족하는 낮은 빈도 action을 놓칠 수 있다.

$\tau^2$-Airline도 비슷하다. 고객 서비스 환경에서는 항공권 변경, 취소 조건, cabin class, policy exception 같은 규칙이 상호작용 중에 드러난다. 성공 trajectory는 단순히 자연스러운 답변에 머물지 않고, 도메인 규칙을 확인하고 적절한 tool을 호출하며, 사용자 요구가 정책과 충돌할 때 올바르게 거절해야 한다. Progress Advantage가 Airline에서 강한 이유는 사후학습이 이런 조건부 행동을 기준 모델 대비 강화했기 때문이라고 해석할 수 있다.

6. 추가 분석 및 Ablation Study: 신호의 성격을 분해하기

추가 분석의 첫 질문은 “그냥 최종 정책의 log probability만 쓰면 되는가”다. 답은 대체로 그렇지 않다. 논문은 Progress Advantage, 최종 정책 로그확률 $\log\tilde{\pi}^{*}(a|s)$, reference 로그확률 $\log\pi_{\rm ref}(a|s)$를 UQ 시나리오에서 비교한다. 평균 rank는 Progress Advantage가 1.44, 최종 정책 로그확률이 2.25, reference 로그확률이 2.31이다. 평균 best AUROC도 Progress Advantage 0.732, 최종 정책 0.679, reference 0.695로 차이가 있다.

Signal	Avg. rank by best AUROC	Avg. best AUROC	해석
$\log(\tilde{\pi}^{*}(a|s)/\pi_{\rm ref}(a|s))$	1.44 ± 0.62	0.732 ± 0.059	사후학습으로 강화된 상대 차이를 포착
$\log\tilde{\pi}^{*}(a|s)$	2.25 ± 0.89	0.679 ± 0.044	목표 신호와 일반 fluency가 섞임
$\log\pi_{\rm ref}(a|s)$	2.31 ± 0.70	0.695 ± 0.043	기준 분포만으로는 task progress를 보기 어려움

이 ablation은 논문의 핵심 가설을 직접 건드린다. Progress Advantage가 강한 이유가 최종 정책이 그냥 더 좋은 모델이기 때문이라면, $\log\tilde{\pi}^{*}$만 써도 비슷해야 한다. 하지만 결과는 reference와의 대비가 중요하다고 말한다. 이는 contrastive decoding이나 distributional contrast에서 보던 효과와도 닮아 있다. 기준 모델이 이미 알고 있던 일반 언어 패턴을 빼고, RL 이후 새롭게 강화된 행동 선호를 남기는 것이 goal-directed progress signal을 날카롭게 만든다.

Figure 4: Combinations of token and step aggregation strategy. downstream task와 모델에 따라 token/step 집계 조합의 성능이 달라진다.

Figure 4는 집계 선택이 성능에 미치는 영향을 보여 준다. Progress Advantage는 토큰 단위로 정의되지만 실제 응용에서는 step과 trajectory 점수가 필요하므로, token aggregation과 step aggregation의 조합이 중요하다. heatmap에서 best-of-N과 UQ의 좋은 조합이 다르게 나타난다는 점은, 이 방법을 배포할 때 하나의 default aggregation을 고정하기보다 task별 validation set에서 조정해야 함을 뜻한다.

6.1 reference policy를 얼마나 가깝게 둘 것인가

reference policy 선택도 실험적으로 분석된다. Qwen3.5-9B-Base와 Qwen3.5-9B를 weight space에서 섞어 $\theta_\alpha=\alpha\theta_{\rm final}+(1-\alpha)\theta_{\rm base}$ 형태의 reference spectrum을 만들고, $\tau^2$-Airline UQ에서 AUROC를 본다. 직관적으로 $\alpha$가 너무 작으면 reference가 final에서 멀어져 일반 분포 차이가 커지고, 너무 크면 final과 거의 같아져 로그비가 작아진다.

Figure 5: Varying reference policy. final과 base checkpoint를 weight interpolation해 reference policy 거리를 바꾸며 Airline UQ 성능을 비교한다.

Figure 5는 reference 선택이 단순한 부차 요소가 아님을 보여 준다. 기준 정책이 final에 너무 가까우면 차이가 작아져 signal-to-noise가 약해지고, 너무 멀면 task-specific progress보다 distribution shift가 커진다. WISE나 TIES 같은 merging 방식으로 중간 reference를 만드는 실험은, 공개 checkpoint가 부족한 상황에서도 적절한 reference 거리를 탐색할 수 있는 현실적 도구가 될 수 있음을 시사한다.

이 분석은 후속 연구에서 특히 중요하다. 실제 모델 제공자는 RL 과정의 모든 checkpoint를 공개하지 않는 경우가 많다. 그러면 사용자는 base, SFT, DPO 이전, instruct model 중 어떤 것을 reference로 삼아야 할지 결정해야 한다. 논문은 완전한 답을 주지는 않지만, reference가 너무 멀거나 가까우면 좋지 않다는 운영 원칙을 제공한다. 따라서 Progress Advantage를 쓰려면 모델 카드에 “어떤 checkpoint가 어떤 학습 단계의 reference인지”가 명시될수록 좋다.

6.2 Progress k-Advantage와 smoothing

appendix에서는 token probability의 노이즈를 줄이기 위해 top-k smoothed variant도 제안한다. 기본 Progress Advantage는 실제 생성된 token의 로그확률 차이를 그대로 쓰지만, 일부 RL training에서는 순수 token probability가 gradient instability나 nuance instability를 유발할 수 있다. Self-Certainty와 DeepConf가 top-k probability를 이용하는 것처럼, Progress k-Advantage는 top-k token log probability의 평균 차이를 사용한다. 평균 TTS 결과에서는 vanilla Progress Advantage가 Gemma4 38.8, Qwen3.5 62.1로 더 높고, Progress k-Advantage는 각각 34.1과 58.1이다.

이 결과는 smoothing이 항상 이득이 아님을 보여 준다. top-k averaging은 극단적 token noise를 완화하지만, 실제 action token에 담긴 fine-grained 신호를 희석할 수도 있다. 에이전트 행동에서는 특정 tool name, argument value, constraint phrase처럼 소수 token이 성공을 좌우한다. 그런 토큰의 relative boost가 progress signal의 핵심이라면, 지나친 smoothing은 목표 지향적 차이를 약화시킬 수 있다. 반대로 noisy logprob가 많은 모델이나 긴 tool argument에서는 k-variant가 더 안정적일 수 있으므로, 이 역시 application-specific validation이 필요하다.

Figure 6: Who & When appendix result. Progress k-Advantage까지 포함해 failure attribution에서 step-level accuracy를 확장 비교한다.

Figure 6은 appendix의 failure attribution 확장 결과다. 기본 Progress Advantage와 Progress k-Advantage를 confidence 기반 방법, AgenTracer와 함께 비교하면서, 신호가 step-level error localization에도 유지되는지 확인한다. 여기서 중요한 점은 UQ나 best-of-N처럼 trajectory-level 점수를 요구하는 과제와 달리, failure attribution은 어느 한 step의 최저 신호가 의미를 갖는다는 점이다.

Figure 7: Full best-of-N aggregation sweep. 네 dataset과 두 backbone에서 25개 token/step aggregation 조합을 비교한다.

Figure 7은 best-of-N에서 25개 집계 조합을 넓게 훑은 결과다. 본문 Figure 4가 핵심 사례를 보여 준다면, 이 그림은 dataset과 backbone이 바뀌어도 집계 민감도가 남아 있음을 보여 준다. 특히 후보 trajectory 중 하나를 고르는 문제에서는 낮은 progress step 하나가 전체 성공을 망칠 수 있으므로, min 계열 집계가 일부 환경에서 설득력 있는 선택이 된다. 이는 aggregation tuning이 성능표의 부록을 넘어 실제 scorer 설계의 일부임을 말한다.

6.3 trajectory evolution이 주는 운영 힌트

advantage evolution 분석은 성공/실패 trajectory가 시간에 따라 어떻게 갈라지는지 보여 준다. 만약 실패 trajectory의 running advantage가 특정 구간 이후 지속적으로 낮아진다면, 시스템은 최종 실패가 확정되기 전에 intervention을 걸 수 있다. 예를 들어 customer service agent가 정책 확인 없이 tool-call을 이어 가는 패턴이 반복되면, 해당 구간의 progress signal 하락을 근거로 재계획을 요청할 수 있다. 이는 post-hoc 평가에서 online monitoring으로 넘어가는 연결점이다.

다만 evolution curve를 운영에 쓰려면 normalization이 필요하다. trajectory 길이, domain, model family, temperature가 다르면 score scale이 달라질 수 있다. 같은 점수 하락폭이 WebShop에서는 흔한 탐색 noise일 수 있고, Airline에서는 policy violation 전조일 수 있다. 따라서 실제 적용에서는 task별 baseline curve, success/failure quantile, action type별 variance를 함께 기록해야 한다. 논문은 이 calibration을 끝내지는 않았지만, 어떤 로그를 모아야 하는지에 대한 방향을 제공한다.

또 하나의 흥미로운 확장은 trace provenance와의 결합이다. agent framework가 tool call, retrieved document, user message, planner decision을 구조화해 저장한다면, Progress Advantage의 급락 step을 해당 provenance와 함께 보여 줄 수 있다. 그러면 운영자는 “점수가 낮다”에서 멈추지 않고, 어떤 tool schema나 retrieval context가 오류를 유발했는지 추적할 수 있다. 이 지점은 agent observability 플랫폼과 자연스럽게 이어진다.

7. 한계점 및 향후 연구 방향: 무료 신호의 조건과 비용

첫 번째 한계는 checkpoint pair 가용성이다. Progress Advantage는 behavior policy와 reference policy의 로그확률을 모두 계산해야 한다. open-weight 모델에서 base와 final checkpoint가 공개되어 있으면 구현 가능하지만, API-only 모델이나 intermediate checkpoint가 닫힌 모델에서는 같은 방식으로 쓰기 어렵다. 논문이 closed proprietary 모델을 직접 다루지 않는 것도 이 제약과 관련된다. 따라서 이 방법은 모델 공개 생태계가 투명할수록 강해지는 평가 방법이다.

두 번째 한계는 계산 비용이다. 별도 reward model training은 필요 없지만, inference-time scoring에는 두 모델의 log probability 계산이 필요하다. 7B~14B급 pair를 모두 올려야 한다면 GPU memory footprint가 늘어난다. appendix의 bf16 weight footprint 표는 policy와 reference pair를 함께 쓰는 비용을 보여 준다. 실제 서비스에서 모든 trajectory를 두 모델로 scoring하기 어렵다면, quantization, KV cache reuse, smaller reference, distilled scorer 같은 최적화가 필요하다. free lunch라는 표현과 달리, training data 비용이 사라지는 대신 inference scoring 비용이 남는다.

세 번째 한계는 집계 전략과 domain calibration이다. 논문은 여러 benchmark에서 좋은 결과를 보였지만, best aggregation은 task마다 다르다. 실제 서비스에서는 false positive와 false negative의 비용이 다르고, 어떤 step을 경고로 표시할지 threshold를 정해야 한다. Progress Advantage가 AUROC를 높인다고 해서 곧바로 운영 threshold가 자동으로 정해지는 것은 아니다. domain별 calibration set, human review budget, action reversibility에 따른 경고 정책이 함께 필요하다.

네 번째 한계는 reference mismatch다. reference가 너무 멀면 로그비가 모델 family 차이를 반영하고, 너무 가까우면 신호가 작다. 또한 tokenizer와 tool schema가 다른 모델 사이에서는 token-level logprob 비교가 직접적이지 않을 수 있다. off-policy UQ 결과는 고무적이지만, 임의의 모델이 생성한 trajectory를 다른 모델 pair로 평가하는 일반 원리로 확대하려면 더 많은 cross-family, cross-tokenizer, cross-environment 실험이 필요하다.

한계	논문에서 보이는 근거	운영 적용 시 필요한 보완
Checkpoint pair 필요	policy와 reference logprob가 모두 필요함	모델 카드와 release pipeline에서 intermediate checkpoint 공개
두 모델 scoring 비용	bf16 weight footprint가 backbone pair 단위로 증가	quantization, batching, caching, 작은 reference 탐색
집계 전략 민감도	TTS와 UQ에서 좋은 aggregation 조합이 다름	domain validation set 기반 threshold와 aggregation 선택
Reference distance 문제	policy merging sweep에서 성능 변화 관찰	base/SFT/DPO checkpoint별 calibration과 merging 실험
Generalization 범위	일부 benchmark와 public backbone 중심	보안 agent, code agent, enterprise tool 환경 추가 검증

향후 연구 방향은 세 갈래로 볼 수 있다. 첫째, Progress Advantage를 직접 운영 monitor로 쓰는 프로토콜이 필요하다. 예를 들어 특정 tool-call step에서 score가 급락하면 human-in-the-loop 검수를 요청하거나, reversible action과 irreversible action에 다른 threshold를 부여하는 방식이다. 둘째, reference policy를 선택하거나 합성하는 방법을 체계화해야 한다. 모델 병합, low-rank adapter removal, SFT checkpoint approximation 같은 방법이 후보가 될 수 있다. 셋째, 로그확률 비율을 그대로 쓰는 대신 작은 calibration head나 isotonic regression을 붙여 domain별 risk score로 변환하는 연구도 가능하다.

7.1 실제 시스템에 붙일 때의 체크포인트

첫 번째 체크포인트는 logprob 접근성이다. 일부 inference stack은 생성 token의 log probability만 제공하고, reference model의 같은 context logprob를 효율적으로 계산하는 기능이 부족하다. Progress Advantage를 쓰려면 behavior trajectory를 reference model에 다시 넣어 token-aligned likelihood를 계산해야 한다. tool observation과 special token boundary가 모델마다 다르게 직렬화되면 alignment가 깨질 수 있으므로, trajectory serialization을 먼저 고정해야 한다.

두 번째 체크포인트는 latency budget이다. best-of-8에서 후보 8개를 모두 두 모델로 scoring하면, 생성 비용 외에 평가 비용이 추가된다. 낮은 latency가 중요한 서비스라면 모든 요청에 적용하기보다 고위험 action, 낮은 confidence request, 새로운 domain task에만 selectively scoring하는 방식이 현실적이다. 반대로 offline evaluation이나 batch monitoring에서는 비용 부담이 작아져 Progress Advantage의 장점이 더 커진다.

세 번째 체크포인트는 사람 검수 인터페이스다. step-level score를 얻어도 운영자가 볼 수 있는 형태로 정리하지 못하면 가치가 줄어든다. 낮은 score step, 해당 tool call, reference 대비 강화·약화된 token, 관련 환경 observation을 한 화면에 묶어야 한다. 특히 failure attribution에서는 score 자체보다 “왜 이 step이 의심되는가”를 보여 주는 explanation template이 필요하다. 이 논문은 raw signal을 제공하고, 제품화는 observability layer가 맡아야 한다.

또 하나의 실전 변수는 trajectory truncation이다. agent log는 매우 길 수 있고, 도구 관찰에는 표·JSON·오류 메시지·검색 결과가 섞인다. 모든 토큰을 동일하게 scoring하면 observation token의 길이나 형식이 점수를 과도하게 흔들 수 있다. Progress Advantage를 안정적으로 쓰려면 행동 token, tool argument, natural language rationale, environment observation을 분리하고, 어떤 구간을 scoring 대상에 포함할지 정해야 한다. 논문은 token/step aggregation을 다루지만, 실제 agent framework에서는 log serialization policy가 그보다 앞선 전처리 계층이 된다.

특히 function calling 기반 agent에서는 action이 JSON schema로 표현된다. 같은 의미의 tool argument라도 key 순서, whitespace, quoting 방식에 따라 tokenization이 달라질 수 있다. 로그확률 비율은 token sequence에 민감하므로, production system에서는 tool-call canonicalization이 필요하다. 예를 들어 argument key를 정렬하고, 숫자·날짜·ID 표현을 표준화하며, 관찰 결과 중 모델이 통제하지 않는 대형 payload는 별도 마스킹하거나 요약해야 한다. 그래야 Progress Advantage가 형식 noise보다 실제 decision quality를 반영한다.

이 지점에서 나는 Progress Advantage를 단독 scorer라기보다 agent telemetry schema의 한 필드로 보는 편이 안전하다고 생각한다. trajectory마다 총점, step별 최저점, action type, tool name, user intent, final outcome을 함께 저장하면 나중에 threshold를 조정하거나 실패 유형을 클러스터링할 수 있다. 반대로 score만 저장하고 원래 context를 버리면, 왜 특정 step이 낮았는지 설명하기 어렵다. 논문의 수학은 신호의 출처를 제공하고, 운영 시스템은 그 신호가 해석 가능한 로그 구조 안에 남도록 설계해야 한다.

8. 내 해석: agent monitoring의 병목을 reward training 밖으로 옮긴 논문

내가 이 논문에서 가장 흥미롭게 보는 지점은 PRM을 더 잘 학습하는 방법보다 PRM 학습 자체를 피하는 관점을 제공한다는 점이다. 에이전트 운영에서는 어느 행동이 문제였는지 알고 싶지만, 실제 서비스 로그에 step label을 붙이는 일은 너무 비싸다. Progress Advantage는 “사후학습으로 바뀐 행동 선호”를 읽어서 그 빈틈을 메우려 한다. 이전에 다룬 test-time scaling 계열 연구들이 후보 생성과 선택의 trade-off를 강조했다면, 이 논문은 선택기 자체를 학습 데이터 없이 구성할 수 있다는 쪽에 초점을 둔다. 그래서 나는 이 연구를 best-of-N 논문으로만 보지 않고, agent observability를 위한 checkpoint lineage 활용법으로 읽는다.

다만 약점도 분명하다. 실험은 넓지만, 실제 배포 환경에서 제일 어려운 부분인 threshold calibration과 intervention policy가 아직 약하다. AUROC가 높다는 것은 ranking score가 유용하다는 뜻이지만, 운영자는 어느 점수 이하에서 사용자의 예약 취소 요청을 중단할지, 어느 step에서 사람 검수를 붙일지 결정해야 한다. 특히 irreversible action이 있는 환경에서는 false alarm과 miss의 비용이 크게 다르다. 논문은 failure attribution과 UQ를 보여 주지만, Progress Advantage를 실제 guardrail로 쓸 때의 비용 함수와 action policy까지는 연결하지 않는다. 내가 이 방법을 서비스에 붙인다면 먼저 domain별 validation log를 모아 score distribution, success/failure overlap, action type별 threshold를 따로 잡을 것 같다.

후속 제안은 reference policy selection을 자동화하는 작은 calibration layer다. 공개 checkpoint pair가 여러 개 있을 때 base, SFT, DPO 이전 checkpoint 중 무엇을 쓸지 사람이 정하는 대신, 소량의 검증 trajectory로 reference distance와 aggregation 조합을 동시에 고르는 절차를 만들 수 있다. 이때 목표는 새 reward model을 학습하는 대신, 이미 있는 progress signal의 scale과 방향을 안정화하는 것이다. 예를 들어 reversible search step에는 mean aggregation을, irreversible booking step에는 min 또는 bottom-percentile aggregation을 쓰는 식으로 action type별 scorer를 다르게 둘 수 있다. 그러면 이 논문의 장점인 annotation-free 출발점을 유지하면서도, 운영 환경의 risk profile에 맞춘 monitor로 발전시킬 수 있다.

이전에 리뷰한 process supervision 계열 논문들과 비교하면, 이 연구는 “정답 과정을 많이 모으면 더 좋은 PRM을 만들 수 있다”는 방향과 다른 축을 연다. 모델이 이미 RL로 어떤 행동을 강화했다면, 그 흔적은 확률 분포 안에 남아 있고, reference와 대비하면 그 흔적을 읽을 수 있다는 관점이다. 이 관점이 완전히 새로운 만능 도구는 아니지만, agent benchmark가 더 현실화될수록 중요해질 가능성이 있다. 실제 에이전트 운영에서 가장 부족한 것은 항상 깨끗한 step label이고, 가장 흔히 남는 것은 trajectory log와 model checkpoint이기 때문이다. Progress Advantage는 후자를 전자로 가까이 가져가는 실용적 다리다.

내가 특히 주목하는 또 다른 지점은 이 논문이 benchmark 성능표와 모델 공개 정책을 연결한다는 점이다. 기존에는 base checkpoint 공개가 재현성이나 fine-tuning 편의의 문제로만 보였다. Progress Advantage 관점에서는 base 또는 intermediate checkpoint가 배포 후 모니터링 신호의 기준점이 된다. 즉 모델 개발자가 checkpoint lineage를 얼마나 투명하게 남기느냐가, 사용자와 연구자가 agent behavior를 얼마나 잘 감시할 수 있는지를 결정한다. 이는 open model governance 측면에서도 꽤 중요한 메시지다.

반대로 closed model API에서는 같은 원리를 부분적으로만 쓸 수 있다. 제공자가 reference logprob나 post-training 이전 분포를 노출하지 않으면, 외부 사용자는 Self-Certainty나 LLM judge에 더 의존하게 된다. 따라서 Progress Advantage가 널리 쓰이려면 연구 논문을 넘어 inference API 설계까지 바뀔 필요가 있다. 예를 들어 provider가 “reference-calibrated progress score”를 선택적으로 반환하거나, enterprise deployment에서 base/final pair를 함께 제공하는 방식이 가능하다. 이 논문은 그런 API 논의의 기술적 근거를 제공한다.

9. 결론: checkpoint pair를 평가 자산으로 바꾸는 방법

이 논문은 LLM agent의 process-level evaluation을 위해 별도 PRM을 학습해야 한다는 전제를 흔든다. KL-regularized 또는 clipping-constrained RL post-training을 거친 정책과 reference policy가 있다면, 두 정책의 로그확률 비율은 stochastic MDP에서도 optimal advantage를 회수하는 progress signal이 된다. exact reward를 복원하겠다는 무리한 주장을 피하고 advantage를 대상으로 삼았다는 점이 이론적 핵심이다.

실험적으로는 best-of-8 test-time scaling, trajectory-level uncertainty quantification, step-level failure attribution에서 같은 신호를 반복 사용한다. Progress Advantage는 평균 TTS 성공률에서 Gemma4 38.8, Qwen3.5 62.1을 기록해 confidence baseline과 trained reward model을 앞서고, $\tau^2$-Airline UQ에서는 네 backbone 모두에서 강한 AUROC를 보인다. qualitative analysis는 tool-call 및 domain constraint token에서 reference 대비 강화된 차이가 실제 목표 달성과 연결될 수 있음을 보여 준다.

운영 관점에서 이 논문은 open-weight model release의 의미를 넓힌다. base와 final checkpoint를 함께 공개하면 단순 재현성과 downstream monitoring signal까지 얻을 수 있다. 반대로 checkpoint lineage가 닫혀 있으면 Progress Advantage의 이점도 제한된다. 따라서 앞으로 agent model card에는 성능표와 reference checkpoint, RL stage, logprob 접근성, scoring 비용 같은 정보가 더 중요해질 수 있다. 이 논문은 그 방향을 꽤 구체적으로 보여 준 사례다.

Figure 8: Progress advantage evolution across trajectory. 성공/실패 trajectory 집단별로 step이 진행될수록 running advantage가 어떻게 변하는지 시각화한다.

Figure 8은 trajectory가 진행되는 동안 Progress Advantage가 어떻게 누적·변화하는지 보여 준다. 성공 집단과 실패 집단의 running advantage가 다른 패턴을 보이면, 이 신호가 단순한 사후 점수보다 조기 경고 지표로도 활용될 수 있다. 특히 Airline과 Retail처럼 대화 흐름 속에서 제약 조건이 점차 드러나는 환경에서는, 어느 시점부터 progress signal이 갈라지는지를 보는 것이 사람 개입 위치를 정하는 데 도움이 된다.

결론적으로 Progress Advantage는 “새 모델을 하나 더 훈련하자”보다 “이미 가진 모델 쌍을 더 똑똑하게 읽자”에 가까운 논문이다. agentic AI가 실제 도구와 환경에 연결될수록, step-level supervision을 대규모로 수집하는 길은 점점 비싸진다. 이 연구는 RL post-training이 남긴 분포 차이를 활용해 그 비용을 줄일 수 있음을 보인다. 물론 reference 선택, scoring 비용, calibration, cross-domain generalization은 남은 과제다. 하지만 agent trajectory를 해석하고 감시하려는 연구자나 개발자에게는 충분히 실험해 볼 만한 기준선을 제공한다.

10. 요약 정리: Progress Advantage의 실전 포인트

• Progress Advantage는 RL-trained policy와 reference policy의 로그확률 비율로 정의되는 token-level advantage signal이다.
• 확률적 agent environment에서는 exact reward recovery가 value residual 때문에 깨지지만, advantage는 $\beta\log(\tilde{\pi}^{*}/\pi_{\rm ref})$로 회수된다는 것이 논문의 이론적 핵심이다.
• 별도 process reward model 학습이나 step annotation 없이, post-training checkpoint pair를 활용해 trajectory scoring을 수행한다.
• best-of-8 test-time scaling에서 Progress Advantage는 Gemma4 평균 38.8, Qwen3.5 평균 62.1로 confidence 및 trained reward baseline보다 높은 평균 성공률을 보였다.
• $\tau^2$-Airline UQ에서는 네 backbone 전반에서 높은 AUROC를 기록하며, trajectory 성공 가능성을 예측하는 monitor로 활용 가능성을 보였다.
• failure attribution에서는 decisive error step을 찾는 step-level task에도 적용되어, 단순 trajectory 총점 이상의 진단 신호를 제공한다.
• 성능은 reference policy 선택과 token/step aggregation 조합에 민감하므로, 실제 배포 전 domain별 validation과 threshold calibration이 필요하다.
• 두 모델의 log probability를 계산해야 하므로, training-free라는 장점과 별개로 inference scoring 비용·메모리 비용은 운영 설계에 포함해야 한다.
• 이 논문은 open checkpoint lineage가 agent monitoring과 평가 가능성까지 확장된다는 점을 보여 주며, 향후 모델 공개 방식의 중요한 근거가 될 수 있다.