[arXiv 2606.30639] WorldEvolver: LLM 에이전트 계획을 위한 자기진화 월드 모델

Self-Evolving World Models for LLM Agent Planning

https://arxiv.org/abs/2606.30639

Xuan Zhang, Wenxuan Zhang, See-Kiong Ng, Yang Deng | National University of Singapore, Singapore University of Technology and Design, Singapore Management University | arXiv:2606.30639 | 2026년 6월

---

LLM 에이전트가 긴 상호작용 과제를 풀 때 가장 취약해지는 지점은 다음 행동의 결과를 미리 그려 보는 능력이다. WorldEvolver는 이 문제를 세계 모델을 다시 학습시키는 방식으로 풀지 않고, 배포 중에 생기는 실제 전이와 예측 실패를 프롬프트 문맥의 기억으로 축적해 다음 예측을 바꾸는 방향으로 접근한다. 논문의 핵심은 에이전트 정책, 세계 모델 파라미터, 백본 모델을 모두 고정한 상태에서도 예측 근거를 계속 갱신하면 foresight의 품질과 실제 계획 성공률을 함께 끌어올릴 수 있다는 주장이다.

논문이 다루는 환경은 ALFWorld와 ScienceWorld처럼 텍스트 관찰, 텍스트 행동, 목표 조건이 반복되는 장기 계획 벤치마크다. 이런 환경에서 세계 모델은 현재 관찰과 후보 행동을 받아 다음 관찰을 예측한다. 문제는 잘못된 예측이 단순한 노이즈로 끝나지 않는다는 점이다. 에이전트가 그 예측을 다음 행동의 근거로 삼으면 원래 맞았을 행동도 틀어질 수 있다. 그래서 WorldEvolver는 예측을 더 많이 생성하는 것보다, 무엇을 기억하고 어떤 예측을 에이전트에게 보여 줄지 제어하는 구조를 앞세운다.

이 논문은 최근 위키에서 다룬 long-horizon agent benchmarking, search agent working memory, agent trajectory monitoring, digital world agent evaluation 흐름과 직접 연결된다. 앞선 글들이 에이전트의 탐색 경로, 작업 기억, 관찰 로그를 평가 대상으로 끌어냈다면, WorldEvolver는 그 로그를 세계 모델 자체의 테스트타임 수정 재료로 사용한다. 따라서 이 논문은 에이전트 성능을 올리는 단일 기법이라기보다, 에이전트가 실패하면서 남긴 전이를 다음 예측 자산으로 전환하는 운영 구조로 읽는 편이 맞다.

1. 서론: 장기 계획 에이전트에서 예측 가능한 미래가 필요한 이유

1.1 세계 모델은 기억과 다른 종류의 도움을 준다

LLM 에이전트 연구에서 memory는 흔히 과거 대화, 성공한 trajectory, 실패 피드백, 도구 사용 로그를 다시 불러오는 장치로 쓰인다. 반면 world model은 후보 행동을 실행하기 전에 그 행동이 만들 다음 관찰을 예측한다. 기억이 과거의 사실을 제공한다면, 세계 모델은 아직 실행하지 않은 행동의 결과를 조건부로 상상한다. WorldEvolver가 출발하는 지점은 이 둘을 경쟁 관계로만 볼 수 없다는 관찰이다. 배포 중에 쌓이는 전이 기록은 과거 경험인 동시에, 다음 예측을 더 현실적으로 만들 수 있는 근거가 된다.

논문은 이 관점을 모델 기반 강화학습의 계보와 연결한다. Dreamer 계열이나 전통적인 world model은 환경 dynamics를 학습해 roll-out을 만들고, 정책이 그 roll-out을 이용해 더 나은 행동을 선택하도록 한다. LLM 에이전트의 경우 환경은 텍스트 관찰과 명령으로 표현되고, 세계 모델도 언어 모델로 구현된다. 그 결과 예측은 이미지 latent나 벡터 transition 대신 문장 형태의 다음 관찰이 된다. 이 차이 때문에 예측 결과는 에이전트의 reasoning context에 그대로 들어갈 수 있지만, 동시에 잘못된 문장 하나가 reasoning을 오염시키는 위험도 커진다.

1.2 배포 중 mismatch를 어떻게 처리할 것인가

WorldEvolver는 세계 모델의 오류를 파라미터 재학습 대상으로 보지 않는다. 온라인 배포 상황에서 매 예측 실패마다 대형 언어 모델을 fine-tuning하거나 editing하는 것은 비용이 크고, 과잉 편집이나 forgetting을 만들 수 있다. 대신 논문은 예측과 실제 관찰의 차이를 mismatch로 기록한 뒤, 그 mismatch에서 다시 쓸 수 있는 규칙과 사례를 뽑아 세계 모델의 문맥에 넣는다. 이 설계는 학습 데이터가 추가될 때마다 weight를 바꾸는 방식보다 느슨하지만, 배포 중 어떤 근거가 예측에 반영됐는지 추적할 수 있다는 장점이 있다.

특히 장기 계획 환경에서는 같은 행동이라도 상태에 따라 결과가 달라지고, 같은 객체라도 위치나 속성이 여러 단계에 걸쳐 바뀐다. 예컨대 냉장고를 열면 안에 있던 사과가 보일 수 있지만, 물체를 examine한다고 해서 그 물체가 이동하지는 않는다. 이런 규칙은 일반 명령어 설명만으로 충분히 학습돼 있다고 가정하기 어렵다. WorldEvolver는 실제 transition을 축적하면서 action-conditioned 예측에 필요한 근거를 늘리고, 틀린 예측에서 보존 규칙을 추출해 다음 예측의 제약 조건으로 사용한다.

Figure 1: Frozen, offline-tuned, self-evolving world model의 차이

Figure 1은 세계 모델을 세 가지 배포 패턴으로 구분한다. frozen 모델은 예측만 제공하고 배포 중 evidence를 흡수하지 않으며, offline-tuned 모델은 별도 재학습을 통해 뒤늦게 바뀐다. WorldEvolver가 겨냥하는 self-evolving 패턴은 실행된 transition과 mismatch를 외부 기억으로 축적해 다음 예측 문맥을 바꾸므로, weight update 없이도 환경 변화에 맞춘 수정 루프를 유지한다.

2. 배경 및 관련 연구: LLM 에이전트의 기억, 세계 모델, 자기진화

2.1 세계 모델 기반 LLM 에이전트

논문은 WebDreamer, PreAct, Imagine-then-Plan, RAWM 같은 흐름을 배경으로 삼는다. 공통점은 에이전트가 바로 행동을 선택하기 전에 환경의 다음 상태나 몇 단계 뒤 상태를 언어적으로 예측한다는 점이다. 이 예측은 ReAct류 에이전트의 thought-action loop에 추가 context로 들어가거나, 후보 행동을 비교하는 simulation 역할을 한다. 그러나 기존 방법 상당수는 offline retrieval, world model training, agent-world model joint optimization에 기대기 때문에, 배포 현장에서 새로 만나는 task instance나 환경 변화에 즉시 반응하기 어렵다.

WorldEvolver는 이 빈틈을 inference-only 환경에서 메운다. 모델은 새 weight를 받지 않고, 에이전트도 별도 policy update를 하지 않는다. 대신 world model prompt에 들어가는 evidence block이 계속 갱신된다. 이 구도는 LLM 에이전트의 practical deployment와 잘 맞는다. API 기반 모델이나 폐쇄형 모델을 쓰는 경우 사용자는 gradient update에 접근할 수 없고, 모델을 바꾸더라도 동일한 agent pipeline을 유지하고 싶어 한다. 따라서 prompt-level memory evolution은 성능과 운영 제약 사이의 현실적인 타협점이 된다.

2.2 자기진화와 작업 기억의 연결

최근 self-evolving agent 연구는 외부 피드백, self-play, skill library, verbal reflection, persistent context를 통해 에이전트 행동을 개선한다. WorldEvolver의 차이는 자기진화의 대상이 agent policy 자체보다 world model context라는 데 있다. 에이전트가 동일한 action policy를 유지하더라도, 그 action policy 앞에 놓이는 예측 신호가 더 정확해지면 계획 성공률이 올라갈 수 있다. 이 점은 위키의 search-agent-working-memory나 agent-trajectory-monitoring 개념과도 이어진다. trajectory는 사후 분석 로그에 머물지 않고, 다음 world-model prediction의 input evidence가 된다.

논문이 사용하는 episodic/semantic 구분은 인지과학의 기억 분류에서 빌려온다. Episodic Memory는 특정 시점에 어떤 관찰에서 어떤 행동을 했고 다음 관찰이 무엇이었는지 저장한다. Semantic Memory는 여러 mismatch에서 반복되는 보존 규칙과 heuristic을 저장한다. 예측 실패 하나는 우연일 수 있지만, 여러 실패에서 같은 action-property 관계가 반복되면 다음 예측을 제한하는 일반 규칙으로 쓰일 수 있다. WorldEvolver는 이 두 기억을 exploitation과 exploration 역할로 나눠 사용한다.

2.3 잘못된 foresight는 없는 것보다 나쁠 수 있다

논문은 세계 모델을 무조건 많이 쓰는 접근을 경계한다. 현재 LLM 에이전트는 주어진 예측을 항상 적절히 비판하지 못한다. 틀린 예측이 높은 확신으로 제시되면 에이전트는 원래 관찰에 근거한 올바른 행동을 버리고 상상 속 상태에 맞춘 행동을 선택할 수 있다. 이 현상은 model-based RL에서 부정확한 model rollout을 짧게 제한하거나 uncertainty-aware하게 쓰는 이유와 닮아 있다. WorldEvolver의 Selective Foresight는 바로 이 위험을 줄이기 위한 abstention mechanism이다.

Figure 2: oracle foresight와 noisy foresight가 action accuracy에 미치는 영향

Figure 2는 Gemma-4-26B-A4B 조건에서 foresight 품질이 action accuracy를 어떻게 바꾸는지 보여 준다. oracle foresight는 teacher action과의 일치를 높이지만, noisy foresight는 no-foresight 기준보다 낮아질 수 있다. 즉 세계 모델이 “항상 좋은 힌트”가 되는 것은 아니며, 잘못된 예측은 행동 선택을 직접 망칠 수 있다. 이 예비 실험은 예측 정확도와 노출 정책이 프레임워크의 핵심 병목이라는 문제의식을 수치로 뒷받침한다.

3. 방법론: WorldEvolver의 세 가지 기억 기반 모듈

3.1 문제 설정과 예측 대상

논문은 각 task를 부분 관측 상호작용 과정 $(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T})$로 둔다. 에이전트는 hidden simulator state를 직접 보지 못하고, 관찰과 행동의 history로 구성된 텍스트 상태 $s_t=(o_1,a_1,\ldots,o_{t-1},a_{t-1},o_t)$만 본다. agent policy는 $a_t\sim\pi_{\theta}(\cdot\mid s_t)$로 행동을 생성하고, world model은 현재 상태와 후보 행동을 조건으로 $(\hat{o}_{t+1},\ldots,\hat{o}_{t+K})\sim W_{\theta}(\cdot\mid s_t,a_t)$를 예측한다.

WorldEvolver는 주로 one-step foresight에 집중한다. 이유는 두 가지다. 첫째, 현재 행동 선택에 직접 영향을 주는 것은 바로 다음 관찰 $\hat{o}_{t+1}$인 경우가 많다. 둘째, 행동을 실제로 실행하면 $o_{t+1}$이 즉시 주어지기 때문에 예측이 맞았는지 바로 평가할 수 있다. 이 즉시 피드백은 episodic memory에 새 transition을 추가하고, semantic memory에 mismatch rule을 반영하는 실질적인 supervision으로 작동한다.

3.2 Episodic Memory: 행동 중심 transition retrieval

Episodic Memory는 실행된 transition 집합 $M_E^t=\{(o_i,a_i,o_{i+1})\}_{i<t}$를 저장한다. 예측 시점에는 후보 행동 $a_t$와 과거 행동 $a_i$의 open-vocabulary token set에 대해 Jaccard similarity를 계산하고, 가장 비슷한 $k_{M_E}$개 transition을 골라 world model prompt에 넣는다. 중요한 점은 retrieval key가 긴 state description 전체가 아니라 action token에 집중된다는 것이다. ALFWorld나 ScienceWorld의 관찰문은 길고 반복적인 표현이 많기 때문에 state 전체 embedding만으로는 실제 transition을 좌우하는 action signal이 희석될 수 있다.

논문은 Episodic Memory를 exploitation branch로 해석한다. 과거에 비슷한 행동을 했을 때 무엇이 바뀌었는지 그대로 보여 주면, 세계 모델은 현재 상태에서 같은 종류의 변화가 일어날 가능성을 더 잘 예측할 수 있다. memory update는 단순하다. 행동 실행 뒤 $M_E^{t+1}=M_E^t\cup\{(o_t,a_t,o_{t+1})\}$로 새 transition을 붙인다. 이때 step $t$에서 retrieval은 이전 step까지의 기록만 사용하므로, 미래 정보가 test prediction에 새어 들어가는 leakage를 피한다.

3.3 Semantic Memory: mismatch에서 보존 규칙을 추출한다

Semantic Memory는 구체적 transition을 그대로 저장하기보다, 예측과 실제 관찰이 어긋난 이유를 규칙 형태로 압축한다. 논문은 먼저 예측 관찰 $\hat{o}_{t+1}$과 실제 관찰 $o_{t+1}$을 factorized tuple로 바꾼다. 예컨대 “fridge 1 is open”과 “apple 1 in fridge 1” 같은 문장은 객체, 관계, 상태를 표현하는 tuple set으로 변환된다. 표면 문장이 다르더라도 tuple이 같으면 같은 상태로 볼 수 있고, tuple 차이가 있으면 세계 모델이 어떤 속성 변화를 잘못 상상했는지 찾을 수 있다.

mismatch가 발견되면 LLM critic이 그 사례에서 reusable heuristic rule을 만든다. 예를 들어 examine 행동은 물체 위치를 바꾸지 않는다는 식의 보존 규칙이 나올 수 있다. 각 rule은 evidence score $e_i$를 갖고, 이후 관찰에서 지지되거나 반박될 때 점수가 변한다. prompt에는 $e_i>0$인 rule만 들어간다. 이 구조는 semantic memory가 무한히 커지는 것을 막고, 실제 deployment evidence에 의해 살아남은 규칙만 world model context에 반영하려는 장치다.

3.4 Selective Foresight: confidence gate로 예측을 노출한다

Selective Foresight는 memory가 만든 예측을 에이전트에게 항상 보여 주지 않는다. backend가 token probability를 제공하면 world model output token $y_{1:n}$에 대해 평균 log probability $\ell_t=\frac{1}{n}\sum_{i=1}^{n}\log p_{\theta}(y_i\mid y_{<i},s_t,a_t,M_t)$를 계산하고, $q_t=\exp(\ell_t)$로 normalized confidence를 만든다. agent-visible foresight $F_t$는 $q_t\ge\tau$일 때만 $\hat{o}_{t+1}$이 되고, 낮은 confidence에서는 $\varnothing$으로 비워진다.

이 gate는 단순한 후처리 수준을 넘어 downstream planning의 안전장치로 작동한다. 논문은 confidence가 높은 예측일수록 Exact Match나 Token F1이 높아지는 calibration curve를 제시한다. 따라서 threshold $\tau$는 세계 모델이 무엇을 알고 있는지보다, 그 예측을 agent context에 넣어도 되는지를 결정하는 interface parameter로 볼 수 있다. 특히 강한 agent backbone에서는 world model guidance의 이득이 작거나 mixed할 수 있으므로, 잘못된 guidance를 덜 노출하는 설계가 필요하다.

Figure 3: WorldEvolver pipeline: episodic memory, semantic memory, selective foresight

Figure 3은 WorldEvolver의 전체 루프를 한 장에 압축한다. frozen world model은 현재 상태와 후보 행동을 받고, episodic memory에서 비슷한 transition을 검색하며, semantic memory에서 mismatch 기반 규칙을 받아 예측을 만든다. 그 예측은 confidence gate를 통과한 경우에만 frozen agent의 reasoning context에 들어가고, 실행 뒤 실제 관찰은 다시 두 memory를 갱신하는 피드백이 된다.

구성 요소	저장하는 정보	예측 시 역할	업데이트 신호
Episodic Memory	실제 transition $(o_i,a_i,o_{i+1})$	비슷한 행동의 결과를 retrieval evidence로 제공	행동 실행 뒤 새 transition append
Semantic Memory	mismatch에서 추출한 heuristic rule과 evidence score	예측이 바꾸면 안 되는 속성이나 관계를 제약	factorized tuple 비교와 LLM critic
Selective Foresight	world model output confidence $q_t$와 threshold $ au$	낮은 confidence 예측을 agent에게 노출하지 않음	calibration curve와 per-cell threshold
Frozen Agent/World Model	고정된 LLM backbone과 prompt contract	policy와 prediction function을 유지해 비교 조건을 통제	파라미터 업데이트 없음

3.5 알고리즘 루프: 예측, 노출, 실행, 수정의 순서

WorldEvolver의 실제 실행 순서는 꽤 조심스럽게 설계되어 있다. 먼저 frozen policy가 현재 상태 $s_t$에서 초안 행동 $a_t^{(0)}$를 만든다. world model은 이 초안 행동을 조건으로 episodic transition을 검색하고 semantic rule을 함께 받아 다음 관찰을 예측한다. 이후 confidence gate가 예측을 통과시키면 agent는 $(s_t,F_t)$를 보고 최종 행동 $a_t^{(1)}$를 다시 샘플링한다. 이 두 단계 구조 덕분에 세계 모델은 action proposal을 받은 뒤 예측을 만들고, agent는 그 예측을 조건으로 행동을 재검토할 수 있다.

중요한 세부사항은 최종 실행 행동이 초안 행동과 달라질 수 있다는 점이다. 만약 $a_t^{(1)}$가 $a_t^{(0)}$와 다르면, 처음 예측한 $\hat{o}_{t+1}$은 실행되지 않은 행동에 대한 예측이 된다. 이 값을 그대로 semantic memory update에 쓰면 mismatch가 잘못 귀속된다. 논문은 이 문제를 피하기 위해 최종 실행 행동이 바뀐 경우 world model을 한 번 더 호출해 실제 실행 행동에 대한 예측을 얻고, 그 예측과 실제 관찰 $o_{t+1}$을 비교한다. 이렇게 해야 semantic rule은 “실제로 한 행동”의 결과를 기준으로 만들어진다.

이 루프는 모델 기반 planning에서 흔히 보이는 roll-out tree search와 다르다. WorldEvolver는 여러 후보 행동을 깊게 시뮬레이션해 최적 행동을 찾기보다, frozen agent가 만든 행동을 중심으로 한 번의 action-conditioned foresight를 만들고, 그 신호를 agent context에 넣을지 판단한다. 따라서 계산량은 상대적으로 제한되고, 기존 ReAct/ReflAct pipeline에 붙이기 쉽다. 반대로 후보 행동 집합을 넓게 탐색하는 능력은 제한적이므로, 행동 제안 자체가 나쁘면 세계 모델이 도와줄 수 있는 범위도 줄어든다.

semantic update의 factorization 단계도 실무적으로 흥미롭다. 자연어 관찰을 그대로 비교하면 “fridge contains apple”과 “apple is in fridge”처럼 같은 의미의 문장이 다른 문자열로 보일 수 있다. tuple extraction은 이 문제를 줄이기 위해 subject, predicate, object 수준으로 상태를 쪼갠다. 물론 factorizer도 LLM 기반이면 오류가 생길 수 있지만, raw text mismatch보다 어떤 속성이 변했는지 설명 가능하게 만든다는 이점이 있다. WorldEvolver의 semantic memory는 이 중간 표현 덕분에 단순 실패 사례 모음보다 더 압축된 rule store가 된다.

알고리즘 단계	입력	출력	실무적 의미
Draft action	현재 상태 $s_t$, frozen policy $\pi_ heta$	초안 행동 $a_t^{(0)}$	기존 agent pipeline을 유지한 채 world model을 뒤에 붙임
World prediction	초안 행동, episodic memory, semantic memory	예측 관찰 $\hat{o}_{t+1}$와 confidence $q_t$	행동 실행 전 consequence signal 생성
Selective exposure	confidence $q_t$, threshold $ au$	agent-visible foresight $F_t$ 또는 $\varnothing$	불확실한 예측이 action context를 오염시키는 위험 완화
Action alignment	최종 행동 $a_t$, 실제 관찰 $o_{t+1}$	정렬된 mismatch와 memory update	실행하지 않은 행동의 예측을 rule update에 잘못 쓰는 문제 방지

4. 실험 설정: 예측 정확도와 계획 성공률을 분리해 본다

4.1 데이터셋과 환경

평가는 두 축으로 구성된다. 첫 번째는 World Model Prediction이다. 여기서는 Word2World benchmark의 ALFWorld와 ScienceWorld transition 데이터를 사용해, world model이 다음 관찰을 얼마나 정확히 맞히는지 측정한다. test split은 각 환경에서 195개 trajectory를 포함한다. 두 번째는 Agent Planning이다. 여기서는 AgentBoard의 ALFWorld 134개 task와 ScienceWorld 90개 task를 사용하고, 각 configuration은 task당 최대 30 step, $L=5$ trials 조건에서 평가된다.

이 분리 설계는 논문의 중요한 장점이다. 세계 모델이 다음 관찰을 잘 맞힌다고 해서 에이전트가 반드시 더 높은 success rate를 얻는 것은 아니다. 예측은 agent context에 들어가야 하고, 에이전트가 그 예측을 행동 선택에 적절히 반영해야 한다. 따라서 prediction metric과 planning metric을 함께 보아야 memory evolution이 단순한 예측 개선인지, 실제 행동 성능으로 전달되는 개선인지 구분할 수 있다.

4.2 베이스라인과 agent policy

비교 대상은 크게 세 종류다. Zero-Shot은 memory나 retrieval 없이 현재 task description, state, proposed action만으로 다음 관찰을 예측한다. RAWM-$\phi$는 RAWM의 PPO-trained MLP head를 제외하고 retrieval encoder만 쓰는 offline retrieval baseline이다. ITP-I는 Imagine-then-Plan의 training-free variant로, prediction 평가에서는 one-step imagination으로 제한하고 agent planning에서는 multi-step imagined future를 허용한다.

agent policy는 ReAct와 ReflAct 두 가지다. ReAct는 thought-action 형식으로 다음 행동을 고르고, ReflAct는 goal-state reflection을 한 문장 추가한 뒤 action을 출력한다. 이 조합은 WorldEvolver의 신호가 단일 agent prompting style에만 맞는지, reflection이 이미 있는 policy에서도 유효한지 확인하기 위한 설계다. backbone은 world model prediction에서 Qwen3.5-9B, Gemma-4-26B-A4B, Gemma-4-31B를 쓰고, agent planning에서는 Gemma-4-26B-A4B와 GPT-5.4-mini를 사용한다.

4.3 평가 지표와 구현 세부사항

prediction metric은 세 가지다. Exact Match는 normalized string matching으로 예측 관찰이 정답 관찰과 정확히 일치하는지 본다. Token F1은 token overlap을 micro-average하고, Cosine Similarity는 Qwen3-Embedding-8B embedding space에서 semantic similarity를 측정한다. planning metric은 주로 Success Rate이며, 에이전트가 주어진 step budget 안에서 task를 완료했는지 best-of-$L$로 집계한다.

구현 조건도 중요한 해석 포인트다. 모든 generation은 temperature 0, top-p 0.5, random seed 42, 32,768-token context window로 수행된다. world model과 mismatch critic, factorized tuple mapping은 같은 backbone을 공유한다. episodic memory와 semantic memory는 task와 trial을 거치며 같은 environment 안에서 지속되므로, WorldEvolver의 성능 상승은 한 task 내부의 일회성 prompt trick보다 deployment order를 따라 쌓이는 기억 효과를 반영한다.

평가 축	데이터/환경	샘플 단위	주요 지표	해석 포인트
World Model Prediction	Word2World의 ALFWorld, ScienceWorld	각 환경 195 trajectory의 transition	Exact Match, Token F1, Cosine Similarity	다음 관찰 예측 자체가 좋아졌는지 확인
Agent Planning	AgentBoard ALFWorld 134 task, ScienceWorld 90 task	task당 최대 30 step, $L=5$ trials	Success Rate, best-of-$L$	예측이 실제 행동 성공으로 전달되는지 확인
Calibration/Confidence	Gemma/GPT planning 조건	confidence-ranked prediction prefix	Exact Match 또는 Token F1 over top percentage	Selective Foresight threshold의 근거 확인
Efficiency/Runtime	H200 GPU 측정	transition당 seconds와 total GPU hours	Runtime, GPU/h	memory evolution의 비용 대비 효과 확인

4.4 prompt contract와 공정 비교의 의미

논문의 appendix에는 agent prompt와 world-model prompt가 상당히 자세히 제시된다. ReAct agent는 observation을 받고 Thought와 Action을 출력하는 전형적 형식을 따르고, ReflAct는 reflection을 한 문장 먼저 쓰도록 한다. world model prompt도 Zero-Shot, RAWM-$\phi$, ITP-I, Episodic Memory, Semantic Memory, WorldEvolver 조건별로 분리된다. 이 분리는 단순한 구현 설명을 넘어 공정 비교의 핵심이다. 같은 backbone이라도 prompt contract가 바뀌면 output style과 error profile이 달라지기 때문에, 어떤 신호가 추가됐는지 명확히 해야 결과 해석이 가능하다.

특히 RAWM-$\phi$와 WorldEvolver의 차이는 retrieval을 쓰는지 여부만으로 설명되지 않는다. RAWM-$\phi$는 fixed retrieval library에서 embedding similarity로 transition을 가져오며, retrieval source도 Word2World test split trajectory를 사용한다. WorldEvolver의 episodic memory는 배포 순서대로 새 transition을 쌓고, 후보 action token에 맞춰 top-$k$를 고른다. 즉 두 방법은 모두 retrieval evidence를 쓰지만, 하나는 offline corpus lookup이고 다른 하나는 online interaction history의 action-conditioned lookup이다. prediction 결과 차이는 이 retrieval formulation의 차이를 반영한다.

ITP-I baseline도 해석에 주의가 필요하다. Imagine-then-Plan의 원래 아이디어는 agent가 imagination horizon을 조절하며 여러 단계 미래를 떠올리는 것이다. 그러나 next-observation prediction 평가에서는 모든 방법이 같은 target을 갖도록 ITP-I를 one-step imagination으로 제한한다. agent planning 평가에서는 multi-step foresight를 허용한다. 이 설계 덕분에 prediction table에서 ITP-I가 낮게 나오는 이유를 “multi-step imagination을 못 쓰게 해서 불리했다”로만 해석하기 어렵다. 오히려 one-step target에서도 over-generation이나 불필요한 미래 상상이 예측 일치를 해칠 수 있음을 보여 준다.

AgentBoard 평가에서 best-of-$L$를 쓰는 점도 중요하다. 성공률은 단일 episode의 평균 성공에 더해, 같은 task에서 여러 trial을 허용했을 때 적어도 한 번 성공했는지를 반영한다. WorldEvolver는 memory가 trial을 거치며 쌓이므로, 첫 trial보다 후속 trial에서 유리해질 수 있다. 따라서 cumulative best-of-$L$ curve는 단순 반복 기회 효과와 memory evolution 효과를 함께 보여 주며, deployment-time learning을 주장하는 논문에는 적절한 보조 분석이다.

5. 주요 실험 결과: 예측 정확도는 크게 오르지만 계획 개선은 조건부다

5.1 Word2World prediction에서 WorldEvolver가 가장 강하다

Table 1의 중심 결과는 분명하다. WorldEvolver는 ALFWorld와 ScienceWorld, 세 backbone 전체에서 가장 높은 prediction accuracy를 낸다. Gemma-4-26B-A4B 기준 ALFWorld Exact Match는 Zero-Shot 3.60, RAWM-$\phi$ 20.06, ITP-I 1.46에서 WorldEvolver 52.88로 오른다. ScienceWorld에서도 같은 backbone에서 Exact Match가 0.41, 14.93, 0.39 대비 51.55까지 오른다. Token F1과 Cosine Similarity도 같은 순위를 보인다.

이 차이는 Episodic Memory의 영향이 매우 크다는 점을 드러낸다. full WorldEvolver와 w/o $M_S$ 사이의 차이는 존재하지만, w/o $M_E$는 훨씬 낮다. Gemma-4-26B-A4B ALFWorld에서 w/o $M_E$는 7.53 EM인 반면 w/o $M_S$는 47.16이다. 즉 semantic rule은 episodic retrieval을 보완하지만, 다음 관찰 예측을 끌어올리는 주된 근거는 실행된 transition 사례 자체다. 논문은 RAWM-$\phi$보다 episodic memory가 나은 이유로 action-token Jaccard retrieval이 긴 상태문보다 target transition을 더 직접적으로 잡는다는 점을 제시한다.

Backbone / 환경	Zero-Shot EM	RAWM-$\phi$ EM	ITP-I EM	WorldEvolver w/o $M_E$	WorldEvolver w/o $M_S$	WorldEvolver EM
Gemma-4-26B-A4B / ALFWorld	3.60	20.06	1.46	7.53	47.16	52.88
Gemma-4-26B-A4B / ScienceWorld	0.41	14.93	0.39	2.71	34.65	51.55
Qwen3.5-9B / ALFWorld	1.58	14.41	0.00	2.04	34.86	37.04
Qwen3.5-9B / ScienceWorld	0.59	2.76	0.00	0.90	28.92	29.82
Gemma-4-31B / ALFWorld	2.71	34.33	1.36	6.73	56.27	56.41
Gemma-4-31B / ScienceWorld	7.58	32.84	0.56	13.34	56.74	62.03

5.2 planning success rate는 더 까다로운 지표다

Agent planning 결과는 prediction 결과보다 미묘하다. Table 2에서 WorldEvolver는 world-model 기반 방법 중 가장 강하지만, 모든 셀에서 no-world-model baseline을 압도하지는 않는다. Gemma-4-26B-A4B에서는 WorldEvolver w/ $F_t$가 ReAct ALFWorld 26.12, ReAct ScienceWorld 52.22, ReflAct ALFWorld 27.61, ReflAct ScienceWorld 50.00으로 no-world-model baseline을 넘는다. 반면 GPT-5.4-mini에서는 ReAct ALFWorld와 ReflAct ScienceWorld에서 이득이 보이고, 나머지 두 셀은 baseline보다 낮다.

이 결과는 strong planner일수록 외부 foresight의 marginal utility가 줄어든다는 해석을 가능하게 한다. GPT-5.4-mini는 no-world-model 조건에서도 ALFWorld와 ScienceWorld에서 높은 success rate를 보이므로, 잘못된 예측이 들어올 때 손해를 볼 공간도 있다. 반대로 Gemma-4-26B-A4B처럼 기본 planning이 덜 안정적인 backbone에서는 confidence-gated foresight가 행동 선택을 도와줄 여지가 크다. 따라서 WorldEvolver의 실용 가치는 world model의 절대 정확도와 downstream agent의 기본 능력, task 난이도, confidence gate의 calibration에 의존한다.

Agent	조건	ALFWorld Gemma	ALFWorld GPT	ScienceWorld Gemma	ScienceWorld GPT
ReAct	w/o World Model	23.88	49.25	44.44	65.56
ReAct	RAWM-$\phi$	22.39	41.79	43.33	57.78
ReAct	ITP-I	25.37	38.81	34.44	60.00
ReAct	WorldEvolver w/o $F_t$	24.63	43.28	46.67	62.22
ReAct	WorldEvolver w/ $F_t$	26.12	50.75	52.22	63.33
ReflAct	w/o World Model	26.12	50.00	42.22	60.00
ReflAct	WorldEvolver w/o $F_t$	24.63	44.78	48.89	62.22
ReflAct	WorldEvolver w/ $F_t$	27.61	47.01	50.00	63.33

Figure 4: best-of-L planning success rate curves

Figure 4는 trial 수가 늘어날 때 best-of-$L$ success rate가 어떻게 누적되는지 보여 준다. WorldEvolver는 특히 ScienceWorld와 Gemma-4-26B-A4B 조건에서 trial index가 커질수록 baseline과의 간격을 키운다. 첫 시도에서 바로 풀지 못한 과제라도, 이전 실패 transition이 memory로 남으면 다음 시도에서 더 나은 예측 context가 만들어진다. 이는 episodic/semantic memory가 같은 환경 안에서 누적되며 후속 시도에 재사용된다는 논문의 주장과 맞물린다.

5.3 prediction accuracy와 planning success가 분리되는 이유

WorldEvolver의 가장 흥미로운 결과는 prediction table과 planning table 사이의 간격이다. prediction에서는 full WorldEvolver가 거의 모든 조건에서 압도적으로 좋다. 그러나 planning에서는 world model 신호가 agent 행동에 반영되는 과정이 추가된다. 에이전트가 이미 충분히 강하면 예측이 맞아도 행동이 바뀌지 않을 수 있고, 예측이 조금 틀리면 오히려 잘하던 행동을 흔들 수 있다. 이 때문에 세계 모델의 offline prediction metric만 보고 agent 성능 향상을 보장하기 어렵다.

이 간격은 실제 운영에서도 자주 나타난다. 어떤 보조 모델이 next state를 비교적 잘 맞혀도, 주 모델이 이미 해당 상태 변화를 추론하고 있다면 보조 신호는 중복 정보에 가깝다. 반대로 주 모델이 약한 영역에서는 같은 보조 신호가 결정적인 힌트가 될 수 있다. 논문에서 Gemma-4-26B-A4B는 WorldEvolver의 도움을 더 많이 받고, GPT-5.4-mini는 조건별로 결과가 섞인다. 이는 backbone 능력과 world model value가 반비례할 수 있다는 점을 보여 준다.

Selective Foresight가 중요한 이유도 여기서 나온다. prediction이 정확해지는 것과 prediction을 보여 주는 것은 별개 선택이다. WorldEvolver w/o $F_t$는 memory를 통해 예측을 만들지만, 그 예측을 agent에게 노출하는 방식이 더 직접적이다. w/ $F_t$는 confidence gate를 통해 낮은 신뢰도의 예측을 숨긴다. planning table에서 w/ $F_t$가 Gemma 조건을 개선하는 것은 gate가 단순한 계산 절약 장치를 넘어 action-context quality control로 작동했음을 시사한다.

다만 confidence gate도 완전한 해결책은 아니다. confidence는 prediction text의 생성 확률에서 오기 때문에, world dynamics correctness와 완전히 같은 값이 아니다. 특히 closed model이나 instruction-tuned model은 그럴듯한 문장을 높은 확률로 생성할 수 있다. 따라서 planning success를 더 안정적으로 올리려면 confidence와 action-change effect를 함께 봐야 한다. 예측을 넣었을 때 agent action이 바뀌었고 그 변화가 성공으로 이어졌는지, 혹은 실패로 이어졌는지 기록하는 분석이 다음 단계에 필요하다.

5.4 ScienceWorld에서 memory 효과가 더 잘 보이는 이유

ScienceWorld 결과는 WorldEvolver의 강점을 잘 드러낸다. ScienceWorld는 단순 물체 이동보다 상태 변화, 기구 조작, 과학 실험 절차가 더 많이 포함된다. 따라서 다음 관찰을 예측할 때 action의 immediate effect와 object state persistence를 함께 추적해야 한다. Gemma-4-26B-A4B ScienceWorld prediction에서 full WorldEvolver는 EM 51.55를 기록해 w/o $M_S$ 34.65보다도 큰 폭으로 오른다. 이는 semantic rule이 ALFWorld보다 ScienceWorld에서 더 중요한 역할을 했을 가능성을 보여 준다.

Agent planning에서도 ScienceWorld는 차이를 더 잘 드러낸다. ReAct/Gemma 조건에서 no-world-model baseline은 44.44이고, WorldEvolver w/ $F_t$는 52.22다. ReflAct/Gemma에서도 42.22에서 50.00으로 오른다. 이 상승은 단순히 next observation text를 더 비슷하게 맞힌 결과를 넘어, 과학 환경의 절차적 transition을 기억하고 이후 행동 선택에 활용했을 때 성공률이 올라갈 수 있음을 보여 준다. 반대로 ALFWorld easy task처럼 이미 포화된 영역에서는 같은 메커니즘의 효과가 덜 보인다.

6. 추가 분석 및 Ablation Study: 기억 크기, confidence, 비용을 함께 본다

6.1 episodic retrieval size가 prediction gain을 지배한다

memory hyperparameter 분석은 WorldEvolver의 어느 부분이 성능을 주도하는지 더 직접적으로 보여 준다. 논문은 $k_{M_E}$를 1에서 5로 늘릴 때 Exact Match gain이 크게 커진다고 보고한다. Gemma-4-26B-A4B 기준 ALFWorld에서는 +16.8점, ScienceWorld에서는 +23.5점의 EM 증가가 나타난다. Qwen3.5-9B에서도 각각 +7.6점, +19.2점이고, Gemma-4-31B에서도 +9.0점, +19.3점이다. 반면 semantic batch size $k_{M_S}$는 대부분 2점 이내에서 움직인다.

이 결과는 WorldEvolver의 memory evolution을 “좋은 규칙 몇 개를 생성하는 문제”로만 보면 놓치는 부분이 있음을 말한다. 실제 next observation prediction에서는 과거 action-transition 사례가 가장 강한 signal이다. Semantic Memory는 드문 mismatch에서 보존 규칙을 제공하지만, text-game environment의 많은 변화는 특정 행동이 어떤 객체 관계를 바꾸는지에 관한 사례 기반 추론으로 해결된다. 따라서 운영 관점에서는 episodic store의 retrieval 품질, action normalization, memory pruning이 성능을 좌우할 가능성이 크다.

Figure 5: episodic and semantic memory hyperparameter sweep

Figure 5는 memory hyperparameter를 바꿨을 때 Exact Match가 얼마나 변하는지 보여 준다. $k_{M_E}$ 증가에 따른 상승폭이 $k_{M_S}$ 변화보다 훨씬 크므로, WorldEvolver의 prediction 성능은 구체적 transition retrieval에 강하게 의존한다. semantic rule은 보조적 제약으로 작동하며, retrieval이 잡아내지 못하는 잘못된 속성 변화나 persistence 오류를 줄이는 쪽에 더 가깝다.

Hyperparameter 변화	ALFWorld Gemma-4-26B	ScienceWorld Gemma-4-26B	ALFWorld Qwen3.5-9B	ScienceWorld Qwen3.5-9B	해석
$k_{M_E}: 1 \rightarrow 5$	+16.8 EM	+23.5 EM	+7.6 EM	+19.2 EM	episodic retrieval size가 가장 민감한 축
$k_{M_S}$ 변화	대부분 2점 이내	대부분 2점 이내	대부분 2점 이내	대부분 2점 이내	semantic batch size는 안정적이지만 영향은 작음
기본 설정	$k_{M_E}=5$	$k_{M_E}=5$	$k_{M_E}=5$	$k_{M_E}=5$	full result에서 일관된 episodic evidence 확보
semantic 설정	$k_{M_S}=1$	$k_{M_S}=1$	$k_{M_S}=1$	$k_{M_S}=1$	빈번한 online update와 낮은 지연을 선택

6.2 confidence calibration은 selective foresight의 근거다

Selective Foresight가 설득력을 가지려면 confidence score가 실제 prediction quality와 어느 정도 맞아야 한다. 논문은 confidence-ranked prefix에서 Exact Match와 Token F1을 측정해, 높은 confidence 구간일수록 더 정확한 예측이 많이 포함되는 경향을 보인다. 이 calibration이 완벽한 것은 아니지만, 낮은 confidence 예측을 에이전트에게 숨기는 기준으로는 충분한 실증 근거가 된다. 특히 planning 결과에서 w/ $F_t$가 w/o $F_t$를 대체로 개선하거나 동률을 보인다는 점은 이 gate가 단순히 예측을 줄이는 데 그치지 않고 action context의 품질을 관리한다는 뜻이다.

Figure 6: confidence-ranked Exact Match prefix for selective foresight

Figure 6은 confidence가 높은 예측만 남겼을 때 Exact Match가 어떻게 변하는지 나타낸다. coverage를 넓힐수록 낮은 confidence 예측이 포함되며 정확도가 내려가는 패턴이 관찰된다. WorldEvolver curve가 baseline보다 높은 위치에 머무른다는 점은 gate가 쉬운 사례만 골라낸 결과로 보기보다, 더 나은 prediction distribution에서 신뢰 가능한 구간을 선택한다는 해석을 가능하게 한다.

Figure 7: Gemma-4-26B-A4B 조건의 Token F1 confidence calibration

Figure 7은 Gemma-4-26B-A4B에서 Token F1 기준 calibration을 보여 준다. Exact Match가 엄격한 문자열 일치를 본다면 Token F1은 부분적으로 맞은 관찰 설명도 반영한다. confidence가 높은 예측에서 F1이 상대적으로 높게 유지되는 것은 selective foresight가 완전 일치 사례를 넘어 의미적으로 유용한 예측까지 선별할 가능성을 보여 준다. planning에서는 관찰 문장의 일부 단서만 맞아도 다음 행동을 바꿀 수 있으므로, 이 그림은 EM보다 완화된 기준에서 gate의 의미를 보완한다.

Agent	Gemma ALFWorld	Gemma ScienceWorld	GPT ALFWorld	GPT ScienceWorld
ReAct	$1-10^{-4}$	$1-10^{-4}$	$1-10^{-6}$	$1-10^{-4}$
ReflAct	$1-10^{-5}$	$1-10^{-4}$	$1-10^{-6}$	$1-10^{-3}$

6.3 runtime overhead는 moderate하지만 배포 비용은 남는다

WorldEvolver는 weight update를 하지 않지만 무료는 아니다. prediction마다 episodic retrieval, semantic rule rendering, confidence estimation이 들어간다. 논문은 H200 GPU 기준 transition당 runtime을 보고한다. Gemma-4-26B-A4B에서 Zero-Shot은 평균 1.05초, ITP-I는 1.42초, WorldEvolver는 1.48초다. Qwen3.5-9B에서는 Zero-Shot 0.66초, WorldEvolver 0.96초이고, Gemma-4-31B에서는 0.75초에서 1.34초로 늘어난다.

이 정도 증가는 prediction accuracy 향상과 비교하면 받아들일 수 있는 수준으로 보인다. 다만 실제 서비스형 agent에서는 transition 수가 많고, 여러 후보 action에 대해 foresight를 반복 호출할 수 있다. 또한 closed API가 token log probability를 제공하지 않으면 confidence score 계산 자체가 어려워진다. 논문도 이 점을 limitation으로 인정하고, self-consistency나 learned calibration model 같은 대안 confidence estimator가 필요하다고 본다.

Backbone	Zero-Shot 평균 s/transition	RAWM-$\phi$ 평균	ITP-I 평균	WorldEvolver 평균	WorldEvolver GPU/h
Gemma-4-26B-A4B	1.05	0.75	1.42	1.48	5.24
Qwen3.5-9B	0.66	0.72	1.23	0.96	3.38
Gemma-4-31B	0.75	0.52	1.19	1.34	4.73

Figure 8: deployment order에 따른 trajectory-level Exact Match

Figure 8은 deployment order를 따라 trajectory-level macro Exact Match가 어떻게 움직이는지 보여 준다. WorldEvolver가 baseline보다 높은 band를 유지한다는 점은 기억이 특정 trajectory 하나의 우연한 보정에 그치지 않고, 같은 환경 안의 이후 prediction에도 재사용된다는 주장과 연결된다. ScienceWorld에서는 중반 이후 상승이 더 뚜렷해 누적 memory 효과가 잘 보인다.

6.4 task type breakdown: 어떤 과제에서 foresight가 실제로 필요한가

task type heatmap은 평균 success rate보다 운영적으로 더 쓸모 있는 정보를 준다. ALFWorld의 PICK류 과제는 많은 agent가 이미 잘 풀기 때문에 world model foresight가 큰 차이를 만들기 어렵다. 반면 CLEAN, COOL, LOOK, PICK2처럼 객체 상태와 위치를 여러 단계에 걸쳐 추적해야 하는 유형은 transition uncertainty가 남아 있다. 이런 영역에서는 과거에 비슷한 행동을 했을 때 어떤 관찰이 나왔는지 검색하는 episodic memory가 더 직접적인 도움을 준다.

ScienceWorld에서는 Lifespan, Thermom., Chemistry 같은 task family가 WorldEvolver의 유용성을 더 잘 보여 준다. 이 과제들은 단일 명령을 맞히는 것보다 환경 안의 물체 상태, 시간 진행, 장치 조작 결과를 기억해야 한다. Semantic Memory가 보존 규칙을 제공하는 이유도 여기에 있다. 어떤 action은 특정 속성을 바꾸고, 어떤 action은 관찰만 제공하며, 어떤 action은 조건이 맞을 때만 변화를 만든다. world model이 이런 차이를 기억하지 못하면 plausible한 설명을 만들더라도 실제 environment output과 어긋난다.

흥미로운 점은 task type별 패턴이 backbone별로 다르게 보인다는 것이다. Gemma-4-26B-A4B는 기본 agent 능력이 낮아 WorldEvolver의 도움이 더 잘 드러나지만, GPT-5.4-mini는 baseline이 높은 유형에서 추가 이득이 작다. 이는 미래의 deployment policy가 “항상 world model 사용”보다 “task type과 agent confidence에 따라 world model 사용” 쪽으로 가야 함을 암시한다. Selective Foresight가 prediction-level gate라면, task-type router는 episode-level gate가 될 수 있다.

6.5 memory를 많이 넣을수록 항상 좋은 것은 아니다

Episodic retrieval size가 성능에 중요하다고 해서 memory를 무한정 넣는 방식이 답은 아니다. LLM context window에는 한계가 있고, 관련 없는 transition이 많이 들어가면 현재 상태와 action에 필요한 signal이 희석될 수 있다. 논문은 $k_{M_E}=5$를 기본으로 사용하며, 이는 충분한 사례를 제공하면서도 prompt를 과도하게 늘리지 않는 타협점으로 보인다. 실제 시스템에서는 retrieval score 분포가 낮거나 top result 간 차이가 작을 때 retrieval을 줄이는 adaptive top-k도 고려할 만하다.

Semantic Memory도 마찬가지다. rule이 많아질수록 world model은 더 많은 제약을 읽어야 하고, 서로 충돌하는 rule이 생길 수 있다. evidence score를 두는 이유는 바로 이 문제를 줄이기 위해서다. 하지만 score update가 단순 지지/반박 횟수에 가까우면, 드문 task family에서 중요한 rule이 자주 등장하는 일반 rule에 밀릴 수 있다. 장기 운영에서는 rule을 environment slice별로 나누거나, 최근 mismatch에 더 높은 가중치를 주는 temporal weighting이 필요할 수 있다.

분석 축	논문에서 관찰된 패턴	운영적 해석	후속 개선 방향
Task type	포화된 PICK류보다 transition-sensitive 유형에서 차이가 큼	world model은 불확실한 dynamics가 남은 과제에서 가치가 큼	task-type router 또는 episode-level gate
Backbone strength	Gemma는 이득이 크고 GPT는 mixed	강한 agent는 외부 foresight가 중복되거나 방해될 수 있음	agent confidence와 action-change audit 결합
Episodic top-k	$k_{M_E}$ 증가가 prediction gain을 주도	retrieval key와 memory pruning이 핵심 병목	adaptive top-k와 provenance-aware retrieval
Semantic rule	$k_{M_S}$ 민감도는 작지만 ScienceWorld에서 보완 효과	규칙은 rare transition과 persistence 오류를 줄이는 보조 장치	rule conflict detection과 slice-specific evidence score

7. 한계점 및 향후 연구 방향: 텍스트 환경 밖으로 나가면 무엇이 어려워지는가

7.1 평가 범위는 통제된 텍스트 환경에 머문다

논문의 가장 큰 한계는 평가 환경이 ALFWorld와 ScienceWorld라는 통제된 텍스트 환경에 제한된다는 점이다. 이 선택은 세계 모델 foresight와 memory evolution 효과를 깔끔하게 분리하는 데 유리하다. 관찰이 텍스트이고 action space가 비교적 명시적이며, 다음 관찰이 바로 feedback으로 주어진다. 그러나 웹 탐색, 코드 실행, 로봇 제어, 멀티모달 GUI 조작에서는 관찰 noise, action latency, partial observability, tool failure가 훨씬 복잡하다. 특히 GUI나 웹 환경에서는 같은 action label이라도 DOM, viewport, authentication state에 따라 결과가 크게 달라진다.

따라서 WorldEvolver를 실제 agent stack에 넣으려면 memory representation을 더 세분화해야 한다. ALFWorld에서는 action token Jaccard similarity가 충분히 강한 baseline이지만, 웹이나 코드 환경에서는 action의 semantic equivalence를 단순 token overlap으로 잡기 어렵다. “click submit”과 “press enter after filling form”은 같은 goal transition을 만들 수 있고, 반대로 같은 click도 page state에 따라 완전히 다른 결과를 낸다. 이런 환경에서는 episodic retrieval key에 state abstraction, tool result schema, UI hierarchy, execution trace embedding을 함께 넣는 확장이 필요하다.

7.2 confidence estimation은 backend 의존적이다

Selective Foresight는 token probability 기반 confidence를 사용한다. 오픈 모델이나 logprob을 제공하는 API에서는 자연스럽지만, 많은 상용 모델은 충분한 logprob 정보를 제공하지 않거나, streaming/tool-call 환경에서 token-level probability 접근이 제한된다. 또한 language model의 token confidence가 world-state correctness와 항상 일치하지 않는다. 모델은 문장을 자연스럽고 확신 있게 생성하면서도 환경 dynamics를 틀릴 수 있고, 반대로 낮은 token confidence의 문장도 핵심 transition을 맞힐 수 있다.

후속 연구에서는 confidence를 단일 logprob 대신 다중 신호로 잡는 편이 안전하다. 예측-관찰 mismatch의 과거 빈도, retrieval similarity margin, semantic rule conflict 수, self-consistency over sampled predictions, agent action change sensitivity 등을 합친 calibration model이 필요할 수 있다. 특히 selective foresight의 목적은 예측 정확도 자체보다 에이전트 행동을 망치지 않는 데 있다. 따라서 confidence estimator도 “정답 관찰과 얼마나 비슷한가”와 함께 “이 예측이 들어갔을 때 action choice가 안전하게 바뀌는가”를 반영해야 한다.

7.3 memory growth와 편향 누적 문제

WorldEvolver는 deployment-time memory를 계속 축적한다. 논문은 evidence score와 retrieval size로 memory 사용을 제한하지만, 장기 운영에서는 stale memory, environment drift, false rule accumulation이 문제가 될 수 있다. 예를 들어 특정 task family에서만 맞는 rule이 전체 environment 규칙처럼 남으면, 다른 task family의 예측을 잘못 제약할 수 있다. episodic memory도 최근 task에 과도하게 끌리거나, action text가 비슷하지만 실제 state precondition이 다른 transition을 가져올 위험이 있다.

이 문제는 단순한 storage 크기 관리보다 어렵다. memory를 지우는 기준은 오래됐는지 여부만으로 결정하기 어렵고, 어떤 evidence가 특정 environment slice에서만 유효한지 추적해야 한다. 현실적인 확장 방향은 memory에 provenance를 더 강하게 붙이는 것이다. transition이 어느 task type, difficulty, backbone, agent policy, trial index에서 생성됐는지 기록하고, retrieval과 rule exposure를 현재 context와 같은 slice로 제한하면 잘못된 일반화를 줄일 수 있다.

Figure 9: AgentBoard easy/hard split별 planning success rate

Figure 9는 task difficulty별 success rate를 나눠 보여 준다. ALFWorld easy split은 이미 포화에 가까워 world model signal의 차이가 작지만, hard split과 ScienceWorld에서는 transition uncertainty가 남아 있어 WorldEvolver의 이득이 더 잘 드러난다. 이 분해는 memory-based foresight가 모든 과제에서 균등하게 좋다기보다, baseline agent가 아직 불확실한 영역에서 가치가 커진다는 점을 보여 준다.

7.4 사람 검수와 안전한 배포를 위한 audit trail

WorldEvolver는 외부 memory를 쓰기 때문에 audit trail을 만들기 쉽다는 장점이 있다. 어떤 transition이 prediction context에 들어갔는지, 어떤 mismatch가 semantic rule을 만들었는지, confidence gate가 어떤 예측을 숨겼는지 기록할 수 있다. 이는 파라미터 업데이트 기반 online learning보다 투명하다. 실제 서비스에서는 에이전트가 잘못된 행동을 했을 때 모델 weight를 조사하기보다, 해당 episode에서 노출된 foresight와 retrieved transition을 재현하는 것이 더 빠르고 책임 소재도 명확하다.

다만 audit trail이 자동으로 안전성을 보장하지는 않는다. retrieved transition이 privacy-sensitive한 사용자 상태를 포함하거나, 특정 사용자 환경에서만 맞는 rule이 다른 사용자에게 재사용될 수 있다. 따라서 memory store에는 access scope와 retention policy가 필요하다. 예를 들어 개인 사용자 환경에서 얻은 transition은 그 사용자 세션 안에서만 쓰고, 일반화 가능한 rule은 별도 검수나 aggregation을 거쳐 shared memory로 승격하는 방식이 필요하다. 논문은 이 운영 계층까지 다루지는 않지만, WorldEvolver 구조는 이런 계층을 추가하기 좋은 형태다.

7.5 multimodal·tool-use 환경으로 확장할 때의 표현 문제

텍스트 게임에서는 관찰이 자연어이므로 factorized tuple extraction이 비교적 직접적이다. 그러나 브라우저, 모바일, 로봇, 코드 실행 환경에서는 관찰이 DOM tree, screenshot, log, sensor state, file diff처럼 여러 형식으로 나온다. 이때 world model이 예측해야 하는 것도 단순 문장 하나를 넘어 UI 변화, 파일 생성, API response, 물리 상태 변화가 될 수 있다. WorldEvolver를 이 환경에 적용하려면 observation factorizer가 multimodal state schema를 만들어야 한다.

예를 들어 웹 에이전트에서는 “button clicked”보다 “checkout modal opened, payment method field visible, cart total unchanged”처럼 구조화된 state diff가 필요하다. 코드 에이전트에서는 “test passed”만으로 부족하고 어떤 파일이 바뀌었고 어떤 assertion이 실패했는지까지 memory에 남아야 한다. 이러한 schema 설계가 없으면 episodic memory는 비슷한 action text를 검색해도 실제 상태 변화가 맞지 않는 사례를 가져올 수 있다. 따라서 WorldEvolver의 다음 확장은 world model architecture보다 state representation engineering에 더 가까울 수 있다.

7.6 평가 지표의 다음 단계

논문은 Exact Match, Token F1, Cosine Similarity, Success Rate를 함께 사용해 prediction과 planning을 분리했다. 후속 연구에서는 여기에 intervention-based metric을 추가할 필요가 있다. 같은 상태에서 agent가 foresight 없이 고른 action과 foresight를 보고 고른 action을 비교하고, action이 바뀐 경우에만 success delta를 측정하면 world model의 실질적 영향이 더 명확해진다. 예측이 맞았지만 행동이 바뀌지 않았다면 그 예측은 informative해도 operationally redundant할 수 있다.

또 하나는 negative influence rate다. noisy foresight가 no-foresight보다 나쁜 결과를 만들 수 있다는 예비 실험이 있으므로, 실제 planning 평가에서도 world model이 baseline success를 망친 episode 비율을 따로 봐야 한다. 평균 success rate가 조금 올라가더라도 특정 task family에서 failure를 크게 늘린다면 배포 위험이 있다. Selective Foresight의 threshold는 평균 성능보다 negative influence를 제한하는 안전 파라미터로 조정될 수 있다.

8. 내 해석: 세계 모델을 학습 대상보다 운영 인터페이스로 보는 관점

나는 이 논문의 가장 좋은 부분이 “세계 모델을 더 크게 학습시키자”는 방향으로 가지 않는 데 있다고 본다. 실제 에이전트 운영에서는 모델 파라미터를 계속 고치는 것보다, 어떤 근거를 예측 문맥에 넣고 어떤 예측을 downstream agent에게 숨길지 결정하는 인터페이스가 더 중요해지는 경우가 많다. WorldEvolver는 그 인터페이스를 episodic memory, semantic memory, selective foresight로 나눠 꽤 명확하게 설계했다. 이전에 정리한 long-horizon agent benchmarking이나 search-agent-working-memory 관점에서 보면, 이 논문은 trajectory log를 평가 산출물로만 두지 않고 다음 계획의 예측 자산으로 다시 투입한다는 점에서 연결성이 좋다. 특히 action-token retrieval이 RAWM-$\phi$보다 강하게 작동한 결과는, 에이전트 memory에서 “무엇을 key로 삼아 검색할 것인가”가 모델 크기만큼 중요하다는 실무적 교훈을 준다.

다만 약점도 선명하다. 논문의 planning success rate는 prediction accuracy만큼 압도적이지 않다. Gemma 계열에서는 개선이 잘 보이지만 GPT-5.4-mini에서는 조건에 따라 no-world-model baseline보다 낮아진다. 이는 WorldEvolver가 “정확한 예측을 만들 수 있다”는 주장과 “그 예측이 강한 agent의 행동을 더 좋게 만든다”는 주장이 서로 다른 난이도의 문제임을 보여 준다. 내가 이 연구를 확장한다면 먼저 agent action-change audit을 붙일 것 같다. 예측이 들어가기 전후에 action이 어떻게 바뀌었는지, 그 변화가 성공/실패와 어떤 관계를 갖는지 추적하면 selective foresight의 threshold를 단순 confidence만으로 두기보다 행동 영향도까지 포함해 조절할 수 있다. 그렇게 해야 세계 모델이 강한 에이전트를 방해하는 경우와 약한 에이전트를 보조하는 경우를 더 안정적으로 분리할 수 있다.

또 하나의 후속 제안은 memory provenance를 본격적으로 모델링하는 것이다. 현재 논문은 environment 단위로 memory가 지속된다고 설명하지만, 실제 deployment에서는 task family, user profile, tool version, UI state, backend model version이 모두 memory 유효성을 바꾼다. agent-trajectory-monitoring 페이지에서 다룬 것처럼 trajectory는 단순 로그를 넘어 책임 추적 단위가 될 수 있다. WorldEvolver에 provenance-aware retrieval을 붙이면 “비슷한 action”보다 “비슷한 action을 비슷한 조건에서 실행했을 때”를 검색할 수 있고, semantic rule도 어느 slice에서만 적용되는지 표시할 수 있다. 이 방향이 들어가면 WorldEvolver는 텍스트 게임을 넘어 웹 에이전트나 자동화 agent의 운영형 world model로 확장될 가능성이 더 커진다.

8.3 이전 에이전트 평가 글들과의 연결

이 논문은 이전에 다룬 long-horizon agent benchmarking, search-agent working memory, agent trajectory monitoring 계열 글과 자연스럽게 이어진다. 그 글들이 주로 “에이전트가 긴 작업을 수행할 때 어떤 관찰과 중간 상태를 남겨야 하는가”를 다뤘다면, WorldEvolver는 그 기록을 다음 행동 전 예측 모델의 입력으로 되돌려 넣는다. 즉 trajectory log가 사후 분석 자료에 머무르지 않고, 다음 episode의 state transition prior가 되는 구조다. 이 연결점 때문에 나는 이 논문을 단순 memory-augmented agent보다 deployment-time learning interface에 가까운 시도로 본다.

다만 여기서도 약점은 남는다. WorldEvolver는 memory가 왜 도움이 됐는지 설명하기 좋은 구조를 갖고 있지만, 결과 표는 아직 action-level causal attribution까지 내려가지 않는다. 어떤 retrieved episode가 어떤 행동을 바꿨고, 그 행동 변화가 성공률 상승으로 이어졌는지의 연결고리가 없다. 내가 이 논문을 확장한다면 먼저 foresight exposure event를 기준으로 action diff, outcome diff, retrieved provenance를 함께 저장하는 audit table을 만들 것 같다. 그러면 world model이 “정확한 예측을 했다”와 “성공에 기여했다”를 분리해서 볼 수 있다.

연결되는 기존 축	WorldEvolver에서의 확장	부족한 근거	내가 추가하고 싶은 분석
장기 에이전트 벤치마킹	best-of-$L$와 task type별 성공률로 반복 trial 효과를 관찰	trial 간 memory가 어느 순간 결정적이었는지는 불명확	episode별 memory growth와 success delta를 time series로 표시
작업 기억과 retrieval	action-conditioned episodic memory로 next observation 예측	retrieved transition의 품질과 중복도 분석 부족	retrieval provenance, score gap, top-k diversity audit
trajectory monitoring	mismatch가 semantic rule update로 이어짐	잘못된 rule이 누적될 때의 rollback 정책 부족	rule conflict detector와 human review queue
디지털 월드 평가	텍스트 게임을 세계 모델 실험장으로 사용	브라우저·모바일·코드 환경으로의 schema 전이가 미검증	DOM/file diff/screenshot 기반 state factorization

이 관점에서 WorldEvolver의 후속 과제는 더 큰 backbone을 쓰는 것만으로 끝나지 않는다. memory schema, retrieval provenance, confidence calibration, negative influence audit가 함께 들어가야 실제 제품형 agent에 붙일 수 있다. 특히 사용자가 반복적으로 같은 업무 환경에서 에이전트를 쓰는 경우, 그 환경의 transition을 기억하는 local world model은 꽤 유용할 수 있다. 하지만 그 memory가 잘못된 상태 변화나 민감한 사용자 정보를 담기 시작하면 시스템 전체의 실패 양상도 바뀐다. 따라서 이 논문이 제안한 self-evolving loop는 성능 기법이면서 동시에 운영 정책 설계 문제다.

9. 결론: 배포 중 증거를 기억으로 바꾸는 world-model loop

WorldEvolver는 LLM 에이전트의 세계 모델을 배포 중에 어떻게 다뤄야 하는지에 대한 구체적인 설계안을 제시한다. 핵심은 agent와 world model을 재학습하지 않고, 실제 transition과 prediction mismatch를 외부 memory로 축적해 world model context를 수정하는 것이다. Episodic Memory는 비슷한 행동의 실제 결과를 검색하고, Semantic Memory는 반복되는 예측 실패에서 보존 규칙을 만든다. Selective Foresight는 confidence가 낮은 예측을 agent에게 노출하지 않아 잘못된 상상이 행동을 망치는 위험을 줄인다.

실험적으로는 Word2World prediction에서 매우 강한 결과를 보이며, ALFWorld와 ScienceWorld의 여러 backbone에서 Exact Match, Token F1, Cosine Similarity를 모두 개선한다. planning success rate는 더 조건부이지만, Gemma-4-26B-A4B처럼 기본 agent 능력이 제한된 조건에서는 selective foresight가 실질적인 성능 향상으로 이어진다. 강한 GPT-5.4-mini에서는 이득과 손해가 섞이므로, world model의 예측 정확도와 downstream action impact를 분리해 평가해야 한다는 교훈도 남긴다.

운영 관점에서 이 논문은 장기 실행 에이전트가 남기는 로그의 가치를 다시 생각하게 만든다. 실패한 예측, 실제 관찰, 행동 전후 상태는 단순한 디버깅 자료를 넘어 다음 planning step의 evidence가 될 수 있다. 앞으로 더 복잡한 웹, 코드, 멀티모달 환경으로 확장하려면 memory provenance, confidence calibration, action-change audit이 함께 필요하다. 그럼에도 WorldEvolver는 weight update 없이 테스트타임 context를 진화시키는 구조가 LLM agent planning에서 얼마나 큰 효과를 낼 수 있는지 잘 보여 준다.

Figure 10: Gemma-4-26B-A4B의 task type별 planning success heatmap

Figure 10은 Gemma-4-26B-A4B에서 task type별 success rate를 보여 준다. ALFWorld의 PICK류처럼 쉬운 유형은 포화되어 차이가 작고, CLEAN, COOL, LOOK 또는 ScienceWorld의 Lifespan, Thermom., Chemistry처럼 transition tracking이 중요한 유형에서 world model signal의 차이가 커진다. 이는 WorldEvolver가 환경 dynamics를 기억으로 축적할 때 가장 유용해지는 영역을 보여 준다.

Figure 11: GPT-5.4-mini의 task type별 planning success heatmap

Figure 11은 더 강한 GPT-5.4-mini 조건의 task type별 결과다. 강한 backbone은 기본 planning 능력이 높아 WorldEvolver의 추가 이득이 항상 크게 나타나지 않는다. 하지만 task family별로 보면 특정 transition-sensitive 영역에서 여전히 차이가 남는다. 이 그림은 world model을 붙일지 말지를 전체 평균 하나로 결정하기보다, task 유형과 agent 강도별로 gate를 다르게 두어야 함을 시사한다.

10. 요약 정리

• WorldEvolver는 LLM 에이전트의 세계 모델을 재학습하지 않고, 배포 중 transition과 mismatch를 prompt-level memory로 축적해 예측 문맥을 갱신한다.
• Episodic Memory는 실제 관찰-행동-다음 관찰 transition을 저장하고, 후보 행동과 비슷한 과거 행동을 Jaccard similarity로 검색해 prediction evidence로 제공한다.
• Semantic Memory는 예측과 실제 관찰의 tuple-level mismatch에서 보존 규칙을 추출하고, evidence score가 양수인 rule만 다음 예측 문맥에 넣는다.
• Selective Foresight는 token-level confidence에서 만든 $q_t$가 threshold $ au$ 이상일 때만 예측을 agent에게 노출해 잘못된 foresight의 부작용을 줄인다.
• Word2World prediction에서는 ALFWorld와 ScienceWorld, Gemma/Qwen backbone 전체에서 WorldEvolver가 Zero-Shot, RAWM-$\phi$, ITP-I보다 높은 Exact Match와 Token F1을 보인다.
• AgentBoard planning에서는 Gemma-4-26B-A4B에서 개선이 뚜렷하지만, GPT-5.4-mini처럼 강한 agent에서는 이득과 손해가 섞여 downstream action impact 평가가 중요하다.
• Ablation은 prediction gain의 주된 원천이 semantic rule보다 episodic retrieval size임을 보여 주며, retrieval key와 memory provenance 설계가 후속 연구의 핵심이 된다.
• 이 논문은 장기 실행 에이전트의 로그를 사후 분석 자료로만 보지 않고, 다음 세계 모델 예측을 개선하는 운영형 evidence store로 전환하는 실용적 설계를 제안한다.