[arXiv 2607.08724] Latent Memory Palace: 로봇 제어의 잠재 추론을 가변 길이 변분 추론으로 만드는 방법

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

https://arxiv.org/abs/2607.08724

Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta | University of Washington, Toyota Research Institute | arXiv:2607.08724 | 2026년 7월

---

1. 서론: 로봇이 행동마다 필요한 만큼 잠재 경로를 걷게 하다

1.1 반사적 행동과 숙고 사이의 계산 예산

인간의 의사결정은 걷기처럼 거의 즉시 이루어지는 반사적 행동에서 체스처럼 여러 단계를 검토하는 숙고까지 넓은 범위를 가진다. 논문은 이 차이를 의사결정마다 투입되는 시간과 노력이 달라지는 반복적이고 적응적인 계산으로 묘사한다. 대규모 언어 모델이 최종 답 앞에 중간 토큰을 생성하면서 복잡한 문제의 정확도를 높인 현상도 같은 관점에서 출발한다. 그러나 로봇 제어에서는 자연어 토큰이 공간 관계와 정밀 동작에 필요한 세밀도를 충분히 제공한다고 보장하기 어렵다.

저자들이 던지는 질문은 분명하다. 순차 의사결정과 로봇 조작에서도 입력 난이도에 맞춰 계산량을 늘리고 줄이는 능력을 만들 수 있는가. 이 능력이 갖는 기대 효과는 과제 변동성 아래의 효율적 의사결정과 일반화 향상이다. 제안은 중간 추론을 사람이 읽는 문장으로 출력하기보다, 행동 예측에 맞게 종단 간 학습된 잠재 공간에서 진행하는 것이다. 이렇게 하면 반복 계산의 장점을 유지하면서도 중간 표현의 해상도를 제어 정보에 맞출 수 있다.

논문의 핵심 방법 Latent Memory Palace(LMP)는 추론을 가변 길이 자기회귀 잠재 분포를 가진 변분 추론으로 정식화한다. 잠재 변수 하나를 고정 차원 벡터로 두는 표준적 구성에서 벗어나, 이산 잠재 토큰을 차례로 만들고 종료 토큰이 나올 때 멈춘다. 관측과 행동을 본 posterior는 행동을 재구성할 잠재 경로를 만들고, 관측만 보는 prior는 그 경로를 모방한다. 테스트 때에는 prior와 decoder가 합쳐져 실행 가능한 제어 정책 LMP-$\pi$가 된다.

Figure 1: LMP는 잠재 토큰을 순차 생성해 행동을 복원하고, 실제 조작 중 행동 구간에 따라 잠재 길이를 바꾼다. 원본: figs/teaser.pdf.

Figure 1의 왼쪽은 관측과 행동을 함께 본 posterior가 $z_1,z_2,\ldots,\mathrm{EOS}$ 경로를 만들고 decoder가 행동을 복원하는 구조를 요약한다. 오른쪽 clean-table 궤적에서는 가지를 집고 놓는 구간에 잠재 단계가 줄어든다. 논문은 이 패턴을 그리퍼 명령 시점의 시연 간 변동성이 커서 더 긴 계산으로도 줄이기 어려운 불확실성이 남는 결과로 해석한다. 이 해석은 잠재 길이가 일반 난이도보다 줄일 수 있는 행동 불확실성에 반응한다는 후속 분석의 출발점이다.

1.2 기억의 궁전 비유가 가리키는 계산 구조

방법 이름의 기억의 궁전은 단순한 장식이 아니다. 전통적 기억술에서 정보는 공간 경로 위의 장소와 연결되고, 회상할 때 그 경로를 한 장소씩 정신적으로 순회한다. LMP에서는 자기회귀 잠재 공간이 궁전에 해당하고, 각 잠재 토큰은 경로 위 장소이며, 잠재 시퀀스 생성은 제어 관련 정보를 회수하는 순회다. EOS 토큰이 있으므로 정책은 필요한 지점까지만 걸을 수 있고, 이것이 반복성과 적응성을 동시에 만든다.

이 비유를 확률 모델로 옮기면 행동 $a$는 관측 $o$에서 바로 산출되는 단일 회귀값이 아니라 잠재 계산 $z$를 거쳐 생성되는 결과다. 학습은 행동을 잘 복원하는 posterior와 관측만으로 그 posterior에 가까워지는 prior를 함께 만든다. 잠재 경로가 길어질수록 계산 단계가 늘고, 일찍 EOS를 내면 더 짧은 계산으로 행동을 결정한다. 따라서 LMP의 테스트 시간 계산량은 외부에서 정한 고정 반복 횟수보다 모델이 생성한 경로 길이에 직접 연결된다.

논문이 제시하는 기여는 정책 하나에 머물지 않는다. 관측 조건을 제거하면 같은 틀은 연속 행동을 가변 길이 이산 시퀀스로 압축하는 LMP-tok가 된다. 또 결정론적이고 가역적인 동역학을 가정해 행동 입력을 미래 관측으로 바꾸면 LMP-wam이라는 world action model 구성도 얻는다. 하나의 자기회귀 변분 추론 관점이 제어 정책, 행동 tokenizer, 미래 관측 기반 행동 모델을 연결한다는 점이 이 논문의 범위다.

2. 배경 및 관련 연구: 언어 추론·생성 정책·로봇 숙고가 만나는 지점

2.1 언어 모델의 테스트 시간 계산과 잠재 추론

언어 모델 추론 연구에서 chain-of-thought는 최종 답에 도달하기 전 중간 단계를 생성해 다단계 문제 정확도를 높였다. Tree of Thoughts는 여러 사고 경로를 탐색하고, RL 기반 reasoning 모델은 반복 행동을 추론 절차로 내재화하며, 테스트 시간 스케일링 연구는 추가 계산 배분이 성능을 체계적으로 개선할 수 있음을 보여 왔다. 이 계열의 공통점은 중간 계산을 늘릴 수 있는 시간축을 모델에 제공한다는 데 있다.

잠재 추론은 그 시간축의 표현 매체를 자연어에서 내부 표현으로 옮긴다. 논문이 정리한 COCONUT은 훈련 curriculum을 통해 명시적 reasoning 토큰을 연속 임베딩으로 점진적으로 치환하고, CODI는 한 단계 distillation으로 curriculum을 대체한다. 멀티모달 확장은 언어 토큰 사이에 잠재 시각 표현을 끼워 넣는다. 변분 잠재 추론 연구는 잠재 변수의 posterior inference 자체로 reasoning을 해석한다. LMP는 이 흐름을 로봇 제어로 가져오되, 가변 길이 자기회귀 분포를 핵심 형식으로 삼는다.

로봇에서 잠재 매체가 필요한 이유는 출력 정밀도와 직접 연결된다. 언어 토큰은 과제 의미와 고수준 계획을 표현하는 데 유용하지만, 엔드이펙터의 연속 위치 변화나 그리퍼 타이밍을 그대로 담기에는 입도가 다르다. LMP는 어떤 의미의 문장을 생성해야 한다는 인터페이스를 미리 정하지 않고, 행동 likelihood를 높이는 방향으로 잠재 vocabulary와 경로를 학습한다. 논문이 말하는 reasoning은 자연어 설명의 모사보다 행동 예측을 위한 반복적 정보 조직에 가깝다.

2.2 생성적 행동 복제와 다중 모드 표현

행동 복제는 전문가 시연에서 관측에 조건부인 행동 분포를 학습한다. 하나의 평균 행동만 회귀하면 여러 유효 경로가 있는 상황에서 모드 평균화가 생길 수 있어, 최근 제어 정책은 행동 분포를 생성 모델로 다루어 왔다. IBC는 에너지 기반 모델로 불연속적이거나 집합값 형태의 매핑을 표현하고, Diffusion Policy는 반복적 denoising을 이용해 다중 모드 행동과 안정적 학습을 결합한다. BeT와 VQ-BeT는 연속 행동을 이산 토큰으로 옮겨 transformer가 여러 행동 모드를 선택하게 한다.

LMP-$\pi$도 이산 잠재 변수 모델이지만 계산량이 행동 예측 요구에 따라 확장될 수 있다. 한 번 샘플링한 고정 차원 Gaussian latent나 두 층 residual code로 끝나는 구성과 달리, 토큰 prefix를 만들고 EOS까지 진행한다. 논문은 D3IL과 RoboMimic에서 VAE Policy와 VQ-BeT를 비반복 잠재 기준선으로 두고 이 차이를 실험한다. 결과는 고정 길이 표현보다 자기회귀 잠재 경로가 복잡한 조작에 필요한 세밀도를 더 잘 확보한다는 주장을 지지한다.

Diffusion Policy와의 비교는 더 미묘하다. diffusion도 여러 denoising step을 거치므로 반복 계산을 가진 강한 생성 정책이다. 단일 과제 평균에서 DP는 D3IL 0.73, RoboMimic 0.85로 LMP-$\pi$의 0.76, 0.83과 비슷한 수준이다. 차이는 LMP가 EOS를 통해 잠재 길이를 적응적으로 정하고, 그 길이를 제어 관련 불확실성과 연결해 분석할 수 있다는 점이다. 즉 결과표는 모든 조건에서 일방적 우위를 주장하기보다 서로 다른 반복 생성 방식을 비교한다.

2.3 로봇 reasoning 인터페이스와 LMP의 위치

로봇 reasoning 연구에는 명시적 중간 trace, 구조화 표현, 잠재 반복이라는 여러 경로가 있다. ECoT는 행동 전에 grounded sub-step을 생성하고, ECoT Lite는 지연 시간을 고려해 이 절차를 다듬으며, OneTwoVLA는 빠른 반응형 계산과 숙고형 계산을 결합한다. 다른 방법들은 공간 추상화나 계층적 guidance를 perception과 control 사이에 둔다. 이런 방식은 중간 상태를 사람이 설계한 인터페이스로 조직한다는 장점이 있다.

동시기 RD-VLA는 recurrent-depth transformer action head를 반복하고 예측 행동 변화가 임계값보다 작아질 때 멈추는 잠재 reasoning을 사용한다. LMP는 멈춤 규칙을 행동 차이 임계값으로 직접 설계하지 않는다. EOS가 포함된 자기회귀 잠재 분포를 행동 예측 objective로 학습하고, decoder variance schedule이 더 긴 경로를 사용할 조건을 형성한다. 따라서 정지 기준도 확률 모델과 likelihood 안에서 학습된다는 점이 구별된다.

Table 1. 논문이 배치한 로봇 제어 추론 방식의 차이
계열	중간 매체	반복	종료 방식	논문에서 강조한 특징
ECoT 계열	grounded 언어 sub-step	명시적 trace 생성	설계된 출력 절차	중간 단계가 외부화됨
계층·공간 표현	구조화 guidance	구조에 따름	수동 인터페이스 의존	perception-control 연결
RD-VLA	recurrent-depth latent	action head 반복	행동 변화 임계값	잠재 깊이 조절
LMP-$\pi$	이산 잠재 토큰 경로	자기회귀 생성	학습된 EOS	행동 예측에 맞춘 가변 길이

Table 1은 LMP가 언어 trace의 세부 의미를 미리 지정하지 않고도 반복과 종료를 모두 갖추려는 설계임을 보여 준다. 저자들의 주장은 잠재 공간 자체가 새롭다는 데만 있지 않다. 잠재 변수를 시퀀스로 바꾸고, 그 분포를 변분 추론으로 학습하며, 가변 horizon 최적화를 잠재 공간 RL로 처리하는 세 요소가 함께 놓여야 LMP의 방법론적 위치가 완성된다.

3. 방법론: 자기회귀 변분 추론으로 세운 Latent Memory Palace

3.1 행동 복제에서 잠재 정책으로

설정은 전문가 시연 데이터 $\mathcal{D}=\{(o_i,a_i)\}_{i=1}^{n}$에서 제어 정책 $\pi_\theta:\mathcal{O}\rightarrow\mathcal{A}$를 학습하는 모방 학습이다. 관측 $o_i$는 여러 시점의 관측과 언어 지시를 쌓은 형태일 수 있고, 행동 $a_i$는 하나의 명령보다 action chunk일 수 있다. 표준 행동 복제는 다음 조건부 likelihood를 최대화한다.

$$J(\theta)=\mathbb{E}_{(o_i,a_i)\sim\mathcal{D}}\left[\log p_\theta(a_i\mid o_i)\right]$$

LMP는 이 조건부 분포를 잠재 변수 모델로 다시 쓴다. 정책은 먼저 현재 관측에서 내부 숙고 trace $z$를 만들고, 관측과 trace에 조건부인 행동을 생성한다. 잠재 변수를 주변화한 $p(a\mid o)$의 직접 계산이 어렵기 때문에 action까지 본 변분 posterior $q_\theta(z\mid o,a)$로 진짜 posterior를 근사한다. 그러면 재구성 likelihood와 posterior-prior KL로 이루어진 evidence lower bound(ELBO)가 나온다.

$$\log p(a\mid o)\geq \mathbb{E}_{z\sim q_\theta(z\mid o,a)}\left[\log p_\phi(a\mid o,z)\right]-D_{\mathrm{KL}}\left(q_\theta(z\mid o,a)\parallel p_\theta(z\mid o)\right)$$

첫 항은 잠재 trace가 주어진 전문가 행동을 얼마나 정확히 재구성하는지 측정한다. 둘째 항은 action을 볼 수 있는 posterior가 관측만 보는 prior에서 지나치게 멀어지지 않게 만든다. 테스트 시 action은 알려져 있지 않으므로 posterior를 실행할 수 없다. 학습된 prior에서 $z\sim p_\theta(z\mid o)$를 뽑고 decoder에서 $a\sim p_\phi(a\mid o,z)$를 뽑는 조합이 곧 실행 정책이다.

3.2 고정 벡터를 가변 길이 경로로 바꾸기

표준 VAE와 LMP를 가르는 변화는 $z$의 형식이다. LMP는 $z$를 단일 벡터로 두지 않고 vocabulary $\mathcal{V}\cup\{\mathrm{EOS}\}$에서 생성되는 $z=(z_1,z_2,\ldots,z_{T(z)})$로 정의한다. 종료 시각은 다음과 같다.

$$T(z)\coloneqq\min\{t\geq 1:z_t=\mathrm{EOS}\}$$

prior와 posterior는 같은 자기회귀 분해를 갖는다. posterior는 관측과 행동을 보며 다음 잠재 토큰을 선택하고, prior는 관측과 이미 생성한 prefix만으로 같은 선택을 예측한다. decoder는 전체 잠재 시퀀스를 한꺼번에 받아 action chunk를 복원한다. 이 구조에서 단계별 조건부 분포와 EOS가 각각 반복 계산과 입력별 계산량 조절을 담당한다.

$$p_\theta(z\mid o)=\prod_{t=1}^{T(z)}p_\theta(z_t\mid z_{<t},o),\qquad q_\theta(z\mid o,a)=\prod_{t=1}^{T(z)}q_\theta(z_t\mid z_{<t},o,a)$$

가변 길이 분해를 ELBO에 대입하면 expectation은 종료된 잠재 시퀀스 전체에 대해 계산되고, KL도 sequence distribution 사이의 차이가 된다. 임의 길이 시퀀스를 그대로 합산하기 어렵다는 계산 문제가 남지만, 이 식은 LMP의 추론 개념을 정확히 제한한다. 잠재 토큰은 사람이 붙인 단계 이름이 없고, 오직 action reconstruction과 prior matching을 통해 의미를 얻는다.

Figure 2: posterior와 prior가 공유하는 causal encoder, 관측과 잠재를 읽는 bidirectional decoder. 원본: figs/model.pdf.

Figure 2에서 encoder는 관측과 행동을 cross-attention context로 받아 잠재 토큰을 causal하게 생성한다. prior를 계산할 때 행동 토큰은 학습된 mask 토큰으로 가려진다. 생성은 ROOT에서 시작해 EOS 또는 최대 길이까지 진행되며, decoder는 관측 임베딩과 전체 잠재 시퀀스를 함께 읽는 bidirectional transformer로 action query들을 연속 행동 chunk로 바꾼다.

3.3 decoder 분산 감쇠가 만드는 압축 압력

자기회귀 분해만으로는 모델이 언제 멈춰야 하는지 결정되지 않는다. 저자들은 더 많은 단계가 실제로 필요할 때만 길어지도록 compression을 도입한다. decoder likelihood를 등방 Gaussian으로 두고, 잠재 길이에 따라 표준편차가 지수적으로 감소하게 만든다.

$$p_\phi(a\mid o,z)=\mathcal{N}\left(\mu_\phi(o,z),\sigma^2(T(z))I\right),\qquad \sigma(T(z))=\gamma^{T(z)}\sigma_0,\quad \gamma\in(0,1)$$

잠재 단계가 하나 늘 때 Gaussian은 더 날카로워진다. 날카로운 분포는 평균 예측이 충분히 정확할 때 높은 likelihood를 주지만, 재구성 오차가 남아 있으면 큰 비용을 낸다. 그러므로 모델은 다음 토큰이 행동 평균을 더 정밀하게 만들 수 있을 때에만 긴 경로를 감수한다. 시연자가 그리퍼를 닫는 시점처럼 관측만으로 줄일 수 없는 변동성이 크면, 추가 단계로 분산만 줄이는 선택은 오히려 불리해진다.

부록의 정지 기준 유도는 이 직관을 수식으로 확인한다. action dimension을 $D$, 길이 $L$에서 차원당 평균제곱오차를 $\varepsilon_L=\lVert a-\mu_L\rVert^2/D$라고 두고 오차가 포화됐다고 가정하면, 한 단계 증가에 따른 log-likelihood 차이는 다음과 같다.

$$\Delta\ell=-D\log\gamma-\frac{D\varepsilon}{2\sigma^2(L)}\left(\frac{1}{\gamma^2}-1\right)$$

교차점 $\Delta\ell=0$을 풀고 작은 $|\log\gamma|$ 근사를 쓰면 $\varepsilon_L^*\approx\sigma^2(L)$가 된다. 즉 달성 가능한 reconstruction MSE가 현재 decoder variance 정도에 이르면 더 진행할 유인이 사라진다는 휴리스틱이다. KL 항은 posterior가 각 행동 샘플을 아주 작은 Gaussian 경로에 흩뿌리는 퇴행적 해를 막는다. 관측만 보는 prior가 수많은 경로를 덮으려면 각 경로 확률이 낮아지고 KL 비용이 커지기 때문이다.

3.4 잠재 trajectory를 RL episode로 바꾸기

가변 길이 이산 sampling은 일반적인 reparameterization으로 미분하기 어렵다. LMP는 고정된 $(o,a)$마다 빈 prefix에서 시작해 posterior가 토큰을 고르고 EOS에서 끝나는 잠재 episode를 정의한다. 이 episode의 policy는 $q_\theta(z_t\mid z_{<t},o,a)$이고, terminal reconstruction log-likelihood와 prior에 대한 KL penalty가 return을 이룬다. 여기서 RL은 물리 환경과 상호작용하는 정책 학습에 쓰이지 않고, 잠재 reasoning chain의 inference를 최적화하는 데만 쓰인다.

terminal 보상만 쓰는 naive policy gradient는 분산이 크다. 저자들은 sequence-level KL을 prefix가 살아 있는 각 시점의 기여로 분해한다. $\mathcal{P}_{\leq t}$는 $t$ 이전에 EOS가 나오지 않은 prefix의 집합이고, $\widetilde{\mathbb{E}}$는 전체 질량이 생존확률 $\Pr[T(z)\geq t]$인 비정규화 expectation이다.

$$D_{\mathrm{KL}}\left(q_\theta(z\mid o,a)\parallel p_\theta(z\mid o)\right)=\sum_{t=1}^{\infty}\widetilde{\mathbb{E}}_{z_{\leq t}\sim q_\theta}\left[\log\frac{q_\theta(z_t\mid z_{<t},o,a)}{p_\theta(z_t\mid z_{<t},o)}\right]$$

부록의 증명은 먼저 finite horizon $H$에서 종료 뒤 위치를 deterministic null token으로 padding한다. 자기회귀 log-ratio의 합을 시점별로 바꾸고, EOS 이후 항이 0임을 이용하면 살아 있는 prefix의 one-step KL 합을 얻는다. 각 항은 음수가 아닌 값이므로 monotone convergence로 $H$를 무한대로 보낼 수 있다. 이 분해 덕분에 긴 잠재 trajectory 끝에서 한 번 받던 KL 신호를 단계별 reward로 바꿀 수 있다.

Figure 3: LMP-$\pi$의 두 단계 학습 루프. 원본: figs/training.pdf.

Figure 3은 학습이 posterior rollout과 model update를 번갈아 수행함을 보여 준다. 먼저 expert $(o,a)$를 뽑아 posterior에서 길이가 서로 다른 잠재 trace와 old log-likelihood를 buffer에 저장한다. 이어 prior·posterior·decoder를 다시 통과시켜 reconstruction과 단계별 KL을 계산하고, 길이 인지 clipping이 포함된 PPO 스타일 surrogate로 여러 epoch 갱신한다.

3.5 길이 인지 PPO surrogate와 posterior 안정화

rollout을 만든 stale posterior를 $q_{\theta_{\mathrm{old}}}$라고 하면 새 posterior와의 likelihood ratio는 $r(z)=q_\theta(z\mid o,a)/q_{\theta_{\mathrm{old}}}(z\mid o,a)$다. 긴 시퀀스는 token별 작은 변화가 곱으로 누적되므로 고정 범위 clipping과 맞지 않을 수 있다. 논문은 길이 $T(z)$에 따라 허용 범위를 $(1-\epsilon)^{T(z)}$와 $(1+\epsilon)^{T(z)}$로 조절한다.

$$\bar r(z)=\mathrm{clip}\left(r(z),(1-\epsilon)^{T(z)},(1+\epsilon)^{T(z)}\right)$$

clipped surrogate operator는 $\mathrm{CS}(r,\bar r;x)=\min(r x,\bar r\,\mathrm{stopgrad}(x))$로 정의된다. reconstruction 목적은 전체 trajectory ratio를 사용하고, 시점 $t$의 KL 목적은 prefix ratio와 $\log p_\theta/q_\theta$를 사용한다. 최종 objective는 $J_{\mathrm{rec}}+\sum_tJ_{\mathrm{kl}}^t$다. 이 설계는 buffer 재사용의 sample efficiency를 얻으면서 variable horizon posterior가 한 번에 크게 변하는 것을 억제한다.

prior와 posterior를 함께 학습하면 latent collapse가 생기기 쉽다. 첫 안정화 장치는 learned prior와 길이를 고려한 uniform prior $u$를 기하 보간한 $p_{\mathrm{mix}}^\alpha\propto p_\theta^\alpha u^{1-\alpha}$다. 둘째는 시점별 expected KL을 free-nats budget $\tau=\beta\log|\mathcal{V}\cup\{\mathrm{EOS}\}|$로 clip하는 방법이다. 이 둘은 훈련 초기에 prior가 posterior를 지나치게 강하게 끌어당겨 잠재 정보가 사라지는 현상을 줄인다.

생존확률을 $\rho_t=\Pr_q[T(z)\geq t]$라 두면 단계별 KL은 $\rho_t$와 살아 있는 prefix 조건부 one-step KL의 곱으로 쓸 수 있다. free-nats는 이 조건부 expected KL에 적용되고, 짧은 trace가 많은 후반 시점은 생존확률만큼 가중된다. 따라서 고정 길이 latent의 좌표별 free-nats를 그대로 옮기지 않고, 가변 길이 분포의 생존 구조를 보존한다.

3.6 행동 tokenizer와 world action model로의 확장

관측 조건을 ELBO에서 제거하면 LMP-tok가 된다. encoder $q_\theta(z_{1:T(z)}\mid a)$는 action chunk를 보고 EOS까지 토큰을 생성하고, decoder $p_\phi(a\mid z_{1:T(z)})$는 학습된 최대 길이 안의 가변 길이 잠재 시퀀스를 연속 행동으로 복원한다. prior의 각 단계는 $\mathcal{V}\cup\{\mathrm{EOS}\}$ 위 uniform distribution이며, 같은 PPO 스타일 surrogate로 reconstruction과 KL을 최적화한다.

$$\log p(a)\geq\mathbb{E}_{z\sim q_\theta(\cdot\mid a)}\left[\log p_\phi(a\mid z)\right]-D_{\mathrm{KL}}\left(q_\theta(z\mid a)\parallel p(z)\right)$$

LMP-tok의 중요한 성질은 학습된 길이 범위의 partial trace도 행동값으로 decode할 수 있다는 점이다. FAST는 action chunk의 DCT 행렬을 정확히 복원해야 하므로 필요한 token 일부가 빠진 시퀀스는 구조적으로 유효하지 않을 수 있다. LMP-tok는 decoder가 가변 길이 sequence 전체를 행동으로 매핑하도록 학습되므로 downstream autoregressive policy가 EOS를 일찍 내도 action을 얻을 수 있다. 이 차이는 tokenizer 자체와 downstream policy의 부담을 나누는 방식에 영향을 준다.

world action model 확장은 결정론적이고 가역적인 dynamics에서 현재 관측이 주어졌을 때 행동과 미래 관측이 동등하다는 $(o_t,a_t)\sim(o_t,o_{t+1})$ 관찰을 사용한다. encoder의 action 입력을 미래 관측으로 바꾸면 미래를 본 posterior의 latent를 현재 관측 prior에 KL로 distill하고 reconstruction으로 행동을 예측하는 LMP-wam이 된다. 미래 영상을 생성하거나 다단계 dynamics를 rollout하는 구성은 아니다. 논문은 LIBERO-90에서 LMP-$\pi$와 비슷한 성능을 보고하지만, 이 방향의 심층 탐색은 후속 연구로 남긴다.

4. 실험 설정: 네 벤치마크와 동일한 다운스트림 조건의 비교

4.1 DROID·LIBERO·D3IL·RoboMimic의 평가 역할

실험은 네 질문을 다룬다. LMP-$\pi$가 성능 좋은 생성 제어 정책인지, LMP-tok가 효과적인 action tokenizer인지, LMP가 테스트 시간 계산을 적응적으로 배분하는지, 어떤 요소가 성능에 기여하는지를 각각 확인한다. 이를 위해 실제 로봇과 simulation, language-conditioned multitask와 vision-based single task, multimodality와 고정밀 조작이 서로 다른 벤치마크를 조합한다. simulation 수치는 모두 세 seed 평균이다.

Figure 4: 실제·시뮬레이션 평가 환경의 시각적 구성. 원본: figs/environments.pdf.

Figure 4는 실제 DROID의 block-bowl, marker-mug, peg-hole, clean-table과 세 simulation benchmark를 함께 배치한다. DROID 두 과제는 zero-shot, 두 과제는 과제당 100개 시연으로 finetune한다. LIBERO는 90개 학습 과제의 multitask interference를 보고, D3IL은 여러 유효 행동 모드, RoboMimic은 square·tool-hang·transport 같은 정밀 조작을 시험한다.

DROID는 7-DoF Franka 단일 팔 실제 조작 플랫폼이다. scene camera와 wrist camera에서 각각 $180\times320$ 이미지를 받고, 저차원 관측은 원문 표기상 6차원 절대 joint position과 $[0,1]$ 범위의 1차원 절대 gripper position이다. 행동은 6차원 delta joint position과 1차원 절대 gripper position이며 controller는 10 Hz로 동작한다. 과제마다 무작위 초기 조건 20개를 평가한다.

zero-shot block-bowl은 블록을 집어 bowl에 놓고 release하면 성공이며, marker-mug도 marker를 mug에 떨어뜨렸을 때 성공한다. finetuned peg-hole은 중앙 부근에 무작위로 놓인 사각 base의 hole에 외부 영역에서 시작한 square peg를 안정적으로 삽입해야 한다. clean-table은 7개 물체 suite에서 임의로 선택한 3개를 bowl에 정리하며, 1개 이상·2개 이상·3개 모두를 각각 partial success로 측정한다. finetuned 두 과제에는 각 100개 시연을 수집한다.

Figure 5: 실제 로봇 카메라 구성과 재현 가능한 초기화 tracker. 원본: figs/robot_setup.pdf.

Figure 5의 왼쪽은 정책 입력에 쓰는 scene camera와 wrist camera, 비교 실험의 초기 상태를 맞추는 evaluation camera를 구분한다. 오른쪽 tracker는 미리 촬영한 기준 snapshot과 live frame을 alpha blending해 물체를 같은 위치로 되돌리도록 돕는다. 저자들은 이 절차로 각 과제의 20개 초기 configuration을 추적해 DP와 LMP-$\pi$를 통제된 조건에서 비교한다.

LIBERO-100은 kitchen, living room, study 세 scene에 걸친 100개 과제로 구성되고, 90개 학습 과제와 10개 held-out 과제로 나뉜다. 관측은 scene·wrist camera의 $128\times128$ 이미지이며 행동은 7차원 delta end-effector pose다. LMP-$\pi$ 정책 비교는 LIBERO-90의 language-conditioned in-distribution multitask 성공률과 각 방법의 bottom-10을 본다. tokenizer 실험은 LIBERO-90 결합 action dataset으로 사전학습하고 LIBERO-10의 다섯 과제에서 downstream policy를 평가한다.

D3IL은 multimodal human demonstration을 강조한다. avoiding은 pyramid 형태 rod 사이의 여러 gap을 통과하는 2차원 $xy$ 경로, aligning은 hollow square를 밀거나 안쪽에서 당기는 3차원 $xyz$ 전략, stacking은 세 색 cube를 여러 순서로 쌓는 8차원 end-effector 행동을 쓴다. sorting-2·4·6은 색 block을 대응 bin으로 미는 순서가 다양하며 2차원 $xy$ action space를 사용한다.

RoboMimic에서는 ph dataset을 사용한다. lift·can·square는 scene와 wrist의 $84\times84$ 이미지, tool-hang은 $240\times240$ 이미지, bimanual transport는 scene 하나와 wrist camera 두 개의 $84\times84$ 이미지를 쓴다. single-arm action은 7차원 delta end-effector pose이고 transport는 14차원이다. tool-hang은 좁은 stand에 hanger를 끼우고 wrench를 거는 고정밀 과제이며, transport는 양팔 hand-over를 포함한 긴 연산 순서를 요구한다.

Table 2. 평가 환경과 논문에서의 기능
환경	형태	관측	행동	주요 평가	반복
DROID	실제 Franka	2 camera $180\times320$ + proprioception	7차원, 10 Hz	zero-shot·정밀·조합 일반화	과제당 20 초기 조건
LIBERO	simulation multitask	2 camera $128\times128$	7차원 delta pose	90-task interference·10-task tokenizer	3 seeds
D3IL	simulation single task	2 camera $96\times96$	과제별 2·3·8차원	multimodality	3 seeds
RoboMimic	simulation single·bimanual	$84\times84$ 또는 $240\times240$	7차원 또는 14차원	고정밀·긴 조작	3 seeds

이 네 환경은 서로 다른 결과를 한 점수로 합치지 않는다. DROID는 실제 generalization과 정밀도, LIBERO는 language-conditioned multitask의 하위 꼬리, D3IL은 행동 모드, RoboMimic은 정밀 조작을 담당한다. 논문의 주장이 생성 정책 성능과 적응적 계산을 함께 포함하므로, 성공률 표와 잠재 길이 진단이 각각 다른 데이터에서 수행되는 구성이다.

4.2 모델 아키텍처와 핵심 하이퍼파라미터

관측 $o$는 $n_c$ camera view에서 가져온 $h_o$개 frame stack이며 image encoder가 각 view를 $n_{\mathrm{dim}}$차원 token으로 바꾼다. 저차원 관측과 언어 지시가 있으면 별도 encoder를 거쳐 같은 차원 token으로 만들고 image token에 이어 붙인다. $h_a$개 행동 chunk의 각 행동은 2-layer MLP로 action token이 된다. posterior context는 observation과 action token의 결합이고 prior context에서는 action 자리를 learned mask token으로 바꾼다.

latent encoder는 vocabulary token에 EOS 하나를 더한 codebook을 학습한다. generation은 learned ROOT token에서 시작하고 EOS 또는 최대 길이 $H$에서 끝난다. action decoder는 $h_a$개의 learned query를 가진 bidirectional transformer이고, 출력 query는 2-layer MLP로 연속 행동이 된다. encoder와 decoder 모두 learned positional embedding을 사용한다. 훈련 시 짧은 latent는 고정 길이까지 padding된다.

Table 3. LMP-$\pi$, LMP-tok, downstream policy 모델 하이퍼파라미터
구분	latent·입출력	encoder	transformer	분산
LMP-$\pi$ 공통	$h_o=1$, $h_a=16$, $H=16$, register 1	과제군별	MLP ratio 4	길이별 지수 감쇠
multitask DROID	vocab 64, dim 768	SigLip from Pi-0.5, language SigLip 2	encoder 12, decoder 10, heads 12	0.2-0.02
multitask LIBERO	vocab 16, dim 768	SigLip from Pi-0.5, language SigLip 2	encoder 12, decoder 10, heads 12	0.1-0.01
single-task	vocab 16, dim 384	ResNet-18	encoder 8, decoder 6, heads 8	0.1-0.01
LMP-tok	$H=8$, vocab 64	관측 조건 제거	LMP parameterization	초기값 1.0, scalar learned
autoregressive policy	dim 1024	ResNet-18	depth 12, heads 8, MLP ratio 4	해당 없음

multitask와 single-task의 capacity는 의도적으로 다르다. DROID·LIBERO 정책은 768차원과 더 깊은 encoder·decoder를 사용하고, D3IL·RoboMimic 정책은 384차원 ResNet-18 구성을 사용한다. 논문이 DP와 비교할 때 multitask 정책은 모두 약 1B parameter의 language-conditioned model로 맞춘다. tokenizer 비교에서는 tokenizer만 바꾸고 downstream autoregressive transformer를 동일하게 유지한다.

Table 4. 학습 및 최적화 하이퍼파라미터
구분	sample·buffer·batch	free nats	KL / reconstruction 계수	공통
LMP 공통	update epoch 2	과제군별	과제군별	clip 0.01, prior mixture 0.1
multitask	5,000,000$\times$32 / 3,200$\times$32 / 64$\times$32	0.05	1.0 / 0.01	32 GPUs 표기
single-task	25,000,000$\times$4 / 25,000$\times$4 / 500$\times$4	0.05	1.0 / 0.1	4 GPUs 표기
LMP-tok	LMP loop	0.2	0.1 / 1.0	uniform latent prior
downstream policy	50,000 steps$\times$4 / batch 1,024$\times$4	해당 없음	focal loss $\gamma=1.0$	EOS 포함
optimizer	AdamW	learning rate $10^{-4}$	weight decay $10^{-6}$	betas [0.9, 0.999], epsilon $10^{-8}$

rollout buffer 크기는 posterior collapse와 직접 연관된 운영 변수다. 논문은 sampling 기반 RL 학습이 hyperparameter에 민감하고, buffer나 regularization이 충분하지 않으면 latent distribution이 collapse한다고 한계로 명시한다. 따라서 Table 4의 큰 rollout 수와 free-nats·uniform interpolation은 단순한 세부 설정보다 제안 방법을 안정적으로 성립시키는 조건에 가깝다.

4.3 비교 기준을 같은 계산 조건으로 읽기

정책 기준선 DP는 bidirectional transformer noise network와 cross-attention observation conditioning을 사용한다. 훈련은 100 diffusion step, 추론은 DDIM scheduler의 10 step이다. 모든 policy baseline은 observation history 1과 action chunk 16을 사용하고, LMP와 같은 gradient step 수로 학습한다. multitask에서는 Large Behavior Model과 유사한 diffusion transformer를 약 1B parameter language-conditioned policy로 구성한다.

비반복 latent 기준선 VAE Policy는 encoder 8층, decoder 6층 bidirectional transformer의 conditional Gaussian VAE다. mean과 log standard deviation을 예측하고, decoder는 mean과 scalar learned variance를 출력하며, KL fixed coefficient 대신 threshold 0.1의 free-nats를 쓴다. VQ-BeT는 layer당 codebook size 32인 2-layer residual VQ tokenizer와 10-layer autoregressive transformer policy를 사용하고, quantization error를 줄이는 residual policy도 포함한다.

tokenizer 비교의 VQ-VAE는 2-layer residual VQ, FAST는 DCT·integer quantization·flatten·BPE 절차와 BPE vocabulary 1024, OAT는 vocabulary 1000과 sequence length 8을 사용한다. OAT는 suffix token을 임의로 drop해 앞쪽 token이 전체 행동을 복원하도록 하는 coarse-to-fine inductive bias를 넣는다. LMP-tok를 포함한 가변 길이 방법의 downstream policy에는 EOS를 추가하고, 모두 같은 autoregressive transformer와 focal loss로 평가한다.

5. 주요 실험 결과: 실제 로봇·90개 과제·행동 tokenizer에서 확인한 성능

5.1 DROID 실제 로봇에서 zero-shot과 finetune 성능

DROID 표는 네 과제를 서로 다른 일반화 축으로 읽게 한다. zero-shot block-bowl과 marker-mug에서는 대규모 multitask training 뒤 새 평가 구성에 바로 적용한다. peg-hole은 작은 오차가 삽입 실패로 이어지는 precision, clean-table은 세 물체를 연속으로 bowl에 옮기는 compositional generalization을 본다. 각 숫자는 통제된 20개 초기 상태에서의 성공 비율이다.

Table 5. DROID 실제 과제 성공률
방법	block-bowl zero-shot	marker-mug zero-shot	peg-hole finetuned	clean-table 1/3	clean-table 2/3	clean-table 3/3
DP	0.40	0.25	0.30	0.80	0.55	0.25
LMP-$\pi$	0.65	0.55	0.70	0.95	0.95	0.55

LMP-$\pi$는 block-bowl에서 0.65 대 0.40, marker-mug에서 0.55 대 0.25로 DP보다 높다. finetuned peg-hole은 0.70 대 0.30으로 precision 차이가 크다. clean-table은 한 개 이상 0.95 대 0.80, 두 개 이상 0.95 대 0.55, 세 개 모두 0.55 대 0.25다. 특히 두 개 이상 정리 성공률 95%는 단일 pick-place가 성공한 뒤 다음 물체로 이어지는 조합 실행이 유지됐음을 보여 준다.

다만 각 과제의 평가가 20개 초기 상태이므로 표의 0.05는 한 episode에 해당한다. 논문은 이 실제 로봇 표에 simulation처럼 seed별 표준오차를 붙이지 않는다. 따라서 수치는 방향과 실패 개수 차이를 직접 읽는 편이 적절하다. 그 범위 안에서 LMP는 zero-shot 두 과제와 finetuned 두 과제의 모든 측정 열에서 DP보다 높은 결과를 낸다.

5.2 LIBERO-90에서 평균보다 더 크게 벌어진 하위 꼬리

LIBERO-90에서는 전체 평균과 각 방법 자체의 bottom-10 task 평균을 함께 보고한다. 대부분의 과제가 높은 성공률을 보이면 전체 평균은 어려운 몇 과제의 실패를 약하게 반영한다. bottom-10은 서로 다른 언어 지시와 scene을 한 모델에 넣었을 때 가장 취약한 과제군을 드러내므로 cross-task interference와 retrieval floor를 보는 지표다.

Table 6. LIBERO-90 language-conditioned multitask 성공률
방법	all tasks	bottom-10 tasks	조건
DP	0.909 $\pm$ 0.004	0.463 $\pm$ 0.011	관측-행동 diffusion
LMP-$\pi$	0.933 $\pm$ 0.003	0.645 $\pm$ 0.023	관측-행동 latent encoder
LMP-wam	0.928 $\pm$ 0.002	0.635 $\pm$ 0.005	미래 관측 latent encoder

전체 평균에서 LMP-$\pi$는 DP보다 0.024 높지만, bottom-10에서는 0.182 높다. 부록의 task별 분포도에서 두 방법 모두 다수 과제는 거의 완벽한 성공을 보이지만 LMP 곡선이 더 천천히 감소한다. 저자들은 이를 더 적은 task interference와 더 나은 retrieval의 신호로 해석한다. 평균의 작은 차이보다 취약 과제 floor의 상승이 multitask 결과의 핵심이다.

LMP-wam도 all tasks 0.928, bottom-10 0.635로 LMP-$\pi$의 0.933과 0.645에 가깝다. 미래 관측을 encoder 조건으로 써도 행동 입력 기반 formulation과 비슷한 성공률을 얻은 것이다. 다만 논문은 이 구성의 추가 분석을 제공하지 않고, world action model 탐색을 미래 과제로 둔다. 따라서 이 행은 동등성을 확정하기보다 변분 틀의 확장 가능성을 보여 주는 초기 결과다.

5.3 single-task에서 반복 잠재와 diffusion 비교

single-task 실험은 VQ-BeT와 Gaussian VAE를 비반복 latent 기준선으로, DP를 반복 생성 기준선으로 둔다. D3IL에서는 LMP-$\pi$가 평균 0.76으로 VQ-BeT 0.39보다 높고 DP 0.73과 비슷하다. VAE 평균은 원문 표에 0.57로 적혀 있지만 표시된 다섯 과제의 산술평균은 0.654라서 집계 불일치가 있다. RoboMimic에서는 LMP 0.83이 VQ-BeT 0.56, VAE 0.68보다 높으며 DP 0.85에 가깝다. 이 결과는 반복 latent의 이점과 diffusion 대비 경쟁력을 서로 분리해 읽게 한다.

Figure 6: D3IL-stacking과 RoboMimic square·tool-hang·transport에서의 test-time compute 배분. 원본: figs/app_vis.pdf.

Figure 6은 D3IL-stacking과 RoboMimic square·tool-hang·transport의 성공 궤적을 프레임별 평균 잠재 단계와 나란히 놓는다. 각 timestep의 막대는 64회 model query 평균이며, 과제 진행 중 trace 길이가 고정되지 않는다는 사실을 여러 환경에서 확인하게 한다. 이 그림은 성공률 우위를 직접 비교하기보다 grasp·release·hand-over처럼 행동 전환이 일어나는 구간에서 test-time compute가 어떻게 달라지는지 보여 주는 질적 근거다.

Table 7. D3IL·RoboMimic single-task 성공률, 세 seed
과제	VQ-BeT	VAE	DP	LMP-$\pi$
d3il-aligning	0.23 $\pm$ 0.03	0.51 $\pm$ 0.07	0.74 $\pm$ 0.04	0.71 $\pm$ 0.04
d3il-stacking	0.53 $\pm$ 0.03	0.71 $\pm$ 0.07	0.81 $\pm$ 0.01	0.86 $\pm$ 0.04
d3il-sorting-2	0.46 $\pm$ 0.02	0.67 $\pm$ 0.13	0.75 $\pm$ 0.01	0.80 $\pm$ 0.01
d3il-sorting-4	0.41 $\pm$ 0.01	0.68 $\pm$ 0.04	0.69 $\pm$ 0.05	0.68 $\pm$ 0.02
d3il-sorting-6	0.32 $\pm$ 0.04	0.70 $\pm$ 0.04	0.68 $\pm$ 0.03	0.75 $\pm$ 0.04
D3IL 평균	0.39	0.57 원문 표기 개별 5행 평균 0.654	0.73	0.76
robomimic-lift	0.96 $\pm$ 0.00	0.97 $\pm$ 0.01	1.00 $\pm$ 0.00	1.00 $\pm$ 0.00
robomimic-can	0.83 $\pm$ 0.04	0.78 $\pm$ 0.07	1.00 $\pm$ 0.00	1.00 $\pm$ 0.00
robomimic-square	0.58 $\pm$ 0.06	0.79 $\pm$ 0.08	0.92 $\pm$ 0.00	0.87 $\pm$ 0.02
robomimic-tool-hang	0.15 $\pm$ 0.04	0.29 $\pm$ 0.06	0.53 $\pm$ 0.07	0.51 $\pm$ 0.08
robomimic-transport	0.26 $\pm$ 0.05	0.58 $\pm$ 0.12	0.80 $\pm$ 0.10	0.75 $\pm$ 0.08
RoboMimic 평균	0.56	0.68	0.85	0.83

Table 7의 D3IL VAE 평균 0.57은 표시된 aligning·stacking·sorting-2·4·6 값의 산술평균 0.654와 맞지 않는다. 원문 TeX와 막대그림이 모두 0.57을 반복하지만 별도의 숨은 과제나 가중평균 정의는 제시하지 않는다. 이 리뷰는 원문 표기를 보존하되 불일치를 함께 표시하며, VAE와 LMP의 차이를 해석할 때는 개별 과제 행을 우선한다.

과제별로 보면 LMP가 항상 최고인 것은 아니다. d3il-aligning은 DP 0.74와 LMP 0.71, sorting-4는 0.69와 0.68로 비슷하다. RoboMimic square·tool-hang·transport에서는 DP가 각각 0.92·0.53·0.80, LMP가 0.87·0.51·0.75다. 반면 D3IL stacking·sorting-2·sorting-6에서는 LMP가 가장 높다. 논문의 타당한 요약은 비반복 latent 모델을 일관되게 앞서고 iterative DP와 경쟁한다는 수준이다.

5.4 LMP-tok가 downstream autoregressive policy를 바꾼 폭

tokenizer 실험은 정책 architecture 차이를 통제한다. RoboMimic에서는 lift, can, square, tool-hang의 결합 action dataset으로 tokenizer를 사전학습하고 같은 과제에서 평가한다. LIBERO에서는 LIBERO-90 결합 dataset으로 tokenizer를 학습한 뒤 LIBERO-10 중 soup-cheese, mug-mug, moka-moka, bowl-drawer, book-caddy에서 평가한다. 각 tokenizer가 만든 token을 동일한 downstream autoregressive transformer가 예측한다.

Figure 7: VQ-VAE, FAST, OAT, LMP-tok의 동일 downstream policy 비교. 원본: figs/results_tokenizer.pdf.

Figure 7에서 RoboMimic 평균은 VQ-VAE 0.29, FAST 0.49, OAT 0.47, LMP-tok 0.69이고 LIBERO 평균은 각각 0.14, 0.22, 0.31, 0.75다. 같은 downstream transformer를 사용했으므로 차이는 주로 행동 표현의 학습 방식에서 나온다. LMP-tok는 가변 길이 sequence를 variational objective로 학습해 reconstruction과 latent diversity를 함께 제약한다.

Table 8. Action tokenizer downstream 성공률, 세 seed
과제	VQ-VAE	FAST	OAT	LMP-tok
robomimic-lift	0.82 $\pm$ 0.06	0.98 $\pm$ 0.02	0.97 $\pm$ 0.02	1.00 $\pm$ 0.00
robomimic-can	0.32 $\pm$ 0.08	0.57 $\pm$ 0.12	0.57 $\pm$ 0.08	0.93 $\pm$ 0.02
robomimic-square	0.02 $\pm$ 0.02	0.42 $\pm$ 0.10	0.32 $\pm$ 0.08	0.67 $\pm$ 0.10
robomimic-tool-hang	0.00 $\pm$ 0.00	0.00 $\pm$ 0.00	0.00 $\pm$ 0.00	0.17 $\pm$ 0.02
RoboMimic 평균	0.29	0.49	0.47	0.69
libero-soup-cheese	0.18 $\pm$ 0.05	0.22 $\pm$ 0.13	0.15 $\pm$ 0.04	0.92 $\pm$ 0.05
libero-mug-mug	0.28 $\pm$ 0.02	0.10 $\pm$ 0.04	0.23 $\pm$ 0.02	0.88 $\pm$ 0.06
libero-moka-moka	0.00 $\pm$ 0.00	0.02 $\pm$ 0.02	0.17 $\pm$ 0.08	0.63 $\pm$ 0.08
libero-bowl-drawer	0.02 $\pm$ 0.02	0.37 $\pm$ 0.09	0.60 $\pm$ 0.07	0.75 $\pm$ 0.08
libero-book-caddy	0.23 $\pm$ 0.06	0.40 $\pm$ 0.07	0.42 $\pm$ 0.10	0.57 $\pm$ 0.06
LIBERO 평균	0.14	0.22	0.31	0.75

고정밀 tool-hang에서 VQ-VAE·FAST·OAT는 모두 0.00이고 LMP-tok만 0.17을 기록한다. 논문은 VQ-VAE의 quantization이 정밀 조작에 충분하지 않고, FAST의 exact DCT reconstruction 요구가 downstream policy에 큰 부담을 주며, OAT는 reconstruction만 사용해 variational objective가 주는 latent diversity 제약이 없다는 해석을 제시한다. 이 원인 설명은 실험적 가설로 제시되며, 표에서 확실히 확인되는 사실은 모든 개별 과제에서 LMP-tok 수치가 가장 높다는 점이다.

6. 추가 분석 및 Ablation Study: 길이·압축·불확실성의 연결을 검증하다

6.1 variance schedule이 성능과 latent 활용을 바꾸는 방식

compression 강도는 decoder variance의 시작값과 끝값으로 제어된다. LIBERO ablation에서는 $\sigma_{\max}=0.1$을 고정하고 $\sigma_{\min}$을 0.01, 0.03, 0.05로 바꾼다. 더 낮은 끝 분산은 길이에 따라 Gaussian이 더 빠르게 날카로워진다는 뜻이므로 더 강한 압축 압력이다. 결과는 끝 분산이 낮을수록 전체와 bottom-10 성공률이 함께 높아진다.

Table 9. LIBERO-90 variance schedule ablation, $\sigma_{\max}=0.1$ 고정
$\sigma_{\min}$	압축 강도	all tasks	bottom-10 tasks
0.01	가장 강함	0.933 $\pm$ 0.003	0.645 $\pm$ 0.023
0.03	중간	0.913 $\pm$ 0.001	0.567 $\pm$ 0.006
0.05	가장 약함	0.870 $\pm$ 0.012	0.450 $\pm$ 0.045

$\sigma_{\min}$이 0.05에서 0.01로 내려가면 all-task는 0.870에서 0.933, bottom-10은 0.450에서 0.645로 오른다. 이는 짧은 latent를 선호하는 규제가 단순한 효율화 장치에 머물지 않고 generalization에 기여한다는 근거다. 그러나 DROID 분석은 압축을 무한히 강하게 하는 것이 최선이라는 결론을 막는다. reconstruction과 latent 활용 사이에 균형점이 있기 때문이다.

Figure 8: Compression 강도가 reconstruction과 latent utilization에 주는 효과. 원본: figs/analysis_compression.pdf.

Figure 8은 0.1-0.08, 0.1-0.01, 0.2-0.02 schedule을 비교한다. 0.1-0.08처럼 감쇠가 약하면 latent를 잘라내도 posterior error와 posterior gain이 평평해 decoder가 latent를 거의 쓰지 않는다. 0.1-0.01은 강한 압축으로 전체 reconstruction error가 커지고, 저자들이 DROID에 채택한 0.2-0.02는 오차와 latent 활용 사이의 균형을 보인다.

6.2 잠재 단계와 그리퍼 동작의 정성적 관계

저자들은 rollout의 각 관측에서 잠재 trace를 64번 생성하고 평균 길이를 그린다. 한 번의 sample은 categorical 선택에 따라 흔들릴 수 있으므로 평균을 써서 상태별 경향을 본다. clean-table에서는 grasp와 release에 잠재 단계가 낮고, RoboMimic tool-hang에서는 grasping·releasing, transport에서는 hand-over 구간에 같은 패턴이 나타난다. 부록의 D3IL stacking, RoboMimic square와 실제 DROID 네 과제에서도 유사한 궤적을 제시한다.

Figure 9: 그리퍼와 hand-over 구간에서 낮아지는 잠재 trace 길이. 원본: figs/vis_reasoning_steps.pdf.

Figure 9는 tool-hang의 grasp·release와 transport의 hand-over 시점을 영상 프레임과 잠재 길이 곡선으로 맞춘다. 매 timestep 값은 64개 model query의 평균이다. 두 과제 모두 그리퍼 명령이 개입하는 구간에서 trace가 짧아진다. 논문은 시연자마다 이진 gripper command의 정확한 시점이 달라 관측이 같아도 행동 분산이 남고, 추가 latent가 그 변동을 줄이지 못하기 때문이라고 설명한다.

D3IL-stacking의 별도 scan 실험은 이 관계를 더 통제된 장면에서 확인한다. 열린 gripper는 고정하고 block을 그 아래로 밀어 지나가게 하면서 매 관측의 평균 잠재 단계를 조회한다. block이 gripper 바로 아래를 통과하는 순간 단계 수가 최저점에 도달한다. 실제 grasp 명령을 수행하는 rollout만 본 결과가 아니라, 잠재적 gripper movement가 가까운 시각 상태에서도 길이 변화가 생긴다는 정성적 증거다.

모든 과제에서 큰 변동이 나타난 것은 아니다. 부록은 RoboMimic lift와 can처럼 단순한 과제, 그리고 end-effector가 peg인 D3IL aligning과 sorting에서는 latent step variation이 덜 관찰됐다고 명시한다. 이 제한은 적응적 계산이 어떤 동작에서도 뚜렷한 universal pattern이라는 해석을 막는다. 관측과 action uncertainty 구조가 그리퍼 타이밍처럼 구분되는 과제에서 가장 선명하게 보인다.

6.3 KNN 행동 분산과 잠재 길이의 음의 상관

정성 그림만으로는 짧은 trace가 정말 action uncertainty와 연결되는지 알기 어렵다. 저자들은 LIBERO의 “오른쪽 bowl을 왼쪽 bowl 위에 쌓고 둘을 drawer에 넣기” 과제에서 20 episode를 rollout한다. 각 상태마다 task-specific dataset에서 가장 가까운 $k=32$개 상태를 찾고, 그 이웃에서 수행된 action variance를 계산한다. 이 값은 현재 상태 주변의 시연 행동 불확실성을 비모수적으로 추정한다.

Figure 10: KNN action uncertainty와 trace 길이의 음의 상관. 원본: figs/analysis_knn.pdf.

Figure 10의 산점도는 $k=32$ 이웃 행동 분산이 커질수록 평균 잠재 단계가 감소하며 Pearson 상관이 $r=-0.518$임을 보여 준다. 저자들은 분산의 대부분이 시연마다 시점이 달라지는 이진 gripper action으로 설명된다고 보고한다. 따라서 LMP가 더 불확실한 상태에 더 오래 머무는 구조는 아니다. 남은 오차를 계산으로 줄일 수 없을 때 짧게 끝내는 compression objective의 예측과 맞는다. 다만 이 상관은 한 LIBERO 과제의 20 episode에서 측정됐으므로 보편적 난이도 지표로 일반화할 수는 없다.

이 결과에서 적응적 계산의 방향은 특히 중요하다. 일반적인 직관은 어려운 상태에서 더 많은 계산을 쓰는 것이지만, LMP의 길이는 단순 난이도보다 줄일 수 있는 불확실성에 반응한다. 관측에서 정밀한 continuous trajectory를 결정할 수 있는 구간에는 더 긴 trace가 유용할 수 있다. 같은 관측 근처에서 전문가의 gripper 타이밍이 들쭉날쭉하면 더 계산해도 특정 label을 맞힐 수 없어 일찍 멈춘다.

6.4 latent를 줄였을 때 나타난 mode-seeking

D3IL-avoiding에서 테스트 시 최대 잠재 단계를 8, 4, 0으로 수동 truncation하면 rollout의 다양성이 줄고, 0에서는 환경 stochasticity를 제외하면 사실상 deterministic하게 된다. 흥미롭게도 짧은 trace가 평균 경로를 선택해 장애물과 충돌하는 전형적 mode averaging으로 이어지지 않는다. 정책은 여러 유효 gap 가운데 하나를 선택하는 mode-seeking 행동을 보인다. 저자들은 supervised learning 대신 latent RL로 학습한 영향일 수 있다고 가설을 제시한다.

D3IL-stacking 성공률도 최대 latent step을 줄일 때 하락 폭이 작다. partial trace도 decoder에 넣을 수 있고, 모드 수가 줄어도 선택된 모드가 유효한 행동이면 deterministic dynamics에서 성공률은 유지될 수 있다. 따라서 성공률 하나만으로 latent 길이가 쓸모없다고 결론 내릴 수 없다. 잠재 단계는 행동 분포의 multimodality를 바꾸지만, 단일 episode success는 그 분포 축소를 약하게 반영할 수 있다.

이 분석은 LMP-tok의 가변 길이 성질과도 연결된다. 임의 prefix가 행동으로 decode되므로 truncation 자체가 invalid sequence를 만들지 않는다. 반면 FAST처럼 DCT matrix를 정확히 재구성해야 하는 tokenizer는 partial token sequence가 행동 representation의 문법을 충족하지 못할 수 있다. LMP의 partial decoding 가능성은 계산 예산을 줄이는 ablation을 직접 수행할 수 있게 한다.

6.5 훈련 중 자발적으로 늘어나는 길이와 latent capacity

훈련 초기 posterior는 무작위 초기화로 거의 uniform distribution이어서 평균 길이가 높다. 초반에는 reconstruction objective가 지배하면서 즉시 log-likelihood를 높이기 위해 짧은 trace로 collapse한다. 훈련이 계속되면 모델이 latent token을 action distribution 복원에 활용하는 법을 배우고 평균 길이가 다시 점진적으로 증가한다. 논문은 이 곡선이 DeepSeek-R1에서 training이 진행되며 reasoning length가 늘어나는 모습과 닮았다고 언급한다.

Figure 11: 잠재 길이의 학습 동역학과 compression 강도 비교. 원본: figs/training_latent_length.pdf.

Figure 11은 초기 급락 뒤 posterior 평균 길이가 학습 step과 함께 다시 늘어나는 동역학을 보인다. 0.1-0.01, 0.1-0.03, 0.1-0.05 schedule 곡선을 함께 그려 variance decay가 더 공격적일수록 평균 trace가 짧아짐을 확인한다. 길이는 고정 curriculum으로 늘린 값이 아니다. reconstruction·KL·분산 감쇠가 균형을 이루는 과정에서 모델이 latent를 쓰기 시작하며 자발적으로 증가한다.

latent capacity ablation은 vocabulary width와 sequence depth를 줄여 D3IL-stacking 성능을 잰다. vocabulary 2에서는 길이 4·8·16이 각각 0.60·0.71·0.72이고, vocabulary 4에서는 0.78·0.76·0.80이다. vocabulary 16, 길이 16의 본 설정은 0.86이다. 저자들은 작은 vocabulary와 짧은 sequence에서 representation capacity가 부족해 성능이 낮아지며, 이 과제에서는 vocabulary 4·길이 4 정도부터 상당 부분 포화한다고 해석한다.

Table 10. D3IL-stacking latent dimension ablation
vocabulary size	sequence length	성공률	해석 범위
2	4	0.60 $\pm$ 0.07	width·depth 모두 작음
2	8	0.71 $\pm$ 0.01	depth 증가
2	16	0.72 $\pm$ 0.02	좁은 vocabulary에서 포화
4	4	0.78 $\pm$ 0.05	작은 latent로 상당한 성능
4	8	0.76 $\pm$ 0.02	단조 증가하지 않음
4	16	0.80 $\pm$ 0.01	depth 여유
16	16	0.86 $\pm$ 0.04	본 실험 설정

표는 sequence length만 늘리면 항상 성능이 오른다는 단순 관계를 보이지 않는다. vocabulary 4에서 길이 4의 0.78이 길이 8의 0.76보다 높고 오차 범위도 겹친다. 확실한 차이는 가장 작은 2-by-4 설정의 0.60과 본 설정 16-by-16의 0.86이다. 저자들이 큰 latent를 선택한 목적은 매 과제의 최적 최소 크기를 찾기보다 capacity가 병목이 되지 않게 하는 데 있다.

6.6 LMP-tok의 token 길이 배분은 성능 필수 조건인가

부록은 LMP-tok에도 1.0-0.1로 감소하는 variance를 넣어 length penalty를 만들고 downstream token allocation을 시각화한다. 이 tokenizer를 쓰는 policy는 LMP-$\pi$처럼 gripper movement에서 더 적은 action token을 생성한다. scalar learned variance로 length penalty를 없애면 token 수 배분은 더 임의적으로 변한다. 즉 compression은 tokenizer에서도 해석 가능한 길이 패턴을 유도한다.

그러나 논문은 LMP-tok에서 length penalty가 policy performance를 높이는 효과를 찾지 못했다. 그래서 본 tokenizer 실험은 더 단순한 scalar variance를 사용한다. 이 차이는 LMP-$\pi$와 LMP-tok를 같은 결론으로 묶지 않게 한다. 정책에서는 compression이 LIBERO 성공률과 latent 활용에 중요했지만, tokenizer에서는 해석 가능한 token allocation을 만들면서도 downstream 성공률 이득은 확인되지 않았다.

7. 한계점 및 향후 연구 방향: 안정성·지속 기억·연속 잠재의 남은 과제

7.1 sampling 기반 RL의 민감성과 collapse

논문이 직접 밝힌 가장 큰 한계는 sampling 기반 RL 최적화의 hyperparameter 민감성이다. posterior trajectory를 모아 stale policy와 비교하고, prior·posterior·decoder를 함께 갱신하는 구조는 단순한 supervised regression보다 관리 변수가 많다. rollout buffer가 충분히 크지 않거나 regularization이 부족하면 latent distribution이 collapse한다. uniform-interpolated prior, per-step free-nats, length-aware clipping이 제안되지만 완전한 안정성 보장은 아니다.

실험 규모도 이 민감성을 보여 준다. multitask는 32 GPU 축의 sample·buffer·batch 설정을 사용하고 single-task도 큰 rollout buffer와 2 update epoch를 쓴다. 논문은 모든 baseline을 같은 gradient step으로 맞췄지만, LMP의 sampling 비용과 안정화 항이 만드는 wall-clock 또는 compute 비교표는 제공하지 않는다. 따라서 성공률과 테스트 시간 길이의 적응성은 확인되지만, 훈련 효율은 별도 평가 대상으로 남는다.

저자들은 안정적이고 scalable한 최적화 탐색을 미래 연구로 둔다. 후속 연구에서는 buffer size, free-nats ratio, mixture coefficient, clip range를 넓게 sweep하고 collapse 빈도를 seed별로 보고할 필요가 있다. 이 문장은 논문에 제시된 limitation을 실험 설계로 풀어 쓴 것이며, 현재 결과가 잘 작동한 구성의 성능을 보여 준다는 범위를 분명히 한다.

7.2 추론 길이가 곧 일반 난이도는 아니다

잠재 단계가 적응적으로 변한다고 해서 길이를 일반적인 “생각의 깊이” 점수로 읽으면 곤란하다. KNN 분석에서 높은 action variance는 더 짧은 trace와 연결되고, 주요 원인은 binarized gripper timing이다. 모델은 관측만으로 줄이기 어려운 불확실성이 크면 계산을 줄인다. 따라서 길이는 과제가 어렵다는 절대 지표보다 현재 행동을 더 정밀하게 예측해 likelihood를 높일 여지를 반영한다.

또 단순한 lift·can이나 peg end-effector 과제에서는 step variation이 작았고, D3IL-stacking에서 latent를 줄여도 success drop은 작았다. 이 결과들은 길이 해석에 필요한 경계를 제공한다. success rate, multimodality, reconstruction error, action uncertainty가 서로 다른 축이므로 하나의 지표로 적응적 reasoning 전체를 검증할 수 없다. 논문은 정성 궤적과 $r=-0.518$ 상관을 제공하지만 인과적 조작의 범위는 제한적이다.

7.3 논문이 제안한 두 가지 확장

첫 번째 미래 방향은 이산 categorical 자기회귀 분포를 연속 Gaussian chain으로 바꾸는 것이다. 저자들은 이 구성이 diffusion process와 닮을 수 있다고 적는다. 현재 LMP는 token vocabulary와 EOS로 경로의 폭과 깊이를 정하지만, 연속 chain은 quantization 없이 잠재 상태를 이동하게 할 수 있다. 그 경우 종료와 KL 분해, compression schedule을 어떻게 정의할지는 새 최적화 문제가 된다.

두 번째 방향은 episode 매 시점마다 잠재를 처음부터 다시 생성하는 현재 방식을 바꾸어 잠재를 episode 전체에 지속시키는 것이다. 지금의 prior는 각 관측에서 새 trace를 rollout하고 decoder가 해당 action chunk를 만든다. persistent latent는 이전 조작 단계에서 회수한 정보와 경로를 다음 시점으로 넘길 수 있다. 논문은 가능성을 제시할 뿐 구현이나 실험을 포함하지 않으므로, 장기 기억 성능을 현재 LMP의 입증된 특성으로 보아서는 안 된다.

LMP-wam 역시 확장 단서다. 미래 관측으로 posterior를 조건화한 formulation이 LIBERO-90에서 LMP-$\pi$와 가까운 수치를 냈지만, 어떤 latent가 dynamics와 action mode를 분리해 담는지 분석하지 않았다. 저자들이 world action model 탐색을 미래로 남긴 이유다. 향후에는 미래 관측 예측, 행동 reconstruction, policy success 사이의 trade-off를 분리해야 이 구성의 의미가 명확해진다.

8. 내 해석: 훈련 안정성 비용과 RiM 대비 계산 회계

내가 운영자로서 가장 크게 보는 약점은 테스트 시간 계산의 적응성보다 훈련 안정성의 비용이 덜 계량됐다는 점이다. LMP는 EOS 길이, KNN 행동 분산, 그리퍼 구간을 연결해 실행 중 계산 배분을 설득력 있게 보여 주지만, 저자들도 rollout buffer나 regularization이 부족하면 latent가 collapse한다고 명시한다. 32 GPU multitask 설정의 sample·buffer 규모까지 고려하면, 실제 운영 판단에는 성공률과 잠재 길이 외에도 학습 wall-clock, collapse seed 비율, surrogate update 재시도 비용이 필요하다. 기존 RiM 리뷰 흐름에서 fixed memory block이 한 번의 forward pass로 잠재 작업공간을 만들었다면, LMP는 로봇 행동마다 EOS까지 순차 경로를 걷고 필요한 길이를 학습한다. 두 방식의 계산 배치가 다르므로 latent reasoning이라는 이름만으로 효율을 묶어 비교하기 어렵다.

내가 제안할 후속 실험은 RiM식 고정 block과 LMP식 EOS 경로를 동일 제어 backbone에서 비교하는 compute-accounted benchmark 하나다. 같은 observation encoder와 action decoder, 같은 데이터와 parameter budget을 두고, 고정 길이 latent block·가변 길이 LMP·고정 반복 diffusion을 학습한다. 성공률, bottom-10, gripper 구간 길이뿐 아니라 training GPU-hour, collapse 빈도, action 당 encoder 호출 수를 함께 기록한다. 이 비교는 RiM의 병렬 고정 작업공간 흐름과 LMP의 자기회귀 적응 경로를 로봇 제어 안에서 직접 잇고, 어떤 불확실성 구간에서 고정 block이 충분하며 언제 EOS 기반 추가 단계가 필요한지 검증할 수 있다.

9. 결론: 행동 likelihood가 조직한 잠재 경로의 의미

Latent Memory Palace의 가장 중요한 기여는 로봇 reasoning을 자연어 trace의 축소판으로 설계하지 않고 가변 길이 잠재 변수 모델로 명확히 정의한 데 있다. posterior는 관측과 전문가 행동에서 latent 경로를 추론하고, prior는 관측만으로 그 경로를 예측하며, decoder는 전체 경로를 action chunk로 바꾼다. EOS는 경로 길이를 입력별로 바꾸고, variance decay는 더 긴 경로가 정밀한 reconstruction을 제공할 때만 이득이 되게 한다.

최적화 측면에서는 이산 variable-horizon sampling을 잠재 RL episode로 해석한 구성이 핵심이다. sequence KL을 생존 prefix의 단계별 KL로 분해하고, stale posterior rollout buffer와 length-aware PPO clipping을 사용한다. uniform-interpolated prior와 free-nats는 joint prior-posterior 학습의 collapse를 완화한다. RL은 실제 로봇에서 reward를 수집하는 방식이 아니라 expert pair 위에서 latent inference를 최적화하는 도구라는 구분도 중요하다.

성능 근거는 여러 축에서 일관된다. DROID에서 LMP-$\pi$는 DP보다 네 과제 모든 측정 열에서 높고, LIBERO-90은 전체 0.933과 bottom-10 0.645로 DP의 0.909와 0.463을 앞선다. single-task에서는 비반복 VQ-BeT·VAE보다 높은 평균을 내고 DP와 경쟁한다. LMP-tok는 동일 downstream policy 아래 RoboMimic 평균 0.69, LIBERO 평균 0.75로 다른 tokenizer를 큰 폭으로 앞선다.

분석은 “길수록 좋다”는 단순 결론을 제시하지 않는다. 더 강한 compression은 LIBERO 성능을 높였지만 과도한 schedule은 reconstruction error를 키웠다. 그리퍼 타이밍처럼 시연 간 irreducible uncertainty가 큰 구간에서는 trace가 짧아지고, KNN action variance와 평균 길이는 $r=-0.518$의 음의 상관을 보였다. latent truncation은 multimodality를 줄이면서 mode-seeking을 만들었고, deterministic 환경 성공률은 조금만 감소했다.

따라서 LMP의 reasoning은 사람이 읽을 논리 단계보다 제어 분포의 정보를 필요한 만큼 회수하는 과정으로 이해하는 편이 정확하다. 기억의 궁전 비유에서 각 장소의 의미는 이름 붙은 subtask가 아니라 action likelihood와 KL이 학습한 discrete code다. 이 방식은 해석 가능한 길이 패턴을 제공하지만 각 토큰의 의미를 직접 설명하지는 않는다. 논문이 입증한 것은 잠재 경로의 길이와 제어 불확실성 사이의 구조적 관계다.

남은 핵심 과제는 최적화 안정성과 확장성이다. 저자들은 continuous Gaussian chain과 episode-persistent latent를 미래 방향으로 제시하고, 현재 sampling RL이 hyperparameter에 민감하다고 인정한다. 그 한계를 포함해 보면 이 논문은 모든 로봇 reasoning을 해결한 종착점보다, autoregressive variational inference를 제어의 계산 예산으로 바꾸는 구체적 출발점에 가깝다.

10. 요약 정리: LMP가 제어 추론에 남긴 핵심 근거

• LMP는 관측·행동 posterior와 관측-only prior 사이의 ELBO를 가변 길이 이산 잠재 시퀀스에 적용하며, EOS로 행동별 계산 길이를 정한다.
• Compression은 $\sigma(T)=\gamma^T\sigma_0$인 decoder variance schedule로 구현되고, 줄일 수 없는 action uncertainty가 클 때 추가 latent step의 이득을 낮춘다.
• 잠재 공간 RL은 물리 환경 reward를 쓰지 않고 expert $(o,a)$ 위 posterior trajectory를 최적화하며, sequence KL을 살아 있는 prefix의 단계별 항으로 분해한다.
• LMP-$\pi$는 DROID에서 DP보다 block-bowl 0.65 대 0.40, marker-mug 0.55 대 0.25, peg-hole 0.70 대 0.30의 높은 성공률을 기록했다.
• LIBERO-90에서 LMP-$\pi$는 전체 0.933 $\pm$ 0.003, bottom-10 0.645 $\pm$ 0.023으로 DP의 0.909와 0.463보다 높은 floor를 보였다.
• LMP-tok는 동일 downstream autoregressive policy 조건에서 RoboMimic 평균 0.69, LIBERO 평균 0.75를 기록하고 tool-hang에서 유일하게 0.17의 비영점 성능을 냈다.
• 64회 query 평균의 정성 궤적과 $k=32$ KNN 분석은 그리퍼 행동 분산이 큰 구간에서 trace가 짧아지며 action variance와 길이의 상관이 $r=-0.518$임을 보여 줬다.
• Variance ablation, latent capacity, truncation 실험은 압축이 generalization에 기여하고 partial trace가 mode-seeking 행동을 유지하지만 길이와 성공률의 관계가 단조롭지 않음을 확인했다.
• 주요 한계는 sampling 기반 RL의 hyperparameter 민감성과 latent collapse이며, 논문은 continuous Gaussian chain과 episode-persistent latent를 후속 방향으로 제시한다.