PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers
저자: Yujie Pang, Zudong Li · 소속: Southern University of Science and Technology, Department of Mechanical and Energy Engineering · 공개 시점: 2026년 7월
1. 서론: 행동 복제의 유능한 시작을 접촉 작업의 신뢰 가능한 완수로 잇다
정밀 접촉에서 작은 오차가 큰 실패로 자라는 이유
산업용 정밀 접촉 조작에서는 카메라 보정, 손-눈 보정, 물체 위치 추정에서 생긴 작은 오차가 제어 법칙을 거치며 누적된다. 자유 공간에서 수 밀리미터의 편차는 사소해 보일 수 있지만, 탐침이 고무와 금속의 좁은 경계를 따라가야 하는 순간에는 목표 영역 누락이나 과도한 접촉력으로 이어진다. PAC-ACT가 겨냥하는 핵심 문제는 이미 시연으로 기본 궤적을 배운 로봇이 위치 교란을 만났을 때도 임무를 끝까지 완수하고, 동시에 접촉력과 실행 시간을 줄이도록 정책을 다시 다듬는 일이다.
전통적인 모델 기반 파이프라인은 기하 모델과 자세 추정이 정확하다는 전제 아래 높은 정밀도를 낼 수 있다. 그러나 보정 오차와 국소화 오차는 비주얼 서보 제어를 통해 전파되고, 접촉 이후에는 환경 반력까지 결합된다. 반면 종단 간 시각운동 정책은 RGB 영상과 관절 상태에서 동작을 직접 예측해 명시적 기하 설계 부담을 낮춘다. 그중 Action Chunking Transformer, ACT는 한 스텝씩 독립적으로 명령하지 않고 미래 동작 묶음을 한 번에 생성해 시간적 연속성을 학습한다.
행동 청크는 단일 행동의 순간 오차를 완화하고 궤적 구간 전체의 구조를 표현한다. 하지만 학습 데이터가 고정된 행동 복제에서는 테스트 중 정책이 만든 상태가 시연 분포를 벗어날수록 다음 행동의 근거가 약해진다. 긴 호라이즌에서는 한 번의 미세한 위치 편차가 다음 관측을 바꾸고, 바뀐 관측이 더 큰 행동 편차를 낳는 공변량 이동의 연쇄가 나타난다. 접촉 작업에서는 그 연쇄가 성공률 저하와 힘 스파이크라는 서로 다른 실패 양상으로 드러난다.
왜 더 많은 시연만으로는 충분하지 않은가
논문의 데이터 스케일링 결과는 행동 복제가 기본 기술을 배우는 데 강하지만 데이터 증가의 한계효용이 빠르게 줄어든다는 점을 보여 준다. 800개 시연에서 ACT의 성공률은 Diamond 69%, Cross 37%, Contour 60%다. Contour 시연을 1,600개로 두 배 늘려도 66%에 머물러 6%포인트만 상승한다. 특히 Cross는 같은 중앙 영역을 여러 차례 지나면서 서로 다른 다음 행동을 요구하므로 관측-행동 모호성이 크고, 800개 에피소드에서도 37%라는 병목이 남는다.
시연 수를 늘리는 전략은 전문가가 이미 수행한 분포의 밀도를 높이는 데는 유효하다. 그러나 정책 자신의 실수 이후에 도달하는 상태, 접촉 과정에서 힘이 갑자기 커지는 상태, 초기 물체 위치가 달라져 궤적을 회복해야 하는 상태를 자동으로 포함하지는 못한다. 환경 보상으로 실제 실행 결과를 평가하는 강화학습 후학습은 이 빈틈을 메운다. 행동 복제가 행동 사전을 제공하고 강화학습이 과업별 목적을 최적화한다는 역할 분담이 PAC-ACT의 출발점이다.
처음부터 강화학습으로 고차원 시각 정책을 훈련하면 탐색 비용과 불안정성이 매우 커진다. 산업 접촉 작업에서는 무작위 탐색 자체가 장비와 부품에 부담을 줄 수 있다. PAC-ACT는 중간 규모의 전문가 시연으로 학습한 ACT를 초기 정책으로 삼아, 이미 형성된 접촉 궤적 주변에서 탐색한다. 이는 온라인 상호작용을 없애기보다 유용한 행동 다양체에서 출발해 탐색 부담을 줄이는 해법이다.
논문이 제안하는 세 가지 정렬
첫째, 표준 강화학습의 스텝 단위 의사결정과 ACT의 청크 단위 생성 사이를 맞추기 위해 MDP를 청크 수준으로 재정의한다. 둘째, 사전학습 ACT에서 Actor와 Critic을 이식하되 Actor에서는 CVAE 잠재 모듈을 제거하고, Critic에서는 행동 디코더를 제거한다. 셋째, 인접 PPO 정책 사이의 경험적 KL 패널티와 고정된 ACT 기준 정책에 대한 행동 편차 패널티를 함께 사용한다. 이 세 요소는 각각 시간 단위, 네트워크 역할, 정책 이동 범위를 정렬한다.
| 병목 | 원인 | PAC-ACT의 대응 | 기대 효과 |
|---|---|---|---|
| 시간 구조 불일치 | 청크 생성과 스텝별 PPO 평가 | 청크 수준 MDP와 GAE | 궤적 구간 단위 신용 할당 |
| 고차원 탐색 | $c\times d_a$ 행동을 동시 최적화 | 사전학습 ACT 행동 사전 | 초기 탐색 범위 축소 |
| 정책 붕괴 | 보상만 좇는 분포 이탈 | $\beta_1$ KL 및 $\beta_2$ 행동 편차 | 구조화된 궤적 보존 |
| 배포 비용 | 생성 모델의 반복 추론 | 단일 Actor 순전파 | 낮은 지연과 메모리 |
결과의 중심은 Contour 성공률이 ACT의 60%에서 PAC-ACT의 100%로 올라가고, 평균 완료 스텝이 485.4에서 170.6으로 줄었다는 사실이다. Square Assembly도 51.2%에서 98.2%로 개선된다. 힘 평가에서는 ACT의 최대 피크 8452.5N이 PAC-ACT에서 120.9N으로 줄고 60N 초과 측정값 비율은 4.6%에서 0.1%로 감소한다. 다만 이 수치는 MuJoCo 시뮬레이션과 정해진 평가 프로토콜에서 얻은 경험적 결과이며 물리적 안전을 보증하는 정리로 읽어서는 안 된다.
2. 배경 및 관련 연구: 행동 청크와 강화학습이 서로 다른 시간척도를 만나는 지점
ACT와 시간적 추상화
ACT는 CVAE와 Transformer를 결합해 고정 길이 미래 행동열을 공동 예측한다. 논문의 백본은 ResNet-18 시각 인코더, 4층·256차원 Transformer 인코더, 행동 디코더로 구성되며 한 번에 $K=100$개의 행동 평균을 만든다. 원래 사전학습 정책은 temporal ensembling 아래 처음 $c_0=10$스텝을 실행한 뒤 다시 계획한다. 행동 청크의 실질적 장점은 개별 제어 명령보다 궤적 구간의 상관관계와 부드러움을 직접 표현한다는 데 있다.
ACT의 temporal ensembling은 길이 100의 예측을 전부 고정 실행하는 방식과 구별된다. 연속 시점에서 만든 청크들은 같은 미래 제어 시점을 서로 다른 예측 위치로 중첩해 포함하며, 원래 ACT 실행기는 이 겹치는 제안을 시간 가중 평균해 한 명령으로 합친다. 오래된 청크와 최신 청크를 함께 쓰면 순간 영상 잡음에 대한 민감도를 낮추면서 매 관측마다 계획을 교정할 수 있다. 이 논문의 $c_0=10$은 사전학습 ACT에서 temporal ensembling과 결합된 실행 기준이고, $K=100$은 디코더가 제공하는 예측 지평이다. 두 수를 동일한 폐루프 갱신 주기로 읽으면 ACT가 실제보다 훨씬 긴 개방루프 제어를 한다는 잘못된 결론에 이른다.
청크 내부의 $a_t,\ldots,a_{t+K-1}$는 하나의 조건부 궤적 제안이다. Transformer 디코더는 관측 특징을 바탕으로 접근 방향, 접촉 진입, 경계 추종, 이탈을 연속된 출력 위치에 배치하며 각 평균 행동은 앞뒤 위치의 맥락을 공유한다. temporal ensemble은 여러 시점의 궤적 제안을 실행 시점에서 결합하고, action chunk는 한 시점의 미래 구조를 표현한다. 전자는 실행기의 중첩·평균 규칙, 후자는 정책 출력의 시간 구조이므로 개념 층위가 다르다. PAC-ACT는 이 사전 구조를 초기화로 보존하면서 RL 의사결정 단위를 실제 실행되는 앞 $c=8$개 동작에 맞춘다.
Diffusion Policy는 CVAE 대신 확산 과정을 사용해 복잡하고 다봉적인 행동 분포를 표현한다. 표현력의 대가로 추론 시 다단계 디노이징이나 Langevin 샘플링이 필요하다. BeT는 행동 공간을 이산화해 행동 모드를 표현하고, IBC는 에너지 기반 관점으로 행동 분포를 다룬다. 이런 계열은 모두 시연에서 강한 정책을 만들 수 있지만, 고정된 오프라인 데이터만으로는 정책이 실행 중 만난 실패 상태에서 보상을 받아 스스로 교정하기 어렵다.
대규모 VLA는 웹 규모 지식과 언어 조건을 활용해 폭넓은 일반화를 노린다. 이 논문의 비교 대상인 $\pi0.5$는 PaliGemma 시각언어 백본과 action expert를 조합하며, 고수준 의미 하위 과업을 만든 뒤 연속 행동 청크를 생성한다. 범용성이 중요한 작업에는 매력적이지만 고주파 폐루프 제어에서는 지연, 꼬리 지연, GPU 메모리도 정책 품질의 일부가 된다. PAC-ACT는 순수 vision-action 백본의 단순한 배포 경로를 유지하면서 특정 작업 성능을 후학습으로 끌어올리는 쪽을 택한다.
청크 수준 강화학습의 위치
CQN-AS는 행동 청크 공간을 프로토타입 라이브러리로 이산화하고 그 위에서 Q 함수를 학습한다. 탐색 공간을 다루기 쉬워지지만 연속 접촉 제어에 필요한 미세한 힘 조절 정밀도를 잃을 수 있다. Chunking the Critic은 SAC를 청크 수준으로 확장하고 Transformer로 행동열의 공동 가치를 추정하되 Actor는 스텝 단위를 유지한다. Q-Chunking은 flow matching으로 연속 청크를 생성하지만 대규모 오프라인 데이터와 계산량이 큰 증류에 의존한다.
AC3는 희소 보상 아래 연속 행동 청크를 위한 비대칭 Actor 업데이트를 제안한다. 다만 각 연구는 학습 출발점, 시뮬레이터, 보상, 과업이 다르다. PAC-ACT가 다루는 질문은 청크 정책을 처음부터 잘 배우는 법보다 이미 시연으로 학습된 ACT의 구조와 행동 사전을 유지하며 온라인 PPO로 선택적으로 개선하는 법에 가깝다. 그래서 관련 청크 RL 방법들은 개념적 이웃이지만 논문의 직접 정량 기준선은 아니다.
이 구분은 실험 해석에도 중요하다. PAC-ACT의 성능 향상을 청크 RL 전체에 대한 우월성으로 일반화할 수 없고, SAC 기반 청크 가치 추정이나 flow 기반 생성보다 PPO가 본질적으로 낫다고 결론 내릴 수도 없다. 논문이 실증한 범위는 ACT 이식 구조, 특정 청크 수준 PPO, 두 종류의 사전 제약이 Metal Touch와 robomimic Square에서 작동했다는 데 한정된다.
사전학습 정책의 강화학습 미세조정
사전학습 정책 후학습의 공통 직관은 행동 복제가 탐색의 출발 분포를 제공하고 환경 상호작용이 과업 목적에 맞게 그 분포를 조정한다는 것이다. CQL과 IQL 같은 오프라인 강화학습, DPPO 같은 생성 정책 최적화, VLA 후학습은 서로 다른 방식으로 이 목표를 수행한다. PAC-ACT의 차이는 ACT의 단일 순전파 특성과 시간적 청크를 그대로 활용해 저지연 산업 제어에 맞는 후학습 경로를 만들었다는 점이다.
표준 PPO는 현재 정책과 수집 정책의 확률비를 잘라 큰 업데이트를 억제한다. 그러나 행동 차원이 청크 길이만큼 늘어나면 각 차원의 작은 변화가 결합돼 전체 공동분포가 크게 이동할 수 있다. 게다가 보상 최대화만으로는 시연이 가르친 순서와 접촉 형태를 지킬 이유가 없다. 따라서 사전학습 행동을 활용하는 강화학습에서는 성능 향상과 사전 보존 사이의 균형이 중심 설계 변수가 된다.
| 계열 | 행동 표현 | 강점 | 후학습 관점의 쟁점 |
|---|---|---|---|
| ACT | CVAE-Transformer 연속 청크 | 시간 연속성과 단일 순전파 | 행동 복제의 분포 이동 |
| Diffusion Policy | 반복 디노이징 행동열 | 복잡한 다봉 분포 | 반복 추론 지연과 학습 변동 |
| $\pi0.5$ | VLA와 action expert | 의미 추론과 범용성 | 큰 메모리와 복잡한 추론 경로 |
| PAC-ACT | 가우시안 ACT 청크 | 사전 행동 구조의 RL 조정 | 보상 설계와 제약 계수 의존 |
step-wise PPO와 chunk-level PPO의 차이
스텝 단위 PPO에서는 상태 $s_t$에서 행동 $a_t$를 뽑고 보상 $r_t$를 받은 뒤 확률비 $\pi_\theta(a_t|s_t)/\pi_{\theta_{old}}(a_t|s_t)$로 업데이트한다. ACT가 만든 청크 안의 각 행동은 앞뒤 행동과 결합된 궤적 일부이므로 독립 원시 동작으로 볼 수 없다. 각 원소를 따로 평가하면 정책이 애초 공동 생성한 구조와 신용 할당 단위가 어긋난다.
확률비 축에서 차이는 표본의 단위다. 스텝별 비율은 어떤 원자 행동 하나가 이전 정책보다 얼마나 자주 나오는지를 나타내지만, ACT가 샘플링한 사건은 $c\times d_a$ 성분을 가진 청크 전체다. 예를 들어 접근 동작의 비율은 clipping 범위 안에 있어도 뒤따르는 접촉·이탈 동작의 작은 변화가 모두 누적되면 공동 로그확률은 크게 달라질 수 있다. 반대로 한 성분만 경계 밖으로 나갔다고 청크 전체의 유효한 기하 구조를 버리면 지나치게 보수적인 갱신이 된다. 청크 로그확률의 합과 공동 확률비를 사용해야 PPO가 실제 생성 사건과 같은 표본을 평가한다.
또한 하나의 청크가 성공적으로 접촉 영역을 통과했는지는 여러 내부 스텝이 실행된 뒤 드러날 수 있다. 스텝별 advantage는 그 지연된 결과를 청크 전체에 배분하기 어렵다. PAC-ACT는 보상 관측의 세밀함은 스텝 수준에 남겨 두고, 보상 합산·GAE·PPO 목적함수 계산은 청크 경계에서 수행한다. 수집 해상도와 최적화 해상도를 분리한 것이 방법론의 핵심이다.
신용 할당 축에서는 원인과 결과의 경계가 중요하다. 접촉 진입의 첫 동작은 즉시 작은 거리 패널티를 받을 수 있고, 같은 청크의 마지막 동작이 새 영역 접촉 보상을 발생시킬 수 있다. 이를 여덟 개의 서로 무관한 결정으로 취급하면 앞부분은 비용만 만든 것으로, 뒷부분은 성공을 단독으로 만든 것으로 추정하기 쉽다. 청크 반환 $R_\tau$는 실행된 구간의 비용과 성과를 하나의 행동 선택에 귀속시키고, GAE는 그 청크가 다음 청크들의 완료 가능성에 미친 영향까지 전파한다. 이때 내부 보상을 매 스텝 기록하므로 순간 힘 초과와 smoothness 비용 자체가 사라지지는 않는다.
탐색 차원 축에서는 $d_a$차원 원시 행동보다 $c\times d_a$차원 공동 행동을 안정적으로 흔드는 일이 어렵다. 독립 noise 성분이 많아질수록 일부 시점만 과도하게 벗어나거나 청크 전체 로그확률비의 분산이 커질 수 있고, $K=100$ 전체를 탐색 대상으로 오해하면 부담을 더 크게 잡게 된다. 실제 PPO 사건은 실행되는 앞 $c=8$개이며, ACT 평균이 사전 궤적 주변의 중심을 제공하고 작은 초기 $\sigma$가 그 주변만 탐색한다. 따라서 PAC-ACT의 차원 완화는 행동 차원을 수학적으로 줄인 결과보다 사전학습 평균을 중심으로 유효 탐색 부피를 제한한 결과로 이해하는 편이 정확하다.
논문은 이 구조적 주장을 설득력 있게 제시하지만, 같은 ACT 초기화와 동일한 상호작용 예산에서 스텝 단위 PPO를 직접 구현해 비교하지는 않는다. 따라서 청크 수준 정렬이 실험 이득 중 얼마를 단독으로 설명하는지, 또는 보상·CVAE 제거·사전 제약과 결합될 때만 효과가 큰지는 분리되지 않았다. 이 공백은 뒤의 한계와 후속 실험 설계에서 다시 다룰 필요가 있다.
3. 방법론: 청크 수준 MDP와 ACT 이식 Actor-Critic을 하나의 PPO로 묶다
구조적 불일치를 문제로 정의하기
사전학습 ACT는 상태를 받을 때마다 $K=100$스텝 미래 행동열 $\mathbf{A}_t=(a_t,a_{t+1},\ldots,a_{t+K-1})$을 생성한다. 사전학습 실행에서는 처음 $c_0=10$스텝을 temporal ensembling과 함께 사용한다. PAC-ACT 후학습에서는 실제 실행 청크를 $c=8$로 줄인다. 즉 생성 길이 $K=100$, 사전학습 실행 길이 $c_0=10$, 강화학습 실행 길이 $c=8$은 서로 다른 개념이다.
행동 차원이 $d_a$라면 PPO가 다루는 한 번의 정책 행동은 평탄화된 $c\times d_a$차원 벡터다. 정책은 대각 가우시안으로 이 벡터의 확률을 나타내지만 평균은 ACT 디코더가 self-attention으로 공동 생성한다. 따라서 샘플링 분포의 공분산은 대각이어도 평균열의 시간 구조는 Transformer 안에 남는다. 이것이 단순히 독립 행동 여덟 개를 이어 붙이는 모델과 다른 점이다.
구조적 불일치는 세 갈래다. 개별 행동 확률비가 청크의 공동 의미를 반영하지 못하는 비율 단위 문제, 성공 보상이 여러 스텝 뒤 나타나는 신용 할당 문제, $K\times d_a$ 또는 실행되는 $c\times d_a$ 공간을 탐색해야 하는 고차원 탐색 문제다. PAC-ACT는 첫 두 문제를 청크 MDP로, 세 번째를 사전학습 초기화와 좁은 가우시안 탐색으로 완화한다.
청크 수준 MDP와 보상 집계
청크 시간 인덱스를 $\tau$라고 하면 하나의 청크가 원래 환경의 $c$개 스텝에 대응한다. 정책은 $s_\tau$, 곧 원래 인덱스의 $s_{\tau c}$를 보고 첫 $c$개 행동으로 구성된 $\mathbf{a}_\tau$를 낸다. 환경은 그 행동들을 순서대로 실행하고 다음 청크 상태 $s_{\tau+1}=s_{\tau c+c}$로 이동한다. 청크 보상은 다음처럼 내부 보상을 더한다.
$$R_\tau=\sum_{i=0}^{c-1}r_{\tau c+i}$$
원래 스텝 할인율은 $\gamma=0.99$이며, 한 번의 청크 전이가 $c$스텝을 건너므로 청크 간 할인율은 $\Gamma=\gamma^c$로 바뀐다. 이 변환을 생략하고 그대로 $\gamma$를 쓰면 실시간 기준의 할인 지평이 달라진다. $\Gamma=\gamma^c$는 시간 추상화를 수학적으로 일관되게 유지하는 작은 요소지만, 청크 MDP의 핵심 조건이다.
전체 청크 확률비는 $$\rho_\tau(\theta)=\frac{\pi_\theta(\mathbf{a}_\tau|s_\tau)}{\pi_{\theta_{old}}(\mathbf{a}_\tau|s_\tau)}$$ 로 정의된다. 대각 가우시안 로그확률은 행동 차원별 로그확률의 합으로 분해되고 비율은 차원별 비율의 곱에 해당한다. 고차원에서는 이 곱이 민감해질 수 있으므로 PPO clipping만으로 공동분포 이동을 통제하기 어렵다는 것이 추가 KL 패널티의 동기다.
청크 GAE는 $$A_\tau^{GAE}=\sum_{l=0}^{\infty}(\Gamma\lambda)^l\delta_{\tau+l},\qquad \delta_\tau=R_\tau+\Gamma V(s_{\tau+1})-V(s_\tau)$$ 로 계산하며 $\lambda=0.95$를 쓴다. 환경 보상은 매 제어 스텝에서 기록해 접촉 순간의 세밀한 피드백을 보존한다. 반면 advantage와 clipped surrogate는 완결된 청크를 단위로 계산한다. 이 하이브리드 수집 방식은 힘 패널티를 늦게 뭉개지 않으면서 정책 업데이트의 시간 단위를 생성 구조와 맞춘다.
이를 원래 MDP에서 유도하면 청크 경계의 상태열은 $s_0,s_c,s_{2c},\ldots$이고 정책의 한 선택이 $c$회 환경 전이를 유발한다. 논문 구현은 내부 보상을 $R_\tau=\sum_i r_{\tau c+i}$로 합산한 뒤 청크 사이에 $\Gamma=\gamma^c$를 적용한다. 엄밀한 스텝별 discounted return이라면 내부 항에도 $\gamma^i$가 붙을 수 있으나 논문 수식은 비할인 합을 명시한다. 재현 코드에서 임의로 내부 할인까지 추가하면 저자가 최적화한 보상 척도와 가치 target이 달라진다. 비교 실험에서는 논문 정의를 그대로 구현하고, 내부 할인 변형은 별도 ablation으로 표시해야 한다.
GAE의 TD residual은 현재 청크 합산 보상과 다음 청크 경계의 가치로 구성된다. 유한 rollout에서는 무한합을 뒤에서 앞으로 재귀 계산하고, 실제 성공 terminal에서는 bootstrap 값을 0으로 마스킹하며, 단순 수집 길이 truncation에서는 마지막 상태의 Critic 값을 남기는 처리가 필요하다. 이 done mask를 잘못 적용하면 512스텝 제한에 걸린 실패를 실제 종결 가치 0으로 볼지 관측 중단으로 볼지가 뒤섞인다. 논문 Algorithm 1은 핵심 수식과 stage를 제시하지만 이 마스킹 세부를 모두 적지는 않으므로, 재현 보고서에는 terminal·timeout 처리 규칙을 명시하는 편이 좋다.
청크 수준 advantage 하나가 내부 모든 성분에 같은 스칼라 학습 신호를 제공해도 각 성분의 gradient가 같아지는 것은 아니다. 공동 로그확률 $\log\pi_\theta(\mathbf a_\tau|s_\tau)$의 미분은 시점·관절별 평균 오차와 Transformer Jacobian을 거쳐 공유 파라미터로 전달된다. 즉 청크가 유리했는지는 하나의 $A_\tau$로 평가하되 어떤 출력 성분을 얼마나 바꿀지는 각 샘플 오차와 네트워크 민감도가 정한다. 이 구성이 trajectory-level credit와 세부 행동 조정을 함께 가능하게 한다.
대각 가우시안의 “독립”도 두 층으로 나눠야 한다. 조건부 sampling noise는 $\Sigma=diag(\sigma_1^2,\ldots,\sigma_{c d_a}^2)$이므로 주어진 상태와 평균 아래에서 시점·행동축별 잔차가 factorized된다. 그러나 평균 벡터 $\mu_\theta(s)$의 각 시간 위치는 ACT self-attention과 공통 관측 특징으로 함께 생성돼 강한 시간 상관을 가질 수 있다. 따라서 PAC-ACT가 full-covariance noise로 시간 상관을 직접 표본화한다고 설명하면 틀리고, 모든 시간 행동을 독립 회귀한다고 설명해도 틀린다. 상관된 평균 궤적 위에 독립 가우시안 잔차를 얹는 정책이 정확한 표현이다.
ACT에서 Actor와 Critic을 옮기는 방식
Figure 1.
두 분기는 같은 형태의 시각 인코더와 Transformer 인코더를 사용하지만 가중치는 독립 사본이다. Actor는 행동 디코더까지 유지해 시간적으로 연결된 연속 행동열을 만들고, Critic은 디코더 없이 인코더 출력의 평균 풀링과 가치 MLP만 사용한다. 따라서 정책 gradient와 value regression이 한 인코더를 놓고 직접 충돌하지 않으며, 사전 특징에서 출발한 두 표현은 역할별로 갱신된다. 배포 때는 Actor만 적재하므로 후학습에 필요한 가치망이 온라인 제어 지연과 메모리에 직접 더해지지 않는다.
Actor 입력은 전면과 손목의 512×512 RGB 영상 두 장, 6차원 관절각 인코딩이다. 각 카메라 영상은 ResNet-18로 독립 처리되고 저차원 proprioception과 결합된다. 4층·256차원 Transformer 인코더가 융합 표현을 처리하며 행동 디코더는 $K\times d_a$ 텐서를 출력한다. 여기서 $K=100$이고 출력은 가우시안 정책의 평균열이 된다.
원래 ACT의 CVAE는 잠재변수 $z$로 시연의 행동 다양성을 모델링한다. 그러나 PPO 후학습에는 이미 대각 가우시안의 확률적 탐색이 있다. CVAE를 남기면 같은 상태에서 잠재 샘플에 따라 평균 행동이 흔들리고, 고정 기준 정책과의 제곱 행동 편차가 그 흔들림을 계속 벌점화한다. 저자들은 이중 확률성이 유용한 gradient의 신호대잡음비를 낮춘다고 보고 Actor의 CVAE를 제거한다.
Actor 정책은 $$\mu_\theta(s)=ACT_{backbone}(s),\qquad a\sim\mathcal{N}(\mu_\theta(s),\Sigma)$$ 로 표현된다. $\Sigma$는 학습 가능한 log-standard-deviation으로 나타낸 대각 공분산이다. Metal Touch는 절대 위치 행동의 작은 출력 스케일에 맞춰 $\log\sigma_i=-5.5$, Square Assembly는 delta action에 맞춰 $-3.0$에서 시작한다. 사전 정책 부근의 좁은 탐색을 유도하되 행동 표현별 스케일 차이를 반영한 설정이다.
Critic은 ACT 인코더의 출력열을 평균 풀링하고 두 은닉층 MLP에 통과시킨다. 수식은 $$V(s)=MLP(pool(ACT_{encoder}(s)))$$ 이며 가치 헤드 차원은 256→256→1, 활성함수는 ReLU다. 상태가치 추정에는 행동열을 생성하는 디코더가 필요하지 않다는 판단으로 디코더를 제거한다. 이는 파라미터 수를 줄이는 동시에 value regression에 필요한 전역 상태 표현에 초점을 맞춘다.
“재사용”은 Actor와 Critic이 런타임에 하나의 encoder parameter를 공유한다는 뜻이 아니다. Critic은 사전학습 ACT의 시각 인코더와 Transformer 인코더 가중치를 별도 복사해 초기화하고, 이후 Actor와 독립적으로 업데이트된다. 공유 인코더라면 PPO 정책 손실과 value MSE가 같은 시각 특징을 동시에 당겨 Actor의 사전 행동 표현을 훼손할 수 있다. 독립 사본은 메모리와 훈련 계산을 더 쓰는 대신 역할 간 gradient 간섭을 막는다. 이 비용은 훈련 경로에 남고 배포 Actor 크기에는 포함되지 않으므로, 구조 비교에서는 training footprint와 inference footprint를 따로 적어야 한다.
CVAE 제거에는 분명한 교환관계가 있다. 제거 후 같은 관측의 평균 출력이 잠재 샘플에 따라 흔들리지 않아 PPO ratio, 기준 행동 편차, value target의 분산을 낮추고 단일 순전파 배포를 단순화한다. 반면 시연에 여러 유효 행동 모드가 겹칠 때 latent $z$가 제공하던 조건부 다봉 표현을 잃고, 단봉 가우시안 평균이 모드 사이 동작을 만들 가능성이 커진다. 논문의 Contour처럼 순서가 정해진 기술에서는 최적화 안정성이 이득으로 나타났지만, 장애물 우회나 물체별 grasp 선택에서도 같은 결론이 성립하는지는 검증되지 않았다. 그러므로 ablation은 현재 과업·현재 prior 손실에서 CVAE 제거를 지지하는 증거로 범위를 제한해야 한다.
| 구성 | Actor | Critic | 설계 이유 |
|---|---|---|---|
| ResNet-18 시각 인코더 | 유지 | 독립 사본 유지 | 사전학습 시각 특징 활용 |
| 4층 256차원 Transformer 인코더 | 유지 | 독립 사본 유지 | 융합 상태 표현 재사용 |
| 행동 디코더 | 유지 | 제거 | Actor만 청크 생성 필요 |
| CVAE 잠재 모듈 | 제거 | 해당 없음 | 가우시안 탐색과 중복 확률성 제거 |
| 출력 | $K=100$ 행동 평균열 | 스칼라 $V(s)$ | 정책과 가치 역할 분리 |
두 종류의 사전 제약을 구분해서 읽기
표준 PPO의 clipped surrogate는 $$\mathcal{L}_{PPO}=\mathbb{E}[\min(\rho_\tau A_\tau,clip(\rho_\tau,1-\epsilon,1+\epsilon)A_\tau)]$$ 로 쓸 수 있고 $\epsilon=0.2$다. PAC-ACT는 여기에 인접 업데이트 정책 사이의 경험적 KL을 추가한다. 학습 손실의 정책 부분은 $$\mathcal{L}_{train}=-\mathcal{L}_{PPO}+\beta_1\widehat{D}_{KL}(\pi_{\theta_{old}}\|\pi_\theta)+\cdots$$ 이고 $\beta_1=3.0$이다.
첫 번째 항은 직전 rollout을 만든 정책 $\pi_{\theta_{old}}$와 현재 정책 사이의 국소 trust-region 제약이다. PPO clipping이 샘플별 비율을 제한한다면 경험적 KL은 $c\times d_a$ 공동 행동공간의 전체적인 분포 이동에 부드러운 비용을 부과한다. 희소 보상 ablation에서 $\beta_1=0$으로 만들면 단기 성공이 반등해도 궤적 구조가 흐트러지는 현상이 나타난다.
두 번째 항은 rollout 보상을 $$r'_t=r_t-\beta_2\lVert\mathbf{a}_\theta(s_t)-\mathbf{a}_{base}(s_t)\rVert^2$$ 로 바꾸며 $\beta_2=2.0$이다. 기준 정책 $\pi_{base}$는 사전학습 ACT를 고정한 복사본이다. 수정 보상 $r'_t$가 GAE에 들어가 현재 정책이 전문가 행동 다양체 주변에서 탐색하도록 유도한다. 이 항은 기준 정책과의 확률분포 KL이 아니라 실제 출력 행동의 squared action deviation penalty, 즉 제곱 편차 패널티다.
논문이 이를 “hybrid KL”이라고 묶어 부르지만 두 번째 항을 KL divergence로 오해하면 안 된다. 첫 항은 인접 가우시안 정책의 경험적 KL이고, 둘째는 현재 평균 행동과 고정 기준 평균 행동 사이의 유클리드 제곱거리다. 두 항은 비교 대상, 적용 위치, 시간 범위가 다르다. $\beta_1$은 업데이트 간 급격한 이동을 막고, $\beta_2$는 장기간 누적된 정책이 최초의 행동 사전에서 멀어지는 것을 막는다.
$\beta_2$ 항을 “prior”라고 부를 때도 표기 범위를 좁혀야 한다. 이 항은 고정 ACT가 출력한 기준 평균과 현재 Actor 평균의 squared action deviation이며 분산, 정규화 상수, 로그밀도 비를 포함하지 않는다. 두 정책이 같은 평균을 가져도 서로 다른 $\Sigma$를 가지면 제곱 편차는 0이지만 분포 KL은 0이 아닐 수 있다. 반대로 행동축마다 물리 단위와 정규화 척도가 다르면 동일한 수치 편차의 물리 의미도 달라진다. 따라서 $\beta_2=2.0$은 보편적인 확률 거리 계수보다 이 논문의 정규화된 행동 표현에서 쓰인 squared action prior 가중치로 기록해야 재현과 전이가 안전하다.
보상 수준에 들어간다는 사실은 최적화 효과도 바꾼다. $d_t$를 빼고 만든 $r'_t$가 GAE로 누적되므로 현재 청크의 기준 이탈은 그 청크 TD residual과 앞선 청크 advantage까지 영향을 준다. 반면 $\beta_1$ KL은 미니배치 update 순간 정책 손실에 직접 더해져 rollout reward나 Critic target을 바꾸지 않는다. 같은 “정규화”라는 이름 아래 있어도 하나는 학습할 MDP 보상을 수정하고, 다른 하나는 주어진 advantage에서 update geometry를 수정한다. 이 구분이 없으면 $\beta_1$과 $\beta_2$ sweep 결과를 같은 축의 세기 변화로 잘못 해석할 수 있다.
| 구분 | $\beta_1$ 항 | $\beta_2$ 항 |
|---|---|---|
| 형식 | 경험적 $\widehat D_{KL}$ | $L_2$ 제곱 행동 편차 |
| 비교 대상 | 이전 PPO 정책과 현재 정책 | 현재 Actor와 고정 ACT 기준 정책 |
| 적용 위치 | 정책 학습 손실 | rollout 보상 수정 |
| 계수 | $\beta_1=3.0$ | $\beta_2=2.0$ |
| 기능 | 국소 분포 이동 억제 | 장기 행동 사전 이탈 억제 |
전체 학습 루프
학습은 고정 기준 정책을 먼저 복사한 뒤 16개 병렬 환경에서 rollout을 모은다. Actor와 Critic은 상태마다 청크 평균과 가치를 계산하고, Actor는 가우시안에서 $c$스텝 행동 청크를 샘플링한다. 환경은 내부 $c$개 substep을 실행해 원래 보상을 반환하고, 알고리즘은 기준 평균과의 제곱거리 $d$를 계산해 $r=r_{env}-\beta_2d$를 버퍼에 저장한다.
Algorithm 1 재현의 1단계는 체크포인트 분기다. 동일한 사전학습 ACT에서 CVAE를 제거한 Actor를 만들고, baseline은 그 시점의 행동 출력을 고정하도록 복사한 뒤 optimizer 대상에서 제외한다. Critic은 ACT encoder 가중치의 독립 복사본과 새 256→256→1 value head로 초기화한다. 이후 각 병렬 환경을 reset하고 현재 상태에서 Actor 평균 $\boldsymbol\mu$, Critic 값 $v$, baseline 평균 $\boldsymbol\mu_{base}$를 얻는다. 샘플 행동과 평균 행동을 혼동하지 않도록 버퍼에는 상태, 샘플 청크, 이전 공동 log-probability, 수정 보상, value, done mask를 함께 보관하는 구현이 필요하다.
2단계에서는 $\mathbf a\sim\mathcal N(\boldsymbol\mu,\Sigma)$의 앞 $c$개 동작을 순서대로 실행한다. 환경이 각 내부 substep의 $r_{env}$를 제공하면 논문 정의대로 청크 합계를 만들고, $d=\lVert\boldsymbol\mu-\boldsymbol\mu_{base}\rVert^2$를 계산해 $\beta_2d$를 뺀다. 여기서 baseline에는 gradient가 흐르지 않아야 하며 두 평균은 같은 관측, 같은 행동 정규화, 같은 $c$ 위치를 사용해야 한다. 샘플 $\mathbf a$와 baseline 평균의 거리를 쓰는 변형은 exploration noise 자체까지 지속해서 벌점화하므로 원문 알고리즘과 다르다.
다음 단계는 청크 경계에서 $\Gamma$와 $\lambda$를 사용해 GAE를 구하는 것이다. PPO는 미니배치마다 전체 청크 로그확률비, 가치 MSE, 경험적 KL, entropy를 결합한다. 총 손실에는 가치 계수 $c_v$와 entropy 계수 $c_e$가 들어가며 실험의 entropy coefficient는 0.001이다. Actor 학습률은 $1\times10^{-6}$, Critic은 $1\times10^{-5}$로 가치망을 열 배 빠르게 학습한다.
3단계에서는 bootstrap value와 done mask를 사용해 청크 경계부터 역순으로 TD residual과 GAE를 계산하고 value target을 만든다. 그 뒤 8 PPO epoch, 미니배치 크기 32로 저장된 청크를 반복 사용한다. 새 공동 log-probability에서 저장된 이전 log-probability를 빼 지수화하면 $\rho_\tau$를 안정적으로 계산할 수 있고, 이를 $\epsilon=0.2$로 clip한 surrogate에 넣는다. value MSE, $\beta_1=3.0$ 경험적 KL, entropy 항을 결합해 $\theta,\phi$를 갱신하되 frozen baseline은 끝까지 그대로 둔다.
재현 검증은 학습 성공률만 확인해서는 부족하다. 첫 iteration에서 baseline과 Actor 평균이 수치 오차 범위에서 일치하는지, noise를 끄면 같은 상태의 Actor 출력이 반복 호출에서 같은지, 공동 log-probability가 $c\times d_a$ 성분 합과 일치하는지, $\Gamma$가 $0.99^8$로 설정됐는지 검사해야 한다. 또한 16개 환경의 substep 보상 합, episode 경계, action normalization을 로그로 남겨야 한다. 이 단위 시험들은 잘못된 청크 축 flatten, baseline 갱신 누출, terminal bootstrap 오류처럼 성공률 곡선만으로 찾기 어려운 재현 실패를 조기에 드러낸다.
배포 경로와 학습 경로의 분리도 실용적으로 중요하다. 훈련 중에는 Actor, Critic, 고정 baseline이 모두 필요하지만 배포 중에는 Actor의 평균 행동만 결정론적으로 실행한다. 탐색 noise, Critic, 기준 정책은 온라인 추론 경로에서 빠진다. 따라서 Actor-Critic 후학습이 배포 모델을 세 배로 만드는 구조는 아니며, 보고된 PAC-ACT 추론 메모리 2.30GB는 Actor만 적재한 조건이다.
4. 실험 설정: Metal Touch의 교란·접촉력·호라이즌을 어떻게 측정했는가
Metal Touch 환경과 세 가지 궤적
Figure 2.
장면에는 테이블에 고정된 100mm×100mm×50mm 운반 플랫폼과 고리 모양 고무-금속 부품이 놓인다. 막대형 말단장치를 단 6자유도 로봇 팔이 고무 경계의 네 접촉 영역을 순서대로 방문한다. 접촉력 범위 0.5N에서 60N은 보상 제약과 힘 평가에 쓰이며, 에피소드 시작 때 부품을 평면상 ±2cm 무작위 평행이동한다. 그림 오른쪽의 점 분포는 이 평면 위치 교란 범위를 시각화하며, 자세·조명·마찰까지 무작위화했다는 근거는 제공하지 않는다. 따라서 이 그림이 직접 입증하는 disturbance coverage는 부품의 평면 $x/y$ 위치 범위로 한정된다.
Diamond는 네 측면 지점을 차례로 접촉한다. Cross는 중심→왼쪽→중심→오른쪽→중심→위→중심→아래 경로를 따라 같은 중심 관측에서 다른 다음 동작이 요구되는 모호성을 포함한다. Contour는 고무 링의 안쪽 경계를 연속해서 따라가며 유효 접촉 호라이즌이 가장 길다. 세 작업은 궤적 모양, 이동 방향, 접촉 타이밍을 달리해 행동 사전의 적응 범위를 시험한다.
관측은 Intel RealSense D415 전면·손목 RGB 카메라의 512×512 영상과 6차원 관절각이다. MuJoCo가 제공하는 6축 force/torque 센서는 RL 보상 계산과 평가 통계에만 사용된다. 힘 센서 값은 정책 observation이 아니다. 따라서 PAC-ACT가 추론 중 힘 피드백을 닫힌 고리로 사용한다고 해석할 수 없으며, 시각과 관절 상태 정책이 훈련 중 힘 패널티를 통해 간접적으로 더 부드러운 행동을 학습한 결과다.
센서의 데이터 경로를 단계별로 추적하면 혼동을 줄일 수 있다. rollout 중 환경은 6축 reading에서 힘 성분을 계산해 $p_{force}$를 만들고, 그 값이 advantage를 통해 Actor 파라미터에 간접 반영된다. 평가에서는 같은 reading이 mean, peak, threshold event 통계의 원자료가 된다. 배포 Actor의 입력 tensor에는 전면·손목 RGB와 관절각만 들어가므로 현재 접촉력이 60N을 넘었는지를 관측해 다음 청크를 즉시 낮추는 feedback loop는 없다. 학습 시 보상 채널, 평가 시 계측 채널, 추론 시 관측 채널을 분리해 적어야 “force-aware objective”와 “force-sensing policy”가 구별된다.
데이터셋과 사전학습
모든 시연은 LeRobot 프레임워크로 수집·저장한다. 관절각, 힘 센서, 행동 명령 같은 고주파 저차원 신호는 프레임별 행을 가진 Apache Parquet에 저장하고, 전면·손목 영상은 카메라별 MP4로 압축한다. 메타데이터는 스키마, 프레임률, 정규화 통계, 에피소드 경계를 기록한다. 영상 저장 효율과 프레임 무작위 접근을 함께 고려한 계층형 데이터 설계다.
이 저장 구조에서 Parquet 행과 MP4 frame을 연결하는 키가 학습 샘플의 시간 정렬을 결정한다. Parquet는 관절각·힘·명령처럼 열 단위 scan과 통계 계산이 잦은 신호를 압축된 columnar 형태로 두고, 영상은 거대한 개별 이미지 묶음 대신 카메라별 시간 스트림으로 저장한다. metadata의 frame rate와 episode boundary는 청크가 에피소드 끝을 넘어 다음 시연의 행동을 이어 붙이지 않도록 하는 기준이고, normalization statistics는 ACT 입력과 행동 출력의 수치 척도를 재구성하는 데 필요하다. Square Assembly도 robosuite replay를 거쳐 같은 LeRobotDataset 인터페이스로 맞추므로 loader 관점은 통일되지만 원래 과업의 관측·행동 의미까지 동일해지는 것은 아니다.
데이터 스케일 연구에는 성공 궤적만 남긴 50, 100, 200, 400, 800개 시연 세트를 사용한다. Square Assembly는 robosuite replay로 데이터를 재구성해 LeRobotDataset 형식으로 맞춘다. 주 비교의 모든 사전학습 모델은 800개 에피소드를 사용하며 ACT와 Diffusion Policy는 200k step, $\pi0.5$는 20k step 학습한다. ACT 백본 자체는 800개 궤적으로 200,000스텝 사전학습한다.
따라서 논문의 data regime은 세 구간으로 읽을 수 있다. 50→100→200→400→800은 행동 복제 표본 수에 따른 스케일 곡선을 만드는 공통 계열이고, 800은 PAC-ACT 초기화와 주요 정책 비교가 만나는 기준점이다. 1,600은 Contour에서 시연을 두 배로 늘렸을 때 66%에 머문다는 추가 확장점이며 모든 과업·모든 baseline에 적용된 공통 데이터 크기가 아니다. 또한 성공 시연만 유지했으므로 데이터 증가가 실패 회복 예시를 직접 늘리는 설계도 아니다. 800→1,600의 6%포인트 변화는 Contour의 한계효용 증거로 유용하지만 전체 스케일 곡선을 모든 정책에 일반화하는 근거로 쓰기에는 범위가 좁다.
에피소드 수가 같아도 최적화 예산은 같지 않다. ACT와 Diffusion Policy는 각 200k step, $\pi0.5$는 20k step으로 보고되며 모델 규모, batch 구성, 한 step의 연산량이 다르다. PAC-ACT에는 ACT의 200k 사전학습 뒤 최대 수십만 PPO 환경 step과 16개 병렬 rollout이 추가된다. 그러므로 표 7은 동일한 800-episode 사전 데이터에서 얻은 배포 정책의 결과 비교로는 읽을 수 있지만, 동일 GPU-hour·동일 gradient update·동일 online interaction의 sample-efficiency 대결은 아니다. 훈련 budget의 공정성을 논하려면 pretraining compute, RL environment step, wall-clock, seed 수를 함께 정규화해야 한다.
PPO 하이퍼파라미터와 세 개의 호라이즌
| 항목 | Metal Touch 설정 | 설명 |
|---|---|---|
| 생성 길이 | $K=100$ | ACT가 예측하는 전체 미래 행동 수 |
| 사전학습 실행 길이 | $c_0=10$ | temporal ensembling 정책의 실행 기준 |
| RL 청크 실행 길이 | $c=8$ | 청크 수준 MDP의 의사결정 단위 |
| 할인과 GAE | $\gamma=0.99$, $\lambda=0.95$ | 청크 할인은 $\Gamma=\gamma^c$ |
| PPO | $\epsilon=0.2$, epoch 8, batch 32 | 16개 병렬 환경 사용 |
| 학습률 | Actor $10^{-6}$, Critic $10^{-5}$ | 가치망을 더 빠르게 갱신 |
| 정규화 | $\beta_1=3.0$, $\beta_2=2.0$ | KL과 제곱 행동 편차 |
| 탐색 | $\log\sigma=-5.5$ | Square는 $-3.0$ |
Metal Touch는 절대 위치 행동 표현이므로 초기 $\log\sigma$에 민감하다. 저자들은 사전학습 정책의 $c_0=10$에서 강화학습 실행 길이를 $c=8$로 줄여 탐색 entropy를 유지하면서 학습 난도를 낮춘다. 이것은 $K=100$ 출력 전체를 환경에서 실행한다는 뜻이 아니다. Actor는 100개를 예측하지만 chunk-level PPO의 한 결정에서는 앞의 8개만 실행한다.
호라이즌은 용도별로 분리해야 한다. RL 훈련 에피소드는 512스텝으로 약 51초다. Contour의 전후 비교 검증은 조기 종료를 허용하는 최대 600스텝, 60초다. 힘 안전성 전용 비교는 모든 정책에 같은 300스텝을 적용한다. 512, 600, 300을 섞으면 완료 시간과 힘 노출량을 잘못 비교하게 된다.
세 호라이즌은 질문과 censoring 규칙도 다르다. 512는 PPO가 경험을 모으는 episode cap이라 value bootstrap과 timeout 처리에 영향을 주고, 600은 네 영역 완료 시 조기 종료되는 전후 성능 검증의 최대치라 실패 episode가 평균 완료 step을 끌어올릴 수 있다. 300은 정책별 force reading 수를 맞추기 위한 전용 창으로, 600스텝 완료 검증의 force 노출량과 직접 합치면 안 된다. 제어 주파수 10Hz를 적용하면 512가 약 51초, 600이 60초라는 대응이 생기지만, 청크 길이 $c=8$은 환경 step 수를 8분의 1로 축소하는 단위 변환이 아니다. 내부 동작은 여전히 각각 실행되고 보상·힘이 기록된다.
주요 RL 훈련과 검증은 달리 명시되지 않는 한 seed 22, 32, 42로 세 번 반복한다. 평가는 탐색 noise가 없는 결정론적 rollout이며 정책 평균을 실행한다. Contour의 정책 비교와 힘 분석은 50개 에피소드를 사용한다. 모든 RL 훈련·평가는 NVIDIA A100-SXM4-80GB에서 수행되므로 지연과 메모리 수치를 다른 GPU에 그대로 옮길 수 없다.
결정론적 평가는 “초기 조건까지 고정”을 뜻하지 않는다. 각 episode의 부품 위치는 ±2cm 범위에서 무작위화하되, 주어진 관측에서 Actor는 가우시안 샘플 대신 평균을 출력한다. 이렇게 하면 50회 성능 차이에 exploration noise가 더해지는 것을 막고 정책 함수 자체의 안정성을 본다. 훈련 곡선은 $\log\sigma=-5.5$의 확률적 rollout, 최종 표는 mean-action rollout이므로 초기 18.75%와 ACT 60%처럼 서로 다른 값이 공존할 수 있다. 정책 간 force 비교에서 같은 50 randomized seed를 사용한 것은 초기 조건을 짝맞추는 장점이 있으나, 학습 seed까지 하나의 값으로 고정했다는 뜻은 아니다.
밀집 보상과 힘 평가
환경 보상은 새 영역을 처음 접촉할 때 milestone 보상 $r_{touch}$를 주고, 불필요한 말단 이동의 거리 패널티 $p_{dist}$, 급격한 행동의 smoothness 패널티 $p_{smooth}$, 자세 유지 패널티 $p_{orient}$, 시간 패널티 $p_{time}$, 힘 범위 초과 패널티 $p_{force}$를 뺀다. 네 영역을 모두 방문하면 성공 보상 $r_{success}$를 더한다.
$$r_t=r_{touch}-p_{dist}-p_{smooth}-p_{orient}-p_{time}-p_{force}+r_{success}$$
주 실험은 이 밀집 보상을 사용한다. 이후 고정 기준 행동 편차를 빼서 최종 PPO 보상 $r'_t=r_t-\beta_2d$를 만든다. 희소 보상 ablation만 success bonus 12.0을 남기고 영역 접촉, 거리, smoothness, 자세, 시간, 힘 제어 항을 0으로 둔다. 그러므로 주 결과를 “성공 보상 하나만으로 얻은 성과”로 설명해서는 안 된다.
총 접촉력은 6축 센서 중 힘 성분으로 $$f_{total}=\sqrt{f_x^2+f_y^2+f_z^2}$$ 를 계산한다. 표는 매 스텝 측정값의 평균과 임계 초과 비율, 에피소드별 peak의 중앙값과 전체 최대, 한 번이라도 60N을 넘은 에피소드 비율을 함께 보고한다. 이 지표들은 서로 분모가 다르므로 0.1% 측정값 초과와 6% 에피소드 초과를 같은 확률로 간주하면 안 된다.
| 평가 | 호라이즌 | 반복 | 주요 분모 |
|---|---|---|---|
| RL 훈련 에피소드 | 512스텝 | 16 병렬 환경 | 온라인 수집 step |
| Contour 전후 검증 | 최대 600스텝 | 50회, 세 seed 검증 | 완료 episode |
| 힘 전용 비교 | 300스텝 | 같은 50 randomized seed | 측정값 또는 episode |
| 지연 측정 | 통일 구현 프로토콜 | 온라인 추론 | 추론 호출 |
성공은 네 영역에 모두 도달했는지로 정의하며, 60N 초과 여부는 별도 힘 지표다. 한 정책이 과업을 성공하면서도 순간적으로 큰 힘을 낼 수 있으므로 성공률만으로 접촉 안전성을 대변할 수 없다. 반대로 median peak가 낮아도 일부 에피소드에서 극단값이 생길 수 있다. 저자들이 median, mean±standard deviation, maximum, threshold ratio를 나란히 제시한 이유가 여기에 있다.
5. 주요 결과: 성공률·지연·접촉력·완료 효율이 함께 어떻게 바뀌었는가
행동 복제의 데이터 병목
Figure 3.
곡선은 데이터가 많을수록 세 작업이 전반적으로 좋아진다는 사실과, 추가 데이터 한 묶음이 주는 이득이 점차 줄어든다는 사실을 동시에 보여 준다. 800개 시연에서 Diamond 69%, Cross 37%, Contour 60%에 도달하지만 관측-행동 모호성과 긴 접촉 호라이즌은 남는다. Contour를 1,600개로 늘린 66%는 단순 증량의 한계효용을 보여 준다. 단, 1,600점은 Contour 추가 실험이므로 세 곡선 전체가 같은 규모까지 측정됐다고 확대하면 안 된다.
데이터 병목은 행동 복제가 실패했다는 뜻이 아니다. 60%의 Contour 정책은 네 영역을 평균 3.14개 방문하고, 후학습 탐색이 출발할 만한 궤적 구조를 이미 갖췄다. PAC-ACT의 강화학습 성과도 이 사전 기술 없이는 같은 비용으로 기대하기 어렵다. 중요한 관찰은 시연이 기본 궤적을 제공하고 환경 상호작용이 누적 오차 회복을 채운다는 상보성이다.
정책별 성공률과 수렴
| 방법 | Contour | Square Assembly |
|---|---|---|
| ACT | 60.0% | 51.2% |
| Diffusion Policy | 60.0% | 77.8% |
| $\pi0.5$ | 79.0% | 62.6% |
| PAC-ACT | 100.0% | 98.2% |
Contour에서 ACT와 Diffusion Policy는 각각 독립적으로 사전학습·평가됐지만 우연히 같은 60.0%를 기록했다. $\pi0.5$는 79.0%, PAC-ACT는 100.0%다. Square Assembly에서는 Diffusion Policy 77.8%가 ACT 51.2%와 $\pi0.5$ 62.6%보다 높지만 PAC-ACT는 98.2%에 도달한다. 이 표는 Contour 60/60/79/100, Square 51.2/77.8/62.6/98.2라는 정확한 수치 순서로 읽어야 한다.
비교의 의미는 범용 VLA가 언제나 작고 전문화된 정책보다 높은 성공률을 보장하지 않는다는 데 있다. $\pi0.5$는 넓은 사전 지식과 의미 추론을 갖지만 해당 정밀 접촉 및 조립 조건에서는 과업별 RL 후학습을 거친 ACT가 더 높았다. 동시에 PAC-ACT는 ACT 초기화와 작업별 보상, 온라인 상호작용을 추가로 사용하므로 사전학습 모델끼리의 순수한 zero-shot 비교로 볼 수 없다.
Figure 4.
Contour는 초기 rollout 성공률 18.75%에서 약 80k PPO step에 72.2%로 오른다. 약 100k step에서 처음 100%를 찍고 약 150k 이후 95% 위를 유지하며, 총 약 320k step 안에서 최종 정책이 100%를 유지한다. Diamond는 약 250k step에 95%에 도달해 더 느리다. 음영은 국소 rollout 변동이므로 단일 peak와 안정 구간을 구분해야 한다. Square 패널의 20-rollout filter와 20~80% 범위도 원시 에피소드의 신뢰구간과 같은 통계로 읽지 않는다.
초기 rollout 18.75%가 표의 ACT 결정론 평가 60%와 다른 것은 학습 중 확률적 탐색과 rollout 집계가 개입하기 때문이다. 훈련에서는 $\log\sigma=-5.5$의 가우시안 noise를 사용하고, 최종 평가는 평균 행동만 실행한다. 따라서 수렴 곡선의 국소 성공률과 50회 결정론적 검증 성공률을 같은 측정치로 직접 대입할 수 없다.
온라인 지연과 GPU 메모리
| 방법 | 평균 지연 | P95 | P99 | GPU 메모리 |
|---|---|---|---|---|
| ACT | 98.1±21.7ms | 143.2ms | 176.7ms | 2.27GB |
| Diffusion Policy | 114.9±42.2ms | 199.1ms | 252.7ms | 5.15GB |
| $\pi0.5$ | 182.6±179.8ms | 653.4ms | 739.7ms | 44.15GB |
| PAC-ACT | 88.1±23.4ms | 125.6ms | 172.5ms | 2.30GB |
PAC-ACT의 평균 추론 지연은 88.1±23.4ms로 ACT의 98.1±21.7ms보다 약 10% 낮다. P95 125.6ms도 네 방법 중 가장 낮고 P99는 172.5ms다. 저자들은 CVAE 제거로 계산 그래프가 단순해진 점을 이유로 든다. Diffusion Policy는 반복 샘플링 때문에 114.9±42.2ms, $\pi0.5$는 더 복잡한 VLA 경로 때문에 182.6±179.8ms와 큰 꼬리 지연을 보인다.
메모리는 ACT 2.27GB, Diffusion Policy 5.15GB, $\pi0.5$ 44.15GB, PAC-ACT 2.30GB다. PAC-ACT 수치는 배포에 Actor만 올린 조건이며 Actor-Critic을 함께 적재하면 peak 2.59GB다. $\pi0.5$의 44.15GB는 model weight만 뜻하지 않고 NVML이 측정한 다중 프로세스 VLA 추론 파이프라인, CUDA context, rendering buffer 등 전체 peak다. 그중 PyTorch tensor memory는 약 13.8GB다.
학습 시 자원 경로는 표 8의 배포 경로보다 크다. rollout에는 갱신되는 Actor, 독립 encoder-value Critic, frozen ACT baseline이 모두 필요하고, PPO update에는 activation·optimizer state·미니배치 버퍼도 추가된다. 2.30GB는 이 전체 훈련 footprint가 아닌 Actor-only inference peak이며, 2.59GB 역시 Actor와 Critic을 함께 적재한 참고치이지 optimizer를 포함한 training peak로 제시된 값은 아니다. 반대로 실제 제어에서는 Critic value와 baseline deviation을 계산하지 않고 Actor 평균 청크만 생성한다. 배포 효율 주장은 이 분리 덕분에 성립하므로 “Actor-Critic 모델의 추론 메모리가 2.30GB”라고 합쳐 쓰기보다 “후학습된 Actor의 배포 메모리”라고 표기하는 편이 정확하다.
이 지연 비교는 논문의 통일 구현과 A100 측정 프로토콜에서 얻었다. PAC-ACT가 10Hz 제어 주기 100ms보다 평균적으로 낮다고 해서 모든 호출이 deadline을 만족한다는 뜻은 아니다. P95와 P99는 100ms보다 높고, 운영체제·센서 I/O·로봇 통신 지연도 표에 포함되지 않을 수 있다. NVIDIA Orin 같은 edge device의 실시간 성능은 아직 측정되지 않았다.
후학습 전후의 성공과 완료 효율
| 지표 | ACT, RL 이전 | PAC-ACT, RL 이후 |
|---|---|---|
| 성공, 4영역 | 60% | 100% |
| 평균 접촉 영역 수 | 3.14/4 | 4.0/4 |
| 완료 스텝 | 485.4 | 170.6 |
| 에피소드 시간 | 48.5초 | 17.1초 |
Contour에서 성공률 60→100%, 접촉 영역 3.14→4.0, 완료 스텝 485.4→170.6, 시간 48.5초→17.1초로 바뀐다. step과 duration 모두 약 2.8배 줄어든다. 후학습 전 ACT는 실패 시 timeout 가까이 실행되는 경우가 많았고, PAC-ACT는 네 영역을 방문하면 일찍 종료하므로 성공률 상승과 조기 종료가 평균 효율에 함께 반영된다.
검증의 최대 길이는 600스텝, 60초이고 네 영역을 완료하면 조기 종료한다. 세 seed 22, 32, 42의 반복 검증은 모두 최종적으로 100% rollout 성공률에 도달한다. 이 안정성은 단일 seed의 우연한 peak보다 강한 근거지만, 각 seed가 동일한 학습 스텝에서 동일한 정책을 만들었다는 의미는 아니다. 표의 평균 완료 스텝은 성공 조건과 조기 종료 규칙을 함께 고려해 해석해야 한다.
비디오의 정성 관찰에 따르면 개선은 전체 궤적을 균일하게 빠르게 재생한 결과가 아니다. PAC-ACT는 인접 접촉 영역 사이의 수평·비접촉 구간에서는 큰 step으로 접근하고, 모서리·접촉점·정밀 위치가 필요한 구간에서는 속도를 낮춰 작은 보정을 한다. 고주파 말단 jitter도 줄어든다. 저자들은 이를 운동 단계별 속도 재분배로 설명하지만, 정성 playback은 독립적인 힘 제어 검증으로 간주하지 않는다.
탐침 반지름을 1.5mm에서 2.5mm로 키운 초기 재현 실험도 제시된다. 전체 사전학습과 RL 후학습을 반복했을 때 최종 rollout 성공률 99.7%, peak 100%, 50회 결정론 검증 모두 네 영역 성공, 평균 완료 길이 68.8±20.8스텝을 기록했다. 그러나 접촉 반지름과 압력 등가 임계, 보상 설정이 주 실험과 달라 힘 안전성 증거에는 포함하지 않고 도구 형상 변화에 대한 과업 완료 적응의 보조 관찰로만 사용한다.
접촉력 분포와 극단 사건
| 지표 | ACT | Diffusion Policy | $\pi0.5$ | PAC-ACT |
|---|---|---|---|---|
| median peak force | 105.40N | 6.76N | 8.35N | 20.74N |
| mean force | 38.67±94.12N | 12.31±60.15N | 32.99±221.75N | 3.92±4.31N |
| maximum peak force | 8452.5N | 3144.6N | 7349.0N | 120.9N |
| 30N 초과 측정값 | 15.0% | 7.6% | 13.8% | 0.3% |
| 60N 초과 측정값 | 4.6% | 2.0% | 5.1% | 0.1% |
| 60N 초과가 한 번이라도 있는 episode | 20% | 56% | 88% | 6% |
median peak만 보면 Diffusion Policy 6.76N과 $\pi0.5$ 8.35N이 PAC-ACT 20.74N보다 낮다. 그러나 분포의 꼬리는 정반대 양상을 보인다. Diffusion Policy의 maximum은 3144.6N, $\pi0.5$는 7349.0N이고 60N을 한 번이라도 넘은 에피소드가 각각 56%, 88%다. 낮은 중앙값이 극단 접촉 사건의 부재를 뜻하지 않는다는 점을 가장 분명하게 보여 주는 표다.
ACT는 median peak 105.40N으로 60N 기준을 넘고 mean force 38.67±94.12N, maximum 8452.5N이다. 저자들은 maximum이 분포 밖 상태에서 말단장치가 강체 테이블을 미는 충돌 사건에 해당한다고 설명한다. PAC-ACT는 median peak 20.74N, mean 3.92±4.31N, maximum 120.9N으로 낮춘다. 특히 mean의 표준편차가 다른 정책보다 크게 작아 접촉력 분포가 더 집중된다.
60N 초과 측정값 비율은 ACT 4.6%, Diffusion Policy 2.0%, $\pi0.5$ 5.1%, PAC-ACT 0.1%다. ACT 대비 46분의 1이라는 표현은 4.6%를 0.1%로 나눈 값이다. 에피소드 단위로 한 번이라도 초과한 비율은 20%, 56%, 88%, 6%다. 측정값 초과 비율이 낮은 Diffusion Policy도 많은 에피소드에서 짧은 spike를 한 번씩 낼 수 있으므로 두 행이 동시에 필요하다.
reading-level event의 분모는 50에피소드×300스텝에서 기록된 개별 force reading이고, 한 에피소드가 여러 번 임계를 넘으면 모두 센다. 이 층에서 ACT 4.6%→PAC-ACT 0.1%는 보고된 반올림 값을 기준으로 46배 감소다. episode-level event는 각 300스텝 궤적에서 초과가 한 번이라도 있었는지를 0/1로 세므로 20%→6%이며 약 3분의 1 수준이다. 46배를 “위험 에피소드가 46배 감소”로 옮기면 분모가 바뀐다. 짧은 spike가 여러 episode에 넓게 흩어지거나 한 episode에 몰리는 두 경우는 reading 비율이 비슷해도 episode 비율이 달라질 수 있다.
극단값도 별도 축이다. 전체 관측 중 가장 큰 episode peak는 ACT 8452.5N에서 PAC-ACT 120.9N으로 약 70배 줄어 논문이 강조한 outlier 억제를 뒷받침한다. 그러나 50개 episode peak의 중앙값 순위는 Diffusion Policy 6.76N, $\pi0.5$ 8.35N, PAC-ACT 20.74N, ACT 105.40N으로 PAC-ACT가 최저가 아니다. 곧 PAC-ACT의 우위는 모든 위치 통계에서 일관된 지배가 아니라 낮은 mean, 작은 분산, 크게 억제된 maximum과 threshold tail의 조합이다. median peak만 고르면 생성 baseline 둘이 더 낮고, maximum만 고르면 PAC-ACT가 크게 낮으므로 한 행만으로 force profile 전체를 대표할 수 없다.
Figure 5.
그림은 성공 여부와 force-safe success를 분리한다. PAC-ACT는 완료 스텝을 줄이면서 60N 아래에 머무는 성공 궤적의 비율도 높인다. 이는 비접촉 구간을 빠르게 압축하고 접촉 부근을 조심스럽게 통과하는 정성 관찰과 일치한다. 막대의 분모는 성공 episode이고 선은 평균 완료 step이므로 서로 다른 지표를 한 축의 비율처럼 합치면 안 된다. 또한 force sensor가 policy 입력에 없어 실시간 반력 기반 compliance를 직접 학습한 결과로 표현할 수 없다.
힘 보상은 훈련 중 과도한 접촉 상태에 비용을 부과해 시각·관절 관측에서 그런 상태로 이어질 행동을 피하도록 만든다. 이것은 평가 분포의 ±2cm 위치 교란에는 효과적이지만 센서 feedback 없는 open-loop 성격을 완전히 없애지 못한다. 조명 변화, 카메라 시점 변화, 마찰·강성 오차가 시각과 관절 상태만으로 식별되지 않으면 실제 힘을 즉시 보정할 수 없다.
따라서 “force safety가 보장됐다”는 결론보다 지정된 시뮬레이션에서 위험 힘 사건의 경험적 빈도와 크기를 크게 줄였다는 결론이 정확하다. 300스텝 평가, 50개 seed, ±2cm 위치 무작위화라는 조건 밖에서는 동일한 비율을 가정할 수 없다. 그럼에도 task success만 평가할 때 숨겨지는 극단 접촉 사건을 별도 분포와 threshold 지표로 드러냈다는 점은 실험 설계의 강점이다.
6. 추가 분석과 Ablation: 어떤 모듈과 제약이 안정성을 실제로 지탱하는가
가벼운 Critic과 CVAE 제거의 효과
| 변형 | 마지막 20회 평균 성공률 | 표준편차 | 해석 |
|---|---|---|---|
| Ours | 96.4% | ±3.0% | 높고 안정적인 final window |
| Flat-decoder Critic | 88.0% | ±7.4% | 디코더 유지와 큰 변동 |
| CVAE-retained Actor | 83.1% | ±7.8% | 잠재 확률성과 기준 패널티 충돌 |
세 변형은 16개 병렬 환경, Actor 학습률 $10^{-6}$, 8 PPO epoch, $\beta_2=2.0$ 등 같은 설정을 사용하고 해당 모듈만 바꾼다. 비교 구간은 최대 154K스텝이며 지표는 마지막 20회 평가의 rollout 성공률 평균이다. 따라서 최종 완전 수렴 성능 전체보다 고정된 초기 학습 예산에서의 수준과 안정성을 비교하는 실험이다.
증거 강도는 통제 범위에 따라 나뉜다. flat-decoder와 encoder-value 비교는 Critic 디코더 유무를 바꾸고 다른 주요 하이퍼파라미터를 고정했으므로 해당 154K 예산에서 구조 선택을 직접 지지한다. CVAE-retained 비교도 latent 모듈의 영향에 가까운 통제지만, $\beta_2$ 편차 손실과 CVAE stochasticity의 충돌이 포함된 결과다. 따라서 “CVAE는 RL에 일반적으로 해롭다”보다 “이 hybrid prior 설정에서는 제거가 final-window 평균과 변동에 유리했다”가 증거 수준에 맞다. 세 변형의 더 긴 최종 수렴, 여러 과업 반복, seed별 신뢰구간이 없으므로 보편적 순위까지 확정하지는 못한다.
Figure 6.
제안한 encoder-value Critic은 final-window 96.4±3.0%이고, flat-decoder Critic은 88.0±7.4%다. 후자도 peak 100%에 도달할 수 있어 작동 불가능한 구조는 아니다. 그러나 성공률이 70%에서 100% 사이로 더 크게 흔들린다. 행동 생성용 디코더를 가치 추정에 남기면 파라미터가 약 17%, 129M에서 151M으로 늘어 계산 부담과 과적합 가능성이 커진다. 곡선은 10-window 이동평균이므로 순간 변동의 실제 폭은 표의 final-window 통계와 함께 판독해야 한다.
이 결과는 상태가치에 필요한 정보가 ACT encoder 표현에 충분히 담기며, 평균 풀링과 작은 MLP로도 value regression이 가능하다는 주장을 지지한다. 동시에 96.4와 88.0의 차이를 약 12%포인트라고 부르는 본문 서술에는 주의가 필요하다. 표의 정확한 final-window 평균 차이는 8.4%포인트이며, 논문 앞부분의 “약 12 percentage points” 표현은 다른 시점 또는 대략적 곡선 비교로 보인다. 정량 인용에는 표 값을 우선하는 편이 안전하다.
CVAE-retained Actor는 83.1±7.8%로 가장 낮다. 잠재변수 $z\sim\mathcal{N}(0,I)$ 때문에 같은 관측에서도 forward output이 달라지고, $\beta_2\lVert\mathbf{a}_\theta-\mathbf{a}_{base}\rVert^2$가 이 내재적 변동을 벌점화한다. PPO의 가우시안 탐색과 CVAE가 동시에 확률성을 제공하면서 gradient 방향이 충돌한다는 설명이다.
그러나 CVAE 제거의 이득은 현재의 제곱 행동 사전 제약과 결합된 조건에서 검증됐다. 다봉적 과업에서는 CVAE가 여러 유효 궤적을 표현하는 데 필요할 수 있다. 잠재변수를 제거해 최적화는 단순해졌지만 표현 가능한 행동 모드가 줄 수 있다는 trade-off가 남는다. 잠재 샘플을 기준 정책과 공유하거나 잠재 조건별로 편차를 재는 방식은 별도 검증할 가치가 있다.
희소 보상에서 KL이 궤적 구조를 지키는가
| 설정 | 관찰된 성공률 | 행동 구조 | 주의점 |
|---|---|---|---|
| Dense reward, 주 실험 | 주 결과의 100% | Contour 구조 유지 | 힘·시간 등 shaping 포함 |
| Sparse, $\beta_1=3$ | 100% 수렴 | Contour와 가까운 구조 | $\beta_2$ prior는 계속 유지 |
| Sparse, $\beta_1=0$ | local peak 88.5% | shortcut boundary-touching | 누적 22.0%, final window 72.7% |
희소 설정은 success bonus 12.0만 남기고 region touch, distance guidance, smoothness, orientation, time, force-control을 0으로 둔다. 같은 800에피소드 ACT 초기화, ±2cm 초기 자세 무작위화, 최대 10,000에피소드 훈련을 사용하며 시연 replay나 demonstration-action supervision은 추가하지 않는다. 다만 고정 baseline에 대한 $\beta_2=2.0$ 행동 사전 패널티는 유지된다.
dense와 sparse의 정확한 차집합을 적으면 sparse에서 제거되는 것은 $r_{touch}$, $p_{dist}$, $p_{smooth}$, $p_{orient}$, $p_{time}$, $p_{force}$이고 success bonus 12.0은 남는다. 여기에 PPO reward를 만드는 $-\beta_2d$는 환경 shaping 식 바깥의 baseline 항이라 계속 적용된다. 즉 sparse 곡선의 reward가 성공 시점 외에는 완전히 0인 것은 아니며, Actor가 기준 행동에서 멀어질 때 음의 prior 비용을 받을 수 있다. dense-vs-sparse 차이를 행동 사전 유무의 차이로 설명하면 설계를 거꾸로 읽게 된다. 두 조건 모두 같은 ACT 초기화와 $\beta_2$를 공유하고 환경의 세부 shaping만 달라진다.
$\beta_1=3.0$인 희소 PAC-ACT는 100% rollout 성공률로 수렴하고 Contour 행동열과 가까운 구조화된 궤적을 유지한다. 이를 “KL 하나만으로 성공”이라고 부르면 부정확하다. 환경 shaping 보상은 success만 남았지만 사전학습 정책 초기화와 $\beta_2$ 제곱 행동 편차가 계속 작동한다. 즉 인접 정책 KL과 장기 행동 prior가 함께 있는 희소 보상 조건이다.
Figure 7.
$\beta_1=0$에서는 정책이 사전 ACT의 Contour 순서를 일찍 벗어나 여러 목표 경계를 직접 건드리는 shortcut을 형성한다. 그 행동도 희소 성공 조건을 만족할 수 있어 후기 국소 window의 peak가 88.5%까지 오른다. 그러나 같은 훈련 제한에서 누적 성공률은 22.0%에 불과하고 마지막 rollout window는 72.7%로 다시 낮아진다. 성공률 rebound가 구조화된 기술의 회복을 뜻하지 않는 사례다. 왼쪽 곡선은 성능의 시간 변화를, 오른쪽 표본은 동일 성공 조건 아래 공간 경로가 달라질 수 있음을 보여 주므로 두 패널을 함께 읽어야 한다.
오른쪽 궤적은 성공률 스칼라만으로 놓치는 실패를 보여 준다. 파란 점은 호 길이를 따라 균등 표본화한 말단 위치다. KL을 유지한 희소 정책은 Contour에 가까운 연속 구조를 보이고, KL을 없앤 정책은 경계를 흩어져 건드리는 탐색 패턴을 보인다. 보상 사양의 빈틈을 이용한 shortcut은 최종 성공 조건을 만족하면서도 시연의 시간 구조를 파괴할 수 있다.
다만 오른쪽은 캡션이 밝히듯 해당 정책의 한 validation rollout을 위에서 본 진단이다. 호 길이 균등 표본화는 속도 차이를 제거하고 경로 형상을 보기 좋게 하지만 episode 간 변동, 시간 순서, 접촉력, 방문 순서를 모두 요약하지 못한다. 한 샘플의 분산된 점만으로 shortcut 발생 확률이나 정책 전체의 평균 경로 붕괴를 추정할 수는 없다. 주장 강도를 높이려면 여러 seed·episode의 경로를 목표 순서 정렬 후 중첩하고, 기준 Contour와의 Fréchet 거리, 경계 접촉 순서 위반율, trajectory variance를 함께 보고해야 한다. 현재 그림은 정량 성공률의 맹점을 드러내는 설득력 있는 사례이지만 모집단 수준 빈도 증거는 아니다.
Ablation으로 확인된 것과 확인되지 않은 것
아키텍처 실험은 encoder-value Critic이 flat-decoder보다 적은 파라미터로 높은 final-window 평균과 낮은 변동을 보였고, 현재 제약 구조에서는 CVAE 제거가 유리함을 확인한다. 희소 실험은 $\beta_1$ KL이 궤적 구조 유지에 중요하다는 정량·정성 증거를 준다. 각각의 ablation은 제안 설계의 내부 선택을 비교한다는 점에서 잘 구성됐다.
반면 $c$의 길이, $\beta_2$의 크기, 가우시안 초기 분산, PPO clipping, 보상 항목별 기여는 sweep되지 않았다. $\beta_1=0$ 비교에서도 $\beta_2$는 남아 있어 두 prior를 모두 제거한 조건과 구분된다. dense reward에서 KL만 없앤 결과, sparse reward에서 $\beta_2$만 없앤 결과, 두 항을 각각 sweep한 interaction matrix가 없으므로 두 제약의 독립 효과와 상승작용은 완전히 분해되지 않는다.
빠진 ablation을 우선순위로 배열하면 첫째는 $c\in\{1,4,8,10,16\}$처럼 step-wise에 가까운 조건부터 긴 청크까지 같은 환경 step 예산으로 비교하는 실험이다. 둘째는 $\beta_1\times\beta_2$ factorial grid로 국소 trust region과 고정 행동 prior의 주효과·상호작용을 나누는 것이다. 셋째는 $p_{force}$만 제거하거나 계수를 sweep해 force tail 감소가 시간·smoothness 패널티의 간접 효과인지 직접 force 비용의 효과인지 구분하는 실험이다. 넷째는 dense reward의 각 계수와 success bonus를 공개한 뒤 one-at-a-time 또는 grouped removal을 수행하는 것이다. 현재 논문에는 chunk length, $\beta_1$ 강도, $\beta_2$ 강도, force penalty 강도의 민감도 곡선이 모두 없으므로 $c=8$, 3.0, 2.0을 넓은 과업에 권장하는 근거는 아직 부족하다.
특히 $c$와 $\log\sigma$는 분리하기 어렵지만 분리해야 하는 변수다. $c$가 길어지면 공동 행동 차원, 청크 할인, replanning 빈도, 한 advantage가 덮는 시간 범위가 함께 변하고, 같은 per-dimension $\sigma$에서도 청크 전체 perturbation norm이 커진다. $\beta_2$는 이 norm의 제곱에 반응하므로 길이 변경 시 effective prior strength도 달라질 수 있다. 따라서 단순히 $c$만 바꾸는 실험과 청크 차원에 맞춰 noise·prior를 재정규화하는 실험을 둘 다 제시해야 구조적 시간 효과와 수치 스케일 효과를 분리할 수 있다.
또한 핵심 주장인 chunk-level PPO 자체를 동일 ACT 초기화의 step-wise PPO와 직접 비교하지 않았다. 현재 수치 이득은 청크 MDP, CVAE 제거, 가벼운 Critic, 보상 shaping, 두 prior 제약이 결합된 시스템 수준 결과다. 구조적 논리는 타당하지만 구성요소별 인과 기여를 주장하려면 step-wise 대 chunk-wise의 통제 실험이 가장 우선적인 추가 ablation이다.
7. 한계와 향후 과제: 시뮬레이션의 성과를 실제 접촉 제어로 옮기기 위한 조건
sim-to-real이 아직 비어 있다
모든 핵심 결과는 MuJoCo Metal Touch와 robomimic Square Assembly에서 얻었고 실제 로봇 검증은 없다. 시뮬레이션의 접촉 강성, 감쇠, 마찰, 센서 noise, 카메라 latency가 실제 장비와 다르면 힘 분포의 꼬리가 크게 바뀔 수 있다. 특히 8452.5N 같은 시뮬레이션 peak는 충돌 위험을 드러내는 상대 지표로 유용하지만 실제 구조물의 탄성·제어기 saturation·센서 한계가 반영된 물리 force와 곧바로 일치한다고 볼 수 없다.
초기 위치 ±2cm 무작위화는 현장 오차의 한 축을 다루지만 robustness 범위는 제한적이다. 카메라 시점, 조명, texture, occlusion 같은 시각 교란과 질량, 마찰, 관절 backlash, 접촉 강성 같은 동역학 교란은 체계적으로 바뀌지 않았다. 다중 궤적 일반화도 Diamond·Cross·Contour의 설계된 경로 안에서 평가된다. disturbance coverage를 명시한 행렬형 평가가 있어야 어떤 교란까지 회복하는지 구체적으로 말할 수 있다.
실제 disturbance matrix는 행에 교란 종류, 열에 강도를 두고 단일 축과 복합 축을 나눠야 한다. 시각 행에는 카메라 외부 자세, 초점·노출, 조명 방향, 반사, 부분 가림, texture를 두고, 기구·동역학 행에는 물체 $x/y$ 위치와 yaw, payload, 마찰계수, 고무 강성, 테이블 순응도, 관절 backlash를 둔다. 시간 축에는 camera frame drop, observation latency, action delay, network jitter가 필요하다. 각 셀에서 성공률, 30N·60N 초과 reading과 episode, maximum peak, 회복 시간, deadline miss를 같은 seed set으로 기록하면 “±2cm에 강함”을 넘어 어느 오차까지 성능이 유지되는지 경계를 그릴 수 있다.
교란을 한 번에 모두 섞으면 실패 원인을 찾기 어렵다. 1단계는 nominal에서 각 축을 독립 sweep해 민감도 곡선을 얻고, 2단계는 시각×기하, 기하×마찰, latency×force처럼 현장에서 함께 나타나는 쌍을 교차한다. 3단계는 학습 범위 안 interpolation과 범위 밖 extrapolation을 분리하고, 고정된 50개 초기 조건을 정책 간 짝맞춘다. 마지막으로 사전학습 ACT와 PAC-ACT의 성능 차이를 각 셀에 표시하면 후학습이 단순 nominal 최적화인지 실제 recovery 범위를 넓혔는지 확인할 수 있다. 현재 결과는 위치 평행이동 한 축의 제한된 셀만 채운 상태다.
힘 보상과 힘 관측의 차이
힘 센서는 reward와 evaluation에 사용되지만 policy observation에는 포함되지 않는다. 훈련 분포에서 영상·관절 상태와 높은 힘의 전조가 상관되면 정책은 힘을 낮추는 행동을 학습할 수 있다. 그러나 마찰 변화나 순간 걸림처럼 시각으로 보이지 않는 접촉 사건에는 즉각 반응하기 어렵다. 실제 접촉 제어에서는 6축 force/torque나 추정 wrench를 observation에 넣고, 지연과 filtering까지 포함한 폐루프 실험이 필요하다.
현재 결과는 힘 관련 reward가 위험 사건을 줄일 수 있음을 보여 주지만 hard safety guarantee를 제공하지 않는다. PAC-ACT도 maximum peak 120.9N으로 60N을 넘는 사건이 있고, 에피소드의 6%에서 적어도 한 번 60N을 초과한다. 물리 안전이 필수라면 제어 barrier, impedance/admittance controller, action shield, emergency stop과 같은 검증 가능한 저수준 안전 계층을 학습 정책과 결합해야 한다.
실물 force feedback 실험에서는 센서 값을 observation에 단순 연결하는 것만으로 충분하지 않다. 6축 wrench의 bias 보정, 좌표계 변환, 저역통과 filtering, sample rate, timestamp 정렬, saturation을 정하고 카메라·관절 상태와 같은 제어 시점으로 맞춰야 한다. 비교군은 RGB+joint 정책, RGB+joint+raw wrench, filtered wrench를 사용한 정책, 저수준 impedance 계층을 결합한 정책으로 나눌 수 있다. 충돌 직전 force slope, 임계 초과 후 복귀 시간, oscillation, sensor dropout 때의 fallback까지 측정해야 feedback이 평균 힘만 낮추는지 순간 사건에도 반응하는지 판별된다.
MuJoCo의 $f_{total}$은 접촉 모델, solver timestep, 강성·감쇠 파라미터, penetration 계산에 의존한 시뮬레이션 신호다. 실제 장비의 force/torque 센서는 대역폭, 구조 진동, 장착 위치, ADC 범위, bias와 노이즈를 갖고 로봇 제어기의 torque limit 및 기계적 compliance가 peak를 바꾼다. 그러므로 8452.5N과 120.9N은 동일 시뮬레이터 안 정책 간 tail 차이를 보여 주는 데 강하지만 실물에서 같은 절대 뉴턴 값이 재현된다는 예측치는 아니다. simulator timestep이나 contact solver 설정이 달라져도 maximum은 민감하게 변할 수 있어 환경 설정 공개가 필요하다.
산업 안전 인증은 평균 성공률이나 경험적 threshold 통계와 목적이 다르다. 위험원 식별, 허용 하중과 속도, 보호 정지, 센서 고장 진단, 제어 소프트웨어 변경 관리, 검증 가능한 worst-case 동작을 시스템 수준에서 다뤄야 한다. PAC-ACT의 50에피소드 결과는 위험 분석의 입력 자료가 될 수 있으나 인증 또는 안전 무결성 주장을 대신하지 못한다. 실제 셀에서는 학습 Actor 바깥에 속도·힘 제한, workspace monitor, 독립 emergency stop을 두고, 정책 업데이트 후 회귀 시험과 변경 이력을 관리해야 한다. “force-safe success”라는 평가 이름도 해당 protocol의 60N 경험 기준을 통과했다는 뜻으로 한정해야 한다.
표현력과 보상 공학
CVAE 제거는 현재 단일한 구조화 궤적과 제곱 prior 아래에서 최적화를 안정화한다. 그러나 장애물의 왼쪽과 오른쪽처럼 여러 경로가 모두 유효한 과업에서는 단봉 가우시안 평균이 모드 사이의 좋지 않은 행동을 만들 수 있다. 잠재 모드를 조건으로 고정해 한 rollout 안에서는 일관성을 유지하거나, baseline과 Actor가 같은 latent를 공유하도록 정규화하는 방식으로 다봉성과 안정성의 동시 확보를 시험할 수 있다.
주 실험은 영역 접촉, 거리, smoothness, 자세, 시간, 힘, 성공을 결합한 작업별 밀집 보상을 요구한다. 희소 보상 결과가 보상 공학 부담을 줄일 가능성을 보이지만, 그때도 사전학습 행동 prior와 두 번째 편차 패널티가 남는다. 새 산업 과업마다 threshold와 가중치를 다시 설계하면 확장 비용이 커진다. 언어 사양에서 reward를 생성하거나 preference·success detector를 학습하는 방향이 후속 과제다.
재현성에서 가장 큰 빈칸은 dense reward 각 항의 수치 계수다. 원문은 $r_{touch}$, $p_{dist}$, $p_{smooth}$, $p_{orient}$, $p_{time}$, $p_{force}$, $r_{success}$의 구성과 force range를 설명하지만 주 실험의 항별 가중치·클리핑·정규화 식을 모두 표로 제공하지 않는다. success bonus 12.0은 sparse ablation에서 명시되지만 이를 dense 설정의 모든 계수로 역추론할 수 없다. reward coefficient가 달라지면 완료 속도와 force tail의 trade-off, Critic target scale, $\beta_2=2.0$의 상대 세기까지 함께 변하므로 체크포인트만으로 방법을 독립 재현하기 어렵다.
최소 재현 패키지에는 각 보상 항의 단위, 계수, 발동 조건, episode당 누적 분포와 action·observation normalization을 포함해야 한다. force penalty가 60N 초과량에 비례하는지 고정 비용인지, 0.5N 하한이 어떤 조건에서 쓰이는지, smoothness가 연속 원시 action과 청크 경계 중 어디서 계산되는지, orientation·distance의 기준 좌표계를 밝혀야 한다. seed 22·32·42별 학습 curve, simulator XML과 solver 설정, timeout bootstrap 규칙, deterministic evaluation script도 필요하다. 이 정보가 있어야 아키텍처 효과와 우연히 유리한 reward scale을 분리해 검증할 수 있다.
더 엄밀한 비교 설계
| 남은 질문 | 현재 증거 | 필요한 통제 실험 |
|---|---|---|
| 청크 PPO 자체의 효과 | 통합 시스템 향상 | 동일 초기화 step-wise PPO 직접 비교 |
| 두 prior의 독립 기여 | 희소 조건의 $\beta_1=0$ | $\beta_1\times\beta_2$ factorial sweep |
| 청크 길이 민감도 | $c=8$ 단일 설정 | $c$와 $\log\sigma$ 독립 sweep |
| 힘 feedback의 가치 | reward·평가에만 센서 사용 | force observation 유무 비교 |
| 현실 전이 | 시뮬레이션만 평가 | 실제 로봇 disturbance matrix |
정책 비교도 훈련 compute와 online interaction을 함께 보고할 필요가 있다. 표는 모든 사전 모델이 800에피소드 데이터를 사용한다고 명시하지만 각 모델의 학습 step과 후학습 상호작용량이 다르고 architecture 규모도 다르다. 성공률, inference latency, memory 외에 총 GPU-hour, 환경 step, seed별 confidence interval을 제공하면 성능-비용 Pareto를 더 공정하게 판단할 수 있다.
실제 로봇 후속 평가에서는 위치, 시점, 조명, 마찰, 강성, payload, 센서 noise를 축으로 둔 disturbance matrix를 먼저 정의해야 한다. 그 위에서 force feedback observation 유무를 분리하고, chunk length $c$, $\beta_1$, $\beta_2$, 초기 $\log\sigma$를 한 번에 섞지 말고 단계적으로 sweep해야 한다. 마지막으로 task success, force distribution, recovery time, deadline miss를 함께 기록해야 산업 배포 가능성을 균형 있게 평가할 수 있다.
8. 내 해석: 행동 청크를 학습 단위이자 배포 단위로 보는 관점
30대 AI 개발자 겸 연구자인 내가 보기에 PAC-ACT의 가장 좋은 지점은 거대한 새 모델을 세우기보다, 이미 동작하는 ACT의 시간 구조를 RL의 의사결정 단위와 맞췄다는 데 있다. 기존 위키에서 정리한 Latent Memory Palace의 로봇 제어 action chunk가 잠재 공간에 짧은 운동 기억을 보관하는 관점이라면, PAC-ACT는 그 기억 묶음을 환경 보상으로 사후 교정하는 data-driven robot learning의 구체적 사례로 읽힌다. Actor만 배포해 2.30GB와 88.1±23.4ms를 유지한 점도 현업에서는 성공률만큼 중요하다.
구체적인 약점은 핵심 주장인 chunk-level PPO 자체를 동일 조건의 step-wise PPO와 직접 비교하지 않았고 sim-to-real도 검증하지 않았다는 점이다. 그래서 60→100% 개선 중 청크 신용 할당이 만든 몫과 dense reward, CVAE 제거, Critic 경량화, 두 prior가 만든 몫을 나누기 어렵다. 힘 센서가 observation이 아닌 reward·평가용이라는 사실까지 고려하면, 실제 마찰 변화에 닫힌 고리로 대응한다고 확대 해석해서는 곤란하다.
내가 후속 실험을 설계한다면 실제 로봇에서 위치·시점·조명·마찰·강성의 disturbance matrix를 만들고, force feedback observation 유무를 먼저 대조하겠다. 그 다음 chunk length, KL 계수 $\beta_1$, 행동 편차 $\beta_2$ sweep을 서로 분리해 step-wise PPO 기준선과 비교하겠다. 성공률뿐 아니라 60N 초과 episode, peak tail, 복구 시간, deadline miss를 함께 기록해야 PAC-ACT의 구조적 이점과 물리적 한계를 같은 표에서 판단할 수 있다.
9. 결론: 행동 사전을 보존하면서 과업별 성능을 끌어올린 시스템적 성과
무엇이 새롭고 무엇이 입증됐는가
PAC-ACT는 사전학습 ACT를 chunk-level PPO로 후학습하기 위해 MDP, Actor-Critic, 정책 제약을 함께 재설계한다. $c$개 환경 보상을 합쳐 청크 반환을 만들고 $\Gamma=\gamma^c$로 할인율을 조정하며, 전체 청크 확률비와 GAE를 사용한다. Actor는 ACT의 시각 인코더·Transformer·행동 디코더를 보존하되 CVAE를 제거하고, Critic은 인코더를 독립 이식하되 디코더 없이 평균 풀링 가치 헤드를 붙인다.
인접 PPO 정책에 대한 $\beta_1=3.0$ 경험적 KL과 고정 ACT 행동에 대한 $\beta_2=2.0$ 제곱 편차가 서로 다른 시간 범위의 drift를 억제한다. 두 번째 항은 명칭과 달리 KL이 아니며 rollout reward에 들어가는 squared action deviation이다. sparse ablation은 $\beta_1$을 없앴을 때 local peak 88.5%가 나타나도 누적 22.0%, final window 72.7%로 낮고 shortcut 궤적이 생길 수 있음을 보여 준다.
성과를 한 문장으로 압축할 때 남겨야 할 조건
Contour에서는 ACT의 성공률 60%가 100%로, 평균 영역 수 3.14가 4로, 완료 스텝 485.4가 170.6으로, 에피소드 시간이 48.5초에서 17.1초로 개선된다. Square Assembly도 51.2%에서 98.2%로 오른다. PAC-ACT의 추론은 88.1±23.4ms, 2.30GB로 ACT의 98.1±21.7ms, 2.27GB와 가까운 배포 비용을 유지한다.
힘 분석은 median peak 20.74N, mean 3.92±4.31N, maximum 120.9N, 60N 초과 측정값 0.1%, 초과가 한 번이라도 있는 에피소드 6%를 보고한다. ACT의 대응값 105.40N, 38.67±94.12N, 8452.5N, 4.6%, 20%보다 크게 낮다. 그러나 PAC-ACT에도 60N 초과가 남고 실제 로봇은 시험하지 않았으므로 이 결과는 hard safety 보증이 아니라 정해진 시뮬레이션 분포에서의 위험 감소다.
아키텍처 ablation의 final-window는 제안 구조 96.4±3.0%, Flat Critic 88.0±7.4%, CVAE 유지 83.1±7.8%다. 이는 가벼운 encoder-value Critic과 CVAE 제거를 현재 프레임워크 안에서 지지한다. 동시에 청크 길이, $\beta_2$, dense reward 항목, step-wise PPO가 분리되지 않아 핵심 구성의 독립 효과는 다음 연구가 채워야 한다.
가장 균형 잡힌 결론은 행동 복제로 얻은 시간 구조를 폐기하지 않고 환경 피드백으로 과업별 실패를 교정하면서, 배포 시 ACT 계열의 낮은 비용을 유지했다는 것이다. 다음 단계는 동일 상호작용 예산의 step-wise 기준선, 실제 로봇의 교란 행렬, force feedback observation, $c$·$\beta_1$·$\beta_2$ 독립 sweep으로 이 시스템 성과를 구조적 인과와 현실 성능으로 확장하는 일이다.
10. 요약 정리: PAC-ACT를 정확히 기억하기 위한 핵심 체크리스트
- 문제: ACT 같은 행동 청크 정책은 시연에서 시간적으로 연속된 기술을 배우지만, 긴 접촉 과정의 분포 이동과 누적 오차 때문에 Contour 성공률이 800개 시연에서도 60%에 머물렀다.
- 청크 MDP: $c=8$개 환경 스텝을 한 결정으로 묶어 $R_\tau=\sum_i r_{\tau c+i}$, $\Gamma=\gamma^c$, 전체 청크 확률비와 청크 GAE를 사용한다. $K=100$, $c_0=10$, $c=8$은 서로 다른 길이다.
- Actor-Critic: Actor는 ResNet-18, 4층 256차원 Transformer, 행동 디코더를 이식하고 CVAE를 제거한다. Critic은 독립 인코더 사본을 평균 풀링한 뒤 256→256→1 가치 MLP를 사용하며 배포 때는 Actor만 적재한다.
- 두 제약: $\beta_1=3.0$은 이전 정책과 현재 정책의 경험적 KL이고, $\beta_2=2.0$은 고정 ACT 기준 행동과 현재 행동의 실제 제곱 편차 패널티다. hybrid KL의 둘째 항은 KL divergence가 아니다.
- 성공률: Contour/Square에서 ACT 60.0/51.2%, Diffusion Policy 60.0/77.8%, $\pi0.5$ 79.0/62.6%, PAC-ACT 100.0/98.2%를 기록한다.
- 효율: Contour 후학습 전후로 성공 60→100%, 평균 접촉 영역 3.14→4.0, 완료 485.4→170.6스텝, 시간 48.5→17.1초가 되며 PAC-ACT 추론은 88.1±23.4ms와 2.30GB다.
- 힘 결과: PAC-ACT의 median peak는 20.74N, mean은 3.92±4.31N, maximum은 120.9N, 60N 초과 측정값은 0.1%, 초과 episode는 6%다. 힘 센서는 정책 입력이 아닌 보상·평가용이다.
- Ablation: final-window 성공률은 Ours 96.4±3.0%, Flat Critic 88.0±7.4%, CVAE 유지 83.1±7.8%다. 희소 보상의 $\beta_1=0$은 local peak 88.5%여도 누적 22.0%, final window 72.7%이고 $\beta_2$ prior는 유지됐다.
- 한계와 다음 검증: 실제 로봇과 step-wise PPO 직접 비교가 없다. 실제 disturbance matrix, force feedback observation 유무, chunk length·$\beta_1$·$\beta_2$의 분리 sweep이 필요하며 현재 수치는 경험적 위험 감소이지 hard safety guarantee가 아니다.