π*₀.₆ 읽기 — VLA가 '연습'으로 더 잘하게 되는 법 (RECAP)

Mon, 29 Jun 2026 00:00:00 +0900

Physical Intelligence가 2025년 11월에 공개한 π*₀.₆ 논문(arXiv:2511.14759)을 한국어 번역본 기준으로 읽고 정리한다. 한 줄로 요약하면 — 시연만으로 학습한 VLA를 “현장에서 연습"으로 더 잘하게 만드는 일반 레시피, RECAP에 관한 이야기다. 실제로 이 모델은 모르는 집에서 빨래를 2시간 넘게 개고, 전문가용 에스프레소 머신을 13시간 연속으로 굴리고, 공장 상자를 조립한다.

왜 또 새 논문인가 — 모방학습이 못 넘는 벽

VLA(Vision-Language-Action) 모델은 대부분 **모방학습(imitation learning)**으로 학습된다. 사람이 텔레오퍼레이션으로 시연한 데이터를 정책에 베껴 넣는 방식이다. 깔끔하고 잘 작동하지만 본질적 한계가 두 개 있다.

오차 누적(compounding errors): 정책이 시연 분포에서 살짝 벗어나는 순간, 본 적 없는 상태에서 또 살짝 벗어나고, 그 누적이 결국 실패로 끝난다.
상한선이 사람: 시연 데이터의 품질·속도가 그대로 천장이 된다. 사람보다 빠르거나 견고해질 수 없다.

해결책은 알려진 지 오래됐다. 강화학습(RL)으로 자율 경험에서 학습하기. 다만 거대한 VLA에 RL을 안정적으로, 확장 가능하게, 실세계 보상 신호로 붙이는 게 어려워서 안 됐을 뿐이다. RECAP은 그 “어렵게 막혀 있던 부분"을 푸는 시도다.

RECAP의 3단 구조 — Value · Advantage · Conditioning

RECAP = RL with Experience and Corrections via Advantage-conditioned Policies. 이름이 길지만 실제 골격은 단순한 3단계다.

단계	하는 일	핵심 도구
① 데이터 수집	VLA를 굴리고 결과 라벨(성공/실패)을 붙임. 초기엔 사람이 중간에 개입해 교정	자율 롤아웃 + human-gated DAgger
② 가치 함수 학습	지금까지의 모든 데이터로 분포형 V(o, ℓ)을 학습	멀티태스크 분포형 critic (201 bin 교차엔트로피)
③ 어드밴티지 조건화 학습	각 행동의 A = “기준 정책보다 개선될지” 지표를 정책 입력에 끼워 넣고 fine-tune	CFG(classifier-free guidance) 스타일 추출

이걸 사전학습 1회 + 다운스트림 과제별로 K번 반복한다. 핵심은 ②와 ③의 결합 방식에 있다.

① 분포형 가치 함수

가치 함수 V를 스칼라 하나로 회귀하는 대신, 201개 구간의 확률 분포로 푼다. 궤적 τ의 시점 t부터의 경험 리턴 Rₜ(τ)를 201개 bin으로 이산화하고, 분포 p_ϕ(V|oₜ, ℓ)이 그 정답 bin을 맞추도록 교차엔트로피로 학습한다. 연속 V는 분포의 기댓값으로 뽑아 쓴다.

분포형이 왜 이득이냐 — 보상이 sparse하고 노이즈가 많은 실세계 로봇 환경에서 스칼라 회귀보다 안정적이기 때문이다. critic은 정책과 같은 아키텍처를 쓰되 더 작은 VLM(약 670M, Gemma 3 기반)을 백본으로 쓴다.

② 어드밴티지 조건화 — CFG로 푸는 정책 추출

여기가 RECAP의 가장 영리한 지점이다. 보통 RL에서 critic으로 정책을 개선할 때는 PPO 같은 policy-gradient를 쓴다. 그런데 거대한 플로우 매칭 기반 VLA에 policy-gradient를 붙이는 건 까다롭고(autoregressive 토큰과 flow 행동이 섞여 있다) 불안정하다.

RECAP은 그래서 **분류기 없는 안내(CFG)**의 어드밴티지 버전을 쓴다. 핵심 식은 이렇다.

π̂(a|o) ∝ πref(a|o) · p(I | A^{πref}(o, a))^β

여기서 I는 “이 행동이 기준 정책보다 좋다(개선 지표)“라는 이벤트이고, p(I|A)는 A가 임계값 η_τ를 넘는지로 정의된다. 그러면 정책 학습은 두 갈래 NLL의 합으로 단순해진다.

min E[ −log π(a|o, ℓ) − β·log π(a|I, o, ℓ) ]

베타로 “얼마나 advantage를 따라갈지"를 조절하고, 추론할 때 β > 1을 주면 CFG처럼 좋은 행동 쪽으로 분포를 더 sharpen한다. policy gradient도, importance sampling도 필요 없다. 오프-폴리시·오프라인 데이터를 그대로 다 쓸 수 있다는 게 이 방식의 진짜 매력이다.

③ 데이터 — 시연·자율·개입을 한 통에

RECAP이 처리하는 데이터는 셋이다.

시연(demonstration): 사전학습 + 다운스트림 SFT용
자율 롤아웃(on-policy): 정책을 실제로 굴려서 모은 성공/실패 궤적
사람 개입(intervention): 자율 실행 중 전문가가 텔레오퍼레이션으로 빠르게 끼어들어 교정한 구간

세 종류를 같은 critic·같은 advantage-조건화 파이프라인에 넣는다. 사람 개입은 초기 반복에 특히 효과가 크고, 후반에는 자율 데이터 비중이 올라간다.

모델 — π*₀.₆ 자체의 구조

RECAP과 함께 굴리는 베이스 모델은 π₀.₆(π₀.₅의 백본·조건화 확장판)을 RL용으로 살짝 변형한 π*₀.₆이다.

구성	사양
VLM 백본	Gemma 3 4B
Action expert	약 860M, 플로우 매칭 기반
출력 형식	(a_{t:t+H}, ā \| o, ℓ) — ā는 FAST 이산 토큰(고수준), a는 연속 액션 청크(저수준)
컨디셔닝	관측 o, 언어 ℓ, 그리고 어드밴티지 라벨 I (“Advantage: positive/negative”)
제어 주파수	50 Hz
그리퍼	parallel jaw, 6-DoF, 양손

Knowledge Insulation(KI) 기법을 써서 액션 expert가 흘리는 그래디언트를 VLM 백본으로 역전파하지 않는다. 덕분에 백본은 next-token prediction의 언어 일반화 능력을 유지하면서 행동 expert만 따로 키운다. 보상(I)는 그냥 프롬프트 prefix에 글자로 끼워 넣는다 — “Advantage: positive”. 단순하지만 잘 먹는 트릭이다.

보상은 의도적으로 단순하게 짰다.

rₜ = 0 (성공으로 종료), −C_fail (실패로 종료), −1 (그 외 모든 스텝)

스텝마다 −1이 깔리므로 모델은 자연스럽게 “빨리 끝내자"는 인센티브를 받는다. 처리량(throughput) 개선이 여기서 나온다.

실험 — 빨래·식기·에스프레소·상자

평가는 네 종류 도메인이다.

빨래 개기: 새 가정의 처음 보는 의류로 2시간 이상 연속 동작 (200 시연)
식기세척기 비우기: 컵·그릇·볼·접시·국자 등 11종, 일부 인접 그리퍼 충돌·집기 어려움 등 어려운 시나리오 포함 (500 시연)
에스프레소 음료 제조: 포타필터 결합, 탬핑, 추출, 우유 스팀, 따르기 — 다단계 + 액체 + 정밀
상자 조립: 평평한 골판지를 펴고 접어 상자 형태로 (공장 실사용 라인)

비교군은 ① 사전학습된 π*₀.₆를 그대로 (RECAP RL 미적용), ② SFT만, ③ RL+SFT 혼합, ④ AWR, ⑤ PPO 변형(DPPO/FPO + SPO).

결과 한 줄 — 처리량 ↑↑, 실패율 ↓↓

비교	처리량	실패율
사전학습만	기준선	기준선
RECAP (반복 1)	~1.5×	~50% 수준
RECAP (반복 2)	~2×	약 절반

가장 어려운 과제(액체·변형 물체·다단계)에서 효과가 두드러진다. 새 가정 빨래 개기는 600회 사이클에서 약 90% 성공률, 에스프레소는 13시간 무중단 동작에 도달했다. AWR과 PPO는 같은 데이터에서 RECAP보다 명확히 처졌다 — PPO는 trust-region 제약 때문에 큰 정책 갱신을 못 했고, AWR은 어드밴티지 가중이 약해 개선이 더뎠다는 분석이다.

또 하나 흥미로운 결과 — 이미 한 가정에서 학습한 정책을 처음 보는 환경에 옮길 때도 RECAP의 자율 데이터 학습이 빠른 적응을 만들어냈다. 시연만 추가하는 SFT 베이스라인은 같은 데이터양에서 RECAP 만큼 회복되지 않았다.

의미와 한계

RECAP이 던지는 메시지는 명확하다.

VLA + RL은 더 이상 연구 데모가 아니다. 실제 가정·공장·카페에서 시간 단위로 운용 가능한 신뢰도까지 왔다.
모방학습의 천장이 깨졌다. 자율 경험으로 사람 시연 수준을 넘는 처리량을 만들 수 있다.
policy-gradient 없이도 대형 VLA를 RL 학습할 수 있다. Advantage-conditioned CFG는 simple하고 데이터 효율적이며 오프-폴리시 친화적이다.
scaling이 핵심이 아니라 레시피가 핵심이다. 같은 백본이라도 RECAP의 데이터 통합 방식 차이만으로 2배 처리량을 끌어낸다.

한계도 있다. critic이 보는 advantage가 결국 사람의 보상 설계(여기선 sparse + 스텝 페널티)에 의존하고, “마지막 1%“를 어떻게 더 짤지에 대한 답은 아직 부분적이다. 그리고 RL이라 부르긴 하지만 본질은 반복 오프라인 RL이고, 순수 online RL의 탐험(exploration) 문제와는 다른 게임이다. 저자도 결론에서 “진짜 online RL을 대형 VLA에 효율적으로 붙이는 문제가 다음 연구 과제"라고 말한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문에서 챙길 만한 것들.

이미 사전학습된 VLA를 자체 환경에 맞춰 끌어올리는 표준 레시피가 나왔다. 우리도 다운스트림 과제 1~2개를 정해 “시연 + 자율 + 사람 개입"의 3중 데이터 파이프라인을 흉내 낼 수 있다.
Advantage-conditioned CFG는 구현 난이도가 낮다. critic 따로 + 같은 정책에 “Advantage: positive” 라벨 프롬프트 prefix만 붙이면 되니, π₀ 계열 오픈 구현 위에 얹는 것도 현실적이다.
**분포형 가치 함수(201 bin 교차엔트로피)**는 sparse reward 환경에서 안전한 디폴트로 가져갈 만하다.
보상은 단순할수록 좋다. 성공 0 / 실패 −C / 스텝 −1 — 이 세 줄 보상만으로 처리량과 견고함이 같이 올라간다는 점이 인상적이다.

한 줄 정리

π*₀.₆가 보여주는 것은 모델 크기 자랑이 아니라, 시연·자율·개입을 한 통에 담는 RL 레시피(RECAP)만으로 VLA가 사람 시연의 천장을 부수고 실세계에서 시간 단위로 돌아갈 수 있다는 사실이다.

강화학습 on Physical AI 드림팀