5부. 최전선 논문 읽기 on Physical AI 드림팀

ViT 읽기 — 이미지를 16×16 단어로 쪼개 Transformer에 넣기

Mon, 06 Jul 2026 00:00:00 +0900

구글 리서치가 2021년 ICLR에서 발표한 An Image is Worth 16×16 Words(Dosovitskiy et al., arXiv:2010.11929)를 정리한다. 한 줄 요약은 — 이미지를 16×16 패치로 잘라 각 패치를 “단어(토큰)“처럼 취급하고, NLP에서 쓰던 표준 Transformer를 거의 그대로 적용했더니, 데이터만 충분하면 CNN을 이긴다는 것이다. 제목 그대로 “이미지 한 장 = 16×16 단어들의 문장"이라는 발상이 논문 전체를 요약한다.

왜 순수 Transformer를 이미지에?

당시 상황을 알면 이 논문의 무게가 보인다. NLP는 이미 Transformer 천하였다. “큰 데이터로 pre-train → 작은 데이터로 fine-tune” 공식이 표준이 됐고, 파라미터를 100B까지 키워도 성능이 꺾이지 않았다. 반면 비전은 여전히 CNN이 왕이었다. Transformer를 이미지에 써보려는 시도는 많았지만 대부분 CNN에 attention을 곁들이는 수준이었고, 순수 Transformer만으로는 안 된다는 게 통념이었다.

기술적 걸림돌은 분명했다. self-attention은 모든 요소가 다른 모든 요소를 본다. 이걸 픽셀 단위로 하면 픽셀 수의 제곱으로 비용이 폭발한다(224×224면 약 5만 픽셀). 현실적으로 불가능하다.

ViT의 해결책은 단순하다. 픽셀 대신 16×16 패치를 하나의 토큰으로 취급하는 것이다. 224×224 이미지는 패치 196개(14×14)로 줄어, Transformer가 감당할 수 있는 “문장 길이"가 된다.

이미지를 16×16 단어로 — 토큰 만들기

첫 단계는 이미지를 토큰 시퀀스로 바꾸는 것이다.

패치로 분할: 이미지를 16×16 패치들로 자른다. 문장으로 치면 단어 여러 개짜리 문장이다.
선형 투영(patch embedding): 각 패치(16×16×3)를 쭉 펴서 학습 가능한 행렬로 D차원 벡터로 바꾼다. NLP에서 단어를 벡터로 만드는 word embedding과 같은 역할이다.
클래스 토큰: BERT를 그대로 베껴, 맨 앞(0번 자리)에 학습 가능한 특수 토큰 [class]를 붙인다. Transformer를 다 통과한 뒤 이 자리의 출력 벡터가 “이미지 전체를 대표하는 값"이 되고, 여기에 분류기를 붙인다.
위치 임베딩(position embedding): Transformer는 순서 개념이 없어서 각 패치가 원래 몇 번 자리였는지를 더해준다. 흥미롭게도 정교한 2D 방식 대신 그냥 1D 학습형으로도 충분했다 — 모델이 알아서 2D 구조를 학습하기 때문이다.

Transformer Encoder 블록

이렇게 만든 토큰 시퀀스가 Transformer Encoder를 통과한다. 이 블록이 ViT의 심장부이고, L번 반복된다.

한 블록은 두 개의 서브층으로 이뤄진다.

z' = MSA(LN(z)) + z — LayerNorm 후 멀티헤드 셀프 어텐션, 그리고 잔차 합산(⊕)
z'' = MLP(LN(z')) + z' — LayerNorm 후 MLP(GELU 2층), 그리고 잔차 합산(⊕)

여기서 셀프 어텐션이 “모든 패치가 서로를 보는” 부분이다. CNN은 층을 깊이 쌓아야 넓은 영역을 보지만, 어텐션은 첫 층부터 이미지 전체 맥락을 통합할 수 있다. 각 서브층 앞의 LayerNorm과 뒤의 잔차 연결(⊕)은 블록을 깊게 쌓아도 학습이 무너지지 않게 붙잡아주는 장치다. 마지막에는 [class] 토큰의 출력이 MLP Head로 가서 “새/공/자동차…” 분류가 나온다.

모델 크기는 BERT 네이밍을 그대로 물려받았다. ViT-Base(12층, 86M), ViT-Large(24층, 307M), ViT-Huge(32층, 632M). 표기법에서 ViT-L/16은 “Large 모델 + 16×16 패치"를 뜻한다. 패치가 작을수록 토큰 수가 늘어 더 무겁고 더 정확하다(시퀀스 길이는 패치 크기의 제곱에 반비례한다).

데이터가 inductive bias를 이긴다

이 논문의 진짜 핵심은 여기다. 나머지 실험은 전부 이 한 문장을 뒷받침한다.

**Inductive bias(귀납적 편향)**는 모델 구조에 미리 심어놓은 “이미지는 이런 것이다"라는 가정이다. CNN에는 이게 잔뜩 들어 있다 — locality(가까운 픽셀끼리 관련 있다), translation equivariance(고양이가 어디 있든 같은 고양이), 2D 이웃 구조가 층마다 내장돼 있다. 덕분에 CNN은 적은 데이터로도 잘 배운다. 공짜 사전지식이기 때문이다.

반면 ViT에는 이 사전지식이 거의 없다. 패치로 자르는 것과 fine-tune 때 위치 보정, 딱 두 군데만 2D 지식이 들어가고, 패치들 사이의 공간 관계는 전부 데이터로부터 맨땅에서 배워야 한다. 그래서 결과가 데이터 규모에 따라 갈린다.

작은 데이터(ImageNet, 130만 장)만: ViT가 비슷한 크기의 ResNet보다 몇 %p 뒤진다.
중간(ImageNet-21k, 1400만 장): 엇비슷해진다.
큰 데이터(JFT-300M, 3억 장): ViT가 CNN을 역전한다. 큰 모델일수록 격차가 벌어진다.

즉 “구조에 사전지식을 넣느냐"보다 **“데이터를 충분히 주고 스스로 배우게 하느냐”**가 더 강력하다. 논문의 표현으로는 large scale training trumps inductive bias. 이 교훈이 이후 Foundation Model 시대 전체를 관통하는 철학이 된다.

결과와 내부 들여다보기

JFT-300M로 사전학습한 ViT-H/14는 ImageNet 88.55%, CIFAR-100 94.55%, VTAB(19과제) 77.63%로 당시 최강 CNN들(BiT-L, Noisy Student)을 넘어섰다. 그러면서도 사전학습 연산량은 2~4배 적었다 — ViT-H/14가 2.5k TPUv3-core-days인 데 비해 BiT-L은 9.9k, Noisy Student는 12.3k였다. 정확도도 이기고 비용도 싼 것이다. 공개 데이터인 ImageNet-21k로 학습한 ViT-L/16조차 클라우드 TPUv3 8코어로 약 30일이면 훈련할 수 있어 재현 가능성도 열어놨다.

블랙박스가 아니라는 것도 보여준다. 첫 임베딩 필터는 CNN 초기 필터처럼 그럴듯한 기저 함수(edge, 색 패턴)를 학습한다. 위치 임베딩은 아무 사전지식 없이 시작했는데도 가까운 패치끼리 비슷한 벡터를, 심지어 행/열 구조까지 스스로 재발견한다 — 손으로 만든 2D 위치 임베딩이 별 이득이 없던 이유다. 어텐션 거리(CNN의 receptive field에 대응)를 보면 낮은 층에서도 일부 head는 이미지 전체를 보고, 층이 깊어질수록 넓어지며, 최종적으로 분류에 의미 있는 영역에 집중한다.

물론 한계도 있다. 진짜 위력을 보려면 JFT-300M급 초대형(그것도 비공개) 데이터가 필요하고, 이 논문은 분류만 다뤘으며(검출·분할은 이후 다른 연구들의 몫), 자기지도 학습과 지도학습 사이의 격차도 남아 있다. 그럼에도 ViT는 “비전엔 CNN이 반드시 필요하다"는 통념을 깼고, NLP와 비전을 같은 아키텍처로 통일하며 멀티모달·Foundation Model 시대의 문을 열었다.

한 줄 정리

이미지를 단어처럼 쪼개면 언어 모델용 Transformer가 그대로 비전 모델이 되고, 데이터만 충분하면 CNN의 사전지식 없이도 더 잘한다.

BitVLA 읽기 — 모든 파라미터가 −1·0·+1인 VLA, 메모리는 1/11

Mon, 29 Jun 2026 00:00:00 +0900

중국과학원(ICT)에서 2026년 3월에 공개한 BitVLA 논문(arXiv:2506.07530v2)을 정리한다. 한 줄 요약은 — **모든 가중치를 {−1, 0, +1} 세 값으로만 표현한 1-bit VLA가 7B짜리 OpenVLA-OFT와 거의 같은 성능을 내면서 메모리는 1.4 GB(11배 감소), 지연은 73 ms(4.4배 감소)**다. 코드와 가중치 모두 공개됐다(GitHub / HuggingFace).

엣지 로봇 입장에서 “GPU 메모리 4 GB짜리 노트북 GPU(RTX 3050 Ti Laptop) 한 장으로 풀 사이즈 VLA를 굴린다"는 게 무슨 의미인지가 이 논문의 진짜 무게다.

왜 1-bit인가 — VLA의 배치 문제

요즘 나오는 VLA는 죄다 크다. π₀ 3.5B, OpenVLA 7.5B, OpenVLA-OFT 7.7B, UniVLA 8.5B. 다 full-precision(BF16)이라 단순 메모리만 7~17 GB가 들고, 추론 지연은 수백 ms 단위다. 그런데 실제 로봇 — 그것도 엣지 플랫폼 — 은 메모리·전력·열 모두 빠듯하다.

흔한 해법은 post-training quantization(PTQ)이다. 학습은 BF16으로 해 두고 추론 시점에만 INT8 / INT4로 떨궈서 쓴다. 깔끔하지만 두 가지 문제가 있다.

정확도가 떨어진다. 특히 4-bit 이하로 가면 캘리브레이션을 잘해도 무너지기 시작한다.
학습 dynamics와 어긋난다. 모델은 full-precision 분포를 가정하고 학습됐는데, 추론은 다른 게임을 한다.

BitVLA의 입장은 명확하다 — “압축은 사후가 아니라 학습 시점에 같이 설계해야 한다(training-time co-design).” 학습 자체를 1-bit 제약 안에서 진행하면, 모델이 처음부터 저정밀에 어울리는 표현을 배운다.

1.58-bit가 뭔가 — BitNet b1.58 베이스

엄밀히 말하면 “1-bit"는 마케팅용 호칭이고 실제로는 log₂(3) ≈ 1.58 bit다. 가중치가 세 값 {−1, 0, +1} 중 하나니까. 0이 끼어 있다는 게 중요한데, 사실상 sparse weight 역할을 해서 표현력이 binary(±1)보다 훨씬 낫다.

BitVLA는 BitNet b1.58 2B4T를 LLM 백본으로 그대로 가져온다. 이 BitNet은 이미 3B 규모부터 full-precision LLM과 맞먹는 성능을 내는 게 검증돼 있다. BitVLA는 그 위에 vision encoder도 1.58-bit로 깎고, 마지막에 로보틱스 학습을 얹는 구조다.

가중치·활성치 양자화 공식은 단순하다.

대상	양자화 방식	출력 범위
가중치 W	absmean → ternary	{−1, 0, +1}
활성치 x	per-token absmax → INT8	[−128, 127]

선형 레이어 출력은 Y = (α/β) · Q_w(W) · Q_a(x) 한 줄로 끝난다. α는 weight L1 평균 기반 스케일, β는 입력 max 기반 스케일. 핵심은 곱셈이 아니라 덧셈으로 풀린다는 점이다. 가중치가 −1/0/+1이니 행렬 곱은 사실상 정수 덧셈·뺄셈·skip의 조합이고, 부동소수점 연산은 per-element 스케일링 정도만 남는다. 이게 4.4× 속도 향상의 출처다.

3단 학습 파이프라인 — Quantize-then-Distill이 핵심

BitVLA의 학습 구조는 단계별로 어떤 모듈을 풀고 잠그는지를 명확히 통제한다.

단계	학습 대상	동결 대상	데이터
① 멀티모달 학습	Connector → LLM+Connector	ViT(처음엔 LLM도)	LLaVA-1.5-558k → MammoTH-VL 10M
② Quantize-then-Distill	1.58-bit Student ViT만	1-bit LLM, Connector	5M 샘플 (≤10B 토큰)
③ 로보틱스 학습	전체 (LLM, Connector, ViT)	—	Open X-Embodiment ≈1M 궤적

진짜 핵심은 ②단계, Quantize-then-Distill이다.

Quantize-then-Distill — 비전 인코더를 깎는 방법

1단계가 끝나면 1-bit LLM은 잘 정렬돼 있지만 SigLIP-L ViT는 여전히 BF16이다. 이걸 그대로 1.58-bit로 떨구면 표현이 망가져서 multimodal alignment가 깨진다.

BitVLA는 knowledge distillation으로 푼다.

Teacher: full-precision SigLIP-L (동결)
Student: 1.58-bit weight + INT8 activation으로 초기화한 같은 인코더
Student만 학습, LLM과 Connector는 동결

손실은 두 갈래의 합이다.

L_total = L_LM + λ · L_aux

L_LM: 표준 autoregressive 언어 모델 loss (답변 토큰에만 적용)
L_aux: 레이어별 hidden state의 MSE — Σ ‖h_teacher^l − h_student^l‖² / n

ablation 결과가 흥미롭다 — representation alignment loss를 빼면 평균 정확도가 50.8% → 42.4%로 폭락한다. teacher의 중간 표현을 student가 모방하게 강제하는 게 단순 SFT보다 결정적으로 효과적이라는 뜻이다.

추가로 흥미로운 발견 — 1-bit LLM 사전학습은 수조 단위 토큰이 필요했지만, 1.58-bit ViT의 QAT는 5~10B 토큰이면 충분하다. teacher가 있으니 데이터 효율이 훨씬 좋다.

t-SNE 시각화에서 layer 0에서는 teacher와 student 임베딩이 흩어져 있지만, layer 26쯤 가면 거의 겹친다. 깊이가 깊어질수록 student가 teacher의 기하 구조를 그대로 학습한다는 증거다.

모델 사양

구성	사양
LLM 백본	BitNet b1.58 2B4T (1.58-bit)
Vision encoder	SigLIP-L @ 224×224 (1.58-bit weight, INT8 activation)
Connector	2-layer MLP + GeLU (BF16 유지)
Action head	OpenVLA-OFT 스타일 (BF16)
총 파라미터	3.0B
메모리	1.4 GB
Attention	causal (bi-directional로 바꾸니 성능 하락)
Action 처리	parallel decoding + action chunking (K=8 시뮬, K=10 실로봇)
Action 손실	L1 regression

Connector와 action head는 일부러 BF16으로 둔다. 메모리 차지가 미미한데 양자화하면 정렬이 깨지기 쉬워서다.

실험 결과 — “11배 작은데 거의 안 진다”

LIBERO 시뮬레이션 (4종 suite 평균 성공률)

모델	크기	메모리	Avg
OpenVLA-OFT	7.7B	15.4 GB	97.1%
π₀	3.5B	7.0 GB	94.2%
GROOT-N1	2.2B	4.4 GB	93.9%
SmolVLA	2.3B	4.6 GB	88.8%
BitVLA	3.0B	1.4 GB	96.0%

OpenVLA-OFT 대비 −1.1%p에 메모리는 11배 작다. π₀보다는 +1.8%p, 특히 long-horizon에서 +7.6%p로 명확히 앞선다.

PTQ와의 비교

이 표가 진짜 핵심이다.

모델	양자화	메모리	Avg
OpenVLA INT4	PTQ	4.4 GB	72.7%
OpenVLA-OFT INT4	PTQ	4.7 GB	96.9%
BitVLA	native 1.58-bit	1.4 GB	96.0%

OpenVLA-OFT를 INT4 PTQ로 줄여도 4.7 GB가 필요하다. BitVLA는 그보다 1/3 메모리로 거의 같은 성능을 낸다. “사후 압축 vs 학습 시 압축"의 격차를 그대로 보여주는 비교다.

실세계 — Franka 7-DoF

기본 태스크 3개(수박 잡기, 빵 바구니에 넣기, 종 세우기) + OOD 변형 3개(스폰지 잡기, 식탁보 배경, 수박을 바구니에).

3개 기본 태스크 평균에서 BitVLA가 π₀를 일관되게 능가, 7B OpenVLA-OFT와 거의 동등
OOD에서도 catastrophic drop 없이 견디는 일반화 능력
사전학습 제거(w/o pre-training) 변형은 대부분 0%에 가까운 성공률 → Open X-Embodiment 사전학습이 실세계 성능에 결정적

추론 효율 — A100 기준

모델	Latency	Throughput
BitVLA	73 ms	341.1 Hz
OpenVLA-OFT+	321 ms	77.9 Hz
RDT-1B	297 ms	84.1 Hz
π₀	86 ms	291.6 Hz
Diffusion Policy	90 ms	267.4 Hz

50 Hz 제어 루프 기준, BitVLA는 매 스텝에 6배 가까이 여유가 생긴다.

한계 — 솔직한 부분들

저자가 정직하게 적어 둔 한계가 인상적이다.

Drop-in 변환이 안 된다. BitVLA는 quantization-aware training이라, 이미 잘 학습된 풀 정밀도 LLM/VLM을 그대로 1-bit로 떨구면 성능이 크게 깨진다(BitNet 원논문에서 이미 관찰된 현상). 즉 기존 모델을 변환하는 레시피가 아니라 처음부터 다시 굽는 레시피다.
사전학습 스케일이 작다. Open X-Embodiment에서 ~1M 샘플만 썼다. 더 다양한 embodiment·환경에 일반화하려면 사전학습 데이터를 키워야 한다.
전용 가속기가 있어야 진가가 나온다. 현재는 BitBLAS 커스텀 커널로 ternary × INT8 matmul을 돌리지만, 본격적인 효율은 1-bit 전용 하드웨어가 나와야 풀린다. 저자도 결론에서 이 부분을 강조한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문이 던지는 신호들.

엣지 VLA의 현실적 후보가 처음으로 등장했다. 1.4 GB면 노트북 GPU·Jetson급에서 진짜 돌릴 수 있다. 사양 잡을 때 “VLA는 무조건 풀 사이즈 GPU 필요"라는 전제가 깨진다.
양자화 전략의 디폴트가 바뀐다. “일단 학습하고 나중에 INT8/INT4"가 아니라 “학습 시 1.58-bit 제약을 박는다"가 새 기준선이 될 수 있다. 적어도 비교 대상에 BitVLA를 넣어야 한다.
Quantize-then-Distill 패턴은 일반화 가능해 보인다. 우리가 자체 VLA를 만들 때도 풀 정밀도로 한 번 학습한 모듈을 teacher로 두고 저정밀 student로 distill하는 흐름은 그대로 가져올 수 있다.
하드웨어-알고리즘 공동 설계가 다음 라운드의 진짜 게임이라는 신호. ternary × INT8 가속을 잘 받는 SoC가 나오면 휴머노이드·엣지 로봇 추론 비용 구조가 한 단계 더 떨어진다.
모델 가중치가 공개돼 있다(HuggingFace). 자체 환경에서 LIBERO·실로봇 재현 실험을 돌려 보는 게 가장 빠른 학습 경로다.

한 줄 정리

BitVLA가 보여준 것은 모델을 키워야만 성능이 오르는 게 아니라는 점이다 — 모든 파라미터를 −1·0·+1로 묶어도 학습 시점에 양자화를 같이 설계하면 7B VLA와 맞먹는 성능이 1.4 GB 안에 들어간다.

π*₀.₆ 읽기 — VLA가 '연습'으로 더 잘하게 되는 법 (RECAP)

Mon, 29 Jun 2026 00:00:00 +0900

Physical Intelligence가 2025년 11월에 공개한 π*₀.₆ 논문(arXiv:2511.14759)을 한국어 번역본 기준으로 읽고 정리한다. 한 줄로 요약하면 — 시연만으로 학습한 VLA를 “현장에서 연습"으로 더 잘하게 만드는 일반 레시피, RECAP에 관한 이야기다. 실제로 이 모델은 모르는 집에서 빨래를 2시간 넘게 개고, 전문가용 에스프레소 머신을 13시간 연속으로 굴리고, 공장 상자를 조립한다.

왜 또 새 논문인가 — 모방학습이 못 넘는 벽

VLA(Vision-Language-Action) 모델은 대부분 **모방학습(imitation learning)**으로 학습된다. 사람이 텔레오퍼레이션으로 시연한 데이터를 정책에 베껴 넣는 방식이다. 깔끔하고 잘 작동하지만 본질적 한계가 두 개 있다.

오차 누적(compounding errors): 정책이 시연 분포에서 살짝 벗어나는 순간, 본 적 없는 상태에서 또 살짝 벗어나고, 그 누적이 결국 실패로 끝난다.
상한선이 사람: 시연 데이터의 품질·속도가 그대로 천장이 된다. 사람보다 빠르거나 견고해질 수 없다.

해결책은 알려진 지 오래됐다. 강화학습(RL)으로 자율 경험에서 학습하기. 다만 거대한 VLA에 RL을 안정적으로, 확장 가능하게, 실세계 보상 신호로 붙이는 게 어려워서 안 됐을 뿐이다. RECAP은 그 “어렵게 막혀 있던 부분"을 푸는 시도다.

RECAP의 3단 구조 — Value · Advantage · Conditioning

RECAP = RL with Experience and Corrections via Advantage-conditioned Policies. 이름이 길지만 실제 골격은 단순한 3단계다.

단계	하는 일	핵심 도구
① 데이터 수집	VLA를 굴리고 결과 라벨(성공/실패)을 붙임. 초기엔 사람이 중간에 개입해 교정	자율 롤아웃 + human-gated DAgger
② 가치 함수 학습	지금까지의 모든 데이터로 분포형 V(o, ℓ)을 학습	멀티태스크 분포형 critic (201 bin 교차엔트로피)
③ 어드밴티지 조건화 학습	각 행동의 A = “기준 정책보다 개선될지” 지표를 정책 입력에 끼워 넣고 fine-tune	CFG(classifier-free guidance) 스타일 추출

이걸 사전학습 1회 + 다운스트림 과제별로 K번 반복한다. 핵심은 ②와 ③의 결합 방식에 있다.

① 분포형 가치 함수

가치 함수 V를 스칼라 하나로 회귀하는 대신, 201개 구간의 확률 분포로 푼다. 궤적 τ의 시점 t부터의 경험 리턴 Rₜ(τ)를 201개 bin으로 이산화하고, 분포 p_ϕ(V|oₜ, ℓ)이 그 정답 bin을 맞추도록 교차엔트로피로 학습한다. 연속 V는 분포의 기댓값으로 뽑아 쓴다.

분포형이 왜 이득이냐 — 보상이 sparse하고 노이즈가 많은 실세계 로봇 환경에서 스칼라 회귀보다 안정적이기 때문이다. critic은 정책과 같은 아키텍처를 쓰되 더 작은 VLM(약 670M, Gemma 3 기반)을 백본으로 쓴다.

② 어드밴티지 조건화 — CFG로 푸는 정책 추출

여기가 RECAP의 가장 영리한 지점이다. 보통 RL에서 critic으로 정책을 개선할 때는 PPO 같은 policy-gradient를 쓴다. 그런데 거대한 플로우 매칭 기반 VLA에 policy-gradient를 붙이는 건 까다롭고(autoregressive 토큰과 flow 행동이 섞여 있다) 불안정하다.

RECAP은 그래서 **분류기 없는 안내(CFG)**의 어드밴티지 버전을 쓴다. 핵심 식은 이렇다.

π̂(a|o) ∝ πref(a|o) · p(I | A^{πref}(o, a))^β

여기서 I는 “이 행동이 기준 정책보다 좋다(개선 지표)“라는 이벤트이고, p(I|A)는 A가 임계값 η_τ를 넘는지로 정의된다. 그러면 정책 학습은 두 갈래 NLL의 합으로 단순해진다.

min E[ −log π(a|o, ℓ) − β·log π(a|I, o, ℓ) ]

베타로 “얼마나 advantage를 따라갈지"를 조절하고, 추론할 때 β > 1을 주면 CFG처럼 좋은 행동 쪽으로 분포를 더 sharpen한다. policy gradient도, importance sampling도 필요 없다. 오프-폴리시·오프라인 데이터를 그대로 다 쓸 수 있다는 게 이 방식의 진짜 매력이다.

③ 데이터 — 시연·자율·개입을 한 통에

RECAP이 처리하는 데이터는 셋이다.

시연(demonstration): 사전학습 + 다운스트림 SFT용
자율 롤아웃(on-policy): 정책을 실제로 굴려서 모은 성공/실패 궤적
사람 개입(intervention): 자율 실행 중 전문가가 텔레오퍼레이션으로 빠르게 끼어들어 교정한 구간

세 종류를 같은 critic·같은 advantage-조건화 파이프라인에 넣는다. 사람 개입은 초기 반복에 특히 효과가 크고, 후반에는 자율 데이터 비중이 올라간다.

모델 — π*₀.₆ 자체의 구조

RECAP과 함께 굴리는 베이스 모델은 π₀.₆(π₀.₅의 백본·조건화 확장판)을 RL용으로 살짝 변형한 π*₀.₆이다.

구성	사양
VLM 백본	Gemma 3 4B
Action expert	약 860M, 플로우 매칭 기반
출력 형식	(a_{t:t+H}, ā \| o, ℓ) — ā는 FAST 이산 토큰(고수준), a는 연속 액션 청크(저수준)
컨디셔닝	관측 o, 언어 ℓ, 그리고 어드밴티지 라벨 I (“Advantage: positive/negative”)
제어 주파수	50 Hz
그리퍼	parallel jaw, 6-DoF, 양손

Knowledge Insulation(KI) 기법을 써서 액션 expert가 흘리는 그래디언트를 VLM 백본으로 역전파하지 않는다. 덕분에 백본은 next-token prediction의 언어 일반화 능력을 유지하면서 행동 expert만 따로 키운다. 보상(I)는 그냥 프롬프트 prefix에 글자로 끼워 넣는다 — “Advantage: positive”. 단순하지만 잘 먹는 트릭이다.

보상은 의도적으로 단순하게 짰다.

rₜ = 0 (성공으로 종료), −C_fail (실패로 종료), −1 (그 외 모든 스텝)

스텝마다 −1이 깔리므로 모델은 자연스럽게 “빨리 끝내자"는 인센티브를 받는다. 처리량(throughput) 개선이 여기서 나온다.

실험 — 빨래·식기·에스프레소·상자

평가는 네 종류 도메인이다.

빨래 개기: 새 가정의 처음 보는 의류로 2시간 이상 연속 동작 (200 시연)
식기세척기 비우기: 컵·그릇·볼·접시·국자 등 11종, 일부 인접 그리퍼 충돌·집기 어려움 등 어려운 시나리오 포함 (500 시연)
에스프레소 음료 제조: 포타필터 결합, 탬핑, 추출, 우유 스팀, 따르기 — 다단계 + 액체 + 정밀
상자 조립: 평평한 골판지를 펴고 접어 상자 형태로 (공장 실사용 라인)

비교군은 ① 사전학습된 π*₀.₆를 그대로 (RECAP RL 미적용), ② SFT만, ③ RL+SFT 혼합, ④ AWR, ⑤ PPO 변형(DPPO/FPO + SPO).

결과 한 줄 — 처리량 ↑↑, 실패율 ↓↓

비교	처리량	실패율
사전학습만	기준선	기준선
RECAP (반복 1)	~1.5×	~50% 수준
RECAP (반복 2)	~2×	약 절반

가장 어려운 과제(액체·변형 물체·다단계)에서 효과가 두드러진다. 새 가정 빨래 개기는 600회 사이클에서 약 90% 성공률, 에스프레소는 13시간 무중단 동작에 도달했다. AWR과 PPO는 같은 데이터에서 RECAP보다 명확히 처졌다 — PPO는 trust-region 제약 때문에 큰 정책 갱신을 못 했고, AWR은 어드밴티지 가중이 약해 개선이 더뎠다는 분석이다.

또 하나 흥미로운 결과 — 이미 한 가정에서 학습한 정책을 처음 보는 환경에 옮길 때도 RECAP의 자율 데이터 학습이 빠른 적응을 만들어냈다. 시연만 추가하는 SFT 베이스라인은 같은 데이터양에서 RECAP 만큼 회복되지 않았다.

의미와 한계

RECAP이 던지는 메시지는 명확하다.

VLA + RL은 더 이상 연구 데모가 아니다. 실제 가정·공장·카페에서 시간 단위로 운용 가능한 신뢰도까지 왔다.
모방학습의 천장이 깨졌다. 자율 경험으로 사람 시연 수준을 넘는 처리량을 만들 수 있다.
policy-gradient 없이도 대형 VLA를 RL 학습할 수 있다. Advantage-conditioned CFG는 simple하고 데이터 효율적이며 오프-폴리시 친화적이다.
scaling이 핵심이 아니라 레시피가 핵심이다. 같은 백본이라도 RECAP의 데이터 통합 방식 차이만으로 2배 처리량을 끌어낸다.

한계도 있다. critic이 보는 advantage가 결국 사람의 보상 설계(여기선 sparse + 스텝 페널티)에 의존하고, “마지막 1%“를 어떻게 더 짤지에 대한 답은 아직 부분적이다. 그리고 RL이라 부르긴 하지만 본질은 반복 오프라인 RL이고, 순수 online RL의 탐험(exploration) 문제와는 다른 게임이다. 저자도 결론에서 “진짜 online RL을 대형 VLA에 효율적으로 붙이는 문제가 다음 연구 과제"라고 말한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문에서 챙길 만한 것들.

이미 사전학습된 VLA를 자체 환경에 맞춰 끌어올리는 표준 레시피가 나왔다. 우리도 다운스트림 과제 1~2개를 정해 “시연 + 자율 + 사람 개입"의 3중 데이터 파이프라인을 흉내 낼 수 있다.
Advantage-conditioned CFG는 구현 난이도가 낮다. critic 따로 + 같은 정책에 “Advantage: positive” 라벨 프롬프트 prefix만 붙이면 되니, π₀ 계열 오픈 구현 위에 얹는 것도 현실적이다.
**분포형 가치 함수(201 bin 교차엔트로피)**는 sparse reward 환경에서 안전한 디폴트로 가져갈 만하다.
보상은 단순할수록 좋다. 성공 0 / 실패 −C / 스텝 −1 — 이 세 줄 보상만으로 처리량과 견고함이 같이 올라간다는 점이 인상적이다.

한 줄 정리

π*₀.₆가 보여주는 것은 모델 크기 자랑이 아니라, 시연·자율·개입을 한 통에 담는 RL 레시피(RECAP)만으로 VLA가 사람 시연의 천장을 부수고 실세계에서 시간 단위로 돌아갈 수 있다는 사실이다.