로봇은 어떻게 '행동'을 배우는가 — VLA 학습 3대 패러다임 정리

Tue, 30 Jun 2026 08:00:00 +0900

휴머노이드와 로봇팔이 “보고, 알아듣고, 움직이는” VLA(Vision-Language-Action) 모델을 공부하다 보면 결국 한 가지 벽에 부딪힌다. 데이터가 너무 비싸다는 것. 사람이 로봇을 원격 조종해 데이터를 모으면 1시간에 50~100달러가 든다. 그래서 “비싼 로봇 데이터를 얼마나 덜 쓰느냐"가 곧 학습 방식을 가른다. 이 글에서는 VLA 학습을 세 갈래로 정리하고, 자주 나오는 “CCTV 영상으로 학습하면 안 되나?“라는 질문, 그리고 실무 적용 옵션까지 짚어본다.

VLA 학습의 3대 패러다임

① 직접 정책 학습 (Direct Policy)

가장 직관적인 방식이다. 로봇이 모은 (관찰, 행동) 쌍을 그대로 학습해 “이 화면을 보면 이렇게 움직여라"를 익힌다.

대표 모델: RT-1, RT-2, OpenVLA(오픈소스 SOTA), Octo, π0·π0.5(50Hz 실시간 제어)
기본 구조: 관찰 이미지 → 비전 인코더(ViT/CNN) → 언어 모델 → 액션 디코더 → 로봇 동작
구분 축: 규모(작은 CNN부터 3~7B VLM 백본까지), 입력 모달리티(단일 ViT vs 멀티뷰 ViT), 출력 방식(연속/이산/디퓨전)

장점은 명확하고 바로 쓸 수 있다는 것. 단점은 그만큼 비싼 로봇 데이터를 많이 먹는다는 것이다.

② 영상 사전학습 (Video Pretraining)

행동 라벨이 붙어 있지 않은 인터넷 영상으로 먼저 “감"을 잡게 한 뒤, 적은 로봇 데이터로 마무리하는 전략이다. 핵심 직관은 “영상 속 변화 자체가 행동의 흔적"이라는 점.

세 가지 접근: 역동역학으로 행동 추정(IDM 기반, VPT) → 잠재 행동 학습(LAPA) → 미래 프레임 예측(GR-1/GR-2)
성과: LAPA는 필요한 행동 라벨을 약 30배 줄였고, GR-2는 3,800만 개 영상으로 학습해 97% 성공률을 보고했다.

③ 월드 모델 (World Model)

“행동하면 세상이 어떻게 바뀔까"를 모델이 직접 상상·시뮬레이션한다. 한 줄로 쓰면 f(현재 상태, 행동) → 다음 상태.

세 갈래: 상상 속에서 RL 학습(Dreamer) → 인터랙티브 시뮬레이터 생성(Genie 2) → 물리적으로 그럴듯한 영상 생성(NVIDIA Cosmos)
NVIDIA는 “Physical AI는 지금 GPT/ImageNet 직전의 순간에 있다"고 주장한다.

세 패러다임을 한눈에 비교하면 이렇다.

패러다임	직관성	데이터 비용	현재 성능	실용성(지금)
① 직접 정책 학습	높음	높음	높음	가장 높음
② 영상 사전학습	중간	낮음	중상	중간
③ 월드 모델	낮음	매우 높음	잠재력 큼	낮음(미래형)

정리하면 ①은 지금 당장 가장 실용적이고, ②는 차세대 R&D의 핵심, ③은 가장 야심차고 비싸지만 가장 미래적이다.

“그냥 CCTV 영상으로 로봇을 가르치면 안 되나?” — 4가지 갭

공부하다 보면 누구나 한 번쯤 떠올리는 질문이다. 결론은 “그대로는 어렵다"이고, 그 이유가 네 가지 갭으로 깔끔하게 정리된다.

행동 갭(Action gap): CCTV는 3인칭 관찰 영상이지만, VLA가 필요한 건 로봇 자신의 1인칭 시점이다.
모달리티 갭: 영상엔 행동 라벨이 없고, 깊이·힘 같은 물리 정보도 빠져 있다.
도메인 갭: CCTV가 비추는 장면과 로봇이 실제로 마주하는 장면이 다르다.
인과성 갭: 우연·상관과 인과를 영상만으로 구분하기 어렵다.

이 네 갭을 메우려는 시도가 바로 위의 ②영상 사전학습이다. “CCTV로는 안 된다"가 아니라, “이 갭들을 어떻게 줄이느냐"가 연구의 본질인 셈이다.

실무라면 어디서부터 시작할까

같은 기술도 목표와 자원에 따라 선택지가 갈린다.

A) 보수적: 시뮬레이터에서 사전학습한 뒤 OpenVLA 파인튜닝 → 1~2주짜리 PoC로 빠르게 검증.
B) 도전적(추천): CCTV 영상으로 잠재 행동을 사전학습한 뒤 OpenVLA 위에 얹는 방식. 라벨링 비용을 30~40% 절감할 여지가 있다.
C) 연구 R&D: LAPA·GR-2식 영상 사전학습과 월드 모델을 결합한 차세대 방향. 가장 멀지만 가장 크다.

지금 결과를 내야 한다면 A로 시작해 B로 넓혀가고, ③월드 모델은 흐름을 지켜보는 정도가 현실적이다.

한 줄 요약

VLA는 ①직접 정책 학습(지금 실용)·②영상 사전학습(차세대 핵심)·③월드 모델(미래형) 의 세 갈래로 배우며, “CCTV 영상으로 그냥 학습"이 어려운 건 행동·모달리티·도메인·인과성의 4가지 갭 때문이다.

공부 메모 on Physical AI 드림팀