VLA on Physical AI 드림팀

로봇청소기는 피지컬 AI일까

Thu, 09 Jul 2026 00:00:00 +0900

이 글은 “피지컬 AI 완전 입문” 시리즈의 Part 1이며, 화면 안에서만 동작하던 AI가 어떻게 ‘몸’을 얻어 피지컬 AI가 되는지, 그리고 그 두뇌 역할을 하는 VLA가 무엇인지를 다룬다.

1. 화면 밖으로 나온 AI — 몸을 얻은 지능

피지컬 AI는 지능이 실제 몸을 움직이는 AI다. 주변을 보고, 스스로 판단하고, 직접 행동한다.

가장 익숙한 ChatGPT(디지털 AI)와 비교하면 차이가 한눈에 보인다.

기준	디지털 AI (생성형)	피지컬 AI
일하는 곳	화면 속 데이터	실제 3차원 공간
입력	텍스트·이미지	센서 (카메라·거리·촉각)
출력	글·그림·코드	움직임 (모터 구동)
실수의 대가	다시 생성	파손·충돌 (되돌리기 어려움)

핵심은 인식-판단-행동의 순환이다:

1
2
3


👀 본다 (센서로 인식) → 🧠 판단한다 (무엇을 할지 결정) → 🦾 움직인다 (모터 구동)
 ↑ │
 └──────────── 세상이 바뀌면 다시 본다 · 초당 수십 번 반복 ─────────┘

챗봇은 답을 한 번 내놓으면 끝이지만, 실제 세상은 가만히 있지 않기 때문에 피지컬 AI는 이 순환을 멈출 수 없다. ‘몸’과 ‘멈추지 않는 순환’, 이 둘이 핵심이다.

2. 시키는 로봇에서 알아서 하는 로봇으로 — 자동화와 지능화

예전 로봇(자동화)과 피지컬 AI(지능화)는 이렇게 다르다.

기준	자동화	지능화
동작 결정	사람이 규칙을 코딩	데이터로 스스로 학습
환경 변화	정해진 환경에서만	처음 보는 상황에도 대응
예외를 만나면	멈추거나 에러	스스로 판단해 적응
대표 사례	컨베이어·산업로봇	휴머노이드·자율주행

둘은 **‘예외 상황’**에서 갈린다. 자동화는 정해진 상황에서만 동작하고 처음 보는 상황을 만나면 멈춘다. 지능화는 학습한 것을 바탕으로 새 상황에도 대응하는데, 이 능력을 일반화라고 한다.

단, 지능화가 항상 낫다는 뜻은 아니다. 정해진 일을 반복하는 데는 자동화가 여전히 최고라, 실제 공장은 보통 둘을 함께 쓴다.

3. 그렇다면 모두 피지컬 AI일까 — 경계 긋기

보고, 판단하고, 움직인다고 해서 모두 피지컬 AI는 아니다.

자동문도 사람을 감지해 문을 연다. 하지만 정해진 규칙만 따를 뿐, 새 상황을 학습해 판단하지는 않는다. 그래서 두 가지 축으로 나눠 본다 — 몸이 있는가, 그리고 판단이 규칙인가 학습인가.

	규칙 판단 (자동화)	학습 판단 (지능화)
몸 있음	🚪 자동화 기계 (자동문, 산업로봇)	🤖 피지컬 AI (휴머노이드, 자율주행)
몸 없음	🧮 일반 소프트웨어 (계산기, 엑셀)	💬 디지털 AI (ChatGPT, 생성형)

피지컬 AI는 “몸 있음 + 학습” 한 칸뿐이다. 자동문은 판단이 규칙이라 자동화, ChatGPT는 몸이 없어 디지털 AI다. 몸과 학습을 모두 갖춘 경우만 남는다.

한 줄 정의: “통제된 환경에서 시키는 대로가 아니라, 통제되지 않은 환경에서도 스스로 판단한다.” 자동화는 통제된 환경에서 시키는 대로, 예외를 만나면 멈춘다. 피지컬 AI는 통제되지 않은 환경에서 처음 보는 상황까지 스스로 판단한다.

4. 그것도 피지컬 AI가 맞을까 — 자주 묻는 질문

Q1. 로봇청소기도 알아서 피하던데, 피지컬 AI인가요? A. 절반은 맞고 절반은 다르다. 자동화에서 지능화로 넘어가는 과도기다. 장애물이 무엇인지 ‘인식’할 때는 학습 AI를, ‘어떻게 피할지’ 결정할 때는 사람이 짜 둔 규칙을 쓰는 경우가 많다. 그래서 규칙 밖 낯선 상황을 만나면 대개 멈춘다. 처음 보는 상황까지 스스로 대처하는 본격 피지컬 AI와 갈리는 지점이다.

Q2. 꼭 사람 모양(휴머노이드)이어야 하나요? A. 형태는 중요하지 않다. 자율주행차·드론·로봇팔도 스스로 보고 판단해 움직이면 모두 피지컬 AI다. 휴머노이드가 주목받는 건 세상이 사람 몸에 맞춰(문손잡이·계단) 설계돼 두루 쓰기 편해서일 뿐이다. 기준은 형태가 아니라 ‘판단이 학습이냐’다.

Q3. 두뇌가 반드시 로봇 안에 있어야 하나요? A. 아니다. 두뇌는 클라우드(서버)에 있어도 된다. 중요한 건 위치가 아니라 현실과 연결돼 직접 상호작용하는가다(어려운 말로 ‘체화’). 두뇌를 멀리 두더라도 시스템 전체가 현실의 몸을 움직여 경험을 쌓으면 피지컬 AI다.

헷갈리기 쉬운 경계 사례

공중제비 로봇 — 아님: 멋진 공중제비는 대부분 미리 계산된 궤적이다. 역동적이라고 해서 지능적인 것은 아니다.
자율주행차 — 맞음: 통제되지 않은 도로를 학습으로 감당하므로 피지컬 AI다. 단, 대부분 VLA 방식은 아니다.

5. 쉬운 일이 가장 어렵다 — 모라벡의 역설

우리가 너무 쉽게 해내는 일이, 오히려 AI에게는 가장 어렵다.

사람은 쉽게 · AI는 어렵게	사람은 어렵게 · AI는 쉽게
🥤 컵 집기	♟️ 체스·바둑
🚶 걷기·균형	➗ 복잡한 계산
👁 보고 알아보기	🌐 번역
🪜 계단 오르기	🧠 대량 암기

AI는 바둑을 이기고 계산·번역은 척척 하지만, 한 살배기도 하는 컵 집기·걷기는 아직 서툴다. 감각과 운동은 수억 년 진화로 몸에 새겨져 힘들이지 않고 되는 반면, 수학·논리는 겨우 수천 년 된 얕은 능력이기 때문이다. 그래서 ChatGPT가 먼저 발전했고, 피지컬 AI는 지금이 최전선이다.

순환의 네 단계 중 판단(추론)이 오히려 가장 쉽다. 진짜 어려운 건 어수선한 현실을 정확히 보는 ‘보기’와, 생각대로 몸을 실시간 제어하는 ‘움직이기’다.

시험은 통과하는 AI가, 물컵 하나 집는 것은 어려워한다.

6. 로봇에게 두뇌를 달다 — VLA란 무엇인가

VLA는 카메라 영상(V)과 말 지시(L)를 받아, 로봇 동작(A)을 하나의 신경망으로 곧바로 만들어 내는 로봇 두뇌다.

앞의 ‘판단’ 단계를 담당하는 대표 기술이 바로 VLA다. 예전엔 보는·알아듣는·움직이는 프로그램을 따로 만들어 이어 붙였는데, VLA는 이 셋을 하나로 합쳤다.

발상의 전환 — 움직임도 ‘토큰’처럼: GPT가 글을 ‘토큰’으로 다루듯, 로봇의 움직임도 토큰처럼 출력하면 되지 않을까. 이 발상에서 VLA가 출발했다.

VLA는 갑자기 나온 게 아니라, 여러 연구가 하나씩 발전해 지금에 이르렀다. 합류 타임라인으로 보면:

뿌리 (무엇이 합쳐졌나): ①통째로 학습(RT-1, 로봇 행동) + ②언어 붙이기(VLM, 언어·비전) → ③VLA 탄생 (RT-2, 2023, 두 갈래 합류·명명)
그 뒤 발전 (어떻게 커졌나): ③ → ④분포로 생성(π0, 2024) → ⑤이중 뇌(GR00T·Gemini, 2025)
**행동 생성(Diffusion·flow)**은 π0(2024)에서 뒤늦게 합류

다섯 번의 도약

보기에서 움직임까지 통째로 학습 — 사람이 규칙을 짜는 대신 데이터가 규칙을 만든다.
언어 모델을 몸에 붙이기 — GPT의 상식으로 “치워"를 알아듣고 스스로 계획한다. (SayCan · PaLM-E)
움직임을 ‘토큰’처럼 — 글 다루듯 동작을 출력한다. 여기서 ‘VLA’라는 이름이 붙었다. (RT-2 · OpenVLA)
행동을 ‘분포로 생성’ — 정답이 여럿이라, 그림 그리듯 여러 가능성에서 동작을 뽑는다. (Diffusion · π0)
세계 상상 + 두 개의 뇌 — 머릿속 시뮬레이션으로 연습하고, 느린 뇌(계획)·빠른 뇌(반사)로 나눈다. (GR00T · Gemini)

꼭 짚어 둘 오해

“피지컬 AI가 곧 VLA다” — 오해: VLA는 두뇌의 한 부분일 뿐이다. 센서·저수준 제어·모터도 모두 피지컬 AI를 이룬다. 즉 피지컬 AI가 VLA를 포함한다.
“VLA가 모든 것을 한다” — 절반만 맞음: VLA는 ‘무엇을 할지’(목표)를 정한다. 모터를 1초에 수백 번 미세 조정하는 일은 따로 있는 저수준 제어(소뇌)의 몫이다.

다음 편 예고 (Part 2): 누가 “리모컨 좀 줘"라고 하면, 우리는 순식간에 말을 알아듣고 눈으로 찾고 손을 뻗어 건넨다. 로봇에게 이걸 시키려면 보고·알아듣고·움직이는 것을 하나로 묶은 두뇌(VLA)가 필요하다. Part 2에서는 이 두뇌를 컵 집기로 뜯어본다.

이 내용을 정리한 영상도 참고하세요: https://www.youtube.com/watch?v=ep_KaVLV-u0&t=341s

한 줄 정리

피지컬 AI는 ‘몸’과 ‘멈추지 않는 인식-판단-행동 순환’을 갖춘 학습형 지능이며, 그중 보고·알아듣고·움직임을 하나로 잇는 판단 두뇌가 바로 VLA다.

피지컬 AI, 최신 모델을 외우지 말고 '흐름'을 읽어라

Wed, 01 Jul 2026 00:00:00 +0900

로봇과 AI가 만나는 피지컬 AI 분야는 새 모델이 하루가 다르게 쏟아진다. 그런데 이 분야를 공부하다 보면, 최신 모델의 이름과 성능을 아무리 따라가도 전체 그림이 잘 잡히지 않는 순간이 온다. 아직 하나의 정답으로 수렴하지 않은 분야이기 때문이다. 이 글에서는 개별 기술을 암기하는 대신 기술이 이어져 온 계보(흐름)를 읽는 관점을 정리한다.

왜 암기가 아니라 ‘흐름’인가

피지컬 AI는 새 모델이 빠르게 등장하고, 오늘의 SOTA가 몇 달 뒤 다른 구조로 대체되기도 한다.
로봇에서 “성능"은 숫자 하나로 비교하기 어렵다. 같은 모델이라도 학습 데이터, 연결한 센서, 행동을 출력하는 주기에 따라 결과가 달라진다.
아직 하나의 구조나 개발 방식으로 수렴하지 않았기 때문에, 논문 이름만 쫓아서는 전체 변화를 이해하기 어렵다.

그래서 더 중요한 것은 각 기술이 어떤 문제를 풀려고 등장했고, 무엇을 여전히 못 풀었는가를 읽는 눈이다. 어떤 기술이 남긴 한계가 바로 다음 기술이 태어난 이유가 되기 때문이다.

새로운 기술을 읽는 세 가지 질문

새 논문이나 모델을 만나면 다음 세 가지만 확인해도 전체 흐름 속 위치가 보인다.

이 기술은 기존 방식의 어떤 문제를 풀려는 것인가?
그 문제를 어떤 아이디어로 풀었는가?
그럼에도 무엇을 여전히 못 풀었는가?

이 세 가지를 함께 보면, 어떤 연구가 단순한 성능 개선인지 아니면 판을 바꿀 새 아이디어인지 조금 더 명확하게 판단할 수 있다.

LLM에서 피지컬 AI로: 능력을 쌓아 올린 계보

전체 흐름을 한 장으로 요약하면 아래와 같다. 핵심은 세로로 내려갈수록 앞선 능력을 버리는 것이 아니라 품고 간다는 점이다(대체 ✕, 누적 ○). 왼쪽의 ‘더한 능력’이 진화의 동력이고, 오른쪽의 ‘남은 한계’가 다음 단계가 태어난 이유다. ‘VLA 내부 기법’은 새로운 계보 단계가 아니라 VLA를 다듬는 선택지이며, 성격이 다른 두 갈래(출력 방식 · 중간 추론)로 나뉜다.

단계	정체 (입력→출력)	＋더한 능력	△남은 한계 → 다음 촉발
LLM	텍스트 → 텍스트	(출발점) 명령을 작업 순서로 계획	장면을 직접 못 봄 → 시각 필요
VLM	텍스트+이미지 → 텍스트	＋시각(이미지 이해)	이해만 할 뿐 행동을 못 냄 → 행동 출력 필요
VLA	시각+언어 → 행동	＋행동 출력(관절/그리퍼 직접)	정답이 여럿·오차 누적 → 행동 표현 기법 필요
↳ VLA 내부 기법 Ⓐ 출력 방식	행동을 어떤 형태로 낼까	이산 토큰화 · 액션 청크 · 디퓨전 · 플로우 매칭 · FAST	생성 비용·실시간성 부담
↳ VLA 내부 기법 Ⓑ 중간 추론	행동 전에 무엇을 거칠까	언어 중간표현(RT-H) · ECoT · 미래 장면 예측	장기 계획·재계획 약함 → 상위 층 필요
계층형 시스템	상위(추론)+하위(제어)	＋상위 추론층(느린 판단+빠른 제어)	현실 격차·데이터 부족 → 경험 확보 필요
피지컬 AI 시스템	두뇌 + 몸·경험의 순환	＋데이터·시뮬·배포·지속학습	(진행형 — 아직 완성 안 됨)

여기서 계층형 시스템은 VLA를 대체하지 않고 하위 모듈로 감싼다는 점이 중요하다. VLA는 사라지지 않고 계층형의 ‘손발’로 계속 쓰이며, 피지컬 AI 시스템은 이 ‘두뇌(모델)‘에 데이터·시뮬·배포·지속학습이라는 ‘몸·경험’을 더한 전체 시스템이다.

계보를 이해하는 데 도움이 되는 보충 개념

LLM / VLM / VLA 관계: LLM(글만)에 눈을 붙이면 VLM(글+그림 이해), 거기에 손발을 붙이면 VLA(보고·듣고 → 직접 움직임)가 된다. VLA는 VLM 위에 지어진다(예: RT-2는 VLM에 행동 출력을 덧붙여 파인튜닝한 것). 그래서 웹에서 배운 상식이 로봇 행동으로 전이된다.
언어형 중간 표현: 명령에서 곧바로 관절 값을 내지 않고, 중간에 “팔을 컵으로 이동” 같은 자연어 하위목표를 한 번 거친 뒤 행동으로 변환한다. 해석 가능성·일반화·사람의 교정에 유리하다(RT-H, ECoT).
액션 청크: 여러 스텝의 행동을 하나의 묶음으로 한 번에 예측하는 출력 방식이다(예: π0). 한 스텝씩 내면 오차가 쌓이고 움직임이 끊기며, 묶음으로 내면 부드럽지만 갑작스러운 변화에는 둔하다.
디퓨전 / 플로우 매칭 정책: 행동은 정답이 여럿(멀티모달)이라 단순 회귀는 평균을 내 허공을 잡는다(mode averaging). 디퓨전은 노이즈에서 여러 번 잡음 제거로 행동을 생성(느림), 플로우 매칭은 더 적은 단계로 생성(빠름, 실시간에 유리, π0가 사용)한다. 둘 다 VLA의 ‘행동 출력 헤드’다.

기술 계보 개념지도: 두 개의 축

같은 계보를 두 축으로 나눠 문제 → 남은 한계 → 대표 연구로 정리하면 지형이 더 선명해진다.

① 모델 아키텍처 축 — 명령을 어떻게 행동으로 바꾸나

기술	풀려던 문제	남은 한계	대표 연구
LLM 플래닝	자연어 명령을 로봇 작업 순서로 분해	계획과 실제 관절 제어 사이의 간극(grounding gap)	SayCan, Code as Policies
VLA (Vision-Language-Action)	계획–행동 간극을 좁힘(시각+언어→행동 직접 출력)	충돌 회피·정밀 모션플래닝은 미완	RT-2, OpenVLA, π0, GR00T
언어형 중간표현	장기 작업의 일관성·해석 가능성 확보	어떤 구조가 표준인지 미수렴	RT-H, ECoT
액션 청크	매 스텝 출력의 지연·오차 누적(compounding error)	청크 실행 중 환경 급변 시 반응성 저하	ACT/ALOHA, Diffusion Policy
디퓨전 / 플로우 매칭 정책	행동의 다양성(멀티모달) 표현	생성 비용·실시간성 부담	Diffusion Policy, π0
계층형 시스템(dual-system)	짧은 행동에 집중하면 장기 목적·재계획 취약	상위–하위 결합 방식이 관건	Helix, Gemini Robotics
미래 장면 예측(world model)	목표 상태를 명시해 행동 유도	성숙 미완, 경쟁 중인 선택지	UniPi, GR-2, Cosmos

읽는 법: LLM 플래닝이 ‘계획–행동 간극’을 남기자 → VLA가 등장, VLA가 ‘정답이 하나가 아님’을 남기자 → 액션 청크·디퓨전이 등장, 그것이 ‘장기 목적·재계획 취약’을 남기자 → 계층형 구조가 주목받았다. 더 큰 모델이 아니라 앞 방식의 약점을 메우는 방향으로 진화했다.

② 데이터·시뮬레이션·배포 축 — 경험을 어떻게 확보하고 현실로 옮기나

기술	풀려던 문제	남은 한계	대표 연구
오픈 로봇 데이터셋	실로봇 데이터 수집이 비싸고 느림	데이터 다양성·규모 부족	Open X-Embodiment, DROID
사람 시연 / 웹 영상 학습	데이터 확보 비용 완화	신체 구조 차이(embodiment gap), retargeting 필요	Ego4D, R3M
시뮬레이션 / 합성 데이터	위험·희소 상황을 저비용 대량 생성	시뮬레이터 자체 물리 충실도 한계	Isaac Sim, MimicGen
디지털 트윈	가상–현실 정합성 확보	복제 비용, 접촉·변형 재현 한계	Omniverse, 3D Gaussian Splatting
도메인 랜덤화	Sim-to-Real 격차에 강건하게 학습	트윈과 철학이 상반(강건화 vs 정합화)	OpenAI Dactyl, ADR
Sim-to-Real	시뮬 성공이 실제에서 실패로 이어짐	접촉·변형·액추에이터 지연 완전 모델링 불가	System ID, RMA
온디바이스 / 양자화 추론	행동 지연이 성능·안전에 직결	정밀도–성능 트레이드오프, 안전은 별도 계층 필요	Jetson/TensorRT, π0-FAST
지속 학습 순환(data flywheel)	배포 후 예외·실패를 다시 학습에 반영	진짜 온라인 지속학습(치명적 망각)은 미해결	데이터 플라이휠

읽는 법: 이 축 전체는 하나의 순환 시스템이다. 데이터 수집 → 모델 학습 → 시뮬 검증 → 실제 배포 → 현장 실패 재수집 → 재학습이 계속 돈다. 그래서 기회도 모델 자체보다 데이터 평가·시뮬 환경·운영·지속학습 같은 시스템의 빈틈에 더 많이 남아 있다.

한 줄 정리

빠르게 변하는 피지컬 AI에서 진짜 경쟁력은 최신 모델의 이름을 외우는 것이 아니라, 새 기술이 어떤 한계를 메우려 등장했고 무엇을 남겼는지를 계보 위에서 읽어내는 능력이다.

로봇은 어떻게 '행동'을 배우는가 — VLA 학습 3대 패러다임 정리

Tue, 30 Jun 2026 08:00:00 +0900

휴머노이드와 로봇팔이 “보고, 알아듣고, 움직이는” VLA(Vision-Language-Action) 모델을 공부하다 보면 결국 한 가지 벽에 부딪힌다. 데이터가 너무 비싸다는 것. 사람이 로봇을 원격 조종해 데이터를 모으면 1시간에 50~100달러가 든다. 그래서 “비싼 로봇 데이터를 얼마나 덜 쓰느냐"가 곧 학습 방식을 가른다. 이 글에서는 VLA 학습을 세 갈래로 정리하고, 자주 나오는 “CCTV 영상으로 학습하면 안 되나?“라는 질문, 그리고 실무 적용 옵션까지 짚어본다.

VLA 학습의 3대 패러다임

① 직접 정책 학습 (Direct Policy)

가장 직관적인 방식이다. 로봇이 모은 (관찰, 행동) 쌍을 그대로 학습해 “이 화면을 보면 이렇게 움직여라"를 익힌다.

대표 모델: RT-1, RT-2, OpenVLA(오픈소스 SOTA), Octo, π0·π0.5(50Hz 실시간 제어)
기본 구조: 관찰 이미지 → 비전 인코더(ViT/CNN) → 언어 모델 → 액션 디코더 → 로봇 동작
구분 축: 규모(작은 CNN부터 3~7B VLM 백본까지), 입력 모달리티(단일 ViT vs 멀티뷰 ViT), 출력 방식(연속/이산/디퓨전)

장점은 명확하고 바로 쓸 수 있다는 것. 단점은 그만큼 비싼 로봇 데이터를 많이 먹는다는 것이다.

② 영상 사전학습 (Video Pretraining)

행동 라벨이 붙어 있지 않은 인터넷 영상으로 먼저 “감"을 잡게 한 뒤, 적은 로봇 데이터로 마무리하는 전략이다. 핵심 직관은 “영상 속 변화 자체가 행동의 흔적"이라는 점.

세 가지 접근: 역동역학으로 행동 추정(IDM 기반, VPT) → 잠재 행동 학습(LAPA) → 미래 프레임 예측(GR-1/GR-2)
성과: LAPA는 필요한 행동 라벨을 약 30배 줄였고, GR-2는 3,800만 개 영상으로 학습해 97% 성공률을 보고했다.

③ 월드 모델 (World Model)

“행동하면 세상이 어떻게 바뀔까"를 모델이 직접 상상·시뮬레이션한다. 한 줄로 쓰면 f(현재 상태, 행동) → 다음 상태.

세 갈래: 상상 속에서 RL 학습(Dreamer) → 인터랙티브 시뮬레이터 생성(Genie 2) → 물리적으로 그럴듯한 영상 생성(NVIDIA Cosmos)
NVIDIA는 “Physical AI는 지금 GPT/ImageNet 직전의 순간에 있다"고 주장한다.

세 패러다임을 한눈에 비교하면 이렇다.

패러다임	직관성	데이터 비용	현재 성능	실용성(지금)
① 직접 정책 학습	높음	높음	높음	가장 높음
② 영상 사전학습	중간	낮음	중상	중간
③ 월드 모델	낮음	매우 높음	잠재력 큼	낮음(미래형)

정리하면 ①은 지금 당장 가장 실용적이고, ②는 차세대 R&D의 핵심, ③은 가장 야심차고 비싸지만 가장 미래적이다.

“그냥 CCTV 영상으로 로봇을 가르치면 안 되나?” — 4가지 갭

공부하다 보면 누구나 한 번쯤 떠올리는 질문이다. 결론은 “그대로는 어렵다"이고, 그 이유가 네 가지 갭으로 깔끔하게 정리된다.

행동 갭(Action gap): CCTV는 3인칭 관찰 영상이지만, VLA가 필요한 건 로봇 자신의 1인칭 시점이다.
모달리티 갭: 영상엔 행동 라벨이 없고, 깊이·힘 같은 물리 정보도 빠져 있다.
도메인 갭: CCTV가 비추는 장면과 로봇이 실제로 마주하는 장면이 다르다.
인과성 갭: 우연·상관과 인과를 영상만으로 구분하기 어렵다.

이 네 갭을 메우려는 시도가 바로 위의 ②영상 사전학습이다. “CCTV로는 안 된다"가 아니라, “이 갭들을 어떻게 줄이느냐"가 연구의 본질인 셈이다.

실무라면 어디서부터 시작할까

같은 기술도 목표와 자원에 따라 선택지가 갈린다.

A) 보수적: 시뮬레이터에서 사전학습한 뒤 OpenVLA 파인튜닝 → 1~2주짜리 PoC로 빠르게 검증.
B) 도전적(추천): CCTV 영상으로 잠재 행동을 사전학습한 뒤 OpenVLA 위에 얹는 방식. 라벨링 비용을 30~40% 절감할 여지가 있다.
C) 연구 R&D: LAPA·GR-2식 영상 사전학습과 월드 모델을 결합한 차세대 방향. 가장 멀지만 가장 크다.

지금 결과를 내야 한다면 A로 시작해 B로 넓혀가고, ③월드 모델은 흐름을 지켜보는 정도가 현실적이다.

한 줄 요약

VLA는 ①직접 정책 학습(지금 실용)·②영상 사전학습(차세대 핵심)·③월드 모델(미래형) 의 세 갈래로 배우며, “CCTV 영상으로 그냥 학습"이 어려운 건 행동·모달리티·도메인·인과성의 4가지 갭 때문이다.

BitVLA 읽기 — 모든 파라미터가 −1·0·+1인 VLA, 메모리는 1/11

Mon, 29 Jun 2026 00:00:00 +0900

중국과학원(ICT)에서 2026년 3월에 공개한 BitVLA 논문(arXiv:2506.07530v2)을 정리한다. 한 줄 요약은 — **모든 가중치를 {−1, 0, +1} 세 값으로만 표현한 1-bit VLA가 7B짜리 OpenVLA-OFT와 거의 같은 성능을 내면서 메모리는 1.4 GB(11배 감소), 지연은 73 ms(4.4배 감소)**다. 코드와 가중치 모두 공개됐다(GitHub / HuggingFace).

엣지 로봇 입장에서 “GPU 메모리 4 GB짜리 노트북 GPU(RTX 3050 Ti Laptop) 한 장으로 풀 사이즈 VLA를 굴린다"는 게 무슨 의미인지가 이 논문의 진짜 무게다.

왜 1-bit인가 — VLA의 배치 문제

요즘 나오는 VLA는 죄다 크다. π₀ 3.5B, OpenVLA 7.5B, OpenVLA-OFT 7.7B, UniVLA 8.5B. 다 full-precision(BF16)이라 단순 메모리만 7~17 GB가 들고, 추론 지연은 수백 ms 단위다. 그런데 실제 로봇 — 그것도 엣지 플랫폼 — 은 메모리·전력·열 모두 빠듯하다.

흔한 해법은 post-training quantization(PTQ)이다. 학습은 BF16으로 해 두고 추론 시점에만 INT8 / INT4로 떨궈서 쓴다. 깔끔하지만 두 가지 문제가 있다.

정확도가 떨어진다. 특히 4-bit 이하로 가면 캘리브레이션을 잘해도 무너지기 시작한다.
학습 dynamics와 어긋난다. 모델은 full-precision 분포를 가정하고 학습됐는데, 추론은 다른 게임을 한다.

BitVLA의 입장은 명확하다 — “압축은 사후가 아니라 학습 시점에 같이 설계해야 한다(training-time co-design).” 학습 자체를 1-bit 제약 안에서 진행하면, 모델이 처음부터 저정밀에 어울리는 표현을 배운다.

1.58-bit가 뭔가 — BitNet b1.58 베이스

엄밀히 말하면 “1-bit"는 마케팅용 호칭이고 실제로는 log₂(3) ≈ 1.58 bit다. 가중치가 세 값 {−1, 0, +1} 중 하나니까. 0이 끼어 있다는 게 중요한데, 사실상 sparse weight 역할을 해서 표현력이 binary(±1)보다 훨씬 낫다.

BitVLA는 BitNet b1.58 2B4T를 LLM 백본으로 그대로 가져온다. 이 BitNet은 이미 3B 규모부터 full-precision LLM과 맞먹는 성능을 내는 게 검증돼 있다. BitVLA는 그 위에 vision encoder도 1.58-bit로 깎고, 마지막에 로보틱스 학습을 얹는 구조다.

가중치·활성치 양자화 공식은 단순하다.

대상	양자화 방식	출력 범위
가중치 W	absmean → ternary	{−1, 0, +1}
활성치 x	per-token absmax → INT8	[−128, 127]

선형 레이어 출력은 Y = (α/β) · Q_w(W) · Q_a(x) 한 줄로 끝난다. α는 weight L1 평균 기반 스케일, β는 입력 max 기반 스케일. 핵심은 곱셈이 아니라 덧셈으로 풀린다는 점이다. 가중치가 −1/0/+1이니 행렬 곱은 사실상 정수 덧셈·뺄셈·skip의 조합이고, 부동소수점 연산은 per-element 스케일링 정도만 남는다. 이게 4.4× 속도 향상의 출처다.

3단 학습 파이프라인 — Quantize-then-Distill이 핵심

BitVLA의 학습 구조는 단계별로 어떤 모듈을 풀고 잠그는지를 명확히 통제한다.

단계	학습 대상	동결 대상	데이터
① 멀티모달 학습	Connector → LLM+Connector	ViT(처음엔 LLM도)	LLaVA-1.5-558k → MammoTH-VL 10M
② Quantize-then-Distill	1.58-bit Student ViT만	1-bit LLM, Connector	5M 샘플 (≤10B 토큰)
③ 로보틱스 학습	전체 (LLM, Connector, ViT)	—	Open X-Embodiment ≈1M 궤적

진짜 핵심은 ②단계, Quantize-then-Distill이다.

Quantize-then-Distill — 비전 인코더를 깎는 방법

1단계가 끝나면 1-bit LLM은 잘 정렬돼 있지만 SigLIP-L ViT는 여전히 BF16이다. 이걸 그대로 1.58-bit로 떨구면 표현이 망가져서 multimodal alignment가 깨진다.

BitVLA는 knowledge distillation으로 푼다.

Teacher: full-precision SigLIP-L (동결)
Student: 1.58-bit weight + INT8 activation으로 초기화한 같은 인코더
Student만 학습, LLM과 Connector는 동결

손실은 두 갈래의 합이다.

L_total = L_LM + λ · L_aux

L_LM: 표준 autoregressive 언어 모델 loss (답변 토큰에만 적용)
L_aux: 레이어별 hidden state의 MSE — Σ ‖h_teacher^l − h_student^l‖² / n

ablation 결과가 흥미롭다 — representation alignment loss를 빼면 평균 정확도가 50.8% → 42.4%로 폭락한다. teacher의 중간 표현을 student가 모방하게 강제하는 게 단순 SFT보다 결정적으로 효과적이라는 뜻이다.

추가로 흥미로운 발견 — 1-bit LLM 사전학습은 수조 단위 토큰이 필요했지만, 1.58-bit ViT의 QAT는 5~10B 토큰이면 충분하다. teacher가 있으니 데이터 효율이 훨씬 좋다.

t-SNE 시각화에서 layer 0에서는 teacher와 student 임베딩이 흩어져 있지만, layer 26쯤 가면 거의 겹친다. 깊이가 깊어질수록 student가 teacher의 기하 구조를 그대로 학습한다는 증거다.

모델 사양

구성	사양
LLM 백본	BitNet b1.58 2B4T (1.58-bit)
Vision encoder	SigLIP-L @ 224×224 (1.58-bit weight, INT8 activation)
Connector	2-layer MLP + GeLU (BF16 유지)
Action head	OpenVLA-OFT 스타일 (BF16)
총 파라미터	3.0B
메모리	1.4 GB
Attention	causal (bi-directional로 바꾸니 성능 하락)
Action 처리	parallel decoding + action chunking (K=8 시뮬, K=10 실로봇)
Action 손실	L1 regression

Connector와 action head는 일부러 BF16으로 둔다. 메모리 차지가 미미한데 양자화하면 정렬이 깨지기 쉬워서다.

실험 결과 — “11배 작은데 거의 안 진다”

LIBERO 시뮬레이션 (4종 suite 평균 성공률)

모델	크기	메모리	Avg
OpenVLA-OFT	7.7B	15.4 GB	97.1%
π₀	3.5B	7.0 GB	94.2%
GROOT-N1	2.2B	4.4 GB	93.9%
SmolVLA	2.3B	4.6 GB	88.8%
BitVLA	3.0B	1.4 GB	96.0%

OpenVLA-OFT 대비 −1.1%p에 메모리는 11배 작다. π₀보다는 +1.8%p, 특히 long-horizon에서 +7.6%p로 명확히 앞선다.

PTQ와의 비교

이 표가 진짜 핵심이다.

모델	양자화	메모리	Avg
OpenVLA INT4	PTQ	4.4 GB	72.7%
OpenVLA-OFT INT4	PTQ	4.7 GB	96.9%
BitVLA	native 1.58-bit	1.4 GB	96.0%

OpenVLA-OFT를 INT4 PTQ로 줄여도 4.7 GB가 필요하다. BitVLA는 그보다 1/3 메모리로 거의 같은 성능을 낸다. “사후 압축 vs 학습 시 압축"의 격차를 그대로 보여주는 비교다.

실세계 — Franka 7-DoF

기본 태스크 3개(수박 잡기, 빵 바구니에 넣기, 종 세우기) + OOD 변형 3개(스폰지 잡기, 식탁보 배경, 수박을 바구니에).

3개 기본 태스크 평균에서 BitVLA가 π₀를 일관되게 능가, 7B OpenVLA-OFT와 거의 동등
OOD에서도 catastrophic drop 없이 견디는 일반화 능력
사전학습 제거(w/o pre-training) 변형은 대부분 0%에 가까운 성공률 → Open X-Embodiment 사전학습이 실세계 성능에 결정적

추론 효율 — A100 기준

모델	Latency	Throughput
BitVLA	73 ms	341.1 Hz
OpenVLA-OFT+	321 ms	77.9 Hz
RDT-1B	297 ms	84.1 Hz
π₀	86 ms	291.6 Hz
Diffusion Policy	90 ms	267.4 Hz

50 Hz 제어 루프 기준, BitVLA는 매 스텝에 6배 가까이 여유가 생긴다.

한계 — 솔직한 부분들

저자가 정직하게 적어 둔 한계가 인상적이다.

Drop-in 변환이 안 된다. BitVLA는 quantization-aware training이라, 이미 잘 학습된 풀 정밀도 LLM/VLM을 그대로 1-bit로 떨구면 성능이 크게 깨진다(BitNet 원논문에서 이미 관찰된 현상). 즉 기존 모델을 변환하는 레시피가 아니라 처음부터 다시 굽는 레시피다.
사전학습 스케일이 작다. Open X-Embodiment에서 ~1M 샘플만 썼다. 더 다양한 embodiment·환경에 일반화하려면 사전학습 데이터를 키워야 한다.
전용 가속기가 있어야 진가가 나온다. 현재는 BitBLAS 커스텀 커널로 ternary × INT8 matmul을 돌리지만, 본격적인 효율은 1-bit 전용 하드웨어가 나와야 풀린다. 저자도 결론에서 이 부분을 강조한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문이 던지는 신호들.

엣지 VLA의 현실적 후보가 처음으로 등장했다. 1.4 GB면 노트북 GPU·Jetson급에서 진짜 돌릴 수 있다. 사양 잡을 때 “VLA는 무조건 풀 사이즈 GPU 필요"라는 전제가 깨진다.
양자화 전략의 디폴트가 바뀐다. “일단 학습하고 나중에 INT8/INT4"가 아니라 “학습 시 1.58-bit 제약을 박는다"가 새 기준선이 될 수 있다. 적어도 비교 대상에 BitVLA를 넣어야 한다.
Quantize-then-Distill 패턴은 일반화 가능해 보인다. 우리가 자체 VLA를 만들 때도 풀 정밀도로 한 번 학습한 모듈을 teacher로 두고 저정밀 student로 distill하는 흐름은 그대로 가져올 수 있다.
하드웨어-알고리즘 공동 설계가 다음 라운드의 진짜 게임이라는 신호. ternary × INT8 가속을 잘 받는 SoC가 나오면 휴머노이드·엣지 로봇 추론 비용 구조가 한 단계 더 떨어진다.
모델 가중치가 공개돼 있다(HuggingFace). 자체 환경에서 LIBERO·실로봇 재현 실험을 돌려 보는 게 가장 빠른 학습 경로다.

한 줄 정리

BitVLA가 보여준 것은 모델을 키워야만 성능이 오르는 게 아니라는 점이다 — 모든 파라미터를 −1·0·+1로 묶어도 학습 시점에 양자화를 같이 설계하면 7B VLA와 맞먹는 성능이 1.4 GB 안에 들어간다.

π*₀.₆ 읽기 — VLA가 '연습'으로 더 잘하게 되는 법 (RECAP)

Mon, 29 Jun 2026 00:00:00 +0900

Physical Intelligence가 2025년 11월에 공개한 π*₀.₆ 논문(arXiv:2511.14759)을 한국어 번역본 기준으로 읽고 정리한다. 한 줄로 요약하면 — 시연만으로 학습한 VLA를 “현장에서 연습"으로 더 잘하게 만드는 일반 레시피, RECAP에 관한 이야기다. 실제로 이 모델은 모르는 집에서 빨래를 2시간 넘게 개고, 전문가용 에스프레소 머신을 13시간 연속으로 굴리고, 공장 상자를 조립한다.

왜 또 새 논문인가 — 모방학습이 못 넘는 벽

VLA(Vision-Language-Action) 모델은 대부분 **모방학습(imitation learning)**으로 학습된다. 사람이 텔레오퍼레이션으로 시연한 데이터를 정책에 베껴 넣는 방식이다. 깔끔하고 잘 작동하지만 본질적 한계가 두 개 있다.

오차 누적(compounding errors): 정책이 시연 분포에서 살짝 벗어나는 순간, 본 적 없는 상태에서 또 살짝 벗어나고, 그 누적이 결국 실패로 끝난다.
상한선이 사람: 시연 데이터의 품질·속도가 그대로 천장이 된다. 사람보다 빠르거나 견고해질 수 없다.

해결책은 알려진 지 오래됐다. 강화학습(RL)으로 자율 경험에서 학습하기. 다만 거대한 VLA에 RL을 안정적으로, 확장 가능하게, 실세계 보상 신호로 붙이는 게 어려워서 안 됐을 뿐이다. RECAP은 그 “어렵게 막혀 있던 부분"을 푸는 시도다.

RECAP의 3단 구조 — Value · Advantage · Conditioning

RECAP = RL with Experience and Corrections via Advantage-conditioned Policies. 이름이 길지만 실제 골격은 단순한 3단계다.

단계	하는 일	핵심 도구
① 데이터 수집	VLA를 굴리고 결과 라벨(성공/실패)을 붙임. 초기엔 사람이 중간에 개입해 교정	자율 롤아웃 + human-gated DAgger
② 가치 함수 학습	지금까지의 모든 데이터로 분포형 V(o, ℓ)을 학습	멀티태스크 분포형 critic (201 bin 교차엔트로피)
③ 어드밴티지 조건화 학습	각 행동의 A = “기준 정책보다 개선될지” 지표를 정책 입력에 끼워 넣고 fine-tune	CFG(classifier-free guidance) 스타일 추출

이걸 사전학습 1회 + 다운스트림 과제별로 K번 반복한다. 핵심은 ②와 ③의 결합 방식에 있다.

① 분포형 가치 함수

가치 함수 V를 스칼라 하나로 회귀하는 대신, 201개 구간의 확률 분포로 푼다. 궤적 τ의 시점 t부터의 경험 리턴 Rₜ(τ)를 201개 bin으로 이산화하고, 분포 p_ϕ(V|oₜ, ℓ)이 그 정답 bin을 맞추도록 교차엔트로피로 학습한다. 연속 V는 분포의 기댓값으로 뽑아 쓴다.

분포형이 왜 이득이냐 — 보상이 sparse하고 노이즈가 많은 실세계 로봇 환경에서 스칼라 회귀보다 안정적이기 때문이다. critic은 정책과 같은 아키텍처를 쓰되 더 작은 VLM(약 670M, Gemma 3 기반)을 백본으로 쓴다.

② 어드밴티지 조건화 — CFG로 푸는 정책 추출

여기가 RECAP의 가장 영리한 지점이다. 보통 RL에서 critic으로 정책을 개선할 때는 PPO 같은 policy-gradient를 쓴다. 그런데 거대한 플로우 매칭 기반 VLA에 policy-gradient를 붙이는 건 까다롭고(autoregressive 토큰과 flow 행동이 섞여 있다) 불안정하다.

RECAP은 그래서 **분류기 없는 안내(CFG)**의 어드밴티지 버전을 쓴다. 핵심 식은 이렇다.

π̂(a|o) ∝ πref(a|o) · p(I | A^{πref}(o, a))^β

여기서 I는 “이 행동이 기준 정책보다 좋다(개선 지표)“라는 이벤트이고, p(I|A)는 A가 임계값 η_τ를 넘는지로 정의된다. 그러면 정책 학습은 두 갈래 NLL의 합으로 단순해진다.

min E[ −log π(a|o, ℓ) − β·log π(a|I, o, ℓ) ]

베타로 “얼마나 advantage를 따라갈지"를 조절하고, 추론할 때 β > 1을 주면 CFG처럼 좋은 행동 쪽으로 분포를 더 sharpen한다. policy gradient도, importance sampling도 필요 없다. 오프-폴리시·오프라인 데이터를 그대로 다 쓸 수 있다는 게 이 방식의 진짜 매력이다.

③ 데이터 — 시연·자율·개입을 한 통에

RECAP이 처리하는 데이터는 셋이다.

시연(demonstration): 사전학습 + 다운스트림 SFT용
자율 롤아웃(on-policy): 정책을 실제로 굴려서 모은 성공/실패 궤적
사람 개입(intervention): 자율 실행 중 전문가가 텔레오퍼레이션으로 빠르게 끼어들어 교정한 구간

세 종류를 같은 critic·같은 advantage-조건화 파이프라인에 넣는다. 사람 개입은 초기 반복에 특히 효과가 크고, 후반에는 자율 데이터 비중이 올라간다.

모델 — π*₀.₆ 자체의 구조

RECAP과 함께 굴리는 베이스 모델은 π₀.₆(π₀.₅의 백본·조건화 확장판)을 RL용으로 살짝 변형한 π*₀.₆이다.

구성	사양
VLM 백본	Gemma 3 4B
Action expert	약 860M, 플로우 매칭 기반
출력 형식	(a_{t:t+H}, ā \| o, ℓ) — ā는 FAST 이산 토큰(고수준), a는 연속 액션 청크(저수준)
컨디셔닝	관측 o, 언어 ℓ, 그리고 어드밴티지 라벨 I (“Advantage: positive/negative”)
제어 주파수	50 Hz
그리퍼	parallel jaw, 6-DoF, 양손

Knowledge Insulation(KI) 기법을 써서 액션 expert가 흘리는 그래디언트를 VLM 백본으로 역전파하지 않는다. 덕분에 백본은 next-token prediction의 언어 일반화 능력을 유지하면서 행동 expert만 따로 키운다. 보상(I)는 그냥 프롬프트 prefix에 글자로 끼워 넣는다 — “Advantage: positive”. 단순하지만 잘 먹는 트릭이다.

보상은 의도적으로 단순하게 짰다.

rₜ = 0 (성공으로 종료), −C_fail (실패로 종료), −1 (그 외 모든 스텝)

스텝마다 −1이 깔리므로 모델은 자연스럽게 “빨리 끝내자"는 인센티브를 받는다. 처리량(throughput) 개선이 여기서 나온다.

실험 — 빨래·식기·에스프레소·상자

평가는 네 종류 도메인이다.

빨래 개기: 새 가정의 처음 보는 의류로 2시간 이상 연속 동작 (200 시연)
식기세척기 비우기: 컵·그릇·볼·접시·국자 등 11종, 일부 인접 그리퍼 충돌·집기 어려움 등 어려운 시나리오 포함 (500 시연)
에스프레소 음료 제조: 포타필터 결합, 탬핑, 추출, 우유 스팀, 따르기 — 다단계 + 액체 + 정밀
상자 조립: 평평한 골판지를 펴고 접어 상자 형태로 (공장 실사용 라인)

비교군은 ① 사전학습된 π*₀.₆를 그대로 (RECAP RL 미적용), ② SFT만, ③ RL+SFT 혼합, ④ AWR, ⑤ PPO 변형(DPPO/FPO + SPO).

결과 한 줄 — 처리량 ↑↑, 실패율 ↓↓

비교	처리량	실패율
사전학습만	기준선	기준선
RECAP (반복 1)	~1.5×	~50% 수준
RECAP (반복 2)	~2×	약 절반

가장 어려운 과제(액체·변형 물체·다단계)에서 효과가 두드러진다. 새 가정 빨래 개기는 600회 사이클에서 약 90% 성공률, 에스프레소는 13시간 무중단 동작에 도달했다. AWR과 PPO는 같은 데이터에서 RECAP보다 명확히 처졌다 — PPO는 trust-region 제약 때문에 큰 정책 갱신을 못 했고, AWR은 어드밴티지 가중이 약해 개선이 더뎠다는 분석이다.

또 하나 흥미로운 결과 — 이미 한 가정에서 학습한 정책을 처음 보는 환경에 옮길 때도 RECAP의 자율 데이터 학습이 빠른 적응을 만들어냈다. 시연만 추가하는 SFT 베이스라인은 같은 데이터양에서 RECAP 만큼 회복되지 않았다.

의미와 한계

RECAP이 던지는 메시지는 명확하다.

VLA + RL은 더 이상 연구 데모가 아니다. 실제 가정·공장·카페에서 시간 단위로 운용 가능한 신뢰도까지 왔다.
모방학습의 천장이 깨졌다. 자율 경험으로 사람 시연 수준을 넘는 처리량을 만들 수 있다.
policy-gradient 없이도 대형 VLA를 RL 학습할 수 있다. Advantage-conditioned CFG는 simple하고 데이터 효율적이며 오프-폴리시 친화적이다.
scaling이 핵심이 아니라 레시피가 핵심이다. 같은 백본이라도 RECAP의 데이터 통합 방식 차이만으로 2배 처리량을 끌어낸다.

한계도 있다. critic이 보는 advantage가 결국 사람의 보상 설계(여기선 sparse + 스텝 페널티)에 의존하고, “마지막 1%“를 어떻게 더 짤지에 대한 답은 아직 부분적이다. 그리고 RL이라 부르긴 하지만 본질은 반복 오프라인 RL이고, 순수 online RL의 탐험(exploration) 문제와는 다른 게임이다. 저자도 결론에서 “진짜 online RL을 대형 VLA에 효율적으로 붙이는 문제가 다음 연구 과제"라고 말한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문에서 챙길 만한 것들.

이미 사전학습된 VLA를 자체 환경에 맞춰 끌어올리는 표준 레시피가 나왔다. 우리도 다운스트림 과제 1~2개를 정해 “시연 + 자율 + 사람 개입"의 3중 데이터 파이프라인을 흉내 낼 수 있다.
Advantage-conditioned CFG는 구현 난이도가 낮다. critic 따로 + 같은 정책에 “Advantage: positive” 라벨 프롬프트 prefix만 붙이면 되니, π₀ 계열 오픈 구현 위에 얹는 것도 현실적이다.
**분포형 가치 함수(201 bin 교차엔트로피)**는 sparse reward 환경에서 안전한 디폴트로 가져갈 만하다.
보상은 단순할수록 좋다. 성공 0 / 실패 −C / 스텝 −1 — 이 세 줄 보상만으로 처리량과 견고함이 같이 올라간다는 점이 인상적이다.

한 줄 정리

π*₀.₆가 보여주는 것은 모델 크기 자랑이 아니라, 시연·자율·개입을 한 통에 담는 RL 레시피(RECAP)만으로 VLA가 사람 시연의 천장을 부수고 실세계에서 시간 단위로 돌아갈 수 있다는 사실이다.

로봇이 보고, 알아듣고, 움직인다 — VLA 모델 한눈에 정리

Fri, 26 Jun 2026 00:00:00 +0900

VLA란 무엇인가

VLA(Vision-Language-Action)는 카메라로 보고(V), 사람의 말을 알아듣고(L), 직접 몸을 움직이는(A) 일을 하나의 신경망으로 통합한 로봇 AI 모델이다. 세 글자를 풀어보면 그 동작 방식이 한눈에 들어온다.

V(Vision) — 카메라 이미지를 본다. “책상 위에 빨간 컵과 파란 컵이 있다"를 인식한다.
L(Language) — 평범한 말로 내린 지시를 이해한다. “빨간 컵 집어줘"를 알아듣는다.
A(Action) — 위 둘을 종합해 실제 동작 명령을 낸다. 로봇 팔의 관절 각도, 그리퍼를 쥐고 펴는 제어값 같은 것들이다.

세 가지 능력을 따로 떼어 보면 익숙하지만, 이를 하나의 모델 안에서 끊김 없이 잇는다는 점이 VLA의 핵심이다.

예전 방식과 무엇이 다른가

기존 로봇은 “물체 인식 → 위치 계산 → 경로 계획 → 모터 제어"를 단계마다 따로 만든 프로그램으로 처리했다. 그래서 조명이 바뀌거나 새 물건이 등장하면 사람이 다시 코드를 짜야 했다.

VLA는 이 전 과정을 한 모델이 통째로 학습한다. 덕분에 처음 보는 물건이나 새로운 지시에도 사람처럼 유연하게 대응한다. ChatGPT 같은 대형 언어·이미지 모델이 쌓아둔 “세상에 대한 상식"을 그대로 물려받아, 그 지능을 로봇 몸체에 연결한 셈이다.

왜 지금 주목받나

VLA가 각광받는 이유는 크게 세 가지다.

범용성 — 작업마다 새로 프로그래밍하지 않아도 된다. 말로 시키면 된다.
일반화 — 학습하지 않은 상황에도 그럴듯하게 대응한다.
확장성 — 데이터를 더 먹일수록 똑똑해지는 대형 모델의 속성을 그대로 가진다.

자율주행, 가정용 로봇, 공장 자동화가 이 기술의 핵심 적용 무대로 꼽힌다.

대표 사례

Google RT-2 — 웹의 이미지·텍스트 지식을 로봇 제어로 옮긴 초기 대표작
OpenVLA — 누구나 쓸 수 있는 오픈소스 VLA
Physical Intelligence π0(파이제로) — 정교한 손동작에 강한 최신 모델

VLA는 발전 속도가 매우 빠른 분야다. 2025년 이후로도 새 모델이 계속 등장하고 있으니, 글을 쓰거나 도입을 검토하는 시점의 최신 모델을 한 번 더 확인하는 것을 추천한다.

한 줄 정리

VLA는 대형 AI의 “세상에 대한 상식"을 로봇 몸체에 연결해, 보고 알아듣고 움직이는 일을 하나의 신경망으로 통합한 모델이다 — “LLM이 글을 쓰듯, VLA는 행동을 쓴다.”