이 글은 “피지컬 AI 완전 입문” 시리즈의 Part 1이며, 화면 안에서만 동작하던 AI가 어떻게 ‘몸’을 얻어 피지컬 AI가 되는지, 그리고 그 두뇌 역할을 하는 VLA가 무엇인지를 다룬다.

1. 화면 밖으로 나온 AI — 몸을 얻은 지능

피지컬 AI는 지능이 실제 몸을 움직이는 AI다. 주변을 보고, 스스로 판단하고, 직접 행동한다.

가장 익숙한 ChatGPT(디지털 AI)와 비교하면 차이가 한눈에 보인다.

핵심은 인식-판단-행동의 순환이다:

1
2
3

👀 본다 (센서로 인식) → 🧠 판단한다 (무엇을 할지 결정) → 🦾 움직인다 (모터 구동)
   ↑                                                              │
   └──────────── 세상이 바뀌면 다시 본다 · 초당 수십 번 반복 ─────────┘

챗봇은 답을 한 번 내놓으면 끝이지만, 실제 세상은 가만히 있지 않기 때문에 피지컬 AI는 이 순환을 멈출 수 없다. ‘몸’과 ‘멈추지 않는 순환’, 이 둘이 핵심이다.

2. 시키는 로봇에서 알아서 하는 로봇으로 — 자동화와 지능화

예전 로봇(자동화)과 피지컬 AI(지능화)는 이렇게 다르다.

둘은 **‘예외 상황’**에서 갈린다. 자동화는 정해진 상황에서만 동작하고 처음 보는 상황을 만나면 멈춘다. 지능화는 학습한 것을 바탕으로 새 상황에도 대응하는데, 이 능력을 일반화라고 한다.

단, 지능화가 항상 낫다는 뜻은 아니다. 정해진 일을 반복하는 데는 자동화가 여전히 최고라, 실제 공장은 보통 둘을 함께 쓴다.

3. 그렇다면 모두 피지컬 AI일까 — 경계 긋기

보고, 판단하고, 움직인다고 해서 모두 피지컬 AI는 아니다.

자동문도 사람을 감지해 문을 연다. 하지만 정해진 규칙만 따를 뿐, 새 상황을 학습해 판단하지는 않는다. 그래서 두 가지 축으로 나눠 본다 — 몸이 있는가, 그리고 판단이 규칙인가 학습인가.

피지컬 AI는 “몸 있음 + 학습” 한 칸뿐이다. 자동문은 판단이 규칙이라 자동화, ChatGPT는 몸이 없어 디지털 AI다. 몸과 학습을 모두 갖춘 경우만 남는다.

한 줄 정의: “통제된 환경에서 시키는 대로가 아니라, 통제되지 않은 환경에서도 스스로 판단한다.” 자동화는 통제된 환경에서 시키는 대로, 예외를 만나면 멈춘다. 피지컬 AI는 통제되지 않은 환경에서 처음 보는 상황까지 스스로 판단한다.

4. 그것도 피지컬 AI가 맞을까 — 자주 묻는 질문

Q1. 로봇청소기도 알아서 피하던데, 피지컬 AI인가요? A. 절반은 맞고 절반은 다르다. 자동화에서 지능화로 넘어가는 과도기다. 장애물이 무엇인지 ‘인식’할 때는 학습 AI를, ‘어떻게 피할지’ 결정할 때는 사람이 짜 둔 규칙을 쓰는 경우가 많다. 그래서 규칙 밖 낯선 상황을 만나면 대개 멈춘다. 처음 보는 상황까지 스스로 대처하는 본격 피지컬 AI와 갈리는 지점이다.

Q2. 꼭 사람 모양(휴머노이드)이어야 하나요? A. 형태는 중요하지 않다. 자율주행차·드론·로봇팔도 스스로 보고 판단해 움직이면 모두 피지컬 AI다. 휴머노이드가 주목받는 건 세상이 사람 몸에 맞춰(문손잡이·계단) 설계돼 두루 쓰기 편해서일 뿐이다. 기준은 형태가 아니라 ‘판단이 학습이냐’다.

Q3. 두뇌가 반드시 로봇 안에 있어야 하나요? A. 아니다. 두뇌는 클라우드(서버)에 있어도 된다. 중요한 건 위치가 아니라 현실과 연결돼 직접 상호작용하는가다(어려운 말로 ‘체화’). 두뇌를 멀리 두더라도 시스템 전체가 현실의 몸을 움직여 경험을 쌓으면 피지컬 AI다.

헷갈리기 쉬운 경계 사례

• 공중제비 로봇 — 아님: 멋진 공중제비는 대부분 미리 계산된 궤적이다. 역동적이라고 해서 지능적인 것은 아니다.
• 자율주행차 — 맞음: 통제되지 않은 도로를 학습으로 감당하므로 피지컬 AI다. 단, 대부분 VLA 방식은 아니다.

5. 쉬운 일이 가장 어렵다 — 모라벡의 역설

우리가 너무 쉽게 해내는 일이, 오히려 AI에게는 가장 어렵다.

AI는 바둑을 이기고 계산·번역은 척척 하지만, 한 살배기도 하는 컵 집기·걷기는 아직 서툴다. 감각과 운동은 수억 년 진화로 몸에 새겨져 힘들이지 않고 되는 반면, 수학·논리는 겨우 수천 년 된 얕은 능력이기 때문이다. 그래서 ChatGPT가 먼저 발전했고, 피지컬 AI는 지금이 최전선이다.

순환의 네 단계 중 판단(추론)이 오히려 가장 쉽다. 진짜 어려운 건 어수선한 현실을 정확히 보는 ‘보기’와, 생각대로 몸을 실시간 제어하는 ‘움직이기’다.

시험은 통과하는 AI가, 물컵 하나 집는 것은 어려워한다.

6. 로봇에게 두뇌를 달다 — VLA란 무엇인가

VLA는 카메라 영상(V)과 말 지시(L)를 받아, 로봇 동작(A)을 하나의 신경망으로 곧바로 만들어 내는 로봇 두뇌다.

앞의 ‘판단’ 단계를 담당하는 대표 기술이 바로 VLA다. 예전엔 보는·알아듣는·움직이는 프로그램을 따로 만들어 이어 붙였는데, VLA는 이 셋을 하나로 합쳤다.

발상의 전환 — 움직임도 ‘토큰’처럼: GPT가 글을 ‘토큰’으로 다루듯, 로봇의 움직임도 토큰처럼 출력하면 되지 않을까. 이 발상에서 VLA가 출발했다.

VLA는 갑자기 나온 게 아니라, 여러 연구가 하나씩 발전해 지금에 이르렀다. 합류 타임라인으로 보면:

• 뿌리 (무엇이 합쳐졌나): ①통째로 학습(RT-1, 로봇 행동) + ②언어 붙이기(VLM, 언어·비전) → ③VLA 탄생 (RT-2, 2023, 두 갈래 합류·명명)
• 그 뒤 발전 (어떻게 커졌나): ③ → ④분포로 생성(π0, 2024) → ⑤이중 뇌(GR00T·Gemini, 2025)
• **행동 생성(Diffusion·flow)**은 π0(2024)에서 뒤늦게 합류

다섯 번의 도약

1. 보기에서 움직임까지 통째로 학습 — 사람이 규칙을 짜는 대신 데이터가 규칙을 만든다.
2. 언어 모델을 몸에 붙이기 — GPT의 상식으로 “치워"를 알아듣고 스스로 계획한다. (SayCan · PaLM-E)
3. 움직임을 ‘토큰’처럼 — 글 다루듯 동작을 출력한다. 여기서 ‘VLA’라는 이름이 붙었다. (RT-2 · OpenVLA)
4. 행동을 ‘분포로 생성’ — 정답이 여럿이라, 그림 그리듯 여러 가능성에서 동작을 뽑는다. (Diffusion · π0)
5. 세계 상상 + 두 개의 뇌 — 머릿속 시뮬레이션으로 연습하고, 느린 뇌(계획)·빠른 뇌(반사)로 나눈다. (GR00T · Gemini)

꼭 짚어 둘 오해

• “피지컬 AI가 곧 VLA다” — 오해: VLA는 두뇌의 한 부분일 뿐이다. 센서·저수준 제어·모터도 모두 피지컬 AI를 이룬다. 즉 피지컬 AI가 VLA를 포함한다.
• “VLA가 모든 것을 한다” — 절반만 맞음: VLA는 ‘무엇을 할지’(목표)를 정한다. 모터를 1초에 수백 번 미세 조정하는 일은 따로 있는 저수준 제어(소뇌)의 몫이다.

다음 편 예고 (Part 2): 누가 “리모컨 좀 줘"라고 하면, 우리는 순식간에 말을 알아듣고 눈으로 찾고 손을 뻗어 건넨다. 로봇에게 이걸 시키려면 보고·알아듣고·움직이는 것을 하나로 묶은 두뇌(VLA)가 필요하다. Part 2에서는 이 두뇌를 컵 집기로 뜯어본다.

이 내용을 정리한 영상도 참고하세요: https://www.youtube.com/watch?v=ep_KaVLV-u0&t=341s

한 줄 정리

피지컬 AI는 ‘몸’과 ‘멈추지 않는 인식-판단-행동 순환’을 갖춘 학습형 지능이며, 그중 보고·알아듣고·움직임을 하나로 잇는 판단 두뇌가 바로 VLA다.