로봇과 AI가 만나는 피지컬 AI 분야는 새 모델이 하루가 다르게 쏟아진다. 그런데 이 분야를 공부하다 보면, 최신 모델의 이름과 성능을 아무리 따라가도 전체 그림이 잘 잡히지 않는 순간이 온다. 아직 하나의 정답으로 수렴하지 않은 분야이기 때문이다. 이 글에서는 개별 기술을 암기하는 대신 기술이 이어져 온 계보(흐름)를 읽는 관점을 정리한다.
왜 암기가 아니라 ‘흐름’인가
- 피지컬 AI는 새 모델이 빠르게 등장하고, 오늘의 SOTA가 몇 달 뒤 다른 구조로 대체되기도 한다.
- 로봇에서 “성능"은 숫자 하나로 비교하기 어렵다. 같은 모델이라도 학습 데이터, 연결한 센서, 행동을 출력하는 주기에 따라 결과가 달라진다.
- 아직 하나의 구조나 개발 방식으로 수렴하지 않았기 때문에, 논문 이름만 쫓아서는 전체 변화를 이해하기 어렵다.
그래서 더 중요한 것은 각 기술이 어떤 문제를 풀려고 등장했고, 무엇을 여전히 못 풀었는가를 읽는 눈이다. 어떤 기술이 남긴 한계가 바로 다음 기술이 태어난 이유가 되기 때문이다.
새로운 기술을 읽는 세 가지 질문
새 논문이나 모델을 만나면 다음 세 가지만 확인해도 전체 흐름 속 위치가 보인다.
- 이 기술은 기존 방식의 어떤 문제를 풀려는 것인가?
- 그 문제를 어떤 아이디어로 풀었는가?
- 그럼에도 무엇을 여전히 못 풀었는가?
이 세 가지를 함께 보면, 어떤 연구가 단순한 성능 개선인지 아니면 판을 바꿀 새 아이디어인지 조금 더 명확하게 판단할 수 있다.
LLM에서 피지컬 AI로: 능력을 쌓아 올린 계보
전체 흐름을 한 장으로 요약하면 아래와 같다. 핵심은 세로로 내려갈수록 앞선 능력을 버리는 것이 아니라 품고 간다는 점이다(대체 ✕, 누적 ○). 왼쪽의 ‘더한 능력’이 진화의 동력이고, 오른쪽의 ‘남은 한계’가 다음 단계가 태어난 이유다. ‘VLA 내부 기법’은 새로운 계보 단계가 아니라 VLA를 다듬는 선택지이며, 성격이 다른 두 갈래(출력 방식 · 중간 추론)로 나뉜다.
| 단계 | 정체 (입력→출력) | ＋더한 능력 | △남은 한계 → 다음 촉발 |
|---|---|---|---|
| LLM | 텍스트 → 텍스트 | (출발점) 명령을 작업 순서로 계획 | 장면을 직접 못 봄 → 시각 필요 |
| VLM | 텍스트+이미지 → 텍스트 | ＋시각(이미지 이해) | 이해만 할 뿐 행동을 못 냄 → 행동 출력 필요 |
| VLA | 시각+언어 → 행동 | ＋행동 출력(관절/그리퍼 직접) | 정답이 여럿·오차 누적 → 행동 표현 기법 필요 |
| ↳ VLA 내부 기법 Ⓐ 출력 방식 | 행동을 어떤 형태로 낼까 | 이산 토큰화 · 액션 청크 · 디퓨전 · 플로우 매칭 · FAST | 생성 비용·실시간성 부담 |
| ↳ VLA 내부 기법 Ⓑ 중간 추론 | 행동 전에 무엇을 거칠까 | 언어 중간표현(RT-H) · ECoT · 미래 장면 예측 | 장기 계획·재계획 약함 → 상위 층 필요 |
| 계층형 시스템 | 상위(추론)+하위(제어) | ＋상위 추론층(느린 판단+빠른 제어) | 현실 격차·데이터 부족 → 경험 확보 필요 |
| 피지컬 AI 시스템 | 두뇌 + 몸·경험의 순환 | ＋데이터·시뮬·배포·지속학습 | (진행형 — 아직 완성 안 됨) |
여기서 계층형 시스템은 VLA를 대체하지 않고 하위 모듈로 감싼다는 점이 중요하다. VLA는 사라지지 않고 계층형의 ‘손발’로 계속 쓰이며, 피지컬 AI 시스템은 이 ‘두뇌(모델)‘에 데이터·시뮬·배포·지속학습이라는 ‘몸·경험’을 더한 전체 시스템이다.
계보를 이해하는 데 도움이 되는 보충 개념
- LLM / VLM / VLA 관계: LLM(글만)에 눈을 붙이면 VLM(글+그림 이해), 거기에 손발을 붙이면 VLA(보고·듣고 → 직접 움직임)가 된다. VLA는 VLM 위에 지어진다(예: RT-2는 VLM에 행동 출력을 덧붙여 파인튜닝한 것). 그래서 웹에서 배운 상식이 로봇 행동으로 전이된다.
- 언어형 중간 표현: 명령에서 곧바로 관절 값을 내지 않고, 중간에 “팔을 컵으로 이동” 같은 자연어 하위목표를 한 번 거친 뒤 행동으로 변환한다. 해석 가능성·일반화·사람의 교정에 유리하다(RT-H, ECoT).
- 액션 청크: 여러 스텝의 행동을 하나의 묶음으로 한 번에 예측하는 출력 방식이다(예: π0). 한 스텝씩 내면 오차가 쌓이고 움직임이 끊기며, 묶음으로 내면 부드럽지만 갑작스러운 변화에는 둔하다.
- 디퓨전 / 플로우 매칭 정책: 행동은 정답이 여럿(멀티모달)이라 단순 회귀는 평균을 내 허공을 잡는다(mode averaging). 디퓨전은 노이즈에서 여러 번 잡음 제거로 행동을 생성(느림), 플로우 매칭은 더 적은 단계로 생성(빠름, 실시간에 유리, π0가 사용)한다. 둘 다 VLA의 ‘행동 출력 헤드’다.
기술 계보 개념지도: 두 개의 축
같은 계보를 두 축으로 나눠 문제 → 남은 한계 → 대표 연구로 정리하면 지형이 더 선명해진다.
① 모델 아키텍처 축 — 명령을 어떻게 행동으로 바꾸나
| 기술 | 풀려던 문제 | 남은 한계 | 대표 연구 |
|---|---|---|---|
| LLM 플래닝 | 자연어 명령을 로봇 작업 순서로 분해 | 계획과 실제 관절 제어 사이의 간극(grounding gap) | SayCan, Code as Policies |
| VLA (Vision-Language-Action) | 계획–행동 간극을 좁힘(시각+언어→행동 직접 출력) | 충돌 회피·정밀 모션플래닝은 미완 | RT-2, OpenVLA, π0, GR00T |
| 언어형 중간표현 | 장기 작업의 일관성·해석 가능성 확보 | 어떤 구조가 표준인지 미수렴 | RT-H, ECoT |
| 액션 청크 | 매 스텝 출력의 지연·오차 누적(compounding error) | 청크 실행 중 환경 급변 시 반응성 저하 | ACT/ALOHA, Diffusion Policy |
| 디퓨전 / 플로우 매칭 정책 | 행동의 다양성(멀티모달) 표현 | 생성 비용·실시간성 부담 | Diffusion Policy, π0 |
| 계층형 시스템(dual-system) | 짧은 행동에 집중하면 장기 목적·재계획 취약 | 상위–하위 결합 방식이 관건 | Helix, Gemini Robotics |
| 미래 장면 예측(world model) | 목표 상태를 명시해 행동 유도 | 성숙 미완, 경쟁 중인 선택지 | UniPi, GR-2, Cosmos |
읽는 법: LLM 플래닝이 ‘계획–행동 간극’을 남기자 → VLA가 등장, VLA가 ‘정답이 하나가 아님’을 남기자 → 액션 청크·디퓨전이 등장, 그것이 ‘장기 목적·재계획 취약’을 남기자 → 계층형 구조가 주목받았다. 더 큰 모델이 아니라 앞 방식의 약점을 메우는 방향으로 진화했다.
② 데이터·시뮬레이션·배포 축 — 경험을 어떻게 확보하고 현실로 옮기나
| 기술 | 풀려던 문제 | 남은 한계 | 대표 연구 |
|---|---|---|---|
| 오픈 로봇 데이터셋 | 실로봇 데이터 수집이 비싸고 느림 | 데이터 다양성·규모 부족 | Open X-Embodiment, DROID |
| 사람 시연 / 웹 영상 학습 | 데이터 확보 비용 완화 | 신체 구조 차이(embodiment gap), retargeting 필요 | Ego4D, R3M |
| 시뮬레이션 / 합성 데이터 | 위험·희소 상황을 저비용 대량 생성 | 시뮬레이터 자체 물리 충실도 한계 | Isaac Sim, MimicGen |
| 디지털 트윈 | 가상–현실 정합성 확보 | 복제 비용, 접촉·변형 재현 한계 | Omniverse, 3D Gaussian Splatting |
| 도메인 랜덤화 | Sim-to-Real 격차에 강건하게 학습 | 트윈과 철학이 상반(강건화 vs 정합화) | OpenAI Dactyl, ADR |
| Sim-to-Real | 시뮬 성공이 실제에서 실패로 이어짐 | 접촉·변형·액추에이터 지연 완전 모델링 불가 | System ID, RMA |
| 온디바이스 / 양자화 추론 | 행동 지연이 성능·안전에 직결 | 정밀도–성능 트레이드오프, 안전은 별도 계층 필요 | Jetson/TensorRT, π0-FAST |
| 지속 학습 순환(data flywheel) | 배포 후 예외·실패를 다시 학습에 반영 | 진짜 온라인 지속학습(치명적 망각)은 미해결 | 데이터 플라이휠 |
읽는 법: 이 축 전체는 하나의 순환 시스템이다. 데이터 수집 → 모델 학습 → 시뮬 검증 → 실제 배포 → 현장 실패 재수집 → 재학습이 계속 돈다. 그래서 기회도 모델 자체보다 데이터 평가·시뮬 환경·운영·지속학습 같은 시스템의 빈틈에 더 많이 남아 있다.
한 줄 정리
빠르게 변하는 피지컬 AI에서 진짜 경쟁력은 최신 모델의 이름을 외우는 것이 아니라, 새 기술이 어떤 한계를 메우려 등장했고 무엇을 남겼는지를 계보 위에서 읽어내는 능력이다.