피지컬 AI, 최신 모델을 외우지 말고 '흐름'을 읽어라

Wed, 01 Jul 2026 00:00:00 +0900

로봇과 AI가 만나는 피지컬 AI 분야는 새 모델이 하루가 다르게 쏟아진다. 그런데 이 분야를 공부하다 보면, 최신 모델의 이름과 성능을 아무리 따라가도 전체 그림이 잘 잡히지 않는 순간이 온다. 아직 하나의 정답으로 수렴하지 않은 분야이기 때문이다. 이 글에서는 개별 기술을 암기하는 대신 기술이 이어져 온 계보(흐름)를 읽는 관점을 정리한다.

왜 암기가 아니라 ‘흐름’인가

피지컬 AI는 새 모델이 빠르게 등장하고, 오늘의 SOTA가 몇 달 뒤 다른 구조로 대체되기도 한다.
로봇에서 “성능"은 숫자 하나로 비교하기 어렵다. 같은 모델이라도 학습 데이터, 연결한 센서, 행동을 출력하는 주기에 따라 결과가 달라진다.
아직 하나의 구조나 개발 방식으로 수렴하지 않았기 때문에, 논문 이름만 쫓아서는 전체 변화를 이해하기 어렵다.

그래서 더 중요한 것은 각 기술이 어떤 문제를 풀려고 등장했고, 무엇을 여전히 못 풀었는가를 읽는 눈이다. 어떤 기술이 남긴 한계가 바로 다음 기술이 태어난 이유가 되기 때문이다.

새로운 기술을 읽는 세 가지 질문

새 논문이나 모델을 만나면 다음 세 가지만 확인해도 전체 흐름 속 위치가 보인다.

이 기술은 기존 방식의 어떤 문제를 풀려는 것인가?
그 문제를 어떤 아이디어로 풀었는가?
그럼에도 무엇을 여전히 못 풀었는가?

이 세 가지를 함께 보면, 어떤 연구가 단순한 성능 개선인지 아니면 판을 바꿀 새 아이디어인지 조금 더 명확하게 판단할 수 있다.

LLM에서 피지컬 AI로: 능력을 쌓아 올린 계보

전체 흐름을 한 장으로 요약하면 아래와 같다. 핵심은 세로로 내려갈수록 앞선 능력을 버리는 것이 아니라 품고 간다는 점이다(대체 ✕, 누적 ○). 왼쪽의 ‘더한 능력’이 진화의 동력이고, 오른쪽의 ‘남은 한계’가 다음 단계가 태어난 이유다. ‘VLA 내부 기법’은 새로운 계보 단계가 아니라 VLA를 다듬는 선택지이며, 성격이 다른 두 갈래(출력 방식 · 중간 추론)로 나뉜다.

단계	정체 (입력→출력)	＋더한 능력	△남은 한계 → 다음 촉발
LLM	텍스트 → 텍스트	(출발점) 명령을 작업 순서로 계획	장면을 직접 못 봄 → 시각 필요
VLM	텍스트+이미지 → 텍스트	＋시각(이미지 이해)	이해만 할 뿐 행동을 못 냄 → 행동 출력 필요
VLA	시각+언어 → 행동	＋행동 출력(관절/그리퍼 직접)	정답이 여럿·오차 누적 → 행동 표현 기법 필요
↳ VLA 내부 기법 Ⓐ 출력 방식	행동을 어떤 형태로 낼까	이산 토큰화 · 액션 청크 · 디퓨전 · 플로우 매칭 · FAST	생성 비용·실시간성 부담
↳ VLA 내부 기법 Ⓑ 중간 추론	행동 전에 무엇을 거칠까	언어 중간표현(RT-H) · ECoT · 미래 장면 예측	장기 계획·재계획 약함 → 상위 층 필요
계층형 시스템	상위(추론)+하위(제어)	＋상위 추론층(느린 판단+빠른 제어)	현실 격차·데이터 부족 → 경험 확보 필요
피지컬 AI 시스템	두뇌 + 몸·경험의 순환	＋데이터·시뮬·배포·지속학습	(진행형 — 아직 완성 안 됨)

여기서 계층형 시스템은 VLA를 대체하지 않고 하위 모듈로 감싼다는 점이 중요하다. VLA는 사라지지 않고 계층형의 ‘손발’로 계속 쓰이며, 피지컬 AI 시스템은 이 ‘두뇌(모델)‘에 데이터·시뮬·배포·지속학습이라는 ‘몸·경험’을 더한 전체 시스템이다.

계보를 이해하는 데 도움이 되는 보충 개념

LLM / VLM / VLA 관계: LLM(글만)에 눈을 붙이면 VLM(글+그림 이해), 거기에 손발을 붙이면 VLA(보고·듣고 → 직접 움직임)가 된다. VLA는 VLM 위에 지어진다(예: RT-2는 VLM에 행동 출력을 덧붙여 파인튜닝한 것). 그래서 웹에서 배운 상식이 로봇 행동으로 전이된다.
언어형 중간 표현: 명령에서 곧바로 관절 값을 내지 않고, 중간에 “팔을 컵으로 이동” 같은 자연어 하위목표를 한 번 거친 뒤 행동으로 변환한다. 해석 가능성·일반화·사람의 교정에 유리하다(RT-H, ECoT).
액션 청크: 여러 스텝의 행동을 하나의 묶음으로 한 번에 예측하는 출력 방식이다(예: π0). 한 스텝씩 내면 오차가 쌓이고 움직임이 끊기며, 묶음으로 내면 부드럽지만 갑작스러운 변화에는 둔하다.
디퓨전 / 플로우 매칭 정책: 행동은 정답이 여럿(멀티모달)이라 단순 회귀는 평균을 내 허공을 잡는다(mode averaging). 디퓨전은 노이즈에서 여러 번 잡음 제거로 행동을 생성(느림), 플로우 매칭은 더 적은 단계로 생성(빠름, 실시간에 유리, π0가 사용)한다. 둘 다 VLA의 ‘행동 출력 헤드’다.

기술 계보 개념지도: 두 개의 축

같은 계보를 두 축으로 나눠 문제 → 남은 한계 → 대표 연구로 정리하면 지형이 더 선명해진다.

① 모델 아키텍처 축 — 명령을 어떻게 행동으로 바꾸나

기술	풀려던 문제	남은 한계	대표 연구
LLM 플래닝	자연어 명령을 로봇 작업 순서로 분해	계획과 실제 관절 제어 사이의 간극(grounding gap)	SayCan, Code as Policies
VLA (Vision-Language-Action)	계획–행동 간극을 좁힘(시각+언어→행동 직접 출력)	충돌 회피·정밀 모션플래닝은 미완	RT-2, OpenVLA, π0, GR00T
언어형 중간표현	장기 작업의 일관성·해석 가능성 확보	어떤 구조가 표준인지 미수렴	RT-H, ECoT
액션 청크	매 스텝 출력의 지연·오차 누적(compounding error)	청크 실행 중 환경 급변 시 반응성 저하	ACT/ALOHA, Diffusion Policy
디퓨전 / 플로우 매칭 정책	행동의 다양성(멀티모달) 표현	생성 비용·실시간성 부담	Diffusion Policy, π0
계층형 시스템(dual-system)	짧은 행동에 집중하면 장기 목적·재계획 취약	상위–하위 결합 방식이 관건	Helix, Gemini Robotics
미래 장면 예측(world model)	목표 상태를 명시해 행동 유도	성숙 미완, 경쟁 중인 선택지	UniPi, GR-2, Cosmos

읽는 법: LLM 플래닝이 ‘계획–행동 간극’을 남기자 → VLA가 등장, VLA가 ‘정답이 하나가 아님’을 남기자 → 액션 청크·디퓨전이 등장, 그것이 ‘장기 목적·재계획 취약’을 남기자 → 계층형 구조가 주목받았다. 더 큰 모델이 아니라 앞 방식의 약점을 메우는 방향으로 진화했다.

② 데이터·시뮬레이션·배포 축 — 경험을 어떻게 확보하고 현실로 옮기나

기술	풀려던 문제	남은 한계	대표 연구
오픈 로봇 데이터셋	실로봇 데이터 수집이 비싸고 느림	데이터 다양성·규모 부족	Open X-Embodiment, DROID
사람 시연 / 웹 영상 학습	데이터 확보 비용 완화	신체 구조 차이(embodiment gap), retargeting 필요	Ego4D, R3M
시뮬레이션 / 합성 데이터	위험·희소 상황을 저비용 대량 생성	시뮬레이터 자체 물리 충실도 한계	Isaac Sim, MimicGen
디지털 트윈	가상–현실 정합성 확보	복제 비용, 접촉·변형 재현 한계	Omniverse, 3D Gaussian Splatting
도메인 랜덤화	Sim-to-Real 격차에 강건하게 학습	트윈과 철학이 상반(강건화 vs 정합화)	OpenAI Dactyl, ADR
Sim-to-Real	시뮬 성공이 실제에서 실패로 이어짐	접촉·변형·액추에이터 지연 완전 모델링 불가	System ID, RMA
온디바이스 / 양자화 추론	행동 지연이 성능·안전에 직결	정밀도–성능 트레이드오프, 안전은 별도 계층 필요	Jetson/TensorRT, π0-FAST
지속 학습 순환(data flywheel)	배포 후 예외·실패를 다시 학습에 반영	진짜 온라인 지속학습(치명적 망각)은 미해결	데이터 플라이휠

읽는 법: 이 축 전체는 하나의 순환 시스템이다. 데이터 수집 → 모델 학습 → 시뮬 검증 → 실제 배포 → 현장 실패 재수집 → 재학습이 계속 돈다. 그래서 기회도 모델 자체보다 데이터 평가·시뮬 환경·운영·지속학습 같은 시스템의 빈틈에 더 많이 남아 있다.

한 줄 정리

빠르게 변하는 피지컬 AI에서 진짜 경쟁력은 최신 모델의 이름을 외우는 것이 아니라, 새 기술이 어떤 한계를 메우려 등장했고 무엇을 남겼는지를 계보 위에서 읽어내는 능력이다.