1부. 왜 지금인가 on Physical AI 드림팀

피지컬 AI, 최신 모델을 외우지 말고 '흐름'을 읽어라

Wed, 01 Jul 2026 00:00:00 +0900

로봇과 AI가 만나는 피지컬 AI 분야는 새 모델이 하루가 다르게 쏟아진다. 그런데 이 분야를 공부하다 보면, 최신 모델의 이름과 성능을 아무리 따라가도 전체 그림이 잘 잡히지 않는 순간이 온다. 아직 하나의 정답으로 수렴하지 않은 분야이기 때문이다. 이 글에서는 개별 기술을 암기하는 대신 기술이 이어져 온 계보(흐름)를 읽는 관점을 정리한다.

왜 암기가 아니라 ‘흐름’인가

피지컬 AI는 새 모델이 빠르게 등장하고, 오늘의 SOTA가 몇 달 뒤 다른 구조로 대체되기도 한다.
로봇에서 “성능"은 숫자 하나로 비교하기 어렵다. 같은 모델이라도 학습 데이터, 연결한 센서, 행동을 출력하는 주기에 따라 결과가 달라진다.
아직 하나의 구조나 개발 방식으로 수렴하지 않았기 때문에, 논문 이름만 쫓아서는 전체 변화를 이해하기 어렵다.

그래서 더 중요한 것은 각 기술이 어떤 문제를 풀려고 등장했고, 무엇을 여전히 못 풀었는가를 읽는 눈이다. 어떤 기술이 남긴 한계가 바로 다음 기술이 태어난 이유가 되기 때문이다.

새로운 기술을 읽는 세 가지 질문

새 논문이나 모델을 만나면 다음 세 가지만 확인해도 전체 흐름 속 위치가 보인다.

이 기술은 기존 방식의 어떤 문제를 풀려는 것인가?
그 문제를 어떤 아이디어로 풀었는가?
그럼에도 무엇을 여전히 못 풀었는가?

이 세 가지를 함께 보면, 어떤 연구가 단순한 성능 개선인지 아니면 판을 바꿀 새 아이디어인지 조금 더 명확하게 판단할 수 있다.

LLM에서 피지컬 AI로: 능력을 쌓아 올린 계보

전체 흐름을 한 장으로 요약하면 아래와 같다. 핵심은 세로로 내려갈수록 앞선 능력을 버리는 것이 아니라 품고 간다는 점이다(대체 ✕, 누적 ○). 왼쪽의 ‘더한 능력’이 진화의 동력이고, 오른쪽의 ‘남은 한계’가 다음 단계가 태어난 이유다. ‘VLA 내부 기법’은 새로운 계보 단계가 아니라 VLA를 다듬는 선택지이며, 성격이 다른 두 갈래(출력 방식 · 중간 추론)로 나뉜다.

단계	정체 (입력→출력)	＋더한 능력	△남은 한계 → 다음 촉발
LLM	텍스트 → 텍스트	(출발점) 명령을 작업 순서로 계획	장면을 직접 못 봄 → 시각 필요
VLM	텍스트+이미지 → 텍스트	＋시각(이미지 이해)	이해만 할 뿐 행동을 못 냄 → 행동 출력 필요
VLA	시각+언어 → 행동	＋행동 출력(관절/그리퍼 직접)	정답이 여럿·오차 누적 → 행동 표현 기법 필요
↳ VLA 내부 기법 Ⓐ 출력 방식	행동을 어떤 형태로 낼까	이산 토큰화 · 액션 청크 · 디퓨전 · 플로우 매칭 · FAST	생성 비용·실시간성 부담
↳ VLA 내부 기법 Ⓑ 중간 추론	행동 전에 무엇을 거칠까	언어 중간표현(RT-H) · ECoT · 미래 장면 예측	장기 계획·재계획 약함 → 상위 층 필요
계층형 시스템	상위(추론)+하위(제어)	＋상위 추론층(느린 판단+빠른 제어)	현실 격차·데이터 부족 → 경험 확보 필요
피지컬 AI 시스템	두뇌 + 몸·경험의 순환	＋데이터·시뮬·배포·지속학습	(진행형 — 아직 완성 안 됨)

여기서 계층형 시스템은 VLA를 대체하지 않고 하위 모듈로 감싼다는 점이 중요하다. VLA는 사라지지 않고 계층형의 ‘손발’로 계속 쓰이며, 피지컬 AI 시스템은 이 ‘두뇌(모델)‘에 데이터·시뮬·배포·지속학습이라는 ‘몸·경험’을 더한 전체 시스템이다.

계보를 이해하는 데 도움이 되는 보충 개념

LLM / VLM / VLA 관계: LLM(글만)에 눈을 붙이면 VLM(글+그림 이해), 거기에 손발을 붙이면 VLA(보고·듣고 → 직접 움직임)가 된다. VLA는 VLM 위에 지어진다(예: RT-2는 VLM에 행동 출력을 덧붙여 파인튜닝한 것). 그래서 웹에서 배운 상식이 로봇 행동으로 전이된다.
언어형 중간 표현: 명령에서 곧바로 관절 값을 내지 않고, 중간에 “팔을 컵으로 이동” 같은 자연어 하위목표를 한 번 거친 뒤 행동으로 변환한다. 해석 가능성·일반화·사람의 교정에 유리하다(RT-H, ECoT).
액션 청크: 여러 스텝의 행동을 하나의 묶음으로 한 번에 예측하는 출력 방식이다(예: π0). 한 스텝씩 내면 오차가 쌓이고 움직임이 끊기며, 묶음으로 내면 부드럽지만 갑작스러운 변화에는 둔하다.
디퓨전 / 플로우 매칭 정책: 행동은 정답이 여럿(멀티모달)이라 단순 회귀는 평균을 내 허공을 잡는다(mode averaging). 디퓨전은 노이즈에서 여러 번 잡음 제거로 행동을 생성(느림), 플로우 매칭은 더 적은 단계로 생성(빠름, 실시간에 유리, π0가 사용)한다. 둘 다 VLA의 ‘행동 출력 헤드’다.

기술 계보 개념지도: 두 개의 축

같은 계보를 두 축으로 나눠 문제 → 남은 한계 → 대표 연구로 정리하면 지형이 더 선명해진다.

① 모델 아키텍처 축 — 명령을 어떻게 행동으로 바꾸나

기술	풀려던 문제	남은 한계	대표 연구
LLM 플래닝	자연어 명령을 로봇 작업 순서로 분해	계획과 실제 관절 제어 사이의 간극(grounding gap)	SayCan, Code as Policies
VLA (Vision-Language-Action)	계획–행동 간극을 좁힘(시각+언어→행동 직접 출력)	충돌 회피·정밀 모션플래닝은 미완	RT-2, OpenVLA, π0, GR00T
언어형 중간표현	장기 작업의 일관성·해석 가능성 확보	어떤 구조가 표준인지 미수렴	RT-H, ECoT
액션 청크	매 스텝 출력의 지연·오차 누적(compounding error)	청크 실행 중 환경 급변 시 반응성 저하	ACT/ALOHA, Diffusion Policy
디퓨전 / 플로우 매칭 정책	행동의 다양성(멀티모달) 표현	생성 비용·실시간성 부담	Diffusion Policy, π0
계층형 시스템(dual-system)	짧은 행동에 집중하면 장기 목적·재계획 취약	상위–하위 결합 방식이 관건	Helix, Gemini Robotics
미래 장면 예측(world model)	목표 상태를 명시해 행동 유도	성숙 미완, 경쟁 중인 선택지	UniPi, GR-2, Cosmos

읽는 법: LLM 플래닝이 ‘계획–행동 간극’을 남기자 → VLA가 등장, VLA가 ‘정답이 하나가 아님’을 남기자 → 액션 청크·디퓨전이 등장, 그것이 ‘장기 목적·재계획 취약’을 남기자 → 계층형 구조가 주목받았다. 더 큰 모델이 아니라 앞 방식의 약점을 메우는 방향으로 진화했다.

② 데이터·시뮬레이션·배포 축 — 경험을 어떻게 확보하고 현실로 옮기나

기술	풀려던 문제	남은 한계	대표 연구
오픈 로봇 데이터셋	실로봇 데이터 수집이 비싸고 느림	데이터 다양성·규모 부족	Open X-Embodiment, DROID
사람 시연 / 웹 영상 학습	데이터 확보 비용 완화	신체 구조 차이(embodiment gap), retargeting 필요	Ego4D, R3M
시뮬레이션 / 합성 데이터	위험·희소 상황을 저비용 대량 생성	시뮬레이터 자체 물리 충실도 한계	Isaac Sim, MimicGen
디지털 트윈	가상–현실 정합성 확보	복제 비용, 접촉·변형 재현 한계	Omniverse, 3D Gaussian Splatting
도메인 랜덤화	Sim-to-Real 격차에 강건하게 학습	트윈과 철학이 상반(강건화 vs 정합화)	OpenAI Dactyl, ADR
Sim-to-Real	시뮬 성공이 실제에서 실패로 이어짐	접촉·변형·액추에이터 지연 완전 모델링 불가	System ID, RMA
온디바이스 / 양자화 추론	행동 지연이 성능·안전에 직결	정밀도–성능 트레이드오프, 안전은 별도 계층 필요	Jetson/TensorRT, π0-FAST
지속 학습 순환(data flywheel)	배포 후 예외·실패를 다시 학습에 반영	진짜 온라인 지속학습(치명적 망각)은 미해결	데이터 플라이휠

읽는 법: 이 축 전체는 하나의 순환 시스템이다. 데이터 수집 → 모델 학습 → 시뮬 검증 → 실제 배포 → 현장 실패 재수집 → 재학습이 계속 돈다. 그래서 기회도 모델 자체보다 데이터 평가·시뮬 환경·운영·지속학습 같은 시스템의 빈틈에 더 많이 남아 있다.

한 줄 정리

빠르게 변하는 피지컬 AI에서 진짜 경쟁력은 최신 모델의 이름을 외우는 것이 아니라, 새 기술이 어떤 한계를 메우려 등장했고 무엇을 남겼는지를 계보 위에서 읽어내는 능력이다.

AI가 화면 밖으로 나왔다 — 피지컬 AI 입문 가이드

Mon, 29 Jun 2026 00:00:00 +0900

피지컬 AI(Physical AI)라는 주제로 1장을 4개 절(1.1 ~ 1.4)로 묶어 정리한다. 챗봇을 넘어 현실 세계로 튀어나온 인공지능이 왜 하필 지금 현실적인 흐름이 됐고, 그 진입장벽이 우리가 생각하는 것보다 얼마나 낮아졌는지를 한 편에 담는다.

1.1 비트에서 원자로 — 이미 굴러가고 있는 피지컬 AI

지난 3년의 AI는 대부분 화면 안에 갇혀 있었다. ChatGPT는 텍스트로, Midjourney는 이미지로, Sora는 영상으로 — 결과물은 항상 **비트(bit)**였다. 그런데 2025~2026년을 지나며 풍경이 달라졌다. AI가 원자(atom)를 움직이기 시작했다.

이 단절의 의미는 단순한 “출력 형태"의 변화가 아니다.

챗봇 AI (디지털)	피지컬 AI (현실)
틀려도 사용자가 다시 묻는다	틀리면 컵이 깨지고 사람이 다친다
응답 지연 1~2초 허용	100ms 안에 균형 잡아야 넘어지지 않는다
데이터는 무한 복제 가능	매 동작이 단 한 번의 실세계 시행
결과를 되돌릴 수 있다	깨진 컵은 안 돌아온다

이 단절을 넘는 순간 AI는 “검색 엔진의 후속작"이 아니라 산업혁명의 후속작이 된다.

이미 현실에 나와 있는 사례가 적지 않다. Figure 02는 BMW 공장에서 부품을 옮기고, 1X NEO는 가정용 베타 출하를 시작했으며, Tesla Optimus는 자체 공장에서 배터리 셀을 분류한다. Waymo는 LA·샌프란시스코·피닉스에서 무인 유상 운행을 매주 수십만 회 단위로 돌리고 있다. 수술실에서는 Intuitive da Vinci 5가 봉합사 텐션·조직 손상도를 실시간 코칭하고, Amazon 풀필먼트에는 75만 대 이상의 로봇이 굴러간다. John Deere의 See & Spray는 잡초만 정밀 분사하고, Built Robotics는 굴착기를 무인으로 돌린다.

피지컬 AI가 “AI 시대 2막"으로 불리는 이유도 여기에 있다. 1막(LLM)이 지식 노동의 보조였다면, 2막은 육체 노동의 대체와 증강이다. GDP에서 차지하는 비중이 훨씬 크고, 인구 감소·고령화로 수요는 절박하다. 동시에 위험도 커진다 — 환각이 농담으로 끝나지 않고 사고로 이어진다.

1.2 왜 하필 지금인가 — 6개 곡선이 동시에 교차한 2025

피지컬 AI라는 단어 자체는 새롭지 않다. 보스턴 다이내믹스의 BigDog는 2005년, DARPA Robotics Challenge는 2015년이었다. 그때는 연구 데모였고 지금은 양산 라인으로 가고 있다. 한 가지 돌파 때문이 아니라 6개 축이 거의 동시에 임계점을 넘은 결과다.

① 파운데이션 모델이 로봇으로 건너왔다. 인터넷 텍스트·이미지로 사전학습한 거대 모델이 이제 로봇 정책으로 직접 파인튜닝된다. “투명한 컵을 식기세척기 윗칸에 넣어"라는 문장 안에 들어 있는 상식(투명함, 윗칸, 깨지기 쉬움)이 모델에서 공짜로 따라온다. 로봇이 처음 보는 물건에 대응 가능해진 것이 가장 큰 변곡점이다.

② 시뮬레이션이 sim-to-real 간극을 좁혔다.

구분	2020	2026
GPU 1대당 병렬 환경	수십 개	수만 개 (Isaac Lab)
물리 정확도	강체 위주	가변형·유체·접촉까지
시각 도메인 갭	컸음	월드 모델로 거의 소멸
1일 학습 가능 시간	수천 시간	수십억 시간

③ 하드웨어 단가가 무너졌다. EV 산업의 부수 효과가 결정적이었다. EV용 BLDC 모터로 액추에이터 단가가 1/10, LiDAR는 2017년 7만 5천 달러대(Velodyne)에서 2026년 200~500달러대(Hesai, RoboSense)로, 배터리는 kWh당 10년 만에 1/8이 됐다. 휴머노이드 BOM은 2020년 20만 달러에서 2026년 3만 달러 이하로 떨어졌고, Unitree G1은 1만 6천 달러부터다. 5년 전에는 “기술이 돼도 너무 비싸서 못 깐다"가 진짜 장벽이었다. 그 장벽이 사라졌다.

④ 엣지 컴퓨팅이 로봇 안으로 들어왔다. NVIDIA Jetson Thor(2025)는 손바닥만 한 보드에 2070 TFLOPS를 담는다. 무거운 모델을 양자화·증류해 로봇 등에서 30Hz로 돌릴 수 있게 됐다. “두뇌가 몸 안에 들어갈 수 있다"는 조건이 처음으로 충족됐다.

⑤ 데이터 수집 방식이 산업화됐다. Open X-Embodiment(22개 로봇 플랫폼, 100만+ 에피소드), ALOHA / Mobile ALOHA의 저가 텔레오퍼레이션 리그, Ego4D·EPIC-Kitchens 같은 1인칭 영상 데이터셋이 모였다. Tesla·Figure·1X는 자사 공장 자체를 “공장 배치 → 데이터 → 모델 개선” 플라이휠로 운영한다.

⑥ 자본과 인재가 동시에 몰렸다. 2024~2025년 휴머노이드 스타트업에 70억 달러 이상이 유입됐다(Figure 6.75억, 1X 1억, Physical Intelligence 4억, Skild AI 3억). OpenAI·NVIDIA·Microsoft·Samsung이 직접 출자했고, 중국은 베이징·선전을 휴머노이드 클러스터로 키우고 있다(Unitree, Fourier, UBTech, AgiBot). 자본은 후행 지표지만 인재 이동(LLM → 로봇)은 선행 지표다.

어느 하나의 마법적 돌파(트랜스포머 같은) 때문이 아니라, 6개 곡선이 약속이라도 한 듯 2025~2026년에 교차했다는 것이 핵심이다.

1.3 20만 원, 3개월이면 시작한다 — 흔한 오해 7가지와 입문 경로

“저는 휴머노이드도 없고, 기계공학도 모르고, 공장도 없는데요…” — 막상 뜯어보면 이 장벽들은 2024~2025년 사이에 대부분 무너졌다. 흔한 오해 7개를 짚어본다.

“피지컬 AI = 휴머노이드”: 아니다. 로봇 팔, 자율주행차·드론, 스마트 공장 비전 검사, 스마트홈, 농업·수술 로봇이 모두 피지컬 AI다. 휴머노이드가 가장 어려우니, 테이블 위 로봇 팔부터 시작하면 학습 곡선이 1/10이다.
“수천만 원이 있어야 한다”: 2026년 기준 약 20만 원이면 시작한다. Hugging Face LeRobot이 공식 지원하는 SO-100 / SO-ARM100(약 20만 원), Koch v1.1 팔(약 30만 원), Reachy Mini(약 40만 원), Unitree Go2(약 220만 원). 진짜 장벽은 가격이 아니라 정보 격차다.
“실제 로봇이 없으면 의미 있는 학습이 안 된다”: 시뮬레이터에서 시작이 정석이다. NVIDIA Isaac Sim / Isaac Lab(무료, RTX GPU 한 대로 수만 환경 병렬), MuJoCo(DeepMind 오픈소스), Genesis(2024, 파이썬 한 줄 설치), NVIDIA Cosmos(합성 영상 데이터 생성).
“기계·제어공학 전공만 가능”: 진입점이 AI 엔지니어 쪽으로 옮겨왔다. 필요한 스킬은 PyTorch, transformer, RL 기초, 데이터 파이프라인 — LLM 다뤄본 사람 스킬셋이 80% 그대로 전이된다.
“데이터를 직접 모아야 한다”: 공개 데이터셋이 충분하다. Open X-Embodiment(100만+ 에피소드), DROID(76,000 데모), Ego4D·EPIC-Kitchens, RH20T, BridgeData V2.
“모델을 처음부터 학습해야 한다”: 사전학습된 오픈 모델을 파인튜닝한다. RTX 4090 한 대로 며칠이면 도메인 특화 정책이 나온다.
“한국에선 안 된다”: 부품·제조 측면에선 오히려 유리하다. 삼성·LG·현대로보틱스·두산로보틱스가 본격 투자 중이고, 레인보우로보틱스(현대차 인수)·클로봇·뉴빌리티 같은 성장 기업군이 있다. KAIST·서울대·POSTECH가 RL/매니퓰레이션 분야 글로벌 상위권 논문을 낸다. 정부 K-휴머노이드 연합도 드라이브를 걸고 있다.

7단계 입문 경로는 이렇다.

Hugging Face LeRobot 튜토리얼 (시뮬만으로 가능, 무료)
MuJoCo 또는 Isaac Lab으로 강화학습 예제 굴려보기
SO-ARM100 같은 저가 팔 한 대 구매
텔레오퍼레이션으로 데모 데이터 50~100개 수집
오픈 사전학습 모델 파인튜닝 (Colab Pro 정도면 충분)
자기 환경에서 간단한 태스크 1개 성공시키기(블록 쌓기 등)
결과 영상·코드 공개 → 커뮤니티 진입(Discord, GitHub)

혼자서 3~~6개월, 총비용 50~~100만 원이면 여기까지 도달한다. 진짜 장벽은 돈·전공·장비가 아니라 “내 영역이 아닐 것 같다"는 심리적 거리감이다.

1.4 기술사 분기점에서 본 피지컬 AI — 모바일·LLM 다음 자리

세 절을 한 줄로 묶으면 이렇게 된다.

AI는 더 이상 “답하는 것"이 아니라 “하는 것"이 되고 있다.

기술사에는 몇 개의 진짜 분기점이 있다.

시기	전환의 본질
1990년대 인터넷	정보가 연결되기 시작
2000년대 모바일	정보가 항상 우리 옆에 있게 됨
2010년대 클라우드·딥러닝	정보를 자동으로 해석
2020년대 초 LLM	정보를 자동으로 생성
2020년대 중후반 피지컬 AI	정보가 세계를 직접 바꾸기 시작

각 분기점의 공통점은 건너온 사람과 못 건넌 사람의 격차가 향후 10년을 결정했다는 것이다.

의미는 셋으로 나뉜다.

개인에게: 새 산업의 초기 진입 창문이 다시 열렸다. 그 창문은 LLM 때보다 더 오래 열려 있을 가능성이 높다 — 하드웨어가 끼어 있어 확산이 느리기 때문이다.
기업에게: “AI 도입"의 의미가 챗봇·코파일럿에서 자동화된 노동력으로 확장된다. 적용 범위와 비용 구조가 완전히 달라진다.
사회에게: 사무 노동에 이어 육체 노동까지 자동화 사정권에 들어온다. 노동시장·교육·복지 설계가 다시 그려져야 한다.

신중하게 봐야 할 것도 있다. 마지막 1%가 가장 비싸다 — “공장에서 95% 성공"은 의미가 없다. 데이터·전력·소재가 다음 병목이고, 사회적 합의는 기술보다 항상 느려서 안전·책임·일자리 논의가 따라오지 않으면 백래시가 온다.

피지컬 AI는 새로운 산업 카테고리이기 전에, AI라는 기술이 비로소 우리 세계와 같은 차원에 살게 되는 사건이다. 지금까지의 AI는 우리에게 “말을 거는” 존재였다. 이제부터의 AI는 우리 옆에서 함께 움직이는 존재가 된다. 이 차이는 사소해 보여도 결국 모든 것을 바꾼다.

한 줄 정리

피지컬 AI는 챗봇이 끝낸 자리를 잇는 AI의 2막이며, 모델·시뮬·하드웨어·컴퓨트·데이터·자본 6개 곡선이 동시에 익은 지금이야말로 개인도 기업도 사회도 한 번 더 진입할 수 있는 창문이다.